Giới thiệu

ChatGPT là một mô hình ngôn ngữ mạnh mẽ được phát triển bởi OpenAI, đã gây bão trên toàn thế giới với khả năng hiểu và phản hồi một cách đàm thoại với đầu vào của con người. Một trong những tính năng thú vị nhất của ChatGPT là khả năng tạo đoạn mã bằng nhiều ngôn ngữ lập trình khác nhau, bao gồm Python, Java, JavaScript và C++. Đặc điểm này đã làm ChatGPT một lựa chọn phổ biến của các nhà phát triển muốn nhanh chóng tạo nguyên mẫu hoặc giải quyết vấn đề mà không cần phải tự viết toàn bộ cơ sở mã. Bài viết này sẽ khám phá cách Trình thông dịch mã của ChatGPT để phân tích dữ liệu nâng cao dành cho các nhà khoa học dữ liệu. Hơn nữa, chúng ta sẽ xem xét cách nó hoạt động và có thể được sử dụng để tạo mã máy học. Chúng tôi cũng sẽ thảo luận về một số lợi ích và hạn chế của việc sử dụng ChatGPT.

Mục tiêu học tập

• Hiểu cách hoạt động của Phân tích dữ liệu nâng cao của ChatGPT và cách nó có thể được sử dụng để tạo mã máy học.
• Tìm hiểu cách sử dụng Phân tích dữ liệu nâng cao của ChatGPT để tạo đoạn mã cho các nhà khoa học dữ liệu bằng Python.
• Hiểu những lợi ích và hạn chế của Phân tích dữ liệu nâng cao của ChatGPT để tạo mã máy học.
• Tìm hiểu cách thiết kế và triển khai các mô hình học máy bằng Phân tích dữ liệu nâng cao của ChatGPT.
• Hiểu cách xử lý trước dữ liệu cho máy học, bao gồm xử lý các giá trị bị thiếu, 'mã hóa các biến phân loại, chuẩn hóa dữ liệu và chia tỷ lệ các tính năng số.' mã hóa các biến phân loại, chuẩn hóa dữ liệu và chia tỷ lệ các tính năng số.
• Tìm hiểu cách chia dữ liệu thành các tập huấn luyện và kiểm tra, đồng thời đánh giá hiệu suất của các mô hình học máy bằng cách sử dụng các số liệu như độ chính xác, độ chính xác, thu hồi, điểm F1, lỗi bình phương trung bình, lỗi tuyệt đối trung bình, giá trị bình phương R, v.v.

Bằng cách nắm vững các mục tiêu học tập này, người ta sẽ hiểu cách sử dụng Phân tích dữ liệu nâng cao của ChatGPT để tạo mã học máy và triển khai các thuật toán học máy khác nhau. Họ cũng có thể áp dụng những kỹ năng này cho các vấn đề và bộ dữ liệu trong thế giới thực, thể hiện sự thành thạo của họ trong việc sử dụng Phân tích dữ liệu nâng cao của ChatGPT cho các tác vụ học máy.

Bài báo này đã được xuất bản như một phần của Blogathon Khoa học Dữ liệu.

Phân tích dữ liệu nâng cao của ChatGPT hoạt động như thế nào?

Phân tích dữ liệu nâng cao của ChatGPT dựa trên học kĩ càng mô hình được gọi là máy biến áp, được đào tạo trên một kho dữ liệu văn bản lớn. Transformer sử dụng cơ chế tự chú ý để hiểu ngữ cảnh và mối quan hệ giữa các phần khác nhau của văn bản đầu vào. Khi người dùng nhập lời nhắc hoặc đoạn mã, mô hình của ChatGPT sẽ tạo phản hồi dựa trên các mẫu và cấu trúc mà nó đã học được từ dữ liệu đào tạo.

Phân tích dữ liệu nâng cao trong ChatGPT có thể tạo các đoạn mã bằng cách tận dụng số lượng lớn mã trực tuyến. Mô hình của ChatGPT có thể học cú pháp, ngữ nghĩa và thành ngữ của nhiều ngôn ngữ lập trình khác nhau bằng cách phân tích các kho lưu trữ nguồn mở và các nguồn mã khác. Mô hình của ChatGPT có thể dựa trên kiến ​​thức này khi người dùng yêu cầu một đoạn mã để tạo đoạn mã hoạt động và có liên quan.

Tạo mã học máy bằng ChatGPT

học máy là một trong những ứng dụng hứa hẹn nhất của Phân tích dữ liệu nâng cao của ChatGPT. Với sự phát triển của các ứng dụng học sâu và học máy, chúng ngày càng trở thành lĩnh vực nghiên cứu và phát triển quan trọng. Tuy nhiên, việc thiết kế và triển khai các mô hình này có thể phức tạp và tốn thời gian, đòi hỏi kiến ​​thức chuyên môn về đại số tuyến tính, phép tính, lý thuyết xác suất và khoa học máy tính.

Phân tích dữ liệu nâng cao của ChatGPT có thể giúp đơn giản hóa quy trình này bằng cách tạo các đoạn mã máy học mà người dùng có thể tích hợp vào dự án của họ. Ví dụ: người dùng có thể yêu cầu ChatGPT tạo đoạn mã bằng kỹ thuật hồi quy tuyến tính để dự đoán giá nhà ở California dựa trên tập dữ liệu đào tạo được cung cấp dưới dạng đầu vào ở định dạng .csv. Mô hình của ChatGPT có thể tạo một đoạn mã bao gồm các thao tác nhập cần thiết, các bước tiền xử lý dữ liệu, kiến ​​trúc mô hình và quy trình đào tạo dựa trên thông tin đầu vào của người dùng.

Tải tập dữ liệu lên trình thông dịch mã trong ChatGPT và nhập lời nhắc bên dưới.

nhắc nhở:

Thực hiện hồi quy tuyến tính sử dụng sklearn trên tập dữ liệu trên và hiển thị tất cả các bước bằng mã Python. Biến dự đoán từ dữ liệu là middle_house_value.

Đáp ứng:

Các bước hồi quy tuyến tính sử dụng sklearning trên tập dữ liệu “housing.csv”, sử dụng “median_house_value” làm biến mục tiêu như sau:

1. Khám phá dữ liệu: Tải tập dữ liệu và nhanh chóng kiểm tra cấu trúc của nó.
2. Tiền xử lý dữ liệu: Xử lý các giá trị còn thiếu, mã hóa các biến phân loại (nếu có) và chia tỷ lệ các đặc điểm số.
3. Tách dữ liệu: Chia dữ liệu thành các tập huấn luyện và thử nghiệm.
4. Đào tạo người mẫu: Huấn luyện mô hình hồi quy trên tập huấn luyện.
5. Đánh giá: Đánh giá mô hình đã huấn luyện trên tập kiểm tra.
6. Giải thích mô hình: Phân tích tầm quan trọng của từng đặc điểm trong dự đoán.

Đang tải tập dữ liệu và khám phá cấu trúc của nó:

# Load the dataset
data = pd.read_csv('/mnt/data/housing.csv')

# Display the first few rows of the dataset to understand its structure
data.head()
#import csv

Tập dữ liệu chứa các cột sau:

1. kinh độ: Kinh độ của vị trí
2. vĩ độ: Vĩ độ của vị trí
3. nhà ở_median_age: Tuổi trung bình của nhà ở trong khu vực
4. tổng số phòng: Tổng số phòng trong khu vực
5. tổng_phòng ngủ: Tổng số phòng ngủ trong khu vực
6. dân số: Dân số khu vực
7. hộ gia đình: Số hộ gia đình trong khu vực
8. thu nhập trung bình: Thu nhập bình quân của người dân trong khu vực
9. giá trị trung bình_house_value: Giá trị nhà trung bình trong khu vực (biến mục tiêu của chúng tôi)
10. đại dương_gần: Sự gần gũi với đại dương (biến phân loại)

Tiếp theo, hãy tiến hành tiền xử lý dữ liệu:

Tiền xử lý dữ liệu:

1. Kiểm tra các giá trị còn thiếu và xử lý chúng.
2. Mã hóa biến phân loại Ocean_proximity.
3. Chia tỷ lệ các tính năng số để chuẩn hóa chúng.

Kiểm tra các giá trị còn thiếu trong tập dữ liệu:

# Check for missing values in each column
missing_values = data.isnull().sum()
missing_values

Nó trông giống như tổng_phòng ngủ cột có 207 giá trị bị thiếu. Chiến lược phổ biến để xử lý các giá trị bị thiếu cho các cột số là thay thế chúng bằng giá trị trung bình của cột đó. Hãy điền các giá trị còn thiếu vào tổng_phòng ngủ với giá trị trung bình của nó.

Sau đó, chúng tôi sẽ mã hóa đại dương_gần biến phân loại sử dụng mã hóa một lần và chia tỷ lệ các tính năng số.

Các bước tiền xử lý:

from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline

# Fill missing values in total_bedrooms with its median value
data['total_bedrooms'].fillna(data['total_bedrooms'].median(), inplace=True)
# Define columns for preprocessing
numerical_features = ['longitude', 'latitude', 'housing_median_age', 'total_rooms', 
'total_bedrooms', 'population', 'households', 'median_income']
categorical_feature = ['ocean_proximity']

# Create a column transformer for preprocessing
preprocessor = ColumnTransformer(
    transformers=[
        ('num', StandardScaler(), numerical_features),
        ('cat', OneHotEncoder(), categorical_feature)
    ])

# Apply the transformations to the data (excluding the target variable)
X = data.drop('median_house_value', axis=1)
y = data['median_house_value']

X_transformed = preprocessor.fit_transform(X)

# Checking the transformed data's shape and first few rows to ensure preprocessing was successful
X_transformed.shape, X_transformed[:5]

Các bước tiền xử lý đã thành công:

1. Kiểm tra các giá trị còn thiếu và xử lý chúng.
2. Mã hóa biến phân loại Ocean_proximity.
3. Chia tỷ lệ các tính năng số để chuẩn hóa chúng.

Tập dữ liệu được chuyển đổi có 20,640 mẫu và 13 tính năng.

Tách dữ liệu:

Tiếp theo, chúng tôi sẽ chia dữ liệu thành tập huấn luyện và tập kiểm tra. Điều này cho phép chúng ta huấn luyện mô hình của mình trên một tập hợp con và
Kiểm tra hiệu suất của nó trên một tập hợp con chưa được nhìn thấy khác. Thông thường, tỷ lệ phân chia phổ biến là 80:20 hoặc 70:30 cho đào tạo và kiểm tra. Đối với bài tập này, chúng ta sẽ sử dụng tỷ lệ chia 80:20.

Hãy chia nhỏ dữ liệu.

from sklearn.model_selection 
import train_test_split

# Splitting the data into training and test sets (80% training, 20% testing)
X_train, X_test, y_train, y_test = train_test_split(X_transformed, y, test_size=0.2, 
random_state=42)

X_train.shape, X_test.shape

Dữ liệu đã được chia thành công thành các tập huấn luyện và kiểm tra:

• Tập huấn luyện: 16,512 mẫu
• Tập kiểm tra: 4,128 mẫu

Đào tạo người mẫu:

Tiếp theo, chúng ta sẽ huấn luyện mô hình hồi quy bằng cách sử dụng dữ liệu huấn luyện. Đối với phần trình diễn này, chúng ta sẽ sử dụng một cách đơn giản
mô hình hồi quy tuyến tính. Nếu cần, các mô hình hoặc phương pháp tổng hợp phức tạp hơn có thể được khám phá sau.

Huấn luyện mô hình hồi quy tuyến tính:

from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# Initialize the Linear Regression model
model = LinearRegression()

# Train the model on the training data
model.fit(X_train, y_train)

# Predict on the training data to check in-sample performance
train_predictions = model.predict(X_train)
train_mse = mean_squared_error(y_train, train_predictions)
train_rmse = train_mse**0.5

train_rmse

Sai số bình phương trung bình gốc (RMSE) cho các dự đoán trên dữ liệu huấn luyện là khoảng 68,433.94 USD.

RMSE cho chúng ta ý tưởng về mức độ trung bình của các lỗi dự đoán. Trong bối cảnh này, các dự đoán trong mô hình của chúng tôi trung bình chênh lệch khoảng 68,433.94 USD so với giá trị ngôi nhà thực tế trong tập huấn luyện.

Đánh giá:

Chúng tôi sẽ dự đoán dữ liệu thử nghiệm và tính toán RMSE cho những dự đoán này để đánh giá khả năng khái quát hóa của mô hình.

Hãy đánh giá mô hình trên tập thử nghiệm.

# Predict on the test data
test_predictions = model.predict(X_test)

# Compute the RMSE for the test predictions
test_mse = mean_squared_error(y_test, test_predictions)
test_rmse = test_mse**0.5

test_rmse

Sai số bình phương trung bình gốc (RMSE) cho các dự đoán trên dữ liệu thử nghiệm là khoảng 70,060.52 USD.

RMSE thử nghiệm cao hơn một chút so với RMSE huấn luyện, điều này được mong đợi do mô hình không được huấn luyện trên dữ liệu thử nghiệm. Tuy nhiên, các giá trị tương đối gần nhau, cho thấy mô hình không quá phù hợp với dữ liệu huấn luyện.

Giải thích mô hình:

Để hiểu mô hình tốt hơn, chúng ta có thể xem xét các hệ số cho từng tính năng. Các hệ số này cho thấy tầm quan trọng và tác động của từng đặc điểm đối với biến mục tiêu, giá trị trung bình_house_value.

Chúng ta hãy xem xét các hệ số tính năng.

# Extract feature names after one-hot encoding
feature_names = numerical_features + list(preprocessor.named_transformers_['cat'].categories_[0])

# Retrieve the coefficients from the model
coefficients = model.coef_

# Create a DataFrame to display the feature coefficients
feature_importance = pd.DataFrame({
    'Feature': feature_names,
    'Coefficient': coefficients
}).sort_values(by='Coefficient', ascending=False)

feature_importance

Dưới đây là cách giải thích các hệ số đặc trưng:

1. Các hệ số dương chỉ ra rằng khi giá trị đặc trưng tăng lên thì giá trị trung vị được dự đoán cũng tăng theo.
2. Các hệ số âm chỉ ra rằng khi giá trị đặc điểm tăng lên thì giá trị trung bình được dự đoán sẽ giảm.

Ví dụ:

• ISLAND có hệ số dương cao nhất, cho thấy nhà ở trên đảo có giá trị dự đoán cao hơn các địa điểm khác.
• thu nhập trung bình cũng có tác động tích cực đáng kể đến giá trị ngôi nhà được dự đoán.
• Mặt khác, INLAND có tác động tiêu cực nhất, cho thấy những ngôi nhà nằm trong đất liền có xu hướng có giá trị dự đoán thấp hơn.
• Các đặc điểm địa lý như kinh độ và vĩ độ cũng đóng vai trò xác định giá trị ngôi nhà, cả hai đều có hệ số âm trong mô hình này.

Mặc dù các hệ số này cung cấp cái nhìn sâu sắc về mối quan hệ giữa các đặc điểm và biến mục tiêu nhưng chúng không nhất thiết hàm ý quan hệ nhân quả. Các yếu tố bên ngoài và sự tương tác giữa các tính năng cũng có thể ảnh hưởng đến giá trị ngôi nhà.

Lợi ích của việc sử dụng ChatGPT để tạo mã máy học

Có một số lợi ích khi sử dụng Phân tích dữ liệu nâng cao của ChatGPT để tạo mã máy học:

1. Tiết kiệm thời gian: Việc thiết kế và triển khai mô hình học máy có thể mất nhiều thời gian, đặc biệt là đối với người mới bắt đầu. Phân tích dữ liệu nâng cao của ChatGPT có thể giúp người dùng tiết kiệm rất nhiều thời gian bằng cách tạo các đoạn mã hoạt động mà họ có thể sử dụng làm điểm bắt đầu cho dự án của mình.
2. Cải thiện năng suất: Với tính năng phân tích dữ liệu nâng cao của ChatGPT, người dùng có thể tập trung vào các khái niệm cấp cao trong dự án máy học của họ, chẳng hạn như tiền xử lý dữ liệu, kỹ thuật tính năng và đánh giá mô hình mà không bị sa lầy vào các chi tiết triển khai kiến ​​trúc mô hình.
3. Tiếp cận: Phân tích dữ liệu nâng cao của ChatGPT giúp máy học dễ tiếp cận hơn với những người không có nền tảng vững chắc về khoa học máy tính hoặc lập trình. Người dùng có thể mô tả mong muốn của mình và ChatGPT sẽ tạo mã cần thiết.
4. Customization: Phân tích dữ liệu nâng cao của ChatGPT cho phép người dùng tùy chỉnh mã được tạo để phù hợp với nhu cầu của họ. Người dùng có thể sửa đổi siêu tham số, điều chỉnh cấu trúc mô hình hoặc thêm chức năng bổ sung vào đoạn mã.

Hạn chế của việc sử dụng ChatGPT để tạo mã máy học

Mặc dù trình thông dịch mã của ChatGPT là một công cụ mạnh mẽ để tạo mã máy học nhưng vẫn có một số hạn chế cần xem xét:

1. Chất lượng của mã được tạo: Mặc dù phân tích dữ liệu nâng cao của ChatGPT có thể tạo ra các đoạn mã hoạt động nhưng chất lượng của mã có thể khác nhau tùy thuộc vào độ phức tạp của nhiệm vụ và chất lượng của dữ liệu đào tạo. Người dùng có thể cần dọn sạch mã, sửa lỗi hoặc tối ưu hóa hiệu suất trước khi sử dụng mã đó trong sản xuất.
2. Thiếu kiến ​​thức về tên miền: Mô hình của ChatGPT không phải lúc nào cũng hiểu được các sắc thái của một miền hoặc lĩnh vực ứng dụng cụ thể. Người dùng có thể cần cung cấp ngữ cảnh hoặc hướng dẫn bổ sung để giúp ChatGPT tạo mã đáp ứng yêu cầu của họ.
3. Sự phụ thuộc vào dữ liệu đào tạo: Phân tích dữ liệu nâng cao của ChatGPT phụ thuộc rất nhiều vào chất lượng và tính đa dạng của dữ liệu đào tạo mà nó tiếp xúc. Nếu dữ liệu huấn luyện bị sai lệch hoặc không đầy đủ, mã được tạo có thể phản ánh những thiếu sót đó.
4. Cân nhắc về đạo đức: Những lo ngại về đạo đức tồn tại xung quanh việc sử dụng mã do AI tạo ra trong các ứng dụng quan trọng, chẳng hạn như chăm sóc sức khỏe hoặc tài chính. Người dùng phải đánh giá cẩn thận mã được tạo và đảm bảo nó đáp ứng các tiêu chuẩn và quy định bắt buộc.

Kết luận

Phân tích dữ liệu nâng cao của ChatGPT là một công cụ mạnh mẽ để tạo các đoạn mã. Với khả năng hiểu lời nhắc ngôn ngữ tự nhiên và tạo mã hoạt động, ChatGPT có tiềm năng dân chủ hóa quyền truy cập vào công nghệ máy học và đẩy nhanh quá trình đổi mới trong lĩnh vực này. Tuy nhiên, người dùng phải nhận thức được những hạn chế của công nghệ và đánh giá cẩn thận mã được tạo ra trước khi đưa vào sản xuất. Khi khả năng của ChatGPT tiếp tục phát triển, chúng ta có thể mong đợi được thấy nhiều ứng dụng thú vị hơn nữa của công nghệ này.

Chìa khóa chính

• Phân tích dữ liệu nâng cao của ChatGPT dựa trên mô hình học sâu được gọi là máy biến áp, được đào tạo trên một kho dữ liệu văn bản lớn.
• Phân tích dữ liệu nâng cao có thể tạo các đoạn mã bằng nhiều ngôn ngữ lập trình khác nhau, bao gồm Python, Java, JavaScript và C++, bằng cách tận dụng số lượng lớn mã trực tuyến.
• Phân tích dữ liệu nâng cao của ChatGPT có thể tạo các đoạn mã máy học cho hồi quy tuyến tính, hồi quy logistic, cây quyết định, rừng ngẫu nhiên, máy vectơ hỗ trợ, mạng thần kinh và học sâu.
• Để sử dụng Phân tích dữ liệu nâng cao của ChatGPT cho máy học, người dùng có thể cung cấp lời nhắc hoặc đoạn mã và yêu cầu một tác vụ cụ thể, chẳng hạn như tạo đoạn mã cho mô hình hồi quy tuyến tính bằng cách sử dụng một tập dữ liệu cụ thể.
• Mô hình của ChatGPT có thể tạo các đoạn mã bao gồm các thao tác nhập cần thiết, các bước tiền xử lý dữ liệu, kiến ​​trúc mô hình và quy trình đào tạo.
• Phân tích dữ liệu nâng cao của ChatGPT có thể giúp đơn giản hóa việc thiết kế và triển khai các mô hình máy học, giúp các nhà phát triển và nhà khoa học dữ liệu dễ dàng tạo nguyên mẫu hoặc giải quyết vấn đề nhanh chóng hơn.
• Tuy nhiên, cũng có những hạn chế khi sử dụng Phân tích dữ liệu nâng cao của ChatGPT, chẳng hạn như khả năng mã được tạo có lỗi hoặc thiếu các tùy chọn tùy chỉnh.
• Nhìn chung, Phân tích dữ liệu nâng cao của ChatGPT là một công cụ mạnh mẽ có thể giúp hợp lý hóa quy trình phát triển cho các nhà phát triển và nhà khoa học dữ liệu, đặc biệt là khi tạo các đoạn mã máy học.

Những câu hỏi thường gặp

Phương tiện hiển thị trong bài viết này không thuộc sở hữu của Analytics Vidhya và được sử dụng theo quyết định riêng của Tác giả. 

Sản phẩm liên quan

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://www.analyticsvidhya.com/blog/2023/11/chatgpts-code-interpreter-gpt-4-advanced-data-analysis-for-data-scientists/