GitHub Copilot đã thúc đẩy các kỹ sư phần mềm tại Tập đoàn Ngân hàng Australia và New Zealand (Ngân hàng ANZ) hướng tới việc cải thiện năng suất và chất lượng mã, đồng thời đợt thử nghiệm là đủ để bộ phận tài chính triển khai trợ lý lập trình AI tổng quát trong quy trình sản xuất.

Từ giữa tháng 2023 năm 100 đến cuối tháng 5,000 năm đó, Ngân hàng ANZ có trụ sở tại Melbourne đã tiến hành thử nghiệm nội bộ GitHub Copilot với sự tham gia của XNUMX trong số XNUMX kỹ sư của công ty.

Cuộc thử nghiệm kéo dài sáu tuần, bao gồm hai tuần chuẩn bị và bốn tuần thử thách mã, nhằm tìm hiểu cảm nhận của người tham gia khi sử dụng GitHub Copilot với Microsoft Visual Studio Code và để đo lường tác động của hệ thống dựa trên AI đến năng suất của các lập trình viên, chất lượng mã và bảo mật phần mềm.

Các kết quả của thí nghiệm đã được ghi lại trong một báo cáo với một tiêu đề có thể tinh tế hơn một chút: “Tác động của Công cụ AI đến Kỹ thuật tại Ngân hàng ANZ, Một nghiên cứu thực nghiệm về GitHub Copilot trong Môi trường Doanh nghiệp”.

Được đồng tác giả bởi Sayan Chatterjee, kiến ​​trúc sư đám mây tại ANZ và Louis Liu, trưởng nhóm kỹ thuật AI và khả năng phân tích dữ liệu tại ANZ, báo cáo trích dẫn một số nghiên cứu trước đây về năng suất lập trình với Copilot.

Một nghiên cứu từ Microsoft, hiện sở hữu GitHub, nhận thấy việc viết mã bằng trợ lý AI đã cải thiện năng suất hơn 55% – không có gì đáng ngạc nhiên khi so sánh khảo sát nhà cung cấp.

Một ACM/IEEE nghiên cứu về lập trình với sự trợ giúp của AI, hỗ trợ robot được đề xuất là một sự đánh đổi nhiều hơn: Người ta phát hiện ra rằng Copilot tạo ra nhiều mã hơn, mặc dù chất lượng phần mềm được tạo ra kém hơn phần mềm do con người tạo ra.

Ngân hàng ANZ đã tìm cách tiến hành đánh giá riêng của mình, trích dẫn lợi ích tiềm năng của AI đối với năng suất đồng thời thừa nhận rằng công nghệ này “gây ra những rủi ro cố hữu, sự không chắc chắn và những hậu quả không chủ ý liên quan đến sở hữu trí tuệ, bảo mật dữ liệu và quyền riêng tư”.

Những rủi ro đó – được nhấn mạnh bởi vụ kiện bản quyền đang diễn ra chống lại GitHub, Microsoft và OpenAI qua Copilot – không được đề cập trong nghiên cứu, ngoại trừ việc tuân thủ quy định.

“Trước khi bắt đầu thử nghiệm, các rủi ro liên quan đến sở hữu trí tuệ, bảo mật dữ liệu và quyền riêng tư đã được đánh giá cùng với các nhóm pháp lý và bảo mật của ANZ để đưa ra một bộ hướng dẫn,” nó cho biết.

Thử nghiệm của ngân hàng đã xem xét tác động của Copilot đối với: Tâm lý và năng suất của nhà phát triển, cũng như chất lượng mã và tính bảo mật. Nó yêu cầu các kỹ sư phần mềm, kỹ sư đám mây và kỹ sư dữ liệu tham gia giải quyết sáu thách thức mã hóa thuật toán mỗi tuần bằng Python. Những người trong nhóm kiểm soát không được phép sử dụng Copilot nhưng được phép tìm kiếm trên internet hoặc sử dụng Stack Overflow.

Báo cáo cho biết: “Nhóm có quyền truy cập vào GitHub Copilot có thể hoàn thành nhiệm vụ của họ nhanh hơn 42.36% so với những người tham gia nhóm kiểm soát”. “…Trung bình, mã do những người tham gia Copilot tạo ra có ít mùi mã và lỗi hơn, có nghĩa là nó sẽ dễ bảo trì hơn và ít có khả năng bị hỏng hơn trong quá trình sản xuất.”

Cả hai kết quả này đều được coi là có ý nghĩa thống kê. Về vấn đề bảo mật, cuộc thử nghiệm không có kết quả thuyết phục.

Báo cáo cho biết: “Thử nghiệm không thể tạo ra dữ liệu có ý nghĩa để đo lường tính bảo mật của mã”. “Tuy nhiên, dữ liệu cho thấy Copilot không đưa bất kỳ vấn đề bảo mật lớn nào vào mã.”

Dữ liệu cho thấy Copilot không đưa bất kỳ vấn đề bảo mật lớn nào vào mã

Điều này có thể là do tính chất của các thử thách được thiết kế đủ ngắn để người tham gia có thể hoàn thành chúng cùng với công việc hàng ngày thông thường của họ. Do đó, các thử thách được gửi khá ngắn và không có nhiều chỗ cho lỗi, báo cáo lưu ý.

Về mặt cảm xúc, những người sử dụng Copilot cảm thấy tích cực về trải nghiệm này, mặc dù không quá tích cực.

“Họ cảm thấy nó giúp họ xem xét và hiểu mã hiện có, tạo tài liệu và kiểm tra mã của họ; họ cảm thấy nó cho phép họ tốn ít thời gian hơn để sửa lỗi mã và giảm thời gian phát triển tổng thể; và họ cảm thấy những đề xuất mà nó cung cấp phần nào hữu ích và phù hợp tốt với các tiêu chuẩn mã hóa của dự án của họ,” báo cáo cho biết.

Một phát hiện thú vị là Copilot hữu ích nhất đối với những lập trình viên giàu kinh nghiệm nhất.

Nghiên cứu cho biết: “Đánh giá năng suất dựa trên trình độ Python cho thấy Copilot có lợi cho người tham gia ở mọi cấp độ kỹ năng nhưng hữu ích nhất cho những người là lập trình viên Python 'Chuyên gia'," nghiên cứu cho biết thêm rằng trình trợ giúp AI mang lại nhiều cải tiến nhất (về mặt tiết kiệm thời gian) cho những nhiệm vụ khó khăn.

Mặc dù quan sát thấy rằng sự chứng thực tích cực nhẹ nhàng từ những người tham gia cho thấy Copilot có thể được cải thiện hơn nữa, nhưng báo cáo vẫn tán thành việc đưa Copilot vào quy trình sản xuất tại ngân hàng.

Báo cáo kết luận: “Khi viết bài báo này, GitHub Copilot đã được áp dụng đáng kể trong tổ chức, với hơn 1,000 người dùng sử dụng nó trong quy trình làm việc của họ”, báo cáo kết luận và cho biết thêm rằng một cuộc điều tra rộng hơn về tác động năng suất của Copilot đang được tiến hành. ®

Điểm đối âm: Hỗ trợ AI đang dẫn đến chất lượng mã nguồn thấp hơn, các nhà nghiên cứu tuyên bố

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/