Việc triển khai các hệ thống AI mạnh mẽ đã nâng cao hiểu biết của chúng ta về sự an toàn và lạm dụng nhiều hơn những gì có thể có được chỉ thông qua nghiên cứu. Đáng chú ý:
- Việc lạm dụng mô hình ngôn ngữ dựa trên API thường xuất hiện ở các dạng khác nhau mà chúng tôi lo ngại nhất.
- Chúng tôi đã xác định những hạn chế trong việc đánh giá mô hình ngôn ngữ hiện có mà chúng tôi đang giải quyết bằng các điểm chuẩn và bộ phân loại mới.
- Nghiên cứu cơ bản về an toàn mang lại những lợi ích đáng kể cho tiện ích thương mại của các hệ thống AI.
Ở đây, chúng tôi mô tả suy nghĩ mới nhất của mình với hy vọng giúp các nhà phát triển AI khác giải quyết vấn đề an toàn và lạm dụng các mô hình đã triển khai.
Over hai năm qua, chúng tôi đã học được rất nhiều về cách các mô hình ngôn ngữ có thể được sử dụng và lạm dụng — những hiểu biết sâu sắc mà chúng tôi không thể có được nếu không có kinh nghiệm triển khai trong thế giới thực. Vào tháng 2020 năm XNUMX, chúng tôi bắt đầu cấp quyền truy cập cho các nhà phát triển và nhà nghiên cứu vào API OpenAI, một giao diện để truy cập và xây dựng ứng dụng trên các mô hình AI mới do OpenAI phát triển. Việc triển khai GPT-3, Codex và các mô hình khác theo cách giảm thiểu rủi ro gây hại đã đặt ra nhiều thách thức về kỹ thuật và chính sách.
Tổng quan về Phương pháp Tiếp cận Triển khai Mô hình của Chúng tôi
Các mô hình ngôn ngữ lớn hiện có khả năng thực hiện rất nhiều nhiệm vụ, thường ra khỏi hộp. Hồ sơ rủi ro, ứng dụng tiềm năng và ảnh hưởng rộng lớn hơn của chúng đối với xã hội vẫn ít hiểu. Do đó, cách tiếp cận triển khai của chúng tôi nhấn mạnh sự lặp lại liên tục và sử dụng các chiến lược sau nhằm tối đa hóa lợi ích của việc triển khai đồng thời giảm rủi ro liên quan:
- Phân tích rủi ro trước khi triển khai, tận dụng một loạt các đánh giá an toàn ngày càng tăng và các công cụ nhóm đỏ (ví dụ: chúng tôi đã kiểm tra GuiductGPT của mình để tìm bất kỳ sự suy giảm an toàn nào bằng cách sử dụng các đánh giá thảo luận dưới đây)
- Bắt đầu với cơ sở người dùng nhỏ (ví dụ: cả GPT-3 và của chúng tôi Hướng dẫnGPT sê-ri bắt đầu dưới dạng bản betas riêng)
- Nghiên cứu kết quả thử nghiệm của các trường hợp sử dụng mới (ví dụ: khám phá các điều kiện mà theo đó chúng tôi có thể cho phép tạo nội dung dạng dài một cách an toàn, làm việc với một số lượng nhỏ khách hàng)
- Triển khai các quy trình giúp theo dõi việc sử dụng (ví dụ: xem xét các trường hợp sử dụng, hạn ngạch mã thông báo và giới hạn tốc độ)
- Tiến hành các đánh giá hồi cứu chi tiết (ví dụ: các sự cố an toàn và các triển khai lớn)
Lưu ý rằng sơ đồ này nhằm truyền đạt một cách trực quan nhu cầu về các vòng phản hồi trong quá trình liên tục phát triển và triển khai mô hình và thực tế là an toàn phải được tích hợp ở mỗi giai đoạn. Nó không nhằm mục đích truyền đạt một bức tranh hoàn chỉnh hoặc lý tưởng về quy trình của chúng tôi hoặc bất kỳ tổ chức nào khác.
Không có viên đạn bạc nào cho việc triển khai có trách nhiệm, vì vậy chúng tôi cố gắng tìm hiểu và giải quyết các hạn chế của mô hình của chúng tôi cũng như các con đường tiềm ẩn để sử dụng sai mục đích, ở mọi giai đoạn phát triển và triển khai. Cách tiếp cận này cho phép chúng tôi tìm hiểu nhiều nhất có thể về các vấn đề an toàn và chính sách ở quy mô nhỏ và kết hợp những thông tin chi tiết đó trước khi triển khai quy mô lớn hơn.
Mặc dù không đầy đủ, một số lĩnh vực mà chúng tôi đã đầu tư cho đến nay bao gồm[1]:
- Tập huấn trước dữ liệu tuyển chọn và lọc
- Tinh chỉnh mô hình tốt hơn làm theo hướng dẫn
- Phân tích rủi ro khi triển khai tiềm năng
- Cung cấp người dùng chi tiết tài liệu hướng dẫn
- Xây dựng công cụ để sàng lọc kết quả đầu ra của mô hình có hại
- Xem xét các trường hợp sử dụng chống lại Chính sách
- Giám sát các dấu hiệu của sử dụng sai
- Nghiên cứu tác động của các mô hình của chúng tôi
Vì mỗi giai đoạn can thiệp đều có những hạn chế, nên cần phải có một cách tiếp cận tổng thể.
Có những lĩnh vực mà chúng tôi có thể làm được nhiều hơn và những nơi chúng tôi vẫn còn chỗ để cải thiện. Ví dụ: khi chúng tôi lần đầu tiên làm việc trên GPT-3, chúng tôi xem nó như một tác phẩm nghiên cứu nội bộ hơn là một hệ thống sản xuất và không tích cực lọc ra dữ liệu đào tạo độc hại như chúng tôi có thể từng làm. Chúng tôi đã đầu tư nhiều hơn vào việc nghiên cứu và loại bỏ vật liệu đó cho các mô hình tiếp theo. Chúng tôi đã mất nhiều thời gian hơn để giải quyết một số trường hợp lạm dụng trong trường hợp chúng tôi không có chính sách rõ ràng về chủ đề này và đã trở nên tốt hơn trong việc lặp lại các chính sách đó. Và chúng tôi tiếp tục lặp lại hướng tới một gói các yêu cầu an toàn có hiệu quả tối đa trong việc giải quyết các rủi ro, đồng thời cũng được thông báo rõ ràng với các nhà phát triển và giảm thiểu ma sát quá mức.
Tuy nhiên, chúng tôi tin rằng cách tiếp cận của chúng tôi đã cho phép chúng tôi đo lường và giảm thiểu các loại tác hại khác nhau từ việc sử dụng mô hình ngôn ngữ so với cách tiếp cận đơn giản hơn, đồng thời cho phép một loạt các ứng dụng học thuật, nghệ thuật và thương mại của chúng tôi các mô hình.[2]
Sử dụng sai nhiều hình dạng và kích thước mô hình ngôn ngữ
OpenAI đã tích cực nghiên cứu các rủi ro của việc lạm dụng AI kể từ khi chúng tôi nghiên cứu ban đầu về sử dụng AI độc hại 2018 và trên GPT-2 vào năm 2019 và chúng tôi đặc biệt chú ý đến các hệ thống AI trao quyền cho các hoạt động ảnh hưởng. Chúng ta có làm việc với các chuyên gia bên ngoài để phát triển bằng chứng về khái niệm và thăng chức cẩn thận phân tích của các rủi ro như vậy bởi các bên thứ ba. Chúng tôi vẫn cam kết giải quyết các rủi ro liên quan đến các hoạt động ảnh hưởng có kích hoạt mô hình ngôn ngữ và gần đây đã đồng tổ chức một hội thảo về chủ đề này.[3]
Tuy nhiên, chúng tôi đã phát hiện và ngăn chặn hàng trăm diễn viên cố gắng sử dụng sai GPT-3 cho nhiều mục đích hơn là tạo ra thông tin sai lệch cho các hoạt động gây ảnh hưởng, bao gồm cả những cách mà chúng tôi không lường trước được hoặc chúng tôi đã đoán trước nhưng không mong đợi. rất thịnh hành.[4] Của chúng tôi hướng dẫn trường hợp sử dụng, hướng dẫn nội dungvà cơ sở hạ tầng phát hiện và phản hồi nội bộ ban đầu hướng tới những rủi ro mà chúng tôi dự đoán dựa trên nghiên cứu nội bộ và bên ngoài, chẳng hạn như tạo nội dung chính trị gây hiểu lầm bằng GPT-3 hoặc tạo phần mềm độc hại bằng Codex. Các nỗ lực phát hiện và ứng phó của chúng tôi đã phát triển theo thời gian để đối phó với các trường hợp lạm dụng thực tế gặp phải "trong tự nhiên" không nổi bật như các hoạt động ảnh hưởng trong các đánh giá rủi ro ban đầu của chúng tôi. Ví dụ bao gồm quảng cáo spam cho các sản phẩm y tế đáng ngờ và nhập vai những tưởng tượng phân biệt chủng tộc.
Để hỗ trợ nghiên cứu việc sử dụng sai mô hình ngôn ngữ và giảm thiểu việc sử dụng sai mô hình ngôn ngữ, chúng tôi đang tích cực tìm hiểu các cơ hội để chia sẻ số liệu thống kê về các sự cố an toàn trong năm nay, nhằm cụ thể hóa các cuộc thảo luận về việc sử dụng sai mô hình ngôn ngữ.
Độ khó của Đo lường Rủi ro và Tác động
Nhiều khía cạnh của rủi ro và tác động của mô hình ngôn ngữ vẫn khó đo lường và do đó khó có thể giám sát, giảm thiểu và tiết lộ một cách có trách nhiệm. Chúng tôi đã tích cực sử dụng các điểm chuẩn học thuật hiện có để đánh giá mô hình ngôn ngữ và mong muốn tiếp tục xây dựng dựa trên công việc bên ngoài, nhưng chúng tôi cũng nhận thấy rằng các bộ dữ liệu điểm chuẩn hiện tại thường không phản ánh những rủi ro về an toàn và lạm dụng mà chúng tôi thấy trong thực tế.[5]
Những hạn chế như vậy phản ánh thực tế là các bộ dữ liệu học thuật hiếm khi được tạo ra với mục đích rõ ràng là thông báo cho việc sử dụng sản xuất các mô hình ngôn ngữ, và không được hưởng lợi từ kinh nghiệm thu được từ việc triển khai các mô hình đó trên quy mô lớn. Do đó, chúng tôi đã và đang phát triển các bộ dữ liệu và khung đánh giá mới để đo lường mức độ an toàn của các mô hình của chúng tôi, chúng tôi dự định sẽ sớm phát hành. Cụ thể, chúng tôi đã phát triển các chỉ số đánh giá mới để đo mức độ độc hại trong đầu ra của mô hình và cũng đã phát triển các bộ phân loại nội bộ để phát hiện nội dung vi phạm chính sách nội dung, chẳng hạn như nội dung khiêu dâm, lời nói căm thù, bạo lực, quấy rối và tự làm hại bản thân. Cả hai điều này cũng được tận dụng để cải thiện dữ liệu trước khi đào tạo của chúng tôi[6]- cụ thể là bằng cách sử dụng bộ phân loại để lọc ra nội dung và các chỉ số đánh giá để đo lường tác động của các biện pháp can thiệp tập dữ liệu.
Việc phân loại các đầu ra mô hình riêng lẻ một cách đáng tin cậy theo các chiều khác nhau đã khó và việc đo lường tác động xã hội của chúng ở quy mô của API OpenAI còn khó hơn. Chúng tôi đã thực hiện một số nghiên cứu nội bộ để xây dựng cơ chế thể chế cho việc đo lường như vậy, nhưng những nghiên cứu này thường đặt ra nhiều câu hỏi hơn là câu trả lời.
Chúng tôi đặc biệt quan tâm đến việc hiểu rõ hơn tác động kinh tế của các mô hình của chúng tôi và sự phân bổ của những tác động đó. Chúng tôi có lý do chính đáng để tin rằng tác động của thị trường lao động từ việc triển khai các mô hình hiện tại có thể là đáng kể về mặt tuyệt đối và chúng sẽ phát triển khi khả năng và phạm vi tiếp cận của các mô hình của chúng tôi phát triển. Cho đến nay, chúng tôi đã biết về một loạt các hiệu ứng cục bộ, bao gồm các cải tiến năng suất lớn trên các tác vụ hiện có do các cá nhân thực hiện như copywriting và tóm tắt (đôi khi góp phần tạo ra và thay đổi công việc), cũng như các trường hợp API đã mở khóa các ứng dụng mới mà trước đây không khả thi , nhu la tổng hợp phản hồi định tính quy mô lớn. Nhưng chúng tôi thiếu hiểu biết tốt về các hiệu ứng ròng.
Chúng tôi tin rằng điều quan trọng đối với những người đang phát triển và triển khai các công nghệ AI mạnh mẽ là phải giải quyết được cả những tác động tích cực và tiêu cực trong công việc của họ. Chúng tôi thảo luận một số bước theo hướng đó trong phần kết luận của bài đăng này.
Mối quan hệ giữa sự an toàn và tiện ích của các hệ thống AI
Trong của chúng tôi Điều lệ, được xuất bản vào năm 2018, chúng tôi nói rằng chúng tôi “lo ngại về việc phát triển AGI ở giai đoạn cuối sẽ trở thành một cuộc đua cạnh tranh mà không có thời gian để có các biện pháp phòng ngừa an toàn đầy đủ.” Sau đó chúng tôi công bố phân tích chi tiết về sự phát triển AI cạnh tranh và chúng tôi đã theo dõi chặt chẽ tiếp theo tìm kiếm. Đồng thời, việc triển khai các hệ thống AI thông qua API OpenAI cũng giúp chúng tôi hiểu sâu hơn về sự hiệp đồng giữa an toàn và tiện ích.
Ví dụ: các nhà phát triển cực kỳ ưa thích các mô hình GuiductGPT của chúng tôi — được tinh chỉnh để làm theo ý định của người dùng[7]—Qua các kiểu máy GPT-3 cơ bản. Tuy nhiên, đáng chú ý là, ban đầu các mô hình GuiductGPT không được thúc đẩy bởi các cân nhắc thương mại, mà là nhằm mục đích đạt được tiến bộ về lâu dài vấn đề liên kết. Về mặt thực tế, điều này có nghĩa là khách hàng, có lẽ không ngạc nhiên, thích các mô hình luôn hoạt động và hiểu ý định của người dùng, và các mô hình ít có khả năng tạo ra kết quả đầu ra có hại hoặc không chính xác.[8] Nghiên cứu cơ bản khác, chẳng hạn như nghiên cứu của chúng tôi về tận dụng thông tin được truy xuất từ Internet để trả lời các câu hỏi một cách trung thực hơn, cũng có tiềm năng cải thiện tiện ích thương mại của các hệ thống AI.[9]
Những hiệp lực này sẽ không phải lúc nào cũng xảy ra. Ví dụ: các hệ thống mạnh hơn thường sẽ mất nhiều thời gian hơn để đánh giá và sắp xếp hiệu quả, làm mất đi các cơ hội thu lợi nhuận ngay lập tức. Và tiện ích của người dùng và của xã hội có thể không đồng nhất với nhau do những tác động bên ngoài tiêu cực — hãy cân nhắc việc viết bài quảng cáo hoàn toàn tự động, điều này có thể có lợi cho người tạo nội dung nhưng không tốt cho toàn bộ hệ sinh thái thông tin.
Thật đáng khích lệ khi thấy những trường hợp có sức mạnh tổng hợp mạnh mẽ giữa an toàn và tiện ích, nhưng chúng tôi cam kết đầu tư vào nghiên cứu chính sách và an toàn ngay cả khi chúng đánh đổi bằng tiện ích thương mại.
Những cách để tham gia
Mỗi bài học ở trên đặt ra những câu hỏi mới của riêng nó. Chúng ta vẫn có thể không phát hiện và lường trước được những loại sự cố an toàn nào? Làm thế nào chúng ta có thể đo lường rủi ro và tác động tốt hơn? Làm thế nào chúng ta có thể tiếp tục cải thiện cả tính an toàn và tiện ích của các mô hình của mình và điều hướng sự cân bằng giữa hai mô hình này khi chúng phát sinh?
Chúng tôi đang tích cực thảo luận về nhiều vấn đề này với các công ty triển khai mô hình ngôn ngữ khác. Nhưng chúng tôi cũng biết rằng không có tổ chức hoặc nhóm tổ chức nào có tất cả các câu trả lời và chúng tôi muốn nêu bật một số cách mà người đọc có thể tham gia nhiều hơn vào việc hiểu và định hình việc triển khai các hệ thống AI hiện đại của chúng tôi.
Đầu tiên, có được kinh nghiệm trực tiếp tương tác với các hệ thống AI hiện đại là vô giá để hiểu được khả năng và ý nghĩa của chúng. Gần đây, chúng tôi đã kết thúc danh sách chờ API sau khi xây dựng niềm tin hơn vào khả năng phát hiện và ứng phó hiệu quả với việc sử dụng sai. Các cá nhân trong các quốc gia và vùng lãnh thổ được hỗ trợ có thể nhanh chóng có quyền truy cập vào API OpenAI bằng cách đăng ký Ở đây.
Thứ hai, các nhà nghiên cứu làm việc về các chủ đề mà chúng tôi quan tâm đặc biệt như thiên vị và lạm dụng, và những người sẽ được hưởng lợi từ hỗ trợ tài chính, có thể đăng ký các khoản tín dụng API được trợ cấp bằng cách sử dụng biểu mẫu này. Nghiên cứu bên ngoài là rất quan trọng để cung cấp thông tin cho cả hiểu biết của chúng ta về các hệ thống nhiều mặt này, cũng như hiểu biết rộng hơn của công chúng.
Cuối cùng, hôm nay chúng tôi sẽ xuất bản một chương trình nghiên cứu khám phá các tác động của thị trường lao động liên quan đến dòng mô hình Codex của chúng tôi và kêu gọi các cộng tác viên bên ngoài thực hiện nghiên cứu này. Chúng tôi rất vui được làm việc với các nhà nghiên cứu độc lập để nghiên cứu tác động của các công nghệ của chúng tôi nhằm cung cấp thông tin về các biện pháp can thiệp chính sách thích hợp và cuối cùng mở rộng tư duy của chúng tôi từ việc tạo mã sang các phương thức khác.
Nếu bạn quan tâm đến việc triển khai có trách nhiệm các công nghệ AI tiên tiến, ứng dụng để làm việc tại OpenAI!
.dropcap {float: left; cỡ chữ: 2.8em; chiều cao dòng: 0.72; biến đổi: translateY (calc (0.2em + 1px)); padding-right: 0.12em;
}
