Bởi John P. Desmond, Biên tập viên Xu hướng AI 

từ OpenAI đã công bố vào tháng 3 năm ngoái rằng người dùng có thể yêu cầu quyền truy cập vào API GPT-XNUMX, bộ công cụ học máy, để giúp OpenAI khám phá những điểm mạnh và giới hạn của công nghệ mới, một số kinh nghiệm đang được tích lũy.  

GPT-3 từ OpenAI, liên doanh được thành lập vào năm 2015 với 1 tỷ đô la từ các nhà đầu tư bao gồm cả Elon Musk, là thế hệ thứ ba của mô hình ngôn ngữ lớn, với công suất tăng gấp đôi-100 lần-so với người tiền nhiệm của nó, GPT-2. GPT-3 có dung lượng 175 tỷ thông số máy học. Con số này lớn gấp mười lần so với mô hình ngôn ngữ lớn tiếp theo, Trình tạo ngôn ngữ tự nhiên Turing (NLG) của Microsoft, theo Wikipedia. 

Một số nhà nghiên cứu đã cảnh báo về tác hại tiềm tàng của GPT-3. Gary Marcus, tác giả, doanh nhân và giáo sư tâm lý học Đại học New York, đã xuất bản một tài khoản với Ernest Davis trong MIT Technology Review tháng XNUMX năm ngoái, với tiêu đề: “GPT-3, Bloviator: OpenAI's trình tạo ngôn ngữ không biết nó đang nói về cái gì.” Ông trích dẫn đặc biệt là sự thiếu hiểu biết, và phàn nàn rằng OpenAI đã không cho phép nhóm nghiên cứu của mình truy cập để nghiên cứu mô hình.    

Một số đang đạt được quyền truy cập. Một trong số họ là Sahar Mor, kỹ sư AI và máy học, đồng thời là người sáng lập Stealth Co. ở San Francisco. Theo một tài khoản gần đây trong Phân TíchẤn ĐộMag, Mor học về công nghệ AI không phải ở trường đại học mà là thành viên của Đơn vị Tình báo Israel – 8200.   

"Tôi là một trong những kỹ sư đầu tiên trong cộng đồng AI có quyền truy cập vào mô hình GPT-3 của OpenAI,” Mor nói. Ông đã sử dụng công nghệ để xây dựng giấy không khí, một API trích xuất tài liệu tự động, đã ra mắt vào tháng XNUMX năm ngoái.  

Trang web thu hút khách hàng tiềm năng với “giảm khối lượng công việc vận hành của bạn” và “Không cần nhập dữ liệu thủ công nữa. Trích xuất những gì quan trọng và loại bỏ con người trong vòng lặp của bạn.”  

100 trang đầu tiên miễn phí, sau đó nó chuyển sang cơ sở đăng ký. “Gửi bất kỳ tài liệu nào, PDF hoặc hình ảnh và nhận dữ liệu có cấu trúc,” Mor nói. 

Để có được quyền truy cập, Mor đã gửi email cho CTO của OpenAI với thông tin cơ bản ngắn về bản thân và ứng dụng mà anh ấy nghĩ đến. Một phần của quy trình để được chấp thuận bao gồm việc viết những gì anh ấy học được về những thiếu sót của mô hình và các cách tiềm năng để giảm thiểu chúng. Sau khi nộp đơn, người ta phải đợi. “Thời gian chờ đợi hiện tại có thể là mãi mãi,” với các nhà phát triển đã nộp đơn vào cuối tháng XNUMX vẫn đang chờ phản hồi vào giữa tháng XNUMX.   

Sự phát triển bắt đầu với OpenAI's Công cụ Playground để lặp lại và xác thực xem vấn đề của bạn có thể được giải quyết bằng GPT-3 hay không. “Việc mày mò này là chìa khóa trong việc phát triển trực giác cần thiết để tạo ra lời nhắc thành công,” đỏ tía đã nêu. Anh ấy đã nhìn thấy cơ hội để OpenAI tự động hóa tốt hơn giai đoạn này, điều mà anh ấy đã đề xuất và được triển khai vài tháng sau đó với họ. sê-ri mô hình hướng dẫn.  

Tiếp theo, hài lòng với một mẫu nhanh chóng, anh ấy đã tích hợp nó vào mã của mình. Anh ấy đã xử lý trước mọi tài liệu, biến OCT của nó thành “lời nhắc GPT-3 dễ hiểu” mà anh ấy đã sử dụng để truy vấn API. Sau khi thử nghiệm thêm và tối ưu hóa các thông số, anh ấy đã triển khai ứng dụng.  

Khi được hỏi những thách thức mà anh gặp phải khi đào tạo các mô hình ngôn ngữ lớn, Mor cho biết “thiếu dữ liệu liên quan đến nhiệm vụ hiện tại”, cụ thể là xử lý tài liệu. Một số công ty thương mại có API tài liệu thông minh, nhưng không phải là phần mềm nguồn mở. đỏ tía hiện đang xây dựng một cái mà anh ấy gọi là DocumNet, gọi nó là “tương đương với ImageNet cho các tài liệu.”   

Khả năng đa phương thức Kết hợp ngôn ngữ tự nhiên, hình ảnh sắp tới 

Trong tháng Một, OpenAI đã phát hành DALL-E, một chương trình AI tạo ra hình ảnh từ các mô tả văn bản. Nó sử dụng phiên bản 12 tỷ tham số của mô hình máy biến áp GPT-3 để tích hợp các đầu vào ngôn ngữ tự nhiên và tạo ra các hình ảnh tương ứng, theo Wikipedia.  OpenAI cũng được phát hành gần đây KẸP, một mạng thần kinh học các khái niệm trực quan từ sự giám sát ngôn ngữ tự nhiên.   

Khi được hỏi liệu anh ấy có coi những “mô hình hợp nhất” AI này hay các hệ thống đa phương thức kết hợp văn bản và hình ảnh là tương lai của nghiên cứu AI hay không, Mor nói, “Chắc chắn rồi.” Ông trích dẫn một ví dụ về mô hình học sâu để phát hiện ung thư giai đoạn đầu dựa trên hình ảnh, bị hạn chế về hiệu suất khi không kết hợp với văn bản trong biểu đồ của bệnh nhân từ hồ sơ sức khỏe điện tử.   

“Lý do chính khiến các hệ thống đa phương thức không phổ biến trong nghiên cứu AI là do chúng thiếu sót trong việc thu thập các sai lệch trong bộ dữ liệu. Điều này có thể được giải quyết với nhiều dữ liệu hơn, ngày càng trở nên khả dụng hơn,” Mor nói. Ngoài ra, các ứng dụng đa phương thức không chỉ giới hạn ở tầm nhìn cộng với ngôn ngữ, mà có thể mở rộng sang tầm nhìn cộng với ngôn ngữ và âm thanh, ông đề xuất. 

Khi được hỏi liệu anh ấy có tin rằng GPT-3 nên được quy định trong tương lai hay không, Mor nói có, nhưng điều đó thật khó. OpenAI đang tự điều chỉnh, cho thấy rằng họ thừa nhận khả năng gây hại của công nghệ của nó. “Và nếu đúng như vậy, liệu chúng ta có thể tin tưởng một công ty thương mại sẽ tự điều chỉnh khi không có cơ quan quản lý có hiểu biết không? Điều gì sẽ xảy ra khi một công ty như vậy phải đối mặt với sự đánh đổi giữa đạo đức và doanh thu?”, Mor băn khoăn.  

Chuyên gia SEO ở Úc đã đạt được quyền truy cập GPT-3 như thế nào 

Một chuyên gia tối ưu hóa công cụ tìm kiếm ở Úc gần đây cũng đã có quyền truy cập vào GPT-3 và đã viết về trải nghiệm này trên blog cho công ty của mình, Kỹ thuật số lên.  

Người sáng lập Ashar Jamil quan tâm đến GPT-3 khi đọc một bài báo trên The Guardian mà tờ báo nói là do người máy viết. “ Tôi rất vui khi sử dụng GPT-3 theo những cách có thể giúp mọi người trong ngành SEO,” Jamil, người có công ty cung cấp dịch vụ tiếp thị kỹ thuật số và truyền thông xã hội, cho biết.  

Anh ấy đã hoàn thành OpenAI biểu mẫu truy cập danh sách chờ, trình bày chi tiết mục đích và chi tiết dự án của mình, và chờ đợi. Sau một tuần, mất kiên nhẫn, anh quyết định tăng cường nỗ lực. Anh ấy đã mua một “miền ưa thích” cho dự án dự định của mình, thiết kế một trang đích thử nghiệm với một hoạt ảnh nhỏ, đã tweet về dự án bằng một video và được gắn thẻ OpenAI Chủ tịch. Sau 10 phút anh nhận được hồi âm của em xin email của anh.   

“Chỉ sau 10 phút, tôi nhận được hồi âm của anh ấy xin email của tôi. Và bùng nổ, tôi đã có quyền truy cập,” Jamil nói.  

Một cách tiếp cận hơi khác để điều tra GPT-3 gần đây đã được các nhà nghiên cứu tại phòng thí nghiệm AI lấy con người làm trung tâm của Đại học Stanford thử nghiệm. HẢI. Một nhóm các học giả về khoa học máy tính, ngôn ngữ học và triết học đã được triệu tập trong hội thảo “Quy tắc nhà Chatham”, trong đó không ai trong số những người tham gia có thể được xác định tên, lý thuyết là nó có thể dẫn đến một cuộc thảo luận tự do hơn.   

Những người tham gia làm việc để giải quyết hai câu hỏi: wkhả năng kỹ thuật và hạn chế của các mô hình ngôn ngữ lớn? Và, những tác động xã hội của việc sử dụng rộng rãi các mô hình ngôn ngữ lớn là gì?    

Trong số các điểm thảo luận:  

Vì GPT-3 có nhiều khả năng "bao gồm tóm tắt văn bản, chatbot, tìm kiếm và tạo mã,” rất khó để mô tả tất cả các cách sử dụng và lạm dụng có thể có của nó.    

Ngoài ra, “Không rõ những người mẫu có năng lực cao sẽ có tác động gì đối với thị trường lao động. Điều này đặt ra câu hỏi khi nào (hoặc cái gì) công việc có thể (hoặc nên) được tự động hóa bằng các mô hình ngôn ngữ lớn,” bản tóm tắt từ HAI cho biết.  

Một nhận xét khác: "Một số người tham gia nói rằng GPT-3 thiếu ý định, mục tiêu và khả năng hiểu nguyên nhân và kết quả—tất cả các dấu hiệu nhận thức của con người.” 

Cũng thế, “GPT-3 có thể thể hiện hành vi không mong muốn, bao gồm các thành kiến ​​về chủng tộc, giới tính và tôn giáo đã biết,” bản tóm tắt nêu rõ. Một số cuộc thảo luận đã diễn ra sau đó về cách phản ứng với điều này. Cuối cùng, “Những người tham gia đồng ý rằng không có viên đạn bạc nào và cần có nghiên cứu liên ngành hơn nữa về những giá trị mà chúng ta nên thấm nhuần các mô hình này và cách thực hiện điều này.”  

Tất cả đều nhất trí về tính cấp bách trong việc thiết lập các tiêu chuẩn và nguyên tắc xung quanh việc sử dụng các mô hình ngôn ngữ lớn như GPT-3.  

Đọc các bài báo nguồn và thông tin in MIT Technology Review, Trong Phân TíchẤn ĐộMag, trên blog của Kỹ thuật số lên, Và từ Phòng thí nghiệm AI lấy con người làm trung tâm của Đại học Stanford tại HẢI. 

Coinsmart. Đặt cạnh Bitcoin-Börse ở Europa
Nguồn: https://www.aitrends.com/ai-research/early-experience-with-gpt-3-large-lingu-model-points-to-uncertainty/