CCC 在今年的 AAAS 年會上支持了三場科學會議，如果您無法親自參加，我們將回顧每場會議。本週，我們將總結會議小組成員演講的亮點，“大型語言模式：樂於助人的助手、浪漫的伴侶還是騙子？” 該小組由 瑪麗亞·基尼博士, CCC 理事會成員、明尼蘇達大學電腦科學與工程教授，特色 埃斯·卡馬爾博士，微軟研究院人工智慧前沿董事總經理， 哈爾·道梅三世博士，馬裡蘭大學計算機科學教授， 喬納森·梅博士，南加州大學資訊科學研究所電腦科學教授。

大型語言模型處於當今社會對話的最前沿，而且它們是否符合圍繞它們的炒作，尚無定論。本次 AAAS 會議的小組成員討論了法學碩士的可能性、挑戰和潛力。

第一位小組成員是 Ece Kamar 博士（微軟研究院）。她將人工智慧的現狀描述為「相變」。她提供了獨特的視角，見證了行業中人工智慧的變化，以及深度學習模型的指數級增長，很少有人預計這種增長會持續到 2024 年。

這一增長是由於法學碩士接受培訓的數據量的增加以及稱為 Transformer 的更大架構造成的。 Kamar 博士在圖表中分享的一個有趣的見解是，模型的擴展速度如此之快，因為它們最初只是針對特定任務進行訓練；他們可以可靠地執行任務。 ChatGPT 表明，如果規模足夠大，包括模型考慮的參數數量，模型可以開始以與經過專門訓練來完成相同任務的模型類似的性能來完成任務。

這就是LLM相變的定義：模型不再需要針對特定任務進行專門訓練，而是可以進行通用訓練，然後執行許多任務。而且沒有跡象顯示這些能力的成長正在放緩。

Kamar 博士很早就接觸到了 GPT-4，在她大量的測試過程中，它在規模和數據方面的顯著改進以及它可以同步完成不同任務的事實給她留下了深刻的印象。

這些法學碩士的未來會是如何？卡馬爾博士預計法學碩士將超越人類語言，學習機器語言並能夠在兩種語言之間進行翻譯。這將增強輸入和輸出的模態能力，這可能導致模型不僅能夠產生語言，還能夠產生行為中的動作和預測。

接下來，卡馬爾博士詳細介紹了計算中發生的重要相變。如今系統的開發方式非常不同，這種開發需要創造一種新的計算範式，而我們目前只觸及了表面。未來幾年，我們與電腦互動的方式將會發生很大的變化，這需要重新思考人機互動（HCI）。

另一個變化是人類前進的工作方式。微軟進行的研究表明，在人工智慧的幫助下，員工的工作效率可以透過編寫程式碼行數來提高一倍。這是一項令人難以置信的壯舉，但這項技術的工作方式及其智慧從何而來很大程度上未知，因此該領域存在許多研究問題。

還有很多關於像這樣的法學碩士可能被濫用的問題。人們對公平性、不同的人口風險以及其他更嚴重的後果感到擔憂。雖然科學發現具有巨大的潛力，但也存在著巨大的潛在危害；例如說服父母不要給孩子接種疫苗、說服孩子做壞事，或說服某人世界是平的。法學碩士的開發已經投入了大量的安全工作，開源也非常有助於在這一領域取得進展。  

卡馬爾博士隨後向科學界提出了問題：

• 人工智慧的顛覆將如何改變科學？
• 我們是否正在採取措施改變教育和培訓下一代的方式？
• 您是否正在建立技術基礎設施以從此階段轉變中受益？
• 我們是否正在為子孫後代迎接新世界做好準備？

最後，Kamar博士強調，值得注意的相變核心面向之一是法學碩士的發展速度。這些模型在很短的時間內取得了顯著的改進，計算研究人員還有很多工作要做。

第二位小組成員 Hal Daumé III 博士（馬裡蘭大學）在演講開始時解釋說，應該開發人工智慧模型來幫助人們做他們想做的事情；增強人類工作，而不是自動化。自 60 世紀 XNUMX 年代以來，這種自動化願景已經滲透到整個社會。科學家並沒有幫助人們更好地下棋，而是設計了一個自己下棋的系統。

這種哲學不會消失。如今，一旦人工智慧夠智能，能夠獨立完成一項任務，它仍然具有新聞價值。這是人工智慧的血液深處。在花費時間和金錢實現系統自動化之前，我們應該先停下來問一下這符合我們的利益嗎？

Daumé 博士提出了增強的概念：人工智慧如何用作工具？像 Github copilot 這樣的系統可以提高生產力，但光是提高生產力還不夠。該系統的一位用戶驚呼，它讓他們專注於有趣的編碼部分，這更符合人工智慧的建構方式。

人工智慧研究人員不應該想要刪除一個人工作中有趣的部分；他們應該優先考慮消除苦差事。它應該改善人類的生活，而不僅僅是提高公司的利潤。

Daumé 博士合著了一篇論文，提出了這些觀點，但反駁的觀點是，從技術角度來看，尤其是使用機器學習技術建立系統，自動化往往比增強更容易。這是因為訓練系統所需的資料很容易取得。我們透過工作來提供這些信息，並且很容易訓練機器學習來模擬人類行為。教授一個系統來幫助某人完成任務要困難得多。這些資訊分散在 NSF 的文獻評論、程式設計師寫在紙上的內容等。幫助人類完成任務所需的數據沒有記錄。

建立有用系統的另一個關鍵方面是詢問使用者哪些系統對他們的生活有幫助。例如，盲人的需求與視力正常的人的需求有很大不同（也不同於視力正常的人的需求） 認為 盲人的需求是）。道梅博士分享的一個例子是，視覺系統可能會顯示某個物體是一罐汽水，但盲人通常可以自己分辨出來。蘇打水的成分對他們來說會更有用。系統對簡單理解問題的回應品質與解決可訪問性問題之間存在巨大差距，而且這種差距正在擴大。

在創建技術來「幫助」社群需求之前首先確定社群需求的重要性的另一個例子是內容審核。許多志工內容管理員參與這項工作是因為他們想讓世界變得更美好，並幫助建立一個他們認為重要的社群。當被問及他們想要什麼樣的工具來協助他們的角色時，他們通常不希望他們的工作完全自動化，他們只是希望像查找聊天記錄這樣無聊的部分變得更容易。

道梅博士用他熱愛汽車的媽媽的最後一個例子來結束這次討論，她熱愛汽車，但拒絕駕駛自動擋汽車。她選擇了手排變速箱，這個選擇對她來說非常重要。人們應該能夠控制自己的任務是否自動化。

Daumé 博士繼續討論，提供了當前無障礙技術方法的替代方案。例如，當圍繞手語識別構建工具時，不要在互聯網上抓取人們手語的視頻（這有很多同意和隱私問題，而且這些視頻大多數是專業人士的，沒有背景噪音/幹擾，這不是“不現實），聯繫社區並啟動一個項目，使他們能夠提交視頻來培訓工具。像這樣的社群優先策略更道德和負責任，並給予使用者更多的控制權。 

Daumé 博士總結道，法學碩士和其他工具的發展應優先考慮實用性，而不是智力。它越有用，就越能幫助人們做他們不能或不想做的事情，而不是自動化人們已經做得很好和喜歡的事情。

喬納森·梅博士（南加州大學資訊科學研究所）是下一位演講者，他首先回顧了會議的主題：「邁向無圍牆的科學」。他認為，雖然最近法學碩士的發展為某些人推倒了障礙，但它卻為許多人築起了障礙。

他首先討論了網路如何降低了進行研究的許多障礙；當他 17 歲時，他想知道為什麼《星際大戰》和《魔戒》的情節非常相似，他必須開車去圖書館找到一本有答案的書。他為他的博士論文做了更高風險但同樣艱鉅的研究，但在他學習結束時，已經創建了一個關於該主題的維基百科頁面，然後是互聯網搜索，現在無車研究已成為常態。

梅博士繼續說道，他很榮幸能夠成為法學碩士的目標受眾。他不經常編碼，也從未學習過很多編碼技能，但當他的工作確實需要它時，他可以詢問 ChatGPT，它做得很好。 

然而，要使法學碩士的實用性得到廣泛應用，還存在著許多障礙：

• 語言牆：模型接受的數據越多，效果越好。雖然當今的商業法學碩士是多語言的，但他們非常重視英語。例如，ChatGPT 是用 92% 的英語語言進行訓練的。此外，作為法學碩士的「秘密武器」的教學數據絕大多數是英語（例如 ChatGPT 的 96%）。儘管現有測試存在系統性能差距，但目前在提高這些模型的跨語言性能方面所做的努力很少，這是有道理的，因為人們普遍認為機器翻譯（MT）已“解決”，並且應該將努力集中在其他任務。
• 身份牆：如果你問 ChatGPT 聖誕節該做什麼，它會專注於你可以參與的不同活動和傳統；它沒有提到你可以去上班。事實證明，法學碩士在描述不同的人口群體時表現不同，表達更多的負面情緒，甚至在某些情況下表現出徹底的毒性。刻板的判決很可能會對 LGBTQ+ 或猶太人等社群造成傷害；整體而言，存在著許多偏見，這會對部署決策產生影響。有一些內建的保護措施，更明確的探索性問題不太可能得到有毒的答案，但模型在機率上更喜歡刻板的陳述和結果，這就是存在危害的地方，特別是在下游功能中使用模型時，你看不到產出（即貸款資格）。他舉了一個例子，法學碩士在根據工作生成個人面孔時表現出偏見；薪資較低的工作是婦女和少數族裔，而薪資較高的工作是白人男性。
• 環境牆（軟體）：法學碩士需要大量的能源來生產和運作。即使是最「適度」的LM每年消耗的能源也比一個人消耗的能源多3倍。 ChatGPT 等最大語言模型的數據也存在顯著差距，但擁有這些模型的公司明確拒絕存取其能源消耗。
• 環境牆（硬體）：為了生產所有法學碩士都需要的晶片，您需要“衝突材料”，例如鉭（在剛果開採）和鉿（在塞內加爾和俄羅斯開採）。在美國，公司應該報告他們使用的衝突礦物的數量，但美國公開表明這些材料的使用量有所減少，但這不可能是真的。除此之外，還有很多社會政治問題，例如中國限制鍺和鎵以報復美國的出口限制。

梅伊博士表示，這些類別揭示了法學碩士造成的許多下游問題中的一些，以及人們沒有受益的情況。有理由擔心，但也有機會進行研究和/或行為改變，以減輕其中一些危害：

• 語言：將更多的研究經費投入多語言研究（不僅是英語的霸權翻譯）。
• 認同：自下而上和社區包容性研究。部署前的模型修改和測試
• 環境：使用較少資料和更改較少參數的演算法開發（例如 LoRA、適配器、非 RL PO）。認真對待計算並堅持監管層面的開放 

May 博士在結束小組討論時重申了 Daumé 博士的觀點，即人們在與法學碩士互動時應該以他們希望的方式受益，這需要在發展階段成為首要考慮因素。

非常感謝您的閱讀，請明天收看本次會議問答部分的回顧。

• SEO 支持的內容和 PR 分發。 今天得到放大。
• PlatoData.Network 垂直生成人工智能。 賦予自己力量。 訪問這裡。
• 柏拉圖愛流。 Web3 智能。 知識放大。 訪問這裡。
• 柏拉圖ESG。 碳， 清潔科技, 能源， 環境， 太陽能， 廢物管理。 訪問這裡。
• 柏拉圖健康。 生物技術和臨床試驗情報。 訪問這裡。
• 資源： https://feeds.feedblitz.com/~/874484594/0/cccblog~CCC-AAAS-Large-Language-Models-Helpful-Assistants-Romantic-Partners-or-Con-Artists-Part-One/