CCC は、今年の AAAS 年次会議で 3 つの科学セッションをサポートしました。直接参加できなかった方のために、各セッションの概要を説明します。今週は、セッションのパネリストのプレゼンテーションのハイライトを要約します。大規模な言語モデル: 役に立つアシスタント、ロマンチックなパートナー、それとも詐欺師?このパネルのモデレーターは マリア・ジーニ博士、CCC評議会メンバーであり、ミネソタ大学のコンピュータサイエンス＆エンジニアリング教授が特集しました。 エセ・カマル博士、Microsoft Research の AI フロンティア担当マネージング ディレクター、 ハル・ドーメ三世博士、メリーランド大学コンピューターサイエンス教授、 ジョナサン・メイ博士, 南カリフォルニア大学情報科学研究所のコンピューターサイエンス教授。
大規模言語モデルは今日社会における会話の最前線にあり、それらが周囲の誇大宣伝に応えているかどうかは判断がつきません。この AAAS セッションのパネリストは、LLM の可能性、課題、可能性について取り上げました。
最初のパネリストは Ece Kamar 博士 (Microsoft Research) でした。彼女はAIの現状を「相転移」と表現しました。彼女は、業界における AI の変化と、2024 年まで続くとほとんどの人が予想していなかったディープラーニング モデルの急激な成長を見てきた人として、ユニークな視点を提供しました。
この成長は、LLM がトレーニングされるデータ量の増加と、トランスフォーマーと呼ばれるより大きなアーキテクチャによって引き起こされました。カマー博士がグラフに関して共有した興味深い洞察は、モデルが最初は特定のタスク用にトレーニングされただけであるため、モデルが非常に急速にスケーリングしているということです。確実に実行できるタスクです。 ChatGPT は、モデルが考慮するパラメーターの数を含めて十分に大規模にスケールした場合、モデルは同じタスクを完了するように特別にトレーニングされたモデルと同様のパフォーマンスでタスクの完了を開始できることを示しました。
これは LLM フェーズ遷移の定義です。モデルは特定のタスク用に特別にトレーニングする必要はなくなり、一般的にトレーニングしてから多くのタスクを実行できます。そして、これらの機能の成長が鈍化する兆候はありません。
カマー博士は GPT-4 に早期にアクセスしており、長時間かけて GPT-XNUMX をテストする中で、スケールとデータによる大幅な改善と、さまざまなタスクを同期して実行できるという事実に感銘を受けました。
これらの LLM には将来何が待ち受けているのでしょうか?カマー博士は、LLM が人間の言語を超えて機械語を学習し、2 つの言語の間で翻訳できるようになるだろうと予想しています。これにより、入出力におけるモダリティ機能が強化され、モデルが言語を生成するだけでなく、行動や行動の予測も生成できるようになる可能性があります。
次に、Kamar 博士は、コンピューティングで発生する重要な相転移について詳しく説明しました。現在、システムの開発は大きく異なっており、この開発には新しいコンピューティング パラダイムを作成する必要がありますが、現時点ではその表面をなぞっただけです。私たちがコンピューターと対話する方法は、今後数年間で大きく変わることになるでしょう。そのためには、ヒューマンコンピューターインタラクション (HCI) について再考する必要があるでしょう。
もう一つの変化は、人間の今後の働き方です。 Microsoft は、AI の支援によって作成されたコード行数に関して労働者の生産性が 2 倍になるという研究を実施しました。これは驚くべき偉業ですが、このテクノロジーがどのように機能するのか、またその知能がどこから来たのかはほとんどわかっていないため、この分野には多くの研究上の疑問があります。
このような LLM の潜在的な悪用についても多くの質問があります。公平性、さまざまな人口動態リスク、その他のさらに深刻な結果に関する懸念があります。科学的発見には大きな可能性がある一方で、害を及ぼす可能性も大きくあります。たとえば、子供にワクチンを接種しないよう親を説得したり、子供に悪いことをするよう説得したり、世界は平らだと誰かを説得したりするなどです。 LLM の開発には多くの安全性への取り組みが行われており、オープンソース化はこの分野の進歩にも非常に役立ちます。
カマー博士はその後、科学界に次のような質問を投げかけました。
- AI の破壊により科学はどう変化するのでしょうか?
- 私たちは次世代の教育と訓練の方法を変えるための措置を講じていますか?
- この段階移行の恩恵を受けるための技術インフラを構築していますか?
- 私たちは将来の世代を新しい世界に向けて準備しているでしょうか?
最後に、Kamar 博士は、相転移の注目すべき中心的な側面の 1 つは、LLM の開発速度であると強調しました。これらのモデルは非常に短期間で大幅に改善されており、コンピューティング研究者は追いつく必要がたくさんあります。
60 番目のパネリストであるハル・ドーメ XNUMX 世博士 (メリーランド大学) は、人々がやりたいことを実行できるように AI モデルを開発する必要があると説明して講演を始めました。自動化ではなく、人間の作業を強化します。この自動化のビジョンは XNUMX 年代から社会に浸透しました。科学者たちは、人々がチェスを上達できるよう支援するのではなく、単独でチェスをプレイするシステムを設計しました。
この哲学はどこにも行きません。 AI が単独でタスクを実行できるほどの知能を備えていれば、今日でもニュース価値があります。これは AI の血筋に深く根付いています。システムの自動化に時間とお金を費やす前に、まず立ち止まって、これが自分たちの利益になるのかを自問する必要があります。
ドーメ博士は、AI をツールとしてどのように使用できるかという拡張の概念を推進しました。 Github copilot のようなシステムは生産性を向上させますが、生産性を向上させるだけでは十分ではありません。このシステムのユーザーは、コーディングの楽しい部分に集中できるようになったと叫びました。これは、AI の構築方法によりよく一致しています。
AI 研究者は、人の仕事の楽しい部分を削除することを望まないはずです。彼らは単調な仕事を取り除くことを優先すべきだ。それは単に企業の収益を改善するだけでなく、人々の生活を改善するものでなければなりません。
ドーメ博士はこれらの点を提起した論文の共著者であり、技術的な観点から見ると、特に機械学習テクノロジーを使用したシステムの構築は、多くの場合、拡張するよりも自動化する方がはるかに簡単であるという反論が浮上しました。これは、システムをトレーニングするために必要なデータが簡単に入手できるためです。私たちは仕事を通じてこの情報を提供しており、人間の行動をエミュレートするように ML をトレーニングするのは簡単です。誰かがタスクを完了できるようにシステムを教えることははるかに困難です。この情報は、NSF の文献レビュー、プログラマーによる紙への書き込みなどに散在しています。人間がタスクを実行するのに必要なデータは記録されていません。
役立つシステムを構築するもう 1 つの重要な側面は、どのシステムが自分の生活に役立つかをユーザーに尋ねることです。たとえば、視覚障害者のニーズは晴眼者のニーズとは大きく異なります（晴眼者のニーズとも異なります） 考える 視覚障害者のニーズは次のとおりです）。ドーメ博士が共有した例としては、視覚システムによってその物体がソーダの缶であることが分かるかもしれないが、視覚障害者は通常それを自分で判断できるということが挙げられました。彼らにとってはソーダの成分のほうがずっと役に立つはずだ。単純に質問を理解することと、アクセシビリティの問題に対処することに対するシステムの応答の質の間には、大きなギャップがあり、このギャップは拡大しつつあります。
コミュニティのニーズを「支援」するテクノロジーを作成する前に、まずコミュニティのニーズを判断することの重要性を示すもう 1 つの例は、コンテンツのモデレーションです。ボランティアのコンテンツ モデレーターの多くは、世界をより良い場所にしたいと考えており、重要だと考えるコミュニティの構築を支援したいと考えています。自分の役割を支援するためにどのようなツールを使用したいかを尋ねると、多くの場合、自分の仕事を完全に自動化することは望んでおらず、チャット履歴の検索などの退屈な部分を簡単にしたいだけです。
ドーメ博士は、車が大好きでオートマチック車の運転を拒否する車好きの母親の最後の例でこの議論を締めくくります。彼女はマニュアル トランスミッションを選択しましたが、その選択ができることは彼女にとって非常に重要です。自分のタスクを自動化したいかどうかは、人々がコントロールできる必要があります。
ドーメ博士は、アクセシビリティ技術への現在のアプローチに代わるものを提案して会話を続けます。たとえば、手話認識に関するツールを構築する場合、人々が手話している動画をインターネットで収集するのではなく（これには同意とプライバシーに関する懸念が多く、また、これらの動画のほとんどは専門家によるものであり、周囲の騒音や気を散らすものはありません）現実的ではない）、コミュニティに働きかけ、ツールをトレーニングするためのビデオを送信できるようにするプロジェクトを開始します。このようなコミュニティファーストの戦略はより倫理的で責任があり、ユーザーによるコントロールが強化されます。
LLM やその他のツールは、インテリジェンスではなく有用性を優先して開発されるべきである、とドーメ博士は結論付けています。便利であればあるほど、人々がすでにうまくやって楽しんでいることを自動化するのではなく、人々ができないこと、またはやりたくないことを行うのに役立ちます。
次の講演者はジョナサン メイ博士 (南カリフォルニア大学情報科学研究所) で、彼は会議のテーマ「壁のない科学に向けて」を振り返ることから話を始めました。彼は、最近の LLM の開発は一部の人にとっては壁を取り除いているが、多くの人にとっては壁を築いていると主張しています。
彼はまず、インターネットが研究を行う際の多くの障壁をどのように下げたかについて説明します。彼が 17 歳のとき、彼はなぜスター・ウォーズとロード・オブ・ザ・リングのプロットが非常に似ているのかと疑問に思い、車で図書館に行き、答えが書かれた本を見つけなければなりませんでした。彼は博士論文のために、一か八かではあるが同様に困難な研究を行いましたが、研究期間が終わる頃には、このテーマに関するウィキペディアのページが作成され、インターネット検索が行われるようになり、今では車を使わない研究が標準となっています。
メイ博士は続けて、LLMの対象者層にいることを光栄に感じていると述べた。彼は頻繁にコードを書くわけではなく、多くのコーディング スキルを学んだこともありませんが、仕事で必要になったときは ChatGPT に頼ることができ、それは素晴らしい仕事をしてくれます。
ただし、LLM の有用性を広く普及させるには多くの壁があります。
- 言語の壁: モデルは、トレーニングされるデータが多いほど、より適切に機能します。現在の商用 LLM は多言語対応ですが、英語に重点が置かれています。たとえば、ChatGPT は 92% が英語でトレーニングされています。さらに、LLM の「秘密のソース」である命令データは、大部分が英語です (たとえば、ChatGPT の 96%)。既存のテストにおける体系的なパフォーマンスのギャップにもかかわらず、これらのモデルの言語間のパフォーマンスを改善する取り組みは現在ほとんど行われていません。これは、機械翻訳 (MT) が「解決」されており、他のタスクに取り組みを集中すべきであるという一般的なコンセンサスがあるため、これは当然のことです。
- アイデンティティの壁: ChatGPT にクリスマスに何をするべきかを尋ねると、参加できるさまざまな活動や伝統に焦点を当てます。仕事に行けるとは書いてありません。 LLM は、異なる人口統計グループを説明するときに異なる動作をし、より否定的な感情を表現し、場合によっては完全な有害性さえも表現することが示されています。 LGBTQ+ やユダヤ人のようなコミュニティでは、ステレオタイプの文章が害を及ぼす可能性があります。全体的に偏見が多く、これが意思決定に影響を及ぼします。いくつかの安全装置が組み込まれており、より明示的な詳細な質問に対して有害な回答が得られる可能性は低くなりますが、モデルは確率的に定型的なステートメントと結果を好むため、特に下流の機能でモデルを使用する場合に害が生じるのはそこです。出力（つまり、融資資格）。彼は、LLM が仕事に基づいて個人の顔を生成するときにバイアスを示す例を挙げました。低賃金の仕事は女性とマイノリティとして表示され、高賃金の仕事は白人男性として表示されます。
- 環境壁 (ソフトウェア): LLM の生成と実行には大量のエネルギーが必要です。最も「控えめな」LM であっても、3 人が使用する場合の年間エネルギーの XNUMX 倍を消費します。 ChatGPT のような最大の言語モデルのデータにも大きなギャップがありますが、それらを所有する企業は、エネルギー消費へのアクセスを明示的に拒否しています。
- 環境壁 (ハードウェア): すべての LLM が必要とするチップを製造するには、タンタル (コンゴで採掘) やハフニウム (セネガルとロシアで採掘) などの「紛争物質」が必要です。米国では、企業は使用する紛争鉱物の量を報告することになっているが、米国はこれらの物質の使用量が減少していることを公に示しているが、これは真実であるはずがない。それを超えて、米国の輸出規制への報復として中国がゲルマニウムとガリウムを制限するなど、多くの社会政治的問題がある。
メイ博士は、これらのカテゴリーによって、LLM によって引き起こされる害に関する多くの下流問題の一部と、人々が利益を得ていない事例が明らかになると述べています。懸念の余地はありますが、これらの害の一部を軽減するための研究や行動の変化の機会もあります。
- 言語: 多言語対応 (英語への、または英語からの覇権的な翻訳だけではなく) にさらに多くの研究資金を投入します。
- アイデンティティ: ボトムアップでコミュニティを包括した研究。導入前のモデルの変更とテスト
- 環境: 使用するデータと変更するパラメータが少ないアルゴリズム開発 (LoRA、アダプター、非 RL PO など)。コンピューティングについては慎重であり、規制レベルでのオープン性を主張する
メイ博士は、人々はLLMと対話する際に、彼らが望む方法で利益を得るべきであり、これは開発段階で最優先に留意する必要がある、というドーメ博士の指摘を繰り返してパネルディスカッションを締めくくった。
読んでいただきありがとうございます。明日はセッションの Q&A 部分の要約をお読みください。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://feeds.feedblitz.com/~/874484594/0/cccblog~CCC-AAAS-Large-Language-Models-Helpful-Assistants-Romantic-Partners-or-Con-Artists-Part-One/
