01年2023月XNUMX日（Nanowerkニュース) 驚くほど短い期間で、 人工知能 学術的な取り組みから実用的なツールへと進化しました。 DALL・E のようなビジュアル モデルは、個人が思い描くあらゆるスタイルで画像を作成できます。一方、Chat GPT のような大規模言語モデル (LLM) は、エッセイを生成したり、コンピューター コードを記述したり、旅行の旅程を提案したりすることができます。 プロンプトが表示されれば、自分自身の間違いを修正することもできます。
研究者の Fabian Offert は、Chat GPT のような大規模な言語モデルの機能と限界を調査し、それらが計算の包括的な「世界モデル」を持っているという概念に異議を唱えています。
Chat GPT は機能的なマルコフ連鎖をコード化し、その出力を単語レベルでシミュレートできますが、出力を文字ごとにシミュレートするのに苦労しており、理解にギャップがあることがわかります。
Offert 氏は、AI の機能を調査することは、これらのモデルの進化する性質のため、管理された実験というよりもむしろ「定性的なインタビュー」であると主張しています。
AIを理解する上で人文科学と社会科学の役割が増大していることを、研究者は強調している。これらのテクノロジーに関する疑問は本質的に哲学的なものになりつつあるからだ。
AI はエッセイの執筆から天文学に至るまで、さまざまな分野に影響を与えているため、これらのモデルの背後にあるメカニズムを理解することが認識論的理由と実践的な理由の両方で重要であるとオファート氏は主張します。
人工知能が画面に表示するものは、人工知能の世界の内部表現を反映しており、それは私たちのものとはまったく異なる可能性があります。 (Midjourney によるイラストとプロンプト: 「方程式と記号の雲を備えたコンピューター)」 「人々は、大規模な言語モデル、特にチャット GPT には、次のような特定のもののいわゆる「ワールド モデル」があると主張しています。計算」とデジタル人文科学の助教授オファート氏は語った。 つまり、コード化された単語が一緒に現れることが多いという表面的な知識だけではなく、計算自体をより包括的に理解することができます。
基本的なコンピューター プログラムでも、マルコフ連鎖を使用して説得力のあるテキストを生成できます。マルコフ連鎖は、確率を使用して、前に出現したものに基づいてシーケンス内の次のトークンを予測する単純なアルゴリズムです。 出力の性質は、参照テキストとトークンのサイズによって異なります (例: 文字、単語、文）。 適切なパラメーターとトレーニング ソースを使用すると、トレーニング サンプルのスタイルを模倣した自然なテキストを生成できます。
しかし、LLM は、単にシーケンス内の次の単語を予測するだけの場合には予期しない能力を示します。 たとえば、斬新で機能的なコンピューター コードを作成できます。 コンピューター言語のような形式言語は、私たちが話す自然言語よりもはるかに厳密で明確に定義されています。 これにより、解析するにはコードが完全に正しい必要があるため、全体的にナビゲートすることがさらに困難になります。 余裕はありません。 LLM は、単純なマルコフ連鎖や予測アルゴリズムにはない方法でコンテキスト メモリを備えているようです。 そして、この記憶は、コードを書く能力など、彼らの新しい行動の一部を生み出します。
Offert は、いくつかのタスクを実行するよう Chat GPT の頭脳を選択することにしました。 まず彼は、アレクサンドル・プーシキンの小説「エフゲニー・オネーギン」に基づいたテキストを生成するマルコフ連鎖をコーディングするように依頼しました。 何度か失敗し、少しなだめた後、AI はこの本の単語レベルのマルコフ連鎖近似のための機能する Python コードを生成しました。
次に、マルコフ連鎖の出力を単純にシミュレートするように依頼しました。 Chat GPT が本当に単なる統計的予測を超えた計算モデルを備えているのであれば、プログラムを実行せずにプログラムの出力を推定できるはずだと、Offert 氏は考えました。 彼は、AI が単語やフレーズのレベルでマルコフ連鎖をシミュレートできることを発見しました。 ただし、マルコフ連鎖の出力を文字ごとに推定することはできませんでした。 「ある程度一貫性のあるレターサラダが得られるはずですが、そうではありません」と彼は言いました。
この結果はオファートにとってかなり奇妙なものであると感じた。 Chat GPT は、最初のタスクでマルコフ連鎖のコーディングに成功したため、明らかにプログラミングをより微妙に理解していました。 しかし、それが本当に計算の概念を持っているのであれば、文字レベルのマルコフ連鎖を予測することは非常に簡単になるはずです。 これは、単語レベルで結果を予測するよりもはるかに少ない計算、メモリ、労力で済みます。 そうは言っても、LLM は設計上、単語の生成に優れているという理由だけで、単語レベルの予測を達成できた他の方法があります。
「この結果に基づくと、Chat GPT には計算の世界モデルがないと言えます」と Offert 氏は意見しました。 「これは、計算の全機能にアクセスできる古き良きチューリング マシンをシミュレートするものではありません。」 ただし、この論文での Offert の目的は単に質問を提起することであり、質問に答えることではありません。 彼は単にプログラムと会話をしていただけであり、これは科学的調査としては適切な方法論ではありません。 これは主観的で制御されておらず、再現性がなく、プログラムは日々更新される可能性があります。 「実際には、対照実験というよりも定性的インタビューに近いものです」と彼は説明した。 必要に応じて、ブラックボックスを調査するだけです。
Offert は、ここ数年で誕生したこれらの新しいエンティティについての理解を深めたいと考えています。 「私の興味は本当に認識論的なものです」と彼は言いました。 「これらのことから何が分かるでしょうか？ そして、これらのことについて何が分かるでしょうか？」 もちろん、これら XNUMX つの質問は密接に関連しています。
これらのトピックは、エンジニアやコンピューター科学者の興味も引き始めています。 「技術研究者が AI に関して尋ねる質問は、本質的には人文科学的な質問が増えています」とオファート氏は言います。 「それらは、世界についての知識を持つとはどういう意味なのか、世界についての知識をどのように表現するかなど、基本的な哲学的洞察に関するものです。」 このため、オファート氏は、人文科学と社会科学が AI の開発においてより積極的な役割を果たすことができると考えています。 彼らの役割は、これらのシステムがどのように開発され、どのように使用され、一般の人々がどのように関わっているかを情報提供するために拡張される可能性があります。
人工知能と人間の知能の違いは、おそらく類似点よりもさらに興味深いものです。 「これらのシステムの異質さこそが、実際のところ興味深いのです」とオファート氏は言う。 たとえば、彼は以前の論文で、AI が画像を分類および認識する方法は、私たちの観点からすると非常に奇妙である可能性があることを明らかにしました。
以前の研究で、Offert 氏は視覚モデルのカーテンの後ろを覗き込みました。 この写真はサングラスの概念に近いものです。 (画像: Fabian Offert) Offert は最終的に、これらのモデルが世界をどのように表し、意思決定を行うかを理解しようとしています。 彼らは世界についての知識を持っているので、彼らのトレーニングデータから集められたつながりであると彼は私たちに保証します。 このテーマは、認識論的な関心を超えて、AI の動機と人間のユーザーの動機を一致させる上でも実用的に重要です。 Chat GPT のようなツールがより広く使用されるようになるにつれて、以前は無関係だった分野がより緊密に連携するようになります。 たとえば、エッセイの執筆と天文学におけるノイズ除去は、現在では両方とも同じ基盤テクノロジーに関連付けられています。 Offert 氏によると、それは、知識を生成する根本的に新しい方法としてテクノロジー自体をより詳細に検討し始める必要があることを意味します。 AI フォレンジックをテーマとしたフォルクスワーゲン財団からの XNUMX 年間の助成金を受けて、Offert 氏は現在、マシン ビジュアル文化を研究しています。 画像モデルが非常に大きくなり、あまりにも多くのデータが表示されるため、トレーニング資料に基づいて特異性が生じてしまったと同氏は説明した。 これらのツールがさらに普及するにつれて、その癖が人間の文化にフィードバックされ始めるでしょう。 そのため、Offert 氏は、これらの AI モデルの内部で何が起こっているのかを理解することが重要であると考えています。 「この仕事をするのはとても楽しい時期です」と彼は言いました。 「XNUMX年前にはこんなことは想像もできなかった。」
主要な取り組み
リサーチ
AI モデルがますます洗練され、ユビキタスになるにつれて、これらのエンティティが何なのか、何ができるのか、どのように考えるのかを理解することが重要になります。 これらのモデルは人間に非常に似てきていますが、それでも私たちとは大きく異なります。 このユニークな組み合わせにより、AI は考察するのに興味深いものになります。 たとえば、大規模な AI モデルは、膨大な量の情報に基づいてトレーニングされます。 しかし、彼らがこのデータを一貫した知識体系としてどの程度理解しているのかは明らかではありません。 カリフォルニア大学サンタバーバラ校のファビアン・オファート氏は、アンソロジーに掲載された短い記事でこのアイデアを探求しています。 ChatGPT と andere Quatschmaschinen – AI との会話.
人工知能が画面に表示するものは、人工知能の世界の内部表現を反映しており、それは私たちのものとはまったく異なる可能性があります。 (Midjourney によるイラストとプロンプト: 「方程式と記号の雲を備えたコンピューター)」 「人々は、大規模な言語モデル、特にチャット GPT には、次のような特定のもののいわゆる「ワールド モデル」があると主張しています。計算」とデジタル人文科学の助教授オファート氏は語った。 つまり、コード化された単語が一緒に現れることが多いという表面的な知識だけではなく、計算自体をより包括的に理解することができます。
基本的なコンピューター プログラムでも、マルコフ連鎖を使用して説得力のあるテキストを生成できます。マルコフ連鎖は、確率を使用して、前に出現したものに基づいてシーケンス内の次のトークンを予測する単純なアルゴリズムです。 出力の性質は、参照テキストとトークンのサイズによって異なります (例: 文字、単語、文）。 適切なパラメーターとトレーニング ソースを使用すると、トレーニング サンプルのスタイルを模倣した自然なテキストを生成できます。
しかし、LLM は、単にシーケンス内の次の単語を予測するだけの場合には予期しない能力を示します。 たとえば、斬新で機能的なコンピューター コードを作成できます。 コンピューター言語のような形式言語は、私たちが話す自然言語よりもはるかに厳密で明確に定義されています。 これにより、解析するにはコードが完全に正しい必要があるため、全体的にナビゲートすることがさらに困難になります。 余裕はありません。 LLM は、単純なマルコフ連鎖や予測アルゴリズムにはない方法でコンテキスト メモリを備えているようです。 そして、この記憶は、コードを書く能力など、彼らの新しい行動の一部を生み出します。
Offert は、いくつかのタスクを実行するよう Chat GPT の頭脳を選択することにしました。 まず彼は、アレクサンドル・プーシキンの小説「エフゲニー・オネーギン」に基づいたテキストを生成するマルコフ連鎖をコーディングするように依頼しました。 何度か失敗し、少しなだめた後、AI はこの本の単語レベルのマルコフ連鎖近似のための機能する Python コードを生成しました。
次に、マルコフ連鎖の出力を単純にシミュレートするように依頼しました。 Chat GPT が本当に単なる統計的予測を超えた計算モデルを備えているのであれば、プログラムを実行せずにプログラムの出力を推定できるはずだと、Offert 氏は考えました。 彼は、AI が単語やフレーズのレベルでマルコフ連鎖をシミュレートできることを発見しました。 ただし、マルコフ連鎖の出力を文字ごとに推定することはできませんでした。 「ある程度一貫性のあるレターサラダが得られるはずですが、そうではありません」と彼は言いました。
この結果はオファートにとってかなり奇妙なものであると感じた。 Chat GPT は、最初のタスクでマルコフ連鎖のコーディングに成功したため、明らかにプログラミングをより微妙に理解していました。 しかし、それが本当に計算の概念を持っているのであれば、文字レベルのマルコフ連鎖を予測することは非常に簡単になるはずです。 これは、単語レベルで結果を予測するよりもはるかに少ない計算、メモリ、労力で済みます。 そうは言っても、LLM は設計上、単語の生成に優れているという理由だけで、単語レベルの予測を達成できた他の方法があります。
「この結果に基づくと、Chat GPT には計算の世界モデルがないと言えます」と Offert 氏は意見しました。 「これは、計算の全機能にアクセスできる古き良きチューリング マシンをシミュレートするものではありません。」 ただし、この論文での Offert の目的は単に質問を提起することであり、質問に答えることではありません。 彼は単にプログラムと会話をしていただけであり、これは科学的調査としては適切な方法論ではありません。 これは主観的で制御されておらず、再現性がなく、プログラムは日々更新される可能性があります。 「実際には、対照実験というよりも定性的インタビューに近いものです」と彼は説明した。 必要に応じて、ブラックボックスを調査するだけです。
Offert は、ここ数年で誕生したこれらの新しいエンティティについての理解を深めたいと考えています。 「私の興味は本当に認識論的なものです」と彼は言いました。 「これらのことから何が分かるでしょうか？ そして、これらのことについて何が分かるでしょうか？」 もちろん、これら XNUMX つの質問は密接に関連しています。
これらのトピックは、エンジニアやコンピューター科学者の興味も引き始めています。 「技術研究者が AI に関して尋ねる質問は、本質的には人文科学的な質問が増えています」とオファート氏は言います。 「それらは、世界についての知識を持つとはどういう意味なのか、世界についての知識をどのように表現するかなど、基本的な哲学的洞察に関するものです。」 このため、オファート氏は、人文科学と社会科学が AI の開発においてより積極的な役割を果たすことができると考えています。 彼らの役割は、これらのシステムがどのように開発され、どのように使用され、一般の人々がどのように関わっているかを情報提供するために拡張される可能性があります。
人工知能と人間の知能の違いは、おそらく類似点よりもさらに興味深いものです。 「これらのシステムの異質さこそが、実際のところ興味深いのです」とオファート氏は言う。 たとえば、彼は以前の論文で、AI が画像を分類および認識する方法は、私たちの観点からすると非常に奇妙である可能性があることを明らかにしました。
以前の研究で、Offert 氏は視覚モデルのカーテンの後ろを覗き込みました。 この写真はサングラスの概念に近いものです。 (画像: Fabian Offert) Offert は最終的に、これらのモデルが世界をどのように表し、意思決定を行うかを理解しようとしています。 彼らは世界についての知識を持っているので、彼らのトレーニングデータから集められたつながりであると彼は私たちに保証します。 このテーマは、認識論的な関心を超えて、AI の動機と人間のユーザーの動機を一致させる上でも実用的に重要です。 Chat GPT のようなツールがより広く使用されるようになるにつれて、以前は無関係だった分野がより緊密に連携するようになります。 たとえば、エッセイの執筆と天文学におけるノイズ除去は、現在では両方とも同じ基盤テクノロジーに関連付けられています。 Offert 氏によると、それは、知識を生成する根本的に新しい方法としてテクノロジー自体をより詳細に検討し始める必要があることを意味します。 AI フォレンジックをテーマとしたフォルクスワーゲン財団からの XNUMX 年間の助成金を受けて、Offert 氏は現在、マシン ビジュアル文化を研究しています。 画像モデルが非常に大きくなり、あまりにも多くのデータが表示されるため、トレーニング資料に基づいて特異性が生じてしまったと同氏は説明した。 これらのツールがさらに普及するにつれて、その癖が人間の文化にフィードバックされ始めるでしょう。 そのため、Offert 氏は、これらの AI モデルの内部で何が起こっているのかを理解することが重要であると考えています。 「この仕事をするのはとても楽しい時期です」と彼は言いました。 「XNUMX年前にはこんなことは想像もできなかった。」
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://www.nanowerk.com/news2/robotics/newsid=63981.php
