2024 年 XNUMX 月、Meta CEO のマーク・ザッカーバーグ氏は次のように発表しました。 Instagramビデオ Meta AI は最近 Llama 3 のトレーニングを開始したとのこと。大規模言語モデル (LLM) の LLaMa ファミリーのこの最新世代は、1 年 2023 月にリリースされた Llama 2 モデル (当初は「LLaMA」として様式化されていた) と XNUMX 月にリリースされた Llama XNUMX モデルに続きます。

具体的な詳細（モデルのサイズやマルチモーダル機能など）はまだ発表されていないが、ザッカーバーグ氏はメタがLlama基盤モデルをオープンソース化し続ける意向を示した。

Llama 3 について現在わかっていることと、それが生成 AI モデルの次の進歩の波にどのような影響を与える可能性があるかを学び続けてください。

Llama 3 はいつリリースされますか?

リリース日は発表されていませんが、Llama 1 は注目に値します。 訓練に3ヶ月かかった そしてラマ2 トレーニングには約6か月かかりました。次世代モデルも同様のスケジュールに従う場合、2024 年 XNUMX 月頃までにリリースされることになります。

そうは言っても、Meta が微調整と適切なモデルの調整に余分な時間を割り当てる可能性は常にあります。生成 AI モデルへのアクセスが増えることで、企業、新興企業、愛好家だけでなく、より多くの企業が力を得ることができます。オープンソース モデルがより強力になるにつれて、モデルが悪意のある人物によって悪意のある目的で使用されるリスクを軽減するには、より多くの注意が必要になります。ザッカーバーグ氏は発表ビデオの中で、「責任を持って安全に（モデルを）トレーニングする」というメタの取り組みを改めて強調した。

Llama 3 はオープンソースになりますか?

Meta は、非営利的なユースケースのみを対象として研究機関にケースバイケースで Llama 1 モデルへの無料アクセスを許可しましたが、Llama 2 のコードとモデルの重みはオープンライセンスでリリースされ、より少ない数の組織での商用利用が可能になりました。月間アクティブ ユーザー数は 700 億人を超えます。 Llama 2 のライセンスが満たしているかどうかについては議論がありますが、 「オープンソース」の厳密な技術的定義、 一般にそのように呼ばれます。 Llama 3 がこれとは異なる形でリリースされることを示す入手可能な証拠はありません。

ザッカーバーグ氏は発表とその後の報道の中で、オープンライセンスと人工知能（AI）へのアクセスの民主化に対するメタ社の取り組みを繰り返し述べた。 「ここでのより大きな課題の 1 つは、本当に価値のあるものを構築すると、最終的には非常に集中したものになるということだと思いがちです」とザッカーバーグ氏は語った。 面接で ベルジェ (リンクは ibm.com の外にあります)。 「一方、それをよりオープンにすれば、機会や価値への不平等なアクセスから生じる可能性のある大規模な問題に対処することになります。つまり、それがオープンソースのビジョン全体の大きな部分を占めるのです。」

ラマ 3 は汎用人工知能 (AGI) を実現できるでしょうか?

ザッカーバーグ氏の発表ビデオは、メタ社の長期目標を強調した 人工知能（AGI）、モデルが人間の知能と同等 (またはそれ以上) の総合的な知能を実証する AI の理論的開発段階。

「次世代のサービスには完全な汎用インテリジェンスの構築が必要であることが明らかになりました」とザッカーバーグ氏は言います。 「最高の AI アシスタント、クリエイター向けの AI、ビジネス向けの AI などを構築するには、推論から計画、コーディング、記憶やその他の認知能力に至るまで、AI のあらゆる分野で進歩が必要です。」

これは、必ずしも Llama 3 が AGI を達成する (または達成しようとする) ことを意味するわけではありません。 まだ。しかしそれは、Meta が AGI を生み出す可能性があると考えられる方法で、LLM 開発やその他の AI 研究に意図的にアプローチしていることを意味します。 最終的に.

Llama 3 はマルチモーダルになるでしょうか?

新たな 人工知能のトレンド is マルチモーダル AI: さまざまなデータ形式を理解して操作できるモデル (または モダリティ）。テキスト、コード、オーディオ、画像、さらにはビデオ データを処理するための個別のモデルを開発するのではなく、Google の Gemini や OpenAI の GPT-4V などの新しい最先端のモデルや、LLaVa (Large Language and Vision Assistant) のようなオープンソースの参入者)、Adept または Qwen-VL - コンピューター ビジョンと自然言語処理 (NLP) タスクの間をシームレスに移動できます。

ザッカーバーグ氏は、Llama 3と同様にLlama 2にもコード生成機能が含まれることを認めたが、他のマルチモーダル機能については明示的に言及しなかった。しかし、ザッカーバーグ氏は、ラマ 3 の発表ビデオで、AI がメタバースとどのように交差することを思い描いているかについて語った。「眼鏡は、AI に見ているものを見たり、聞いたものを聞かせたりするための理想的なフォームファクターです」と、メタのことに関してザッカーバーグ氏は述べました。レイバンのスマートグラスです。 「だから、いつでも助けてもらえるんです。」

これは、次期 Llama 3 リリースであろうと次の世代であろうと、Llama モデルに対する Meta の計画には、LLM がすでに処理しているテキストおよびコード データに加えて、ビジュアルおよびオーディオ データの統合が含まれていることを意味しているようです。

これもAGIを追求する上では当然の展開と言えるでしょう。 「一般知能が人間レベルの知能に似ているのか、それとも人間プラスのようなものなのか、それとも遠い未来の超知能なのかについては、議論することができます」と彼はインタビューで語った。 はじまり。 「しかし、私にとって重要なのは、実際にはその広範さであり、知性にはさまざまな能力が備わっており、そこでは推論と直観が必要になるのです。」

ラマ 3 はラマ 2 と比べてどうなるでしょうか?

ザッカーバーグ氏はトレーニングインフラへの多額の投資も発表した。 Meta は、2024 年末までに約 350,000 個の NVIDIA H100 GPU を保有する予定で、これにより、Meta がすでに所有している GPU を含めると、Meta が利用できるコンピューティング リソースの合計は「600,000 個の H100 相当のコンピューティング」になります。 現在マイクロソフトのみが保有している 同等のコンピューティング能力の備蓄。

したがって、Llama 3 モデルが以前のモデルと比べて大きくない場合でも、Llama 2 が Llama 3 モデルと比較して大幅なパフォーマンスの向上を提供すると期待するのは合理的です。仮説通り Deepmindの2022年XNUMX月の論文で その後、Meta のモデル (およびフランスに拠点を置く Mistral のモデルなど、他のオープンソース モデル) によって実証されましたが、より多くのデータで小規模なモデルをトレーニングすると、より少ないデータで大規模なモデルをトレーニングするよりも優れたパフォーマンスが得られます。[IV] Llama 2 は、Llama 1 モデルと同じサイズ、具体的には 7 億、14 億、70 億のパラメーターを持つバリエーションで提供されましたが、40% 多いデータで事前トレーニングされました。

Llama 3 のモデル サイズはまだ発表されていませんが、前世代で確立された 7 ～ 70 億のパラメーター モデル内でパフォーマンスを向上させるパターンが継続される可能性があります。 Meta の最近のインフラ投資により、あらゆる規模のモデルに対してさらに堅牢な事前トレーニングが確実に可能になります。

ラマ 2 もラマ 1 の XNUMX 倍になりました コンテキストの長さつまり、ラマ 2 は推論中、つまりコンテキストの生成中またはチャットボットとの進行中の交換中に、3 倍のトークンに相当するコンテキストを「記憶」できることになります。不確実ではあるが、Llama XNUMX がこの点でさらなる進歩をもたらす可能性はある。

Llama 3 は OpenAI の GPT-4 と比べてどうなるでしょうか?

一方、 小さいLLaMA & ラマ2モデル 特定のベンチマークでは、より大規模な 175 億パラメータの GPT-3 モデルのパフォーマンスを満たすかそれを上回っていましたが、ChatGPT で提供される GPT-3.5 および GPT-4 モデルの全機能には一致しませんでした。

Meta は、次の世代のモデルで、最先端のパフォーマンスをオープンソースの世界にもたらすことに熱心であるようです。 「Llama 2は業界をリードするモデルではありませんでしたが、最高のオープンソースモデルでした」と彼は語った。 ベルジェ。 「Llama 3 以降では、最先端のものを構築し、最終的には業界をリードするモデルを構築することが私たちの目標です。」

ラマ 3 の準備

新しい基盤モデルにより、アプリの改善を通じて競争力を高める新たな機会が生まれます。 チャットボット, ワークフロー & 自動化。新たな開発の先を行くことが、取り残されないための最善の方法です。新しいツールを採用することで、組織は自社のサービスを差別化し、顧客と従業員の両方に最高のエクスペリエンスを提供できるようになります。

そのを通じて ハグフェイスとの提携, IBM watsonx™ は、Meta の Llama 2 チャットなど、業界をリードする多くのオープンソース基盤モデルをサポートしています。 20,000 人を超える AI 専門家からなる当社のグローバル チームは、貴社が効率的かつ責任を持って拡張できるよう、貴社のニーズに最適なツール、テクノロジー、テクニックを特定するのを支援します。

AI の進歩を加速するための準備を IBM がどのように支援するかをご覧ください

生成 AI を watsonx™ で動作させる