Meta は、 4,050 億のパラメータを含む Llama 3.1 を正式に発表しました。これは、これまでで最大のオープンソース AI モデルです。4,050 億のバリアントのほかに、Llama 3.1 には 700 億と 80 億のパラメータの小型バージョンも用意されており、さまざまなアプリケーションのニーズと容量に対応します。
新しいモデルは、コーディング、数学の問題解決、および複数言語にわたる文書の要約に優れています。Meta は、Llama 3.1 は 128,000 トークンのより大きなコンテキスト ウィンドウをサポートし、広範なテキスト データを処理および分析する能力が大幅に向上したと主張しています。
独自モデルと比較したパフォーマンス
Metaは、Llama 3.1が複数のベンチマークでOpenAIのGPT-4やAnthropicのClaude 3.5などの独自モデルよりも優れていると主張しています。同社は、このモデルが一般的な知識の獲得、数学的推論、ツールの活用などの分野で競争力があると述べています。
このモデルは、開発段階で使用された 16,000 個の Nvidia H100 GPU というかなりの投資によってトレーニングされました。この大規模なトレーニング フレームワークは、Llama 3.1 の堅牢性と効率性に貢献しました。
Meta によれば、Llama 3.1 はOpenAIのGPT-4を実行する場合の運用コストの約半分で作成できるため、高度な AI ソリューションの実装を目指す企業にとって大幅な節約になる可能性があるという。
Meta のオープンソース AI ビジョン
Meta の CEO である Mark Zuckerberg 氏は、Llama 3.1 が AI 分野における重要な瞬間を象徴すると予想しており、そのモデルの使用がまもなくChatGPTを上回ると強く信じています。同氏は、オープンソース オペレーティング システムへの移行と、ほとんどの携帯電話で動作するこのオペレーティング システムへの Linux の進化を比較し、Llama 3.1 がこの移行を加速させる可能性があると示唆しています。
Llama 3.1の開発と統合を促進するために、MetaはAmazon 、Microsoft、Nvidiaなどの大手テクノロジー企業数社と提携しました。これらのコラボレーションは、クラウドプラットフォーム間でモデルに簡単にアクセスできるサポートエコシステムを構築し、最終的にはオープンソースAIソリューションのより広範な展開につながることを目指しています。
新しい機能とアプリケーション
Meta は、テキストに加えて画像とビデオの認識を統合することに重点を置いて、Llama 3.1 のマルチモーダル機能の開発を積極的に検討していますが、これらの機能はまだリリースされていません。
Llamaは現在、AWS、Azure、 Google Cloudで利用可能で、米国ではWhatsAppやMeta AIのチャットボット用ウェブサイトなどのプラットフォームを通じてリリースされており、Llama 3.1はまもなくFacebookとInstagramに統合される予定です。
ユーザーは、言語サポートを強化し、最終的にはフランス語、ドイツ語、ヒンディー語、イタリア語、スペイン語に対応するアップデートを期待できます。