Meta hat Llama 3.1 offiziell vorgestellt. Es enthält 405 Milliarden Parameter und ist damit das bislang größte Open-Source-KI-Modell. Neben der 405-Milliarden-Variante wird Llama 3.1 auch in kleineren Versionen mit 70 Milliarden und 8 Milliarden Parametern verfügbar sein, um verschiedenen Anwendungsanforderungen und Kapazitäten gerecht zu werden.
Das neue Modell zeichnet sich durch hervorragende Codierung, mathematische Problemlösung und Dokumentzusammenfassung in mehreren Sprachen aus. Meta behauptet, Llama 3.1 unterstütze ein größeres Kontextfenster von 128.000 Token, was seine Fähigkeit zur Verarbeitung und Analyse umfangreicher Textdaten erheblich verbessere.
Leistung im Vergleich zu proprietären Modellen
Meta behauptet, dass Llama 3.1 proprietäre Modelle wie GPT-4 von OpenAI und Claude 3.5 von Anthropic in mehreren Benchmarks übertrifft. Das Unternehmen gibt an, dass das Modell in Bereichen wie allgemeinem Wissenserwerb, mathematischem Denken und Tool-Nutzung konkurrenzfähig sei.
Das Modell wurde mit einem beträchtlichen Aufwand trainiert, da in der Entwicklungsphase 16.000 Nvidia H100 GPUs zum Einsatz kamen. Dieses umfangreiche Trainingsframework trug zur Robustheit und Effizienz von Llama 3.1 bei.
Meta gibt an, dass Llama 3.1 zu etwa der Hälfte der Betriebskosten für den Betrieb von GPT-4 von OpenAI erstellt werden kann, was für Unternehmen, die fortschrittliche KI-Lösungen implementieren möchten, erhebliche Einsparungen bedeuten könnte.
Metas Vision für Open-Source-KI
Mark Zuckerberg, CEO von Meta, geht davon aus, dass Llama 3.1 einen Wendepunkt im KI-Sektor darstellt, und ist fest davon überzeugt, dass die Nutzung seines Modells ChatGPT bald übertreffen wird. Er vergleicht den Übergang zum Open-Source-Betriebssystem mit der Entwicklung von Linux zu diesem Betriebssystem, das auf den meisten Telefonen läuft, und deutet an, dass Llama 3.1 diesen Wandel beschleunigen könnte.
Um die Entwicklung und Integration von Llama 3.1 voranzutreiben, ist Meta Partnerschaften mit mehreren Technologiegiganten eingegangen, darunter Amazon , Microsoft und Nvidia. Ziel dieser Zusammenarbeit ist die Schaffung eines unterstützenden Ökosystems, das einen einfachen Zugriff auf das Modell über Cloud-Plattformen hinweg ermöglicht und letztlich zu einer umfassenderen Bereitstellung von Open-Source-KI-Lösungen führt.
Neue Features und Anwendungen
Meta erforscht aktiv die Entwicklung multimodaler Fähigkeiten für Llama 3.1 und konzentriert sich dabei auf die Integration von Bild- und Videoerkennung neben Text, aber diese Funktionen wurden noch nicht veröffentlicht.
Llama kann jetzt auf AWS, Azure und Google Cloud verwendet werden, während es in den USA über Plattformen wie WhatsApp und die Meta AI-Website zur Verwendung mit Chatbots eingeführt wird. Llama 3.1 wird bald in Facebook und Instagram integriert.
Benutzer können mit Updates rechnen, die die Sprachunterstützung verbessern und schließlich Französisch, Deutsch, Hindi, Italienisch und Spanisch unterstützen.