Meta a officiellement dévoilé Llama 3.1, qui contient 405 milliards de paramètres, ce qui en fait le plus grand modèle d'IA open source à ce jour. Aux côtés de la variante 405 milliards, Llama 3.1 sera disponible dans des versions plus petites de 70 milliards et 8 milliards de paramètres, répondant à divers besoins et capacités d'applications.
Le nouveau modèle excelle dans le codage, la résolution de problèmes mathématiques et la synthèse de documents dans plusieurs langues. Meta affirme que Llama 3.1 prend en charge une fenêtre contextuelle plus grande de 128 000 jetons, améliorant considérablement sa capacité à traiter et analyser de nombreuses données textuelles.
Performances par rapport aux modèles propriétaires
Meta affirme que Llama 3.1 surpasse les modèles propriétaires tels que GPT-4 o d' OpenAI et Claude 3.5 d'Anthropic dans plusieurs benchmarks. L'entreprise affirme que le modèle est compétitif dans des domaines tels que l'acquisition de connaissances générales, le raisonnement mathématique et l'utilisation d'outils.
Le modèle a été formé grâce à un investissement considérable, concernant les 16 000 GPU Nvidia H100 utilisés dans la phase de développement. Ce cadre de formation étendu a contribué à la robustesse et à l’efficacité de Llama 3.1.
Meta déclare que Llama 3.1 peut être produit pour environ la moitié du coût opérationnel de l'exécution du GPT-4 d' OpenAI , ce qui pourrait offrir des économies importantes aux entreprises cherchant à mettre en œuvre des solutions d'IA avancées.
La vision de Meta pour l'IA Open Source
Mark Zuckerberg, PDG de Meta, prévoit que Llama 3.1 représente un moment charnière dans le secteur de l'IA, avec la ferme conviction que l'utilisation de son modèle dépassera bientôt ChatGPT . Il compare la transition vers le système d'exploitation open source avec l'évolution de Linux vers ce système d'exploitation qui équipe la plupart des téléphones, suggérant que Llama 3.1 pourrait accélérer ce changement.
Pour favoriser le développement et l'intégration de Llama 3.1, Meta s'est associé à plusieurs géants de la technologie, dont Amazon , Microsoft et Nvidia. Ces collaborations visent à créer un écosystème de soutien permettant un accès facile au modèle sur les plates-formes cloud, conduisant à terme à un déploiement plus étendu de solutions d'IA open source.
Nouvelles fonctionnalités et applications
Meta explore activement le développement de capacités multimodales pour Llama 3.1, en se concentrant sur l'intégration de la reconnaissance d'images et de vidéos aux côtés du texte, mais ces fonctions n'ont pas encore été publiées.
Llama est désormais disponible sur AWS, Azure et Google Cloud. Alors qu'il est lancé aux États-Unis via des plateformes comme WhatsApp et le site Web Meta AI pour l'utilisation de chatbot, Llama 3.1 sera bientôt intégré à Facebook et Instagram .
Les utilisateurs peuvent s'attendre à des mises à jour qui améliorent la prise en charge linguistique, prenant éventuellement en charge le français, l'allemand, l'hindi, l'italien et l'espagnol.