Meta lance Llama 3,1 405B, "le modèle d'IA de fondation le plus grand et le plus performant au monde"

Le géant Meta a dévoilé, mardi, son tout nouveau modèle à 405 milliards de paramètres, Llama 3.1. La maison-mère de Facebook le décrit comme « le modèle de fondation le plus grand et le plus performant au monde » disponible en libre accès.

Meta a franchi une nouvelle étape de son développement sur le marché de l'intelligence artificielle avec le lancement de Llama 3.1, présenté ce mardi 23 juillet. Cette nouvelle génération de modèles de langage open source est portée par ce modèle doté de 405 milliards de paramètres, qui fait de lui, du point de vue de Meta, le plus grand et le plus performant des modèles de fondation disponible en libre accès. Mark Zuckerberg l'affirme : cette avancée permettra de démocratiser l'IA et d'encourager l'innovation à grande échelle. Essayons de décortiquer tout cela.

Le grand bond en avant de Meta sur l'IA avec son modèle Llama 3.1

Llama 3.1 405B se distingue par ses performances exceptionnelles, et le fait qu'il soit capable de rivaliser avec les meilleurs modèles fermés du marché. Celui-ci a été entraîné sur plus de 15 trillions de tokens, et il offre des capacités de pointe en matière de connaissance générale, d'orientation, de mathématiques et de traduction multilingue. Mais cette prouesse technique fut assez énergivore, puisqu'elle a nécessité l'utilisation de plus de 16 000 GPU H100, faisant de Llama 3.1 405B le premier modèle Llama entraîné à cette échelle.

La nouvelle gamme Llama 3.1 est l'occasion pour Meta de présenter des versions améliorées de ses modèles 8B et 70B. Ces derniers bénéficient d'une fenêtre de contexte étendue à 128K tokens. Pour vous donner une idée, cela permet le traitement de textes plus longs et des interactions plus complexes. Ce qu'il faut savoir, c'est que les modèles sont désormais multilingues et qu'ils offrent des capacités de raisonnement renforcées, qui ouvrent la voie à des applications avancées telles que les assistants de codage et les agents conversationnels multilingues.

Pour développer Llama 3.1, Meta a fait le choix d'une approche itérative, combinant fine-tuning supervisé (c'est-à-dire spécialiser un LLM sur un domaine précis avec un raisonnement spécifique) et optimisation directe des préférences. La méthode a permis d'améliorer de façon considérable la qualité des données d'entraînement et les performances globales des modèles. Ajoutons à cela que l'entreprise a optimisé ses modèles pour l'inférence en production, notamment grâce à une quantification de 16 bits à 8 bits.

Déjà plus de 300 millions de téléchargements pour les modèles Llama

Sur un aspect un peu plus business, Meta a constitué un large écosystème de partenaires pour faciliter l'adoption du nouveau modèle. On peut citer notamment des acteurs de premier plan du Cloud et de l'IA, comme Amazon Web Services, Google Cloud, Microsoft Azure, NVIDIA et Databricks, qui proposent dès maintenant des services d'intégration à leurs clients. Meta explique que les développeurs pourront tirer pleinement parti des capacités avancées du modèle 405B, que ce soit pour l'inférence en temps réel, le fine-tuning supervisé ou la génération de données synthétiques.

Ce n'est pas tout, car Meta a aussi introduit de nouveaux outils de sécurité, dont Llama Guard 3 et Prompt Guard, qui doivent aider à encourager un développement responsable de l'IA. L'entreprise lance par ailleurs un appel à commentaires sur GitHub pour le « Llama Stack », un ensemble d'interfaces standardisées visant à faciliter l'interopérabilité et la construction d'applications tierces basées sur Llama.

En tout cas, fort des 300 millions de téléchargements pour l'ensemble des versions de Llama, Meta démontre l'intérêt croissant, et c'est le moins que l'on puisse dire, pour l'IA open source, à laquelle Mark Zuckerberg tient beaucoup. L'entreprise espère que cette nouvelle génération de modèles stimulera l'innovation et permettra l'émergence de nouvelles applications dans des domaines variés, allant de la santé à l'éducation, en passant par la recherche scientifique. Wait and see, comme on dit outre-Atlantique.