Meta vient de dévoiler sa quatrième génération de modèles d'intelligence artificielle baptisée Llama 4, avec des performances que l'entreprise affirme supérieures à celles des modèles concurrents comme GPT-4o d'OpenAI et Gemini 2.0 de Google. Pour cette nouvelle itération, le géant des réseaux sociaux abandonne sa classification traditionnelle par nombre de paramètres au profit de noms évocateurs : Scout, Maverick et Behemoth.
Le groupe de Mark Zuckerberg, qui avait récemment célébré le milliard de téléchargements pour ses modèles précédents, poursuit son offensive dans le domaine de l'IA générative. Après avoir fait face à des critiques concernant l'utilisation d'œuvres protégées dans l'entraînement de ses modèles, Meta mise désormais sur une architecture novatrice pour ses nouvelles IA. Cette quatrième génération représente un saut technologique significatif grâce à l'adoption de l'architecture MoE (Mixture of Experts), popularisée initialement par Mistral et DeepSeek.
- Intégration multiplateforme
- Modèles open-source Llama 4
- Fonctionnalités de génération d'images et vidéos
Des modèles à la fiche technique impressionnante
Le plus accessible des nouveaux modèles, Llama 4 Scout, dispose de 17 milliards de paramètres actifs répartis sur 16 experts, pour un total de 109 milliards de paramètres. Sa particularité la plus remarquable réside dans sa capacité à traiter jusqu'à 10 millions de tokens simultanément, une fenêtre de contexte sans précédent qui permet d'analyser des documents entiers ou de raisonner sur des bases de code complètes.
Pour fonctionner, Scout nécessite toutefois une carte graphique Nvidia H100 avec quantification Int4, un composant professionnel dont le prix avoisine les 30 000 euros. Ce choix marque une rupture avec la philosophie initiale de Llama qui privilégiait des modèles pouvant fonctionner sur du matériel grand public.
Llama 4 Maverick, plus puissant encore, conserve 17 milliards de paramètres actifs mais répartis cette fois sur 128 experts, pour un total impressionnant de 400 milliards de paramètres. Selon Meta, ce modèle surpasse GPT-4o d'OpenAI et Gemini 2.0 dans plusieurs domaines clés, notamment le codage, le raisonnement, les capacités multilingues et l'analyse d'images.
L'architecture MoE, la nouvelle référence pour l'efficience
L'adoption de l'architecture MoE constitue l'innovation majeure de ces nouveaux modèles. Cette approche, qui a fait ses preuves avec les modèles DeepSeek, consiste à diviser le traitement des données en sous-tâches confiées à des réseaux « experts » spécialisés. Contrairement aux architectures denses traditionnelles, seuls certains experts sont activés pour chaque token d'entrée, ce qui permet une meilleure efficacité computationnelle.
La particularité des modèles Llama 4 réside dans l'ampleur inédite de l'implémentation MoE, avec jusqu'à 128 experts pour Maverick. Meta applique également une technique appelée « early fusion » qui traite texte, images et vidéos comme une séquence unique de tokens dès le début du processus, permettant une véritable compréhension multimodale native.
Sur le benchmark LMArena, Llama 4 Maverick atteindrait un score ELO de 1417, se positionnant au niveau des modèles les plus avancés du marché. Quant au modèle Behemoth, encore en phase d'entraînement avec ses 288 milliards de paramètres actifs et ses 16 experts totalisant près de 2 billions de paramètres, Meta affirme qu'il surpasse déjà GPT-4.5, Claude Sonnet 3.7 et Gemini 2.0 Pro sur plusieurs benchmarks scientifiques. Ces nouveaux modèles sont d'ores et déjà disponibles sur la plateforme Meta AI ainsi que via WhatsApp, Messenger et Instagram Direct dans 40 pays. Cependant, les fonctionnalités multimodales restent pour l'instant limitées aux utilisateurs anglophones aux États-Unis.
20 mars 2025 à 09h27
Un point d'ombre subsiste concernant les restrictions d'utilisation : les entreprises et particuliers basés dans l'Union européenne ne peuvent ni utiliser ni distribuer ces modèles, probablement en raison des exigences réglementaires liées à la législation européenne sur l'IA. Par ailleurs, les entreprises comptant plus de 700 millions d'utilisateurs mensuels actifs doivent demander une licence spéciale à Meta. Alors, peut-on vraiment parler d'open-source avec de telles restrictions ?
Source : Meta
