IA & LLM : quel modèle de langage choisir ? On fait le point

Alors que l'intelligence artificielle se démocratise, les acteurs majeurs du secteur multiplient leurs travaux et conçoivent de nouveaux modèles de langage. Mais qu'est-ce que c'est et à quoi servent-ils ? On fait le point.

Au lendemain du Sommet pour l'action pour l'Intelligence artificielle qui s'est déroulé cette semaine, la France a annoncé un investissement de 109 milliards d'euros pour accélérer la recherche. L'Union européenne investira de son côté 200 milliards d'euros. Autant dire que l'IA est là pour rester. Alors mieux vaut la maitriser.

Et déjà les opérateurs téléphoniques présentent leurs nouvelles offres incluant les abonnements premium au service d'IA. C'est le cas de Free et d'Orange avec Mistral AI, ou de Bouygues avec Perplexity.

Qu'est-ce qu'un modèle de langage ?

Les modèles de langage ont évolué plus vite que n’importe quelle technologie récente. Des premiers systèmes à base de règles aux colosses neuronaux actuels, ils redéfinissent notre rapport à l’information. Mais avant de choisir son IA, il faut comprendre ce qui se cache sous le capot. Un modèle de langage est un algorithme qui calcule la probabilité du mot suivant dans une phrase. Imaginez un autocomplétion géant, capable de générer des paragraphes cohérents en analysant des milliards de textes. Des n-grams des années 1990 aux transformers modernes, la technologie a franchi trois révolutions techniques. Les modèles actuels comme GPT-4o ou Gemini 2.0 utilisent des réseaux neuronaux profonds avec un mécanisme d'attention leur permettant de gérer des contextes de plusieurs centaines de milliers de tokens.

Les géants des modèles de langage

OpenAI, le pionnier des LLMs

Impossible de parler de modèles de langage sans mentionner OpenAI. La société cofondée par Elon Musk et Sam Altman est connue pour sa série de modèles GPT. Son dernier-né, GPT-4o, se distingue par ses capacités de raisonnement avancées et son support du multimédia. GPT-4o peut non seulement générer et analyser du texte, mais aussi traiter des images, des vidéos et de l'audio. De quoi démultiplier les cas d'usage, de la recherche visuelle à l'analyse de sentiments dans les fichiers audio.

Google et ses modèles Gemini

Google n'est pas en reste avec sa série de modèles Gemini. Leur particularité ? Une spécialisation dans le traitement multimédia et des fenêtres de contexte extra-larges, jusqu'à 1 million de tokens pour Gemini 2.0 Pro. C'est un avantage certain pour les tâches nécessitant une compréhension profonde de documents longs, comme l'analyse de rapports financiers ou d'articles scientifiques. Google a d'ailleurs développé un outil tirant pleinement avantage de ces contextes longs et les capacités d'indexation allant avec : NotebookLM.

Anthropic et l'IA éthique avec Claude

Anthropic fait figure de pionnier avec son approche centrée sur l'éthique et la sécurité. Ses modèles Claude, comme Claude 3.5 Sonnet, sont entraînés avec des techniques de « d'IA constitutionnelle » pour suivre des principes éthiques stricts. Autre force d'Anthropic : l'utilisation d'outils externes. Claude peut interagir avec des bases de connaissances et des APIs pour enrichir ses réponses. Ces interactions se font par le biais de MCP, un protocole qui fait le pont entre le modèle de langage et les outils qu'il peut utiliser. Un MCP peut par exemple permettre à Claude de faire des recherches en se servant de l'API Google Search.

Meta ouvre Llama à la communauté

Meta mise sur l'open-source avec sa série de modèles Llama. Llama 3.3, avec ses 70 milliards de paramètres, est devenu un des modèles open-source les plus populaires pour la recherche et l'expérimentation. En donnant accès à ses modèles, Meta stimule l'innovation et la démocratisation de l'IA. De nombreuses startups et projets de recherche se sont emparés de Llama pour construire des solutions originales.

Mistral AI et ses modèles multimodaux

La licorne française Mistral AI propose une gamme complète de modèles et s'est fait connaître dans le monde de l'open-source en proposant le premier modèle MoE (Mixture of Experts). Cette méthode permet de décupler la puissance d'un modèle tout en étant économe en ressources en lui assignant des experts, c'est-à-dire des sous-modèles spécialisés qui sont appelés dynamiquement par un modèle initial pendant la génération de tokens. Avec Pixtral, Mistral AI offre aussi un modèle image-to-text compact et open-source. De quoi rendre l'IA multimodale accessible au plus grand nombre.

xAI intègre Grok à X

xAI, la filiale d'IA d'X (anciennement Twitter), a fait sensation avec son modèle Grok-3. Intégré à la plateforme X, il peut s'entraîner en continu sur les données en temps réel du réseau social. Résultat : Grok-3 est constamment à jour sur les tendances et l'actualité. Il peut ainsi générer des résumés pertinents ou détecter rapidement la désinformation. Une approche originale qui pourrait inspirer d'autres réseaux sociaux.

Deepseek R1, le modèle qui a surpris tout le monde

Enfin, la surprise est venue de Deepseek avec son modèle Deepseek R1. Avec 671 milliards de paramètres, il s'agit d'un des plus grands modèles open-source disponibles. Mais le plus impressionnant est son coût d'entraînement : seulement 5,5 millions de dollars. C'est une prouesse d'efficacité qui montre que la course aux modèles géants n'est pas réservée qu'aux géants de la tech. Deepseek R1 ouvre la voie à des LLMs ultra-performants mais abordables.

Vous l'aurez compris, le marché des modèles de langage est dominé par quelques grands noms, mais il reste de la place pour les surprises et les approches originales.

Comprendre les benchmarks

Des tests standardisés pour évaluer les performances

Pour comparer les modèles de langage, on utilise des benchmarks, c'est-à-dire des tests standardisés qui évaluent leurs performances sur des tâches spécifiques. Il peut s'agir de compréhension générale, de raisonnement logique, de mathématiques, etc. Parmi les benchmarks les plus connus, on peut citer :

• GLUE (General Language Understanding Evaluation) : Un ensemble de tâches pour évaluer la compréhension générale du langage, comme la détection d'implications textuelles ou l'analyse de sentiments.

• SuperGLUE : Une version plus difficile de GLUE, avec des tâches complexes comme la résolution de coreferences ou le raisonnement causal.

• MMLU (Massive Multitask Language Understanding) : Un benchmark massif composé de questions à choix multiples sur 57 sujets différents, de la physique à la philosophie en passant par le droit.

• HELM (Holistic Evaluation of Language Models) : Un nouveau venu qui propose une évaluation multidimensionnelle des modèles, en mesurant non seulement leurs performances mais aussi leur efficacité, leur robustesse et leur équité.

Interpréter les résultats avec précaution

Que signifient les scores des modèles sur ces benchmarks ? En général, plus le score est élevé, meilleures sont les performances. Mais attention, il faut toujours remettre les résultats dans leur contexte.

D'abord, certains benchmarks commencent à dater et ne reflètent plus vraiment les capacités des modèles les plus récents. C'est le cas de GLUE par exemple, où les meilleurs modèles plafonnent à plus de 90% de réussite.

Ensuite, un bon score sur un benchmark ne garantit pas des performances optimales sur tous les cas d'usage. Chaque tâche a ses spécificités qu'un benchmark généraliste ne peut pas totalement capturer.

Enfin, il faut tenir compte de la taille des modèles. Un petit modèle très performant sur une tâche précise peut être plus intéressant qu'un gros modèle généraliste pour certaines applications.

Bref, les benchmarks sont de bons indicateurs mais il faut les interpréter avec précaution et toujours garder son cas d'usage en tête. D'ailleurs, comment bien choisir son modèle de langage ? C'est ce qu'on va voir tout de suite.

Choisir son modèle

Pour choisir le bon modèle, la première étape est de clarifier ses besoins. Que voulez-vous faire ? De la génération de textes, du résumé automatique, de la traduction, du chatbot ? Chaque tâche a ses spécificités et orientera le choix du modèle.

Par exemple, pour un chatbot, on privilégiera un modèle avec de bonnes performances en compréhension du langage et en génération de réponses pertinentes, comme Claude d'Anthropic. Pour de la traduction automatique, on se tournera plutôt vers un modèle spécialisé comme NLLB de Meta.

Évaluer les performances sur les benchmarks pertinents

Une fois les besoins identifiés, direction les benchmarks ! On regardera en priorité les résultats sur les tâches les plus proches de notre cas d'usage. Par exemple, si on cherche un modèle pour faire du résumé automatique d'articles de presse, on s'intéressera particulièrement aux scores sur les tâches de compréhension documentaire comme celles de GLUE ou SuperGLUE. Mais n'oublions pas de remettre ces scores dans leur contexte, comme on l'a vu précédemment. Un modèle ultra-performant sur un benchmark peut se révéler moins bon sur des données du monde réel.

Regarder au-delà des performances

Au-delà des performances brutes, d'autres critères sont à prendre en compte :

• Le coût et l'accessibilité : Certains modèles sont disponibles gratuitement en open-source comme Llama de Meta. D'autres sont accessibles via des abonnements payant, comme GPT-4o via ChatGPT Plus. À chacun de trouver le bon équilibre entre performance et coût.

• Les capacités spécifiques : Certains modèles possèdent des capacités uniques. GPT-4o impressionne par ses capacités multimodales (texte, image, audio), tandis que Gemini 2.0 de Google gère des contextes extra-longs. À vous de voir ce qui est le plus utile pour vos usages.

• Les considérations éthiques : L'IA soulève de nombreuses questions éthiques, comme les biais algorithmiques ou le respect de la vie privée. Des modèles comme Claude d'Anthropic, entraînés de façon responsable, ou comme Apple Intelligence, qui traite les données localement, peuvent être de bons choix pour les usages sensibles.

Tester et itérer

Enfin, rien ne vaut un bon test en conditions réelles. Si possible, essayez différents modèles sur vos propres données et évaluez les résultats. N'hésitez pas à ajuster le choix du modèle et ses paramètres jusqu'à trouver la configuration optimale.

Gardez aussi en tête que les modèles évoluent vite. Un nouveau modèle plus performant ou moins cher peut arriver du jour au lendemain. Restez à l'affût et n'hésitez pas à réévaluer vos choix régulièrement.