Proposer des modèles d'IA performants tout en limitant le coût en ressources, c'est le prochain grand challenge de l'IA. En effet, des modèles toujours plus costauds impliquent généralement des serveurs toujours plus importants. Sauf pour un des leaders chinois du domaine.
DeepSeek a dévoilé jeudi une nouvelle version de son modèle Flash, optimisé pour réduire les coûts et la latence. Baptisée V4.1, cette mise à jour apporte des améliorations architecturales plus importantes qu’attendu pour une version mineure, ouvrant la voie à des modèles plus performants tout en limitant les besoins en ressources.
Un modèle deux fois plus large
Avec 763 milliards de paramètres, DeepSeek V4.1 Flash dépasse de plus de 2,5 fois la taille de son prédécesseur. Il est même plus volumineux que les modèles V3 et R1, qui avaient marqué l’émergence de DeepSeek début 2025. Pourtant, ses exigences en mémoire ne sont pas proportionnelles à sa taille.
Les développeurs de DeepSeek ont modifié la gestion des caches clé-valeur (KV), utilisés pour suivre l’état du modèle entre les sessions. Ces caches, particulièrement gourmands en mémoire dans les applications gourmandes comme les chatbots, voient leur consommation réduite à 13 % à 25 % par rapport à la version V4 Flash. Ce, grâce à des ajustements dans les mécanismes d’attention et à l’introduction d’un nouvel encodeur-décodeur causal (CED). Résultat : le modèle peut prendre en charge quatre à huit fois plus d’utilisateurs avec la même empreinte mémoire pour les caches KV.
Une autre innovation majeure réside dans l’introduction d’un nouveau type de poids : 196 milliards des 763 milliards de paramètres sont des N-grammes, formant ce que DeepSeek appelle un "module de mémoire conditionnelle". L’idée est de découpler la mémoire du calcul, permettant d’améliorer l’intelligence du modèle tout en réduisant les ressources nécessaires à son exécution.
Le fonctionnement des N-grammes
Les N-grammes, groupes de tokens (par exemple, des paires ou des triplets de mots), agissent comme une source de connaissances implicites. Plutôt que de calculer uniquement les combinaisons de tokens les plus probables, comme le font traditionnellement les grands modèles de langage, les poids N-grammes complètent ce processus en fournissant rapidement des informations pertinentes via une recherche peu coûteuse.
En pratique, ces poids fonctionnent comme des tables de consultation volumineuses. Contrairement aux autres paramètres du modèle, ils n’ont pas besoin d’être entièrement chargés en mémoire GPU à chaque génération de token. Quelques dizaines de recherches par token suffisent, ce qui permet de les stocker en mémoire système ou même sur un stockage rapide, sans pénaliser les performances.
Ainsi, bien que V4.1 Flash nécessite théoriquement 763 Go de mémoire GPU pour ses poids en FP8, les N-grammes peuvent être délocalisés, réduisant ce besoin à environ 567 Go. En production, ces chiffres seront plus élevés en raison des caches KV, dont la taille dépend de la longueur du contexte et du nombre d’utilisateurs simultanés.
Une tendance dans l’écosystème des LLMs
DeepSeek n’est pas le seul à miser sur cette approche. Google utilise déjà une technique similaire, le Per-Layer Embedding (PLE), pour ses modèles Gemma, permettant de délocaliser certains poids vers un stockage local. Pour l’instant, cette méthode a surtout été appliquée à des modèles de petite taille.
- Compréhension avancée du langage naturel
- Réponses adaptées à des contextes variés
- Disponible en plusieurs langues
Fin août, Alibaba a également présenté Qwen 3.8-Flash-Next, un modèle de 180 milliards de paramètres incluant 51 milliards de paramètres N-grammes, s’inspirant des recherches publiées par DeepSeek en janvier. Selon Alibaba, cette architecture servira de base à sa prochaine génération de modèles Qwen 4.
Avec ces évolutions, les N-grammes pourraient devenir une composante récurrente dans le développement des grands modèles de langage, afin d'éviter la surcharge et la multiplication exponentielle du nombre de serveurs, coûteux à la fabrication et en énergie.
