Liquid AI, une jeune pousse fondée par des chercheurs du célèbre MIT, vient de lancer ses premiers modèles d'IA générative. Baptisés Liquid Foundation Models (LFM), ils se démarquent par une architecture novatrice qui promet des performances supérieures aux modèles de langage traditionnels, tout en étant plus compacts et efficaces.
Les nouvelles vont vite dans le monde de l'IA générative. Alors que NVIDIA annonce ses modèles open source, un autre acteur bien moins établi se targue de proposer des modèles qui ne saturent pas la mémoire vive tout en proposant des performances similaires à d'autres IA de taille équivalente.
Des performances au top sur les benchmarks de référence
Liquid AI est née d'une innovation technologique majeure : les réseaux de neurones liquides. Conceptualisés en 2018 à l'université de technologie de Vienne, ces réseaux ont été portés à une échelle inédite en 2022 par l'équipe de Daniela Rus au CSAIL du MIT. Leur particularité ? Une architecture ultra flexible qui leur permet d'adapter dynamiquement les échanges de données entre leurs « neurones ». Résultat : ils peuvent prendre en compte des cas de figure, même lorsqu'ils diffèrent de leurs données d'entraînement.
Cet atout est précieux pour des applications comme la conduite autonome. Cerise sur le gâteau, les LFM nécessitent beaucoup moins de paramètres et de puissance de calcul que les modèles traditionnels. Forte de ce potentiel, Liquid AI a réuni fin 2023 près de 40 millions de dollars auprès d'investisseurs de renom pour développer une nouvelle génération de modèles d'IA fondée sur ces fameux « réseaux de neurones liquides ». Moins d'un an plus tard, la start-up installée à Boston et Palo Alto dévoile donc ses premiers modèles LFM.
Liquid AI propose pour commencer 3 modèles :
- LFM-1B (1,3 milliard de paramètres), un modèle compact pour les environnements aux ressources limitées ;
- LFM-3B (3,1 milliards de paramètres), idéal pour le edge computing ;
- LFM-40B (40,3 milliards de paramètres), un puissant modèle Mixture of Experts (MoE) pour les tâches complexes.
Selon la start-up, ses LFM auraient déjà obtenu des résultats satisfaisants sur plusieurs benchmarks clés de l'IA. Le modèle LFM-1B surpasserait notamment le Llama 3.2-1.2B de Meta et le Phi-1.5 de Microsoft sur le célèbre test MMLU (Massive Multitask Language Understanding), qui évalue les performances sur 57 problèmes dans les domaines STEM. Une première pour une architecture non GPT !
Mais l'avantage des LFM ne se limite pas aux performances pures. Grâce à leur architecture adaptative héritée des réseaux de neurones liquides, ils peuvent traiter efficacement jusqu'à 1 million de tokens en utilisant un minimum de mémoire. Le modèle LFM-3B, par exemple, maintient une empreinte mémoire nettement plus faible que ses concurrents lorsque la longueur des séquences augmente. Idéal pour analyser de longs documents ou alimenter des chatbots.
Cap sur le marché de l'IA générative
Avec ses premiers modèles LFM, Liquid AI compte bien se faire une place sur le marché ultra concurrentiel de l'IA générative, dominé par les géants de la tech et des start-up comme Anthropic. Son P.-D.G. Ramin Hasani n'hésite pas à dire que sa société « est en compétition avec des fournisseurs de modèles de fondation qui développent des GPT ». Rien que ça !
Mais la jeune pousse ne compte pas s'arrêter là. Ses LFM étant par nature multimodaux, elle vise aussi des applications métiers dans des secteurs variés comme la finance, la biotech ou l'électronique grand public. Sans oublier des cas d'usage spécifiques comme la navigation autonome, où les réseaux de neurones liquides ont déjà fait leurs preuves.
Pour servir ces ambitions, Liquid AI prévoit de fournir à ses clients des infrastructures de calcul sur site et dans le cloud ainsi que des outils pour qu'ils développent leurs propres modèles fondés sur sa technologie. La start-up a clairement vu les choses en grand. Reste à voir si ses modèles LFM tiendront leurs promesses une fois confrontés aux réalités du marché.
Source : VentureBeat
