Bientôt la fin de la traversée du désert pour Gemini ? Le dernier modèle impressionne sur les benchmarks

Google pourrait bien être en train de redorer son blason dans la course à l'intelligence artificielle. Après plusieurs années de critiques, le géant technologique semble avoir trouvé son second souffle avec un nouveau modèle Gemini particulièrement prometteur.

Depuis l'émergence de ChatGPT en 2022, Google semblait à la traîne dans la compétition de l'IA générative. Ses premières versions de Bard, puis de Gemini, avaient été accueillies avec un scepticisme certain par la communauté technologique. Mais aujourd'hui, tout pourrait bien changer avec l'arrivée d'un modèle expérimental qui bouscule la hiérarchie établie.

Un nouveau souffle pour l'IA de Google ?

Sur la plateforme Chatbot Arena, qui permet des comparaisons indépendantes entre modèles d'IA, Gemini-Exp-1114 vient de créer la surprise. Testé par plus de 6 000 utilisateurs, il se hisse désormais au même niveau que GPT-4o, le dernier né d'OpenAI. Plus impressionnant encore : il domine carrément plusieurs catégories stratégiques comme les mathématiques, l'écriture créative, les requêtes longues, le suivi des instructions et les conversations multi-tours.

Les chiffres parlent d'eux-mêmes : le modèle a vu son score Arena passer de 1301 à 1344, une progression significative. Plus impressionnant encore, Gemini-Exp-1114 domine désormais le classement dans la catégorie Vision et se classe numéro un dans pas moins de six domaines différents, signalant un saut qualitatif important.

Une stratégie de reconquête bien pensée

Google a manifestement travaillé sur la concision de ses réponses. Ce nouveau modèle Gemini produisent des textes 5 à 20% plus courts, répondant ainsi aux critiques sur la prolixité des précédentes versions. Une approche qui montre une écoute attentive des retours utilisateurs. Dans les confrontations directes, Gemini-Exp-1114 affiche des taux de victoire impressionnants : 50% contre GPT-4o, 56% face au modèle o1-preview, et 62% face à Claude-3.5-Sonnet. Des chiffres qui traduisent une montée en puissance indéniable et repositionnent Google comme un acteur majeur. En revanche, le code reste l'un de ses angles morts, et c'est o1-preview qui domine toujours sur ce terrain.

Google semble donc revenir dans la course, et c'est une bonne chose. Rappelons que de nombreuses rumeurs rapportent une possible intégration de Gemini dans l'écosystème IA d'Apple, à l'instar du partenariat que la firme de Cupertino a avec OpenAI.

Source : Neowin