GPT-5 ne serait pas aussi impressionnant que prévu, OpenAI change de stratégie

Les progrès de l'IA commenceraient-ils à ralentir ? C'est en tout cas ce que suggèrent les derniers tests d'Orion, le prochain modèle phare d'OpenAI, qui ne montrerait pas les améliorations spectaculaires auxquelles nous avaient habitués les versions précédentes.

Après avoir révolutionné le monde de l'IA avec ChatGPT fin 2022, OpenAI fait face à un nouveau défi : les limites du scaling. Les employés qui ont testé Orion, nom de code du successeur de GPT-4, rapportent des progrès moins impressionnants qu'attendus. Cette situation pousse l'entreprise à repenser sa stratégie de développement.

Un ralentissement qui pose question

Les premiers tests d'Orion montrent qu'il atteint les performances de GPT-4 après seulement 20% de son entraînement, ce qui pourrait sembler prometteur. Mais le gain final en qualité serait moins spectaculaire que le bond observé entre GPT-3 et GPT-4.

Dans certains domaines comme le code, Orion ne serait même pas systématiquement meilleur que son prédécesseur. Une situation qui tranche avec l'euphorie qui avait accompagné le lancement de GPT-4 en mars 2023. La raison principale ? La disponibilité limitée de données d'entraînement de qualité. OpenAI se retrouve confronté à un problème que les spécialistes redoutaient depuis longtemps : on ne peut pas améliorer indéfiniment les performances uniquement en augmentant la taille des modèles.

Une nouvelle approche en développement

Face à ce constat, OpenAI ne reste pas les bras croisés. L'entreprise a créé une équipe dédiée, baptisée « foundations », chargée d'explorer de nouvelles pistes d'amélioration. L'une des approches envisagées consiste à utiliser des données synthétiques générées par d'autres modèles d'IA. Le modèle pourrait d'ailleurs abandonner la nomenclature « GPT » traditionnelle, signe d'un changement de paradigme. Sam Altman, le PDG d'OpenAI, mise notamment sur la multimodalité comme fonctionnalité phare, permettant au modèle de traiter naturellement texte, images et vidéos.

Les attentes restent néanmoins élevées pour ce nouveau modèle attendu début 2025. Microsoft, partenaire privilégié d'OpenAI, affirme qu'il pourrait « passer les examens de qualification d'un doctorant » et promet des avancées significatives en matière de raisonnement. Ce ralentissement apparent des progrès marque peut-être moins une limite technologique qu'une évolution naturelle vers des améliorations plus qualitatives que quantitatives. Après tout, même les premiers ordinateurs ont connu une phase similaire, passant de bonds spectaculaires en puissance à des optimisations plus subtiles mais tout aussi importantes.

Source : The Information