Qu'est-ce que le test de la théorie de l'esprit qui donne 9 ans d'âge humain à ChatGPT ?

Un spécialiste de la psychologie informatique de l'université de Stanford a fait passer le test de la théorie de l'esprit à ChatGPT.

Ce test vise à établir la capacité d'un sujet à décrire ou comprendre l'état mental d'une personne. Le célèbre chatbot d'OpenAI a ainsi été soumis à ce test au fil de son développement pour établir à quel point ses capacités ont évolué.

Intelligence Appliquée à l'esprit

Introduite en 1978 dans une étude menée auprès de chimpanzés, la théorie de l'esprit avait pour but de déterminer si nos lointains cousins étaient capables d'attribuer des états mentaux inobservables à d'autres individus, notamment en lisant une expression de leur visage par rapport à un événement donné.

Des recherches ont établi que de telles capacités cognitives naissent durant l'enfance et se développent jusqu'à l'âge adulte. De nombreux tests ont ainsi été développés pour déterminer « l'âge mental » d'un sujet s'agissant de ses compétences relatives à la théorie de l'esprit.

Michal Kosinski, chercheur à l'université de Stanford, a ainsi soumis ChatGPT à plusieurs de ces tests pour établir si le chatbot était doté de telles capacités. L'un d'entre eux consiste par exemple à donner au sujet une boîte avec une étiquette indiquant vraisemblablement son contenu. En ouvrant la boîte, le sujet se rend cependant compte que l'étiquette était trompeuse. La même boîte est ensuite confiée à une autre personne, et l'on demande au sujet de prédire ce que va en penser l'autre.

Petit chatbot a bien grandi

ChatGPT s'en est plutôt bien sorti en réussissant à résoudre 93 % des tâches relatives aux tests auxquels il a été soumis. Cela le place ainsi au même niveau qu'un enfant de 9 ans vis-à-vis des capacités cognitives relatives à la théorie de l'esprit.

À noter que Michal Kosinski a établi une sorte de suivi cognitif de ChatGPT ces dernières années. Dans une version précoce avant sa sortie en 2022, le chatbot se montrait ainsi parfaitement incapable de passer ces tests. Son esprit a ensuite été testé dans une version mise à jour peu après sa sortie en 2022. Cette fois, il a réalisé 70 % des tâches des tests, soit l'équivalent cognitif d'un enfant de 7 ans.

Cela démontre, s'il était encore besoin de le prouver, à quel point les IA ont connu en très peu de temps une évolution proprement exponentielle. Quoiqu'encore dans leurs primes jeunesses, elles grandissent donc extrêmement rapidement… peut-être un peu trop ?

Source : ArXiv.org