OpenAI présente ses nouveaux modèles de langage IA capable de "raisonner"

S’il raisonne, peut-il poser des questions quand il n’a pas assez d’info ? ou alors il va continuer de jouer avec les statistiques et « deviner » ce qu’on lui demande.

C’est une impression ou les sorties sont de plus en plus rapprochées ?
Est-ce qu’ils n’utiliseraient pas une IA pour améliorer leurs IA ?

deux études successives démontrent que passé 20 millions de paramètres, on pouvait déjà mesurer directement dans les nœuds qui s’activent lors de l’inférence, que les système avec transformers ont une forme de « représentation mentale » d’une situation (dans les études : d"une situation de jeu, echec ou autre) .

La conclusion du topo qu’en fait un interlocuteur de M.phi est que les chercheurs ne considèrent déjà plus drôle la vanne du « ils ne sont que des perroquets stochastiques » => « il ne font que deviner le prochain mot ».

Donc une IA spécialement conçue pour maximiser ce phénomène de « remise en situation » d’un prompt , quitte à la ralentir, y’a effectivement de fortes chance qu’elle « raisonne » plus que très correctement, plus que …beaucoup d’hommes en réalité.

Edit : pour resituer, GPT3 c’était déjà 175 milliards, pas millions, de paramètres

On se rapproche du monde de La Culture de Ian Banks (pour ceux qui connaissent bien la science-fiction), c’est à dire des IA qui nous dépassent. Je pense que très bientôt la plupart des découvertes scientifiques seront en majeure partie de fruit d’IA, avec des expérimentations dans le monde réel opérées par les humains qui les « utiliseront ».
Quand on voit qu’il y a 3 ans ces modèles d’IA n’existaient pas, les avancées sont ahurissantes. Il va falloir s’accrocher pour rester maître à bord, avec comme seule option logique d’augmenter nos capacités en se branchant sur des « extensions » : puissance de calcul, mémoire infinie, etc.

Attention, « les chercheurs » ne partagent pas tous cet avis.

Yan Le Cun nuance fortement : « D’ailleurs, on a l’impression que ces systèmes sont intelligents, mais en fait, ils n’ont pas le type d’intelligence qu’on constate chez les humains. Ils sont capables de manipuler la langue et ça nous donne l’impression qu’ils sont intelligents, mais c’est une intelligence très superficielle. »

Laurence Devillers affirme elle : « L’IA est une machine extrêmement puissante, mais qui ne comprend rien à ce qu’elle fait »

Je ne lancerait pas le débat, simplement, il ne faut pas généraliser à outrance, cette question est loin d’être « résolue ».

Les sources de ces études svp ?