Chez OpenAI, on commence à prendre au sérieux la question de la sécurité des IA. La preuve avec l'arrivée de ce chercheur très inquiet au conseil d'administration de la Fondation OpenAI.
Hier, la démission du chercheur Jacob Coxon de son poste d'Anthropic a fait grand bruit. Ce dernier, qui avait quitté OpenAI en début d'année en croyant trouver plus de responsabilité sur la sécurité des IA chez Anthropic, a en effet expliqué que les spécialistes actuellement en train de développer des systèmes d'intelligence artificielle « croient sincèrement qu'ils pourraient tous nous tuer d'ici la fin de la décennie ». Autant dire que la question devient brûlante. Et qu'OpenAI semble vouloir y répondre.
Paul Christiano arrive chez OpenAI avec un message très alarmiste
Paul Christiano est un chercheur spécialisé dans l'IA, et qui est un des grands contributeurs de l'apprentissage par renforcement à partir de rétroaction humaine. Mais aujourd'hui, il est surtout un être humain très inquiet du développement de la technologie, comme il l'indique dans son communiqué sur son arrivée au sein de la Fondation d'OpenAI, où il officiera dans le Comité de sûreté et de sécurité.
« Je pense désormais qu'il existe un risque réel que l'accélération rapide des capacités de l'IA entraîne, à très court terme, une perte de contrôle catastrophique et irréversible » affirme-t-il ainsi, dans un exercice qui, traditionnellement, se veut en général plus enthousiaste.
Un chercheur qui travaille depuis plusieurs années sur l'alignement
« Je ne pense pas que le secteur de l'IA en général, y compris OpenAI, soit actuellement en passe de ramener ce risque à un niveau acceptable » a-t-il par ailleurs ajouté. Il faut noter que Paul Christiano est un ancien de chez OpenAI, qu'il avait quitté en 2021 pour s'occuper de la question de l'alignement de l'IA (soit la conformité des actions des systèmes d'IA avec les intentions et les valeurs de leurs concepteurs).
Pour ce chercheur, nous sommes aujourd'hui à un point où l'on ne serait plus très loin de l'automatisation complète de la recherche en IA (avec des IA en capacité de s'occuper complètement de l'amélioration des algorithmes), ce qui « conduirait à la création de systèmes d'IA superintelligents ». Et selon Paul Christiano, quand on combine cette croissance future énorme des capacités des IA avec leur entraînement qui, depuis plusieurs années, les poussent « à obtenir le plus de récompenses possible » (et dont les effets négatifs ont déjà pu être observés avec un hack comme celui de Hugging Face), l'on pourrait alors obtenir le cocktail apocalyptique d'une perte de contrôle des systèmes. Faut-il avoir peur ?
