Anthropic développe un système pour prouver l’identité des modèles d’IA

Anthropic a mis au point FlashProve, un outil qui permet de prouver qu’une réponse IA provient bien du modèle annoncé.

Anthropic, le créateur de Claude, en est convaincu, l’IA pourrait bientôt être en mesure de s’améliorer elle-même et de déjouer les mécanismes mis en place pour la contrôler. La firme, qui vient de déposer son dossier d’introduction en Bourse, rencontre actuellement quelques difficultés : sa croissance ralentit et ses pertes s’élèvent à plus de 80 milliards de dollars cette année.

Dans ce contexte compliqué, Anthropic souhaite renforcer la confiance des utilisateurs avec un nouveau système d'authentification de modèles. On vous explique.

Anthropic lance FlashProve pour authentifier les réponses de l’IA

Aujourd’hui, il est difficile de vérifier qu’une réponse générée par l’IA vient bien d’un modèle et non d'un autre. Rien n’empêche les intermédiaires d’utiliser des versions moins onéreuses pour économiser. Un individu malveillant peut aussi modifier la séquence de jetons produite. Conscient du problème, Anthropic a développé FlashProve, un « système permettant l'inférence vérifiable de grands modèles linguistiques de type « mélange d'experts » (Mixture-of-Experts, MoE). »

Cet outil s’appuie sur une technologie appelée zkSNARK, un système de preuves cryptographiques. Dans les faits, un fournisseur publie une empreinte numérique de son modèle puis accompagne chaque réponse d’IA d’une preuve attestant que ce modèle en est bien l’auteur. Cette signature peut, par la suite, être vérifiée sans avoir accès aux paramètres internes du modèle. Les concepteurs ne sont donc pas obligés de révéler leurs secrets de conception.

Un prototype open source qui doit encore être amélioré

FlashProve a été publié sous licence Apache 2.0 sur GitHub. Dans un récent article de recherche, l’équipe d’Anthropic a expliqué que son objectif était avant tout de partager « des avancées intermédiaires et non un programme de recherche finalisé. Nous le partageons explicitement dans le but que d’autres puissent examiner notre travail, s’en inspirer et l’améliorer. » Ceux qui le souhaitent peuvent notamment consulter la documentation technique de l’outil.

Si FlashProve présente, pour l’heure, assez peu d’intérêt pour le grand public, il pourrait s’avérer précieux pour les professionnels : Anthropic cite notamment « les évaluateurs indépendants qui testent les modèles d'IA avant et après leur mise en production doivent s'assurer que le modèle évalué est bien celui qui est utilisé » ou encore les « clients qui utilisent un modèle via un service de routage tiers (qui) souhaitent avoir la garantie que les jetons proviennent du modèle pour lequel ils ont payé. » Les régulateurs et les développeurs pourraient également être intéressés.

Pour l’instant, l’outil n’est qu’au stade expérimental et ses concepteurs espèrent que d’autres chercheurs aideront à le perfectionner. Anthropic estime que le système présente aujourd’hui plusieurs limites : il ne fonctionne qu’avec certains types de modèles et sa rapidité est loin d’être optimale. Il y, de plus, des risques de fuites d’informations à résoudre.

Il faudra donc attendre que FlashProve gagne en maturité avant qu’un déploiement à grande échelle ne soit envisagé.