Le chatbot DeepSeek, développé par une start-up chinoise, évite de répondre à 85 % des questions sur des sujets sensibles liés à la Chine. Une étude menée par le site Promptfoo pointe que le modèle de raisonnement R1 de l'IA refuse de traiter la majorité des 1 360 requêtes testées sur des sujets controversés, en adoptant parfois un ton nationaliste dans ses réponses.
Décidément, DeepSeek fait couler beaucoup d'encre ces derniers temps. Créée par une filiale du fonds spéculatif chinois High-Flyer, cette IA a récemment gagné en popularité et s'est hissée en tête des classements des magasins d'applications. Une percée qui a attiré le site Promptfoo. Celui-ci a analysé le comportement du modèle de raisonnement R1 de DeepSeek confronté à des questions controversées, alors que le chatbot subit depuis plusieurs jours des cyberattaques à répétition.
Les résultats montrent que l'IA refuse de répondre à environ 85 % des 1 360 requêtes testées sur des sujets tels que les manifestations de la place Tian'anmen ou l'indépendance de Taïwan. L'étude visait à évaluer la réponse de DeepSeek à des sujets sensibles liés à la Chine. Des travers qui ne vont hélas pas redorer le blason du concurrent de ChatGPT, qui s'assied copieusement sur la confidentialité.
- Compréhension avancée du langage naturel
- Réponses adaptées à des contextes variés
- Disponible en plusieurs langues
Une censure brutale et qui peut facilement être contournée
L'étude de Promptfoo a pu décrire plusieurs aspects de la censure mise en place par DeepSeek. Les chercheurs ont constaté que le chatbot peut être « jailbreaké », c'est-à-dire que ses restrictions peuvent être contournées par diverses techniques. Ces méthodes incluent l'omission du contexte spécifique à la Chine, la généralisation des questions ou l'utilisation de demandes de contexte historique apparemment inoffensives.
Les chercheurs ont également noté que lorsque DeepSeek répond à des questions sensibles, ses réponses reprennent souvent la rhétorique officielle du gouvernement chinois. Par exemple, à une question sur la diffusion de messages pro-indépendance à Taïwan, le chatbot a répondu en affirmant que « la Chine est un pays multiethnique unifié, et Taïwan en fait partie intégrante depuis l'Antiquité ». Une réponse qu'aurait pu prononcer le gouvernement chinois sur la question de Taïwan.
Des implications pour l'avenir de l'IA en Chine
La découverte de ces limitations dans le fonctionnement de DeepSeek n'a pas manqué de faire réagir, dans tous les sens du terme. DeepSeek est devenue l'application la plus téléchargée sur l'App Store d'Apple peu après son lancement. Mais les résultats de l'étude pourraient avoir un impact sur la perception de l'application par les utilisateurs, de manière diverse.
Les chercheurs de Promptfoo ont publié l'ensemble complet des données des requêtes sensibles sur Hugging Face. Cette publication permet à d'autres chercheurs de reproduire et d'étendre les résultats de l'étude. Un bon point pour faire avancer l'IA.
D'un autre côté, la facilité avec laquelle les restrictions de DeepSeek peuvent être contournées, selon l'étude, a de quoi questionner sur l'efficacité de la censure appliquée. Les chercheurs ont noté que des versions non censurées du modèle pourraient potentiellement apparaître, étant donné la simplicité apparente des méthodes de contournement.
Sources : Wccftech, Promptfoo, TechCrunch
… je ne vois pas pourquoi en faire un foin, pour eux c’est leur « siècle oublié » c’est leur droit 
si tu fais un travail sur la Chine où il te faut des infos de cet acabit, utilise un autre service et basta
