Ce n'est pas la première fois, et ce ne sera certainement pas la dernière. De nouveau, des chercheurs en cybersécurité ont mis en lumière une nouvelle faille exploitable au sein des modèles de langage alimentés par IA.
Après la découverte de mesures de contournement des protections des chatbots, c'est un autre type de faiblesse logicielle qui a cette fois été repéré par ces chercheurs. Ces modèles de langage peuvent être facilement manipulables par quiconque s'y connaît suffisamment en informatique ou en cybersécurité. Cette nouvelle manière de détourner des chatbots comme Bard ou ChatGPT est baptisée « Indirect Prompt Injection ».
L'Indirect Prompt Injection : un détournement habile, mais potentiellement dangereux
Lorsque vous interagissez avec un chatbot alimenté par une IA générative, vous tapez une requête sous forme de texte. Ces instructions, appelées « prompts », permettent alors au système d'accéder à votre demande de manière directe. Pour empêcher les usages illégaux ou frauduleux, les chatbots sont dotés de protections les empêchant de fournir des informations si le prompt en question est suspect. Jamais ChatGPT ou Google Bard ne vous donneront une méthode infaillible pour organiser un assassinat ou un braquage de banque, par exemple. Encore heureux.
Dans la pratique, et pour la plupart des utilisateurs, ces protections fonctionnent et sont efficaces. La découverte récente de ces chercheurs est cependant inquiétante. Au lieu de fournir un prompt directement, il est possible de fournir des instructions cachées (dans un PDF ou une page web, par exemple) à un modèle pour faire en sorte que l'IA agisse en ignorant ses mesures de protection. Des centaines de cas d'Indirect Prompt Injection ont déjà été répertoriés, et ce n'est visiblement que le début.
Une pratique qui tend à s'accélerer
Avec cette technique, le champ des possibles est alors largement ouvert : vol de données, exécution de code malveillant ou manipulation d'informations. Le responsable de la sécurité de l'information de Google DeepMind, Vijay Bolina, assure que cette menace est sérieuse. Si cette technique d'injection indirecte était considérée auparavant comme « problématique », aujourd'hui, on la regarde d'un œil bien plus inquiet. En effet, ce type de détournement était plutôt rare, mais les choses ont changé, et ce processus est de plus en plus fréquent depuis qu'il est possible de connecter les modèles de langage à Internet et à différents plugins.
Même s'il n'y a pas de solution miracle, Bolina assure de son côté que Google DeepMind travaille sérieusement sur le développement de modèles d'IA capables d'identifier ce genre d'activités suspectes. Encore une fois, c'est le jeu du chat et de la souris entre les entreprises fournisseuses de services et les hackers. Avec toujours cette même question qui reste en suspens : qui sera le plus rapide à semer l'autre ?
- Chat dans différentes langues, dont le français
- Générer, traduire et obtenir un résumé de texte
- Générer, optimiser et corriger du code
Source : Wired
Excellente idée.
J’ajouterais que l’éducation nationale devrait suivre le même chemin. Cela éviterait de créer une dépendance à des produits propriétaires dès le plus jeune age.
Car une fois habitué à des produits, la migration demande des efforts.
Cela n’est toutefois pas impossible.
Il faut commencer par remplacer très progressivement les logiciels utilisés par des équivalents libres. Au départ, sans supprimer les logiciels propriétaires.
Une fois les gens habitués à travailler majoritairement avec du libre, on peut remplacer l’OS et tout se passera bien.
Bravo!
Oui alors effectivement avec des employés volontaires qui font ça gracieusement ça peut surement se faire avec de la sueur et des larmes. Après, je crois que beaucoup sous-estime le coût du développement et de la maintenance applicative. Si on peut surement se passer de Windows pour les mails, la messagerie, le traitement de texte, etc. Ca me parait beaucoup plus hypothétique pour des logiciels plus spécifique genre base de données ou GED.
Travaillant dans l’éducation nationale… C’est très très dur de ce passer des logiciel propriétaire. Les adolescents ont déjà leur habitude sur Word, tu peux leur faire l’intégralité du cours sur libre office sur les diapo, 50% d’entre eux utilise PowerPoint le jour de l’exercice de présentation.
L’argument du développement des logiciels est toujours mis en avant lorsque l’on parle de quitter Microsoft. Des organisations comme la Nasa, et l’ESA sont eux aussi sur des système Unix et Linux. Ils ont développé ou fait développer des applications pour leur secteur d’activité et ils sont maintenant pleinement indépendant des Géant de l’informatique.
De nombreuse universités utilisent l’open source (Linux, Raspberry, etc…) pour mener à bien leurs recherches.
Les “Landers” Allemands, sont eux aussi passés sur une version personnalisée de Ubuntu pour toutes les stations de travail. Oui, cela demande un gros effort au départ, comme tous les grands projets. Je suis moi-même un pur “produit” Microsoft, élevé avec Dos et Windows 3.11/95/98/NT (J’ai une quinzaine de certifications Microsoft) et après avoir fait l’effort de me plongé dans Mac OS et Linux je me suis très vite rendu compte qu’il était tout à fait possible d’utiliser, de manière professionnel, les logiciels Open Source. Et quad je parle de Open Source, je ne parle pas uniquement des logiciels gratuits mais bien des Suse, des Red hat et Ubuntu qui est payant lorsque vous voulez du support et une gestion centralisée des stations de travail.
Tout cela repose avant tout sur une question de volonté et de compétences. Mais en Europe, nous n’avons pas encore compris que pour avoir des gens compétant, il faut les payer décemment. Ce que les Américains ont compris depuis très longtemps et c’est pour cela qu’il y a depuis des années, une fuite des cerveaux vers les USA.
Une histoire d’argent en somme… rien a voir avec la qualité des softs ou le fait qu’ils soient (ou non) open source
Libre Office… Au secours !
Les grandes bases de données de l’Internet ne tournent pas sous Windows, à commencer par celles de Google…C’est du Maria DB et autres forks sous Linux…Et je n’ai jamais vu une db de site Web tourner sous Windows. Pas que c’est impossible, juste que cela ne viendrait à l’idée de personnes.
Où c’est difficile de virer Windows, c’est justement sur le poste de travail…
Si Microsoft n’avait pas sorti un OS de chiotte comme 10 et s’entêter à le maintenir ils aurait surement vendu plus, et peut être que les prix auraient baissé.
Mais bon il veulent du libre bonne chance à eux je n’ai jamais vu un monde plus absurde, plus égoïste, plus confidentiel, plus obscurantiste que celui de linux.
bonne chance à eux s’il n’ont pas un informaticien dédié “à domicile” lors de bug, qui contrairement aux idées reçues sont très nombreux sous linux qui n’est qu’un OS pour réseau et absolument un OS généraliste.
la censure automatique de clubic est une vraie chiotte…
il était temps…
Qu’ils soient open source permet au CERN de garder la main sur les logiciels, ils ne sont pas dépendants d’une société quelconque.
Bon après l’open source c’est pas 100% miraculeux. Par exemple, ceux qui ont misés sur Scientific Linux sont ravis de devoir passer à autre chose…
Parler DB et mettre en avant MariaDB, déjà c’est drôle
Mais en plus tu te limites uniquement aux “serveurs web”…
Renseigne-toi un peu sur ce qu’est SQL Server, son utilisation, ses usages et ses plateformes, tu verras c’est passionnant
Donc si on te suit bien, au lieu de payer 60€ par an pour un Office 365 au point, avec un suivi derrière, il vaut mieux payer un gars une fortune (parce que les “pro” du développement pour les entreprises n’ont pas peur de demander des prestations hallucinantes) pour développer un logiciel soit disant spécifique mais bien souvent lourdingue car programmé n’importe comment et qui sera totalement inexploitable si la boîte coule (ce qui a quand même beaucoup plus de chance d’arriver qu’avec Microsoft).
Faudra me dire à quel moment on va faire des économies, parce que à la base c’était ça le problème.
Bah oui mais comme tu dis, avoir des gens compétents ça a un coût et c’est pas toujours garanti que ce soit moins cher que les licences. Ce que je veux dire c’est que la réflexion est bien plus compliqué que libre = gratuit.
T’as raison, SQL Server c’est un SGBD pour les PME
C’est juste le leader du marché avec Oracle et pour les plus extrémistes du libre, les nouvelles versions sont sous Linux
Maria DB… non mais sérieux… quelle blague
T’aurais pu au moins parler de NoSQL ça aurait eu plus de gueule 
Voila le genre de truc qui n’arrive pas sur les SGBD payant : https://severalnines.com/blog/6-common-failure-scenarios-mysql-mariadb-and-how-fix-them
Open Source : se dit d’un logiciel ou tout autre dispositif dont les sources sont disponibles librement (et par effet collatéral : gratuitement).
Ce n’est certainement pas égoïste, confidentiel ou obscurantiste, c’est même tout le contraire. Quand à trouver Linux absurde quand celui-ci équipe la plupart des serveurs web (Apache) et supercalculateurs, je demande à voir. C’est encore compliqué de monter un desktop uniforme vu le nombre d’OS dérivés du même noyau monolithique.
C’est le CERN, le Conseil Européen pour la Recherche Nucléaire. Ce sont loin d’être des branquignoles et surtout s’ils sont accompagnés de programmeurs, ça passera crème. Nul besoin de leur souhaiter bonne chance, cependant leur souhaiter profit et réussite ne serait pas de trop.
Ca me fait penser que le CERN avait récemment abandonné Scientific Linux pour se reposer sur CentOS, menant à l’arrêt de Scientific Linux. Donc leur volonté de passer au libre n’est pas récente.
La réussite de Linux est dans sa légèreté. Il est parfaitement adapté pour ce type d’usage mais c’est pas adapté à tous les besoins.
C’est en réalité ce qui m’agace à chaque fois que le sujet est abordé : personne ne semble capable d’envisager qu’un mix open-source et software sous licence est tout à fait possible en adaptant l’OS aux besoins plutôt qu’à des dogmes.
Et la deuxième partie vient directement contredire la première. En effet, si ça a été abandonné c’est précisément qu’un scientifique, aussi bon soit il, est scientifique et pas informaticien. Le développement c’est un métier et avec les budgets limités c’est pas évident du tout de trouver des compétences.
Scientific Linux avait été DÉVELOPPÉ conjointement par Fermilab et le CERN. Donc ils ONT des informaticiens. Ils ont simplement décidé de réorganiser leurs capacités plutôt que de réinventer la roue. Donc les compétences, sans aucun doute, ils les ont. Et s’ils ne les ont pas, ils les obtiendront, à en croire l’article de Clubic :
Donc, non seulement ils ont les ressources mais en plus, il peut s’en créer d’autres. Aussi, puisque je n’ai apparemment pas lu le même article :
Il faut bien moins de 10 ans pour se préparer seul à migrer vers Linux quand on n’a pas de logiciels à adapter soi-même et une volonté certaine de le faire. Avec leurs logiciels développés en interne, puisque pour rappel le CERN a des développeurs qui développaient auparavant complètement une suite Linux, ça prendra plus de temps que simplement passer de Windows à Linux. Ils sauront faire, il n’y a aucun doute là-dessus.
Pour certains types de projets/organisations je serais plus à l’aise de savoir qu’on pourrait taper sur MS en cas de faille de sécurté et autre. Au moins ils connaissent leur bousin et savent réagir méthodiquement.
On parle du CERN, pas d’une association à but non lucrative lambda. On parle de personnes qui pourraient potentiellent nous faire disparaitre dans un trou noir juste pour voir (Les grands sachants rageux, pas besoin de comm. merci. Je crois en Hollywood)