New York veut une "police des algorithmes"

Les algorithmes font depuis quelques années partie intégrante de notre quotidien. Parfois ils viennent de Google, parfois de Facebook, parfois ils sont utilisés par des institutions publiques comme le gouvernement et les mairies. Mais comment garantir que ces algorithmes prennent des décisions totalement impartiales alors qu'on sait, par exemple, qu'une IA peut devenir raciste en quelques heures lorsqu'elle est lâchée dans la nature ?

La ville de New York semble se poser la question, car elle a un corollaire : si quelqu'un réussit à démontrer que la décision prise par l'algorithme n'est pas impartiale, des plaintes peuvent s'ensuivre...

Les algorithmes utilisés par la ville de New York seront surveillés

En France, le problème est peut-être moins immédiat pour une municipalité qui mettrait en place un système de décisions basé sur un algorithme : porter plainte et obtenir réparation risque de se transformer en un calvaire judiciaire. Mais au Etats-Unis, il suffirait d'une simple class-action pour qu'une décision d'un algorithme se transforme en une affaire qui pourrait coûter à la municipalité des millions de dollars.

New York veut évidemment éviter ça, tout en garantissant que les décisions de ses algorithmes ne finissent pas par avantager un groupe de personnes plutôt qu'un autre. Outre être une très mauvaise publicité pour la mairie, ce serait un réel problème pour les autres groupes de personnes en question, qu'ils soient avantagés par leurs origines, leur âge ou leurs revenus.

Une police des algorithmes mise en place par la municipalité ?

Le seul problème avec les algorithmes est que, pour les comprendre, il faut des connaissances poussées : un groupe de personnes pourrait se sentir floué par les décisions, sans jamais pouvoir réussir à comprendre où est survenue l'erreur, voire ne jamais avoir accès au code de l'algorithme. C'est pour répondre à cette problématique qu'une proposition de loi a été adoptée fin août 2017 par la ville de New York.

Une équipe de spécialistes sera créée pour surveiller et corriger les algorithmes : des spécialistes des systèmes informatiques et des algorithmes, bien évidemment, mais également des travailleurs sociaux formés expressément pour cette tâche, ainsi que des avocats.

• Google améliore les photos de nuit grâce à un algorithme
• Les algorithmes font-ils des erreurs impensables pour l’homme ?
• Reconnaissance vocale : les algorithmes de Microsoft rivalisent avec le cerveau humain
• Google : toutes les recherches sont désormais traitées par l'algorithme RankBrain
• Le FBI développe un algorithme de reconnaissance de tatouages pour identifier les criminels