Mary Louis, une locataire modèle, a remporté sa bataille contre l'algorithme de scoring d'une entreprise qui l'avait empêchée d'obtenir un logement, malgré 17 ans de loyers payés sans retard. Encore un coup de l'IA.
Comme le rapporte le Guardian, Mary Louis, agent de sécurité du Massachusetts, s'est vue refuser un appartement en mai 2021 à cause d'un score trop faible généré par SafeRent, un logiciel d'évaluation des candidats locataires. Après avoir attaqué l'entreprise en justice aux côtés de 400 autres locataires afro-américains et hispaniques, elle a enfin obtenu gain de cause, en forçant SafeRent à modifier ses pratiques discriminatoires. Une victoire qui pourrait faire jurisprudence dans la lutte contre les biais algorithmiques.
L'algorithme immobilier IA du chaos
Malgré un dossier tout bonnement exemplaire de 17 années de loyers payés sans retard, la recommandation de son ancien propriétaire et une aide au logement qui lui garantit une partie du paiement, Mary Louis fut barrée par l'intelligence artificielle. À l'époque, elle avait décroché un score de 324 sur SafeRent, bien en-dessous du seuil minimum de 443 requis. Un rapport de 11 pages ne donnait aucune explication sur le calcul de ce score, ni sur la pondération des différents critères pris en compte.
« L'IA ne connaît pas mon comportement. Elle savait que j'avais du retard dans le paiement de ma carte de crédit mais elle ne savait pas que je payais toujours mon loyer », a déploré Mary Louis. Cette opacité du système a poussé la locataire à porter l'affaire en justice, rejointe par plusieurs centaines d'autres victimes issues des minorités, qui ont toutes vu leurs candidatures rejetées malgré de solides dossiers.
Le combat judiciaire a payé : SafeRent a accepté de verser 2,3 millions de dollars aux plaignants et, surtout, de suspendre pendant 5 ans son système de scoring pour les bénéficiaires d'aides au logement. Une victoire contre les algorithmes qui s'immiscent de plus en plus dans nos vies. Todd Kaplan, l'un des avocats représentant les plaignants, a souligné que « la suppression du système de notation binaire permet enfin aux locataires de faire valoir leurs qualités réelles. »
Une régulation urgente nécessaire pour contrer les dérives
Selon un rapport cité par le Guardian, près de 92 millions d'Américains à faibles revenus sont déjà confrontés à des décisions automatisées dans des domaines essentiels comme l'emploi, le logement ou la santé. Ces systèmes opaques génèrent des « absurdités » basées sur une « science statistique de pacotille », dénonce Kevin de Liban, avocat spécialisé qui a commencé à enquêter sur ces systèmes dès 2016 après avoir découvert des cas choquants de discrimination.
En retour, les tentatives de régulation restent timides. Si Joe Biden a émis un décret pour encadrer l'IA, Donald Trump a déjà promis de l'annuler. Le procès SafeRent pourrait donc faire jurisprudence et « fournir une feuille de route » pour de futures actions en justice, selon les experts du département américain de la Justice.
Les associations de défense des droits civiques, elles, ne sont pas plus rassurées. Sans régulation stricte, elles estiment les entreprises peuvent facilement contourner les décisions de justice en créant de nouveaux algorithmes discriminatoires. « On ne peut pas intenter ce genre de procès tous les jours », prévient l'avocat Kevin De Liban, qui appelle à l'établissement d'un cadre légal plus contraignant. La bataille ne fait en réalité que commencer.
Source : The Guardian
