Automatisation des services publics, dématérialisation à grande échelle et prises de décisions par des machines, l’intelligence artificielle (IA) et les algorithmes ont gagné les services publics. Face à cette transformation numérique massive, la défenseure des droits, Claire Hédon, propose des garde-fous dans son nouveau rapport publié ce mercredi 13 novembre « pour que le progrès technologique ne se fasse pas au détriment des droits des usagers ».
Algorithmisation de l’administration
Et commence par présenter un panorama de la montée en puissance des algorithmes dans l’administration publique. « Ces technologies, de plus en plus courantes, permettent de standardiser et d’accélérer de nombreuses procédures, allant du calcul des impôts au tri des candidatures pour l’enseignement supérieur », explique-t-elle.
La dématérialisation des démarches administratives qui laisse « dix millions de personnes en marge des services publics doit rester une offre complémentaire, plaide la défenseure des droits, non substitutive, au guichet, au courrier papier et au téléphone, afin de garantir l’accessibilité pour tous ».
En matière de recrutement, démontre-t-elle dans son rapport, « certains algorithmes ont montré des biais sexistes dans le tri de CV ». Comme en matière de fraude aux prestations sociales où le recours aux techniques de data mining et au scoring concentre les contrôles sur une catégorie d’individus discriminés selon leur lieu de résidence ou leur situation familiale.
Bien que l’automatisation complète des décisions soit interdite en justice, l’administration dispose de plus de liberté dans certains domaines. Avec ce constat : « des dérogations très peu encadrées et portant atteinte aux droits des citoyens ».
>>> A lire aussi : La Cnaf attaquée en justice pour son algorithme anti-fraude
IA en toute transparence
La transparence, pilier de l’action publique, est d’autant plus « capitale à l’ère de l’intelligence artificielle et des algorithmes », rappelle Claire Hédon. L’utilisation croissante de ces technologies dans l’administration, sans garde-fous, soulève des questions d’équité, d’accès à l’information, ainsi qu'à la capacité des citoyens à comprendre et à contester les décisions prises par ces systèmes. « La loi impose que les usagers soient informés des décisions automatisées qui les concernent, mais il reste difficile de définir le type et le niveau de détails requis pour que cette information soit utile et accessible », observe-t-elle.
La complexité des systèmes d’IA favorise les « boîtes noires » ne permettant pas à chaque usager de comprendre, et, le cas échéant, de contester. Failles dans la supervision des systèmes d’intelligence artificielle, les interventions humaines étant souvent limitées ou symboliques, « les usagers peinent à comprendre les processus algorithmiques qui influencent des décisions les concernant ».
>>> A lire aussi : (Social) Scoring
Les 5 recommandations de la défenseure des droits :
- Transparence des décisions : informer systématiquement les usagers sur le rôle des algorithmes dans les décisions qui les concernent,
- Intervention humaine réelle : garantir une supervision humaine effective dans les décisions algorithmiques, avec une capacité d’agir et de modifier le processus si nécessaire,
- Protection contre les biais : interdire l’utilisation de données personnelles sensibles dans les systèmes d’IA pour prévenir les discriminations,
- Encadrement juridique strict : renforcer les règles et les obligations encadrant l'usage des algorithmes par les administrations,
- Accès facilité aux recours : permettre aux usagers de contester les décisions algorithmiques, avec un recours systématique à une intervention humaine en cas de litige.
>>> Le rapport complet à lire ici :
IA et Algorithmes-Points de vigilances et recommandations de la Défenseure des droits
