Les droits des usagers des services publics face aux algorithmes et aux systèmes d’IA : points de vigilance et recommandations de la Défenseure des droits

Une algorithmisation massive des services publics et des garanties prévues par la loi

Dans son rapport « Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ? », la Défenseure des droits, en charge de la défense des droits et libertés des usagers des services publics, examine l’effectivité de deux garanties particulièrement importantes pour assurer le respect de ces droits : l’intervention humaine dans la prise de décision et la maîtrise des systèmes, et l’exigence de transparence à l’égard des usagers.

Afin d’automatiser, d’améliorer ou d’accélérer certaines procédures, l’administration a recours de manière croissante à des algorithmes ou à des systèmes d’IA. Les décisions administratives individuelles, prises par les administrations, peuvent ainsi être partiellement automatisées - si une intervention humaine est prévue - ou entièrement automatisées. En contrepartie, les législations européenne (RGPD) et nationale (loi Informatique et Libertés et code des relations entre le public et l’administration, CRPA) prévoient des garanties pour que soient respectés les droits des usagers des services publics.

Décisions « partiellement automatisées » : l’intervention humaine comme garantie du respect des droits des usagers

Lorsqu’une décision administrative est dite « partiellement automatisée », un agent public doit effectuer une action positive, concrète et significative à partir ou à côté du résultat généré par l’algorithme, dans la prise de décision.

La Défenseure des droits relève,  notamment sur le fondement des réclamations qu’elle reçoit, que cette intervention se révèle parfois inexistante –  comme c’est le cas pour la procédure d’affectation en lycée Affelnet, ou encore de Parcoursup – et parfois inconsistante ou biaisée, lorsque les personnes  qui interviennent dans la prise de décision individuelle ont tendance à avaliser les résultats produits par le système sans les questionner.

Face à ces limites, et à leurs effets sur les droits des usagers des services publics, la Défenseure des droits recommande d’édicter des critères et des modes opératoires obligatoires pour qualifier plus précisément la nature de l’intervention humaine requise.

Le devoir de transparence : répondre aux exigences d’information et au besoin d’explication à l’égard de l’usager

Quand il a pris une décision fondée sur un traitement algorithmique, un service public doit fournir un certain nombre d’informations à l’usager concerné mais également au public. Cette exigence légale de transparence qui découle d’un principe constitutionnel, doit permettre de comprendre certaines décisions pour pouvoir en débattre, voire les contester utilement.

La Défenseure des droits constate que les obligations d’information, pourtant essentielles, sont parfois peu ou mal respectées et formule plusieurs recommandations, notamment : 

• consacrer un droit à l’explication des décisions administratives individuelles entièrement ou partiellement automatisées ;
• introduire une sanction en cas de non-respect de l’obligation de publication en ligne des informations relatives aux systèmes utilisés ;
• déterminer si les systèmes d’apprentissage automatique peuvent être utilisés lorsqu’ils fondent une décision administrative individuelle au regard des obligations du CRPA sur la transparence ;
• associer les usagers du service public à tous les niveaux ;
• soutenir la recherche dans ce domaine ainsi que les projets associatifs et collectifs visant à favoriser la compréhension et le débat public autour de ces sujets.