Intelligence artificielle : la Défenseure des droits appelle à garantir le droit de la non-discrimination dans les discussions européennes

De longue date, le Défenseur des droits appelle à replacer le principe de non-discrimination au cœur de tout projet sur l’IA, comme il a pu le faire successivement dans un rapport de 2020 sur les algorithmes ainsi que sur les technologies biométriques en 2021.

En effet, si l’IA peut être porteuse de progrès, elle est aussi susceptible d’amplifier des discriminations : en matière de recrutement, des biais sexistes ont par exemple été repérés dans plusieurs algorithmes utilisés pour trier des CV ; ou encore dans le cadre de la lutte contre la fraude aux prestations sociales, l’utilisation des algorithmes, notamment de data mining, pourrait conduire à concentrer les contrôles sur certaines personnes en raison de leur lieu de résidence et de leur situation de famille.

Dans la continuité de ces travaux et à la suite de la publication d’un premier avis conjoint avec Equinet, à l’été 2022, sur le projet de règlement européen relatif à l’intelligence artificielle (« AI Act »), la Défenseure des droits tient à rappeler certains principes, dans un avis formulé conjointement avec ses partenaires européens.

Faciliter le recours pour les personnes victimes de discrimination liée à un système d’IA via les organismes nationaux de promotion de l’égalité tels que le Défenseur des droits. Ils constituent en effet un mécanisme crucial pour l’accès à la justice en pouvant être saisis  gratuitement et facilement.  

Assurer une application harmonisée et cohérente du principe de non-discrimination par un mécanisme de pleine coopération entre les futures autorités nationales de contrôle et les organismes nationaux de promotion de l’égalité. Cela notamment pour le traitement des plaintes concernant des systèmes d’IA présentant des risques pour les droits fondamentaux. Mais également pour la formation du personnel des autorités de contrôle sur la non-discrimination et en prévoyant des études d’impact sur les droits fondamentaux pour les systèmes d’IA dits « à haut risque ».

Favoriser la capacité des personnes affectées par un système d’IA à demander une protection contre la discrimination, notamment en s’assurant qu’elles disposent d’une information claire et complète et en prévoyant que les organismes nationaux de promotion de l’égalité pourront saisir les futures autorités de contrôle.

*****

En outre, pour la France, au regard de la bonne coopération déjà existante avec la CNIL notamment sur ces sujets, et dans la lignée de ce que le Conseil d’Etat a estimé en 2022 dans son rapport sur l'IA et l'action publique, la Défenseure des droits appelle de ses vœux la désignation de la CNIL comme l’autorité de contrôle nationale pour l’application du futur règlement.