Plus tôt ce mois-ci, dans une étape cruciale vers la lutte contre les méfaits algorithmiques, la Commission pour l’égalité des chances en matière d’emploi (EEOC) a publié des conseils techniques sur la façon dont les outils d’embauche algorithmiques peuvent être discriminatoires à l’égard des personnes handicapées. Les directives de l’EEOC sont motivées et bien adaptées à leur objectif sous-jacent d’améliorer de manière significative le marché des logiciels d’embauche d’intelligence artificielle pour les personnes handicapées, et d’autres agences fédérales devraient prendre des notes.
Que les algorithmes d’embauche puissent désavantager les personnes handicapées n’est pas exactement une nouvelle information. En 2019, pour mon premier article à la Brookings Institution, j’ai écrit sur la façon dont le logiciel d’entretien automatisé est par définition discriminatoire à l’égard des personnes handicapées. Dans un examen plus large des algorithmes d’embauche en 2018, l’organisation à but non lucratif de défense des technologies Upturn a conclu que « sans mesures actives pour les atténuer, des biais apparaîtront par défaut dans les outils d’embauche prédictifs » et note plus tard que cela est particulièrement vrai pour les personnes handicapées. Dans son propre rapport sur ce sujet, le Center for Democracy and Technology a constaté que ces algorithmes présentent «un risque de discrimination inscrit de manière invisible dans leurs codes» et pour «les personnes handicapées, ces risques peuvent être profonds». C’est dire qu’il existe depuis longtemps un large consensus parmi les experts sur le fait que les technologies d’embauche algorithmique sont souvent néfastes pour les personnes handicapées, et que, étant donné que jusqu’à 80 % des entreprises utilisent maintenant ces outils, ce problème justifie l’intervention du gouvernement.
Après avoir tenu une audience publique sur les algorithmes d’emploi en 2016, l’EEOC a noté que les algorithmes pourraient nuire aux personnes handicapées et « défier l’esprit » de l’Americans with Disabilities Act (ADA). Bien qu’il semble y avoir eu peu de progrès sur cette question sous l’administration Trump, le commissaire de l’EEOC nommé par Trump, Keith Sonderling, a été un ardent partisan de l’application des lois sur les droits civils sur les logiciels algorithmiques depuis sa nomination en 2020. Sept mois dans l’administration Biden, et avec Charlotte Burrows, nommée par Obama, à la présidence, l’EEOC a lancé une nouvelle initiative d’intelligence artificielle et d’équité algorithmique, dont les nouvelles directives sur le handicap sont le premier produit.
Les directives de l’EEOC sont une avancée pratique et tangible pour la gouvernance des dommages algorithmiques et ont jusqu’à présent été applaudies par des groupes de défense tels que l’Association américaine des personnes handicapées. Il entend guider tous les employeurs privés, ainsi que le gouvernement fédéral, vers l’utilisation responsable et légale des outils d’embauche algorithmiques dans le respect des exigences de l’ADA. Une annonce d’accompagnement de la division des droits civils du ministère de la Justice (DOJ) a déclaré que ces directives s’appliquent également aux gouvernements des États et locaux, qui relèvent de la compétence du DOJ.
Comment l’EEOC voit l’embauche d’IA dans le cadre de l’ADA
Les préoccupations de l’EEOC sont largement axées sur deux résultats problématiques : (1) les outils d’embauche algorithmiques punissent de manière inappropriée les personnes handicapées ; et (2) les personnes handicapées sont dissuadées de participer à un processus de candidature en raison d’évaluations numériques inaccessibles.
«Éliminer» illégalement les personnes handicapées
Premièrement, les directives clarifient ce qui constitue une « exclusion » illégale d’une personne handicapée du processus d’embauche. Les nouvelles directives de l’EEOC présentent tout effet désavantageux d’une décision algorithmique contre une personne handicapée comme une violation de l’ADA, en supposant que la personne peut effectuer le travail avec des aménagements raisonnables légalement requis. Dans cette interprétation, l’EEOC dit qu’il ne suffit pas d’embaucher des candidats handicapés dans la même proportion que des personnes non handicapées. Cela diffère des critères de l’EEOC concernant la race, la religion, le sexe et l’origine nationale, qui stipulent que la sélection de candidats à un taux nettement inférieur dans un groupe sélectionné (par exemple, moins de 80 % de femmes par rapport aux hommes) constitue une discrimination illégale.
L’EEOC propose une série d’exemples réalistes de ce qui pourrait constituer un dépistage illégal, qui semblent tous inspirés des pratiques commerciales actuelles. Par exemple, les conseils citent un modèle linguistique qui pourrait désavantager un candidat en raison d’une lacune dans ses antécédents professionnels lorsque le candidat suivait un traitement pour un handicap pendant cette période. Les conseils mentionnent également comment l’analyse audio est susceptible de discriminer les personnes ayant des troubles de la parole, un problème qui persiste encore dans les logiciels d’entretien automatisés. Comme autre exemple, l’EEOC cite un test de personnalité qui demandait à quel point un candidat était optimiste, ce qui pourrait par inadvertance éliminer les candidats qualifiés souffrant de dépression. À travers ces exemples spécifiques et le cadrage des conseils à travers le prisme de la « sélection » des candidats handicapés, l’EEOC indique clairement que même si les statistiques d’embauche de groupe peuvent donner l’impression qu’un algorithme est juste, la discrimination à l’encontre de toute personne handicapée est une violation de l’ADA.
Cette norme plus stricte peut servir de signal d’alarme aux employeurs utilisant des outils d’embauche algorithmiques et aux fournisseurs auprès desquels ils achètent. Cela peut également inciter à des changements dans la façon dont les outils de recrutement algorithmiques sont construits, conduisant à une plus grande sensibilité à la façon dont ce type de logiciel peut discriminer. En outre, cela peut encourager des mesures plus directes des compétences des candidats pour les fonctions professionnelles essentielles, plutôt que des procurations indirectes (comme dans l’exemple de «l’optimisme») qui peuvent aller à l’encontre de l’ADA.
Offrir des accommodements et prévenir le décrochage
Les directives de l’EEOC précisent également que les employeurs doivent proposer des aménagements raisonnables pour l’utilisation d’outils d’embauche algorithmiques et que l’employeur est responsable de ce processus, même si les outils sont achetés auprès de fournisseurs externes. Par exemple, les nouvelles directives citent un test de connaissances basé sur un logiciel qui nécessite une dextérité manuelle (comme l’utilisation d’une souris et d’un clavier) pour être exécuté, ce qui pourrait punir les personnes qui possèdent les connaissances requises mais qui ont également une dextérité limitée. Il est légal de demander à un candidat s’il veut un accommodement, bien que les employeurs ne soient pas autorisés à s’enquérir de l’état de santé ou du handicap de la personne. Les directives encouragent explicitement les employeurs à informer clairement les candidats des étapes du processus d’embauche et à demander aux candidats s’ils ont besoin d’aménagements raisonnables pour l’une de ces étapes.
L’une des principales préoccupations des défenseurs des droits des personnes handicapées est que les personnes handicapées seront découragées par les évaluations numériques et abandonneront le processus de candidature. En utilisant l’un des exemples de l’EEOC, un candidat à un poste pourrait être dissuadé de passer une évaluation numérique destinée à tester sa mémoire, non pas à cause de sa mémoire, mais en raison d’une difficulté à s’engager dans l’évaluation en raison d’une déficience visuelle. Lorsque les candidats à un emploi se voient offrir à l’avance une idée claire du processus de candidature, ils sont mieux équipés pour demander un accommodement de manière appropriée et poursuivre le processus, ce qui leur donne une chance plus équitable d’obtenir un emploi. L’EEOC recommande aux employeurs de former le personnel pour qu’il reconnaisse et réponde rapidement aux demandes d’adaptation avec des méthodes alternatives d’évaluation des candidats, et note que l’externalisation de certaines parties du processus d’embauche à des fournisseurs ne dégage pas automatiquement l’employeur de ses responsabilités.
Comment les conseils de l’EEOC vont-ils changer l’embauche d’IA ?
Les conseils techniques à eux seuls aideront les employeurs à faire des choix plus justes, mais l’EEOC ne semble pas compter uniquement sur les bonnes grâces des employeurs pour exécuter les changements qu’il juge nécessaires. À la fin de son document d’orientation, l’EEOC fournit des recommandations aux candidats à un emploi qui sont évalués par des outils algorithmiques. Ces recommandations encouragent les candidats à déposer des accusations formelles de discrimination auprès de l’EEOC si un candidat estime avoir été victime de discrimination par un processus d’embauche algorithmique.
L’accusation de discrimination par un candidat à un emploi est la première étape vers tout litige – l’accusation déclenche une enquête de l’EEOC, après quoi l’EEOC essaie d’abord de négocier un accord, et à défaut, peut intenter une action en justice contre l’employeur. À ce stade, l’EEOC tenterait de prouver que le processus d’embauche algorithmique était discriminatoire et d’obtenir une aide financière pour les candidats. Le fait que l’EEOC accueille explicitement ces plaintes indique sa volonté d’intenter ces poursuites, ce qui peut encourager les groupes de défense des personnes handicapées à informer leurs électeurs de ces options. En général (c’est-à-dire sans AI), ce type de plainte n’est pas rare – la discrimination liée au handicap est la deuxième plainte la plus courante déposée auprès de l’EEOC.
Il convient également d’examiner comment ces directives de l’EEOC peuvent affecter les fournisseurs de logiciels de recrutement algorithmique, qui prennent bon nombre des décisions clés qui animent ce marché. Les directives de l’EEOC sont principalement axées sur les employeurs, qui sont responsables en dernier ressort de la conformité à l’ADA. Cela dit, l’EEOC semble bien au courant des pratiques et des affirmations des vendeurs. Les directives précisent que lorsqu’un outil algorithmique est «validé» selon un fournisseur, il ne garantit pas l’inculpabilité de la discrimination. En outre, les orientations notent que les affirmations des fournisseurs selon lesquelles ils disposent d’outils « sans biais » font souvent référence aux taux de sélection entre différents groupes (par exemple, les femmes contre les hommes, les personnes handicapées contre les personnes non handicapées), et réitèrent que cela n’est pas suffisant dans le cadre du ADA, comme indiqué ci-dessus.
Au-delà de cette discussion directe des revendications des fournisseurs, l’EEOC suggère également que les employeurs devraient poser des questions difficiles aux fournisseurs de recrutement algorithmique. Le document consacre une section à la manière dont les employeurs peuvent interroger les fournisseurs, par exemple en demandant comment le logiciel a été rendu accessible, quels formats d’évaluation alternatifs sont disponibles et comment le fournisseur a-t-il évalué son logiciel pour les impacts potentiellement discriminatoires. Ceci indique clairement que l’EEOC comprend l’importance des vendeurs, bien que son application directe soit limitée aux employeurs. L’EEOC aide les employeurs à pousser les fournisseurs à obtenir des réponses à ces questions, dans l’espoir que cela modifie les incitations du marché pour les fournisseurs, qui investiront alors de manière appropriée dans des logiciels équitables et accessibles.
L’EEOC est à la tête des débuts de la surveillance de l’IA
Parmi les agences fédérales, l’EEOC se distingue par son engagement actif et ses résultats tangibles sur le biais de l’IA, bien qu’il ne soit pas entièrement seul. La Federal Trade Commission (FTC) a publié ses propres directives informelles sur la manière dont son application couvre l’IA, y compris que la FTC pourrait considérer de manière circonstancielle l’allégation de «décisions d’embauche 100% impartiales» comme frauduleuse. En outre, l’Institut national des normes et de la technologie mérite également d’être mentionné, pour avoir produit un document provisoire sur les biais dans les systèmes d’IA, que les directives de l’EEOC cite. Pourtant, il reste beaucoup plus facile d’énumérer les agences qui ont initié de telles politiques, plutôt que celles qui ne l’ont pas fait.
Toutes les agences fédérales peuvent prendre des mesures claires. Avant tout, les agences devraient revoir leurs mandats liés à la prolifération des algorithmes, en particulier les biais. En fait, toutes les agences fédérales étaient censées faire exactement cela en réponse à un décret exécutif de 2019 et aux directives qui en ont découlé du Bureau de la gestion et du budget. Le fait que ces directives aient été publiées au cours des derniers mois de l’administration Trump peut expliquer la réponse relativement léthargique, car de nombreuses agences ont répondu avec des pages presque blanches (le ministère de l’Énergie a pris le temps d’écrire « Aucun » cinq fois).
Pourtant, la réponse du Bureau du directeur de l’IA (OCAIO) du ministère de la Santé et des Services sociaux (HHS) démontre l’importance de cette tâche, en identifiant onze lois pertinentes qui pourraient éventuellement régir les algorithmes. Cela inclut la loi de 1973 sur la réadaptation, qui «interdit la discrimination à l’encontre des personnes handicapées dans les programmes bénéficiant d’une aide financière fédérale», donnant potentiellement au HHS un levier réglementaire pour lutter contre la discrimination algorithmique dans les soins de santé.
À l’avenir, la Maison Blanche devrait directement appeler les agences fédérales à suivre les traces d’agences telles que l’EEOC et le HHS, car il s’agit d’une étape nécessaire pour tenir la promesse de la Maison Blanche d’une déclaration des droits pour un monde alimenté par l’IA. Quant à l’EEOC, il reste encore beaucoup à faire pour que l’agence étende et applique les protections algorithmiques à d’autres groupes, tels que les minorités raciales, les femmes, les groupes religieux et les différentes identités de genre. Pour l’instant, l’agence mérite des applaudissements pour certains des efforts les plus concertés visant à protéger les Américains vulnérables des dommages algorithmiques.
