Les scientifiques développent depuis longtemps des machines qui tentent d’imiter le cerveau humain. Tout comme les humains sont exposés à des injustices systémiques, les machines apprennent des stéréotypes humains et des normes culturelles à partir de données socioculturelles, acquérant des préjugés et des associations dans le processus. Nos recherches montrent que le biais se reflète non seulement dans les modèles de langage, mais également dans les ensembles de données d’images utilisés pour entraîner les modèles de vision par ordinateur. En conséquence, les modèles de vision par ordinateur largement utilisés tels que iGPT et DALL-E 2 génèrent de nouvelles caractérisations et stéréotypes explicites et implicites qui perpétuent les préjugés existants sur les groupes sociaux, qui façonnent davantage la cognition humaine.
Ces modèles de vision par ordinateur sont utilisés dans des applications en aval pour la sécurité, la surveillance, l’évaluation des candidats, le contrôle des frontières et la récupération d’informations. Des préjugés implicites se manifestent également dans les processus de prise de décision des machines, créant des impacts durables sur la dignité et les opportunités des personnes. De plus, des acteurs néfastes peuvent utiliser des modèles préformés facilement disponibles pour se faire passer pour des personnalités publiques, faire du chantage, tromper, plagier, provoquer une distorsion cognitive et influencer l’opinion publique. Ces données générées par des machines constituent une menace importante pour l’intégrité de l’information dans la sphère publique. Même si les machines ont progressé rapidement et peuvent offrir certaines opportunités d’utilisation dans l’intérêt public, leur application dans des contextes sociétaux sans réglementation appropriée, compréhension scientifique et sensibilisation du public à leur sécurité et à leurs implications sociétales soulève de sérieuses préoccupations éthiques.
Associations de genre biaisées
Un bon exemple pour explorer de tels préjugés apparaît dans les associations de genre biaisées. Pour comprendre comment les associations de genre se manifestent dans les tâches en aval, nous avons incité iGPT à compléter une image en fonction du visage d’une femme. iGPT est un modèle auto-supervisé formé sur un grand nombre d’images pour prédire la prochaine valeur de pixel, permettant la génération d’images. Cinquante-deux pour cent des images complétées automatiquement avaient des bikinis ou des hauts décolletés. En comparaison, les visages des hommes étaient complétés automatiquement avec des costumes ou des vêtements liés à la carrière 42 % du temps. Seulement sept pour cent des images masculines complétées automatiquement comportaient des vêtements révélateurs. Pour fournir une analyse complète des biais dans les modèles de vision par ordinateur auto-supervisés, nous avons également développé le test d’association d’intégration d’images pour quantifier les associations implicites du modèle qui pourraient conduire à des résultats biaisés. Nos résultats révèlent que le modèle contient des associations anodines telles que des fleurs et des instruments de musique étant plus agréables que des insectes et des armes. Cependant, le modèle intègre également des associations de groupes sociaux biaisées et potentiellement nuisibles liées à l’âge, au sexe, au poids corporel et à la race ou à l’origine ethnique. Les préjugés à l’intersection de la race et du sexe sont alignés sur les théories sur l’intersectionnalité, reflétant des préjugés émergents non expliqués par la somme des préjugés envers la seule race ou l’identité de genre.
La perpétuation des biais qui ont été entretenus à travers les inégalités structurelles et historiques par ces modèles a des implications sociétales importantes. Par exemple, des outils d’évaluation biaisés des candidats perpétuent la discrimination entre les membres de groupes historiquement défavorisés et prédéterminent les opportunités économiques des candidats. Lorsque l’administration de la justice et la police s’appuient sur des modèles qui associent certains tons de peau, races ou ethnies à une valence négative, les personnes de couleur en subissent à tort les conséquences qui changent leur vie. Lorsque les applications de vision par ordinateur traitent directement ou indirectement des informations liées aux attributs protégés, elles contribuent auxdits biais, exacerbant le problème en créant un cercle vicieux de biais, qui se poursuivra à moins que des stratégies d’atténuation des biais techniques, sociaux et politiques ne soient mises en œuvre.
Des modèles de vision par ordinateur préformés à la pointe de la technologie comme iGPT sont intégrés à la prise de décision conséquente dans les systèmes complexes d’intelligence artificielle (IA). Les progrès récents de l’IA multimodale combinent efficacement les modèles de langage et de vision. L’intégration de diverses modalités dans un système d’IA complique davantage les implications en matière de sécurité des technologies de pointe. Bien que l’IA préformée soit très coûteuse à construire et à exploiter, les modèles mis à la disposition du public sont librement déployés dans des contextes décisionnels commerciaux et critiques et facilitent les décisions prises dans des domaines bien réglementés, tels que l’administration de la justice, l’éducation, la la main-d’œuvre et les soins de santé. Cependant, en raison de la nature exclusive des systèmes d’IA commerciaux et du manque de surveillance réglementaire de l’IA et des données, il n’existe aucun mécanisme de transparence normalisé qui documente officiellement quand, où et comment l’IA est déployée. Par conséquent, les effets secondaires nocifs involontaires de l’IA perdurent longtemps après que leurs auteurs ont été mis à jour ou supprimés.
Établir des utilisations inacceptables de l’IA, exiger des contrôles et une sécurité supplémentaires pour les produits à haut risque (tels que ceux du projet de loi sur l’intelligence artificielle de l’Union européenne) et normaliser le processus d’amélioration du modèle pour chaque modalité et combinaison multimodale afin de publier des mises à jour et des rappels de sécurité sont toutes des approches prometteuses pour relever certains des défis qui pourraient entraîner des dommages irréparables. Les normes peuvent également aider à guider les développeurs. Par exemple, le National Institute of Science and Technology (NIST) a publié la publication spéciale « Vers une norme pour identifier et gérer les biais dans l’intelligence artificielle » en 2022 et un projet de cadre de gestion des risques liés à l’IA résumant bon nombre de ces risques et suggérant des normes de fiabilité, l’équité, la responsabilité et la transparence.
Les audits et les évaluations d’impact de tiers pourraient également jouer un rôle majeur dans la responsabilisation des déployeurs – par exemple, un projet de loi de la Chambre en sous-commission (la loi sur la responsabilité algorithmique de 2022) exige des évaluations d’impact des systèmes de décision automatisés – mais les audits de tiers avec un réel les attentes de responsabilité sont rares. En fin de compte, les chercheurs en éthique de l’IA ont appelé à des audits publics, à des systèmes de signalement des incidents, à la participation des parties prenantes au développement du système et à la notification aux individus lorsqu’ils sont soumis à une prise de décision automatisée.
La réglementation des préjugés et de la discrimination aux États-Unis est un effort continu depuis des décennies. Les stratégies d’atténuation des biais au niveau politique ont réduit efficacement mais lentement les biais dans le système, et par conséquent dans l’esprit des humains. Les humains et les systèmes de vision apprennent inévitablement des préjugés à partir des données socioculturelles à grande échelle auxquelles ils sont exposés. Les efforts futurs pour améliorer l’équité et réparer les injustices historiques dépendront donc de systèmes d’IA de plus en plus influents. Développer des méthodes de mesure et d’analyse des biais pour l’IA, entraînées sur des données socioculturelles, permettrait de faire la lumière sur les biais des processus sociaux et automatisés. En conséquence, des stratégies actionnables peuvent être développées en comprenant mieux l’évolution et les caractéristiques des biais. Bien que certaines applications visuelles puissent être utilisées à bon escient (par exemple, les technologies d’assistance et d’accessibilité conçues pour aider les personnes handicapées), nous devons être prudents quant aux risques connus et prévisibles de l’IA.
Alors que les scientifiques et les chercheurs continuent de développer des méthodes et des mesures appropriées pour analyser les risques et les avantages de l’IA, les collaborations avec les décideurs et les agences fédérales éclairent l’élaboration de politiques d’IA fondées sur des preuves. L’introduction des normes requises pour une IA digne de confiance affecterait la façon dont l’industrie met en œuvre et déploie les systèmes d’IA. Pendant ce temps, communiquer les propriétés et l’impact de l’IA aux parties prenantes directes et indirectes sensibilisera à la manière dont l’IA affecte tous les aspects de nos vies, de la société, du monde et de la loi. Prévenir une réalité techno-dystopique nécessite de gérer les risques de ce problème sociotechnique par des approches éthiques, scientifiques, humanistes et réglementaires.
