Un algorithme de recrutement qui pénalise les femmes. Un logiciel pénal qui surestime le risque de récidive des personnes noires. Un système de crédit qui défavorise les habitants de certains quartiers. Les biais algorithmiques ne sont pas des bugs accidentels : ils sont le reflet de nos inégalités sociales, amplifiées par des machines qui ont appris de nos données historiques.
Qu'est-ce qu'un biais algorithmique ?
Un biais algorithmique est une erreur systématique d'un système d'IA qui produit des résultats inéquitables pour certains groupes. Il peut provenir des données d'entraînement (qui reflètent des inégalités historiques), du design du modèle, ou des métriques d'évaluation. L'AI Act impose des processus de détection et correction pour les systèmes à risque élevé.
Un biais algorithmique est une erreur systématique d'un système d'IA qui produit des résultats inéquitables ou discriminatoires à l'encontre de certains groupes. Il ne s'agit pas d'un biais aléatoire mais d'un biais cohérent et reproductible.
La distinction importante : le biais algorithmique n'est pas la même chose qu'une erreur. Une erreur affecte les individus de façon aléatoire. Un biais affecte systématiquement les mêmes groupes — femmes, minorités ethniques, personnes à faibles revenus, personnes âgées.
Les 5 sources principales de biais algorithmiques
Comprendre l'origine des biais est la première étape pour les corriger.
| Source | Description | Exemple |
|---|---|---|
| Biais dans les données d'entraînement | Les données historiques reflètent des inégalités passées | CV de dirigeants historiquement masculins → IA pénalise les femmes |
| Biais de représentation | Certains groupes sont sous-représentés dans les données | IA entraînée sur peu de photos de personnes noires → moins précise pour elles |
| Biais de mesure | Ce qui est mesuré avantage certains groupes | Score scolaire comme proxy d'intelligence pénalise les milieux défavorisés |
| Biais d'agrégation | Un seul modèle pour des groupes avec des patterns différents | Modèle médical entraîné sur hommes appliqué aux femmes |
| Biais de déploiement | Utilisation du modèle dans un contexte différent de l'entraînement | Modèle US déployé en Europe sans adaptation |
Cas documentés de biais algorithmiques majeurs
Ces exemples réels illustrent concrètement les enjeux.
COMPAS (Northpointe, États-Unis) : logiciel utilisé dans les tribunaux américains pour évaluer le risque de récidive. Une étude de ProPublica (2016) a montré qu'il classait faussement deux fois plus souvent des personnes noires comme 'à risque élevé' par rapport aux personnes blanches. Ce logiciel a influencé des décisions de libération conditionnelle.
Recrutement Amazon : en 2018, Amazon a abandonné son outil IA de tri de CV après avoir découvert qu'il pénalisait les candidates féminines. Le modèle avait appris à partir d'un historique de recrutement dominé par des hommes.
Reconnaissance faciale : plusieurs études (MIT Media Lab, NIST) ont montré que les systèmes de reconnaissance faciale commerciaux ont des taux d'erreur significativement plus élevés pour les femmes noires que pour les hommes blancs — dans certains cas, jusqu'à 34% de taux d'erreur pour les femmes noires vs 0,8% pour les hommes blancs.
Crédit hypothécaire : des études aux États-Unis ont documenté que des algorithmes de scoring crédit, en utilisant des codes postaux comme variable, reproduisaient effectivement des discriminations géographiques corrélées à l'origine ethnique.
Ces biais ne sont pas propres aux États-Unis. Les données historiques européennes reflètent également des inégalités systémiques. Les algorithmes entraînés sur des données françaises ou allemandes peuvent reproduire des discriminations liées au genre, à l'origine ethnique ou au handicap.
Ce que l'AI Act exige pour corriger les biais
Pour les systèmes à risque élevé, l'AI Act impose des obligations spécifiques relatives aux biais.
Article 10 — Gouvernance des données : les données d'entraînement, de validation et de test doivent être examinées pour identifier les biais possibles. Des pratiques de gestion des données appropriées doivent être mises en place pour les corriger ou atténuer.
Article 15 — Robustesse et précision : les systèmes doivent atteindre un niveau de précision, de robustesse et de cybersécurité approprié. Cette robustesse inclut la résistance aux biais — un système trop biaisé n'est pas robuste.
L'exception pour les données sensibles : paradoxalement, l'AI Act autorise le traitement de données sensibles (origine ethnique, sexe, etc.) pour identifier et corriger les biais dans les systèmes à risque élevé. Cette autorisation encadrée permet aux développeurs d'auditer leurs systèmes sans violer le RGPD.
L'obligation de moyens, pas de résultats : l'AI Act n'exige pas qu'un système d'IA soit parfaitement non-biaisé (un standard probablement inatteignable). Il exige un processus rigoureux de détection, documentation et atténuation des biais identifiés.
→ Audit algorithmique : méthodes et obligations
Comment détecter et corriger les biais : méthodes pratiques
Phase 1 — Audit des données : - Analyser la distribution des données d'entraînement selon les attributs protégés - Identifier les sous-représentations et sur-représentations - Documenter les sources et dates des données
Phase 2 — Tests de performance différenciée : - Mesurer les performances du système selon les groupes (genre, âge, origine géographique, etc.) - Utiliser plusieurs métriques d'équité (égalité des taux de faux positifs, égalité de précision, équité calibrée) - Comparer les seuils de décision selon les groupes
Phase 3 — Atténuation : - Reéquilibrage des données d'entraînement (sur-échantillonner les groupes sous-représentés) - Contraintes d'équité dans l'optimisation du modèle - Post-traitement (ajustement des seuils de décision par groupe)
Phase 4 — Documentation et monitoring : - Documenter les biais identifiés et les mesures prises - Mettre en place un monitoring continu pour détecter les nouvelles dérives
- Audit des données d'entraînement
- Tests de performance par groupe démographique
- Documentation des biais identifiés et des corrections
- Monitoring post-déploiement des métriques d'équité
- Mécanisme de signalement pour les utilisateurs qui suspectent un biais
FAQ : biais algorithmiques
Conclusion
Les biais algorithmiques sont l'une des manifestations les plus concrètes et les plus préjudiciables des risques de l'IA. L'AI Act impose des processus pour les détecter et les atténuer, sans prétendre les éliminer totalement. Pour les entreprises, prendre au sérieux la question des biais est à la fois une obligation légale et une responsabilité éthique envers les personnes affectées par leurs systèmes.
Questions fréquentes
Non. L'élimination totale des biais est mathématiquement impossible dès lors que plusieurs définitions de l'équité (qui sont souvent contradictoires) existent simultanément. L'objectif réaliste est de minimiser les biais les plus nuisibles et de les documenter honnêtement.
Oui. C'est la discrimination indirecte. Un algorithme qui utilise le code postal peut discriminer selon l'origine ethnique si certains quartiers sont plus racialement homogènes. L'AI Act et la directive anti-discrimination européenne couvrent ce type de discrimination indirecte.
En grande partie oui, selon l'AI Act. Le fournisseur d'un système à risque élevé est responsable de la gouvernance des données et de la robustesse du système. Mais le déployeur (vous) est aussi responsable si vous avez connaissance de biais et ne prenez pas de mesures.
Un biais algorithmique est une erreur systématique d'un système d'IA qui produit des résultats inéquitables pour certains groupes (femmes, minorités ethniques, personnes défavorisées). Il provient généralement de données d'entraînement qui reflètent des inégalités historiques.