L'IA peut-elle manipuler ? La réponse est oui, et c'est précisément pourquoi l'AI Act l'interdit. Mais la frontière entre manipulation illégale et persuasion légale est parfois ténue. Ce guide démêle les deux.
Qu'est-ce que la manipulation par IA selon l'AI Act ?
La manipulation par IA est interdite par l'AI Act quand elle combine deux éléments : une technique subliminale ou délibérément trompeuse qui contourne le jugement rationnel, ET un préjudice causé ou probable à la personne. La persuasion transparente et légitime reste autorisée.
L'article 5 de l'AI Act interdit les systèmes d'IA qui «déploient des techniques subliminales agissant à l'insu d'une personne ou des techniques délibérément manipulatrices ou trompeuses visant à altérer le comportement d'une personne d'une manière qui lèse ou est susceptible de lèser cette personne».
Deux éléments sont cumulativement requis : 1. Une technique subliminale ou manipulatrice : quelque chose qui contourne la conscience ou le jugement rationnel de la personne 2. Un préjudice : la manipulation doit causer ou être susceptible de causer un tort à la personne
Les dark patterns IA : zone grise ou violation ?
Les dark patterns sont des interfaces conçues pour pousser les utilisateurs vers des choix qu'ils ne feraient pas spontanément (abonnement difficile à résilier, options pré-cochées, urgence artificielle). Quand l'IA optimise ces dark patterns en temps réel selon le profil psychologique de chaque utilisateur, on entre dans la zone interdite.
Dark patterns IA probablement interdits : - IA qui détecte votre fatigue décisionnelle pour pousser des achats au moment où votre résistance est la plus faible - IA qui personnalise les arguments de vente selon vos biais cognitifs détectés (aversion à la perte, biais de confirmation) - IA qui crée une fausse urgence calibrée selon votre réaction émotionnelle détectée
Dark patterns probablement non couverts : - Interface standard avec offre d'abonnement en évidence (sans analyse psychologique personnalisée) - E-mails de relance panier abandonné (sans analyse de vulnérabilité)
La distinction clé : ce qui est interdit, c'est l'IA qui personnalise la manipulation selon le profil psychologique de chaque individu. Les dark patterns génériques sans IA ou sans personnalisation psychologique relèvent d'autres réglementations (DSA, droit de la consommation) mais pas des interdictions de l'AI Act.
Manipulation vs persuasion : la ligne de démarcation
Toute communication commerciale cherche à influencer. Toute publicité vise à changer un comportement. Ce n'est pas la persuasion en elle-même qui est interdite, mais la manipulation.
Persuasion légale : - Arguments rationnels présentés de façon transparente - Appels émotionnels légitimes (montrer un produit attrayant, raconter une histoire qui résonne) - Personnalisation marketing basée sur l'historique d'achat - A/B testing de messages pour optimiser les conversions
Manipulation interdite : - Exploitation de biais cognitifs identifiés par IA à l'insu de l'utilisateur - Timing des solicitations calibré sur des moments de vulnérabilité détectés - Création de dépendances comportementales via des mécanismes de récompense variables - Ciblage de personnes identifiées comme psychologiquement vulnérables
| Pratique | Légal | Interdit par AI Act |
|---|---|---|
| Recommandations basées sur historique | Oui | Non |
| Prix personnalisés selon demande | Oui | Non (en général) |
| IA qui détecte la vulnérabilité émotionnelle pour déclencher une vente | Non | Oui |
| Notification push au moment où l'app détecte que vous êtes anxieux | Non | Oui |
| Chatbot IA avec personnalité engageante | Oui | Non |
| Chatbot IA qui se fait passer pour humain pour gagner la confiance | Non | Oui (art. 50) |
L'exploitation des vulnérabilités : le deuxième type de manipulation
L'AI Act interdit séparément les systèmes qui «exploitent les vulnérabilités d'une personne physique ou d'un groupe spécifique de personnes physiques en raison de leur âge, de leur handicap ou de la situation socioéconomique spécifique dans laquelle ils se trouvent».
C'est une version renforcée de l'interdiction de manipulation, spécifiquement pour les personnes vulnérables. La vulnérabilité peut être : - Cognitive : personnes âgées, enfants, personnes souffrant de maladies mentales - Économique : personnes en situation de détresse financière - Émotionnelle : personnes en période de deuil, de rupture, de crise personnelle - Situationnelle : personnes sous stress intense, fatiguées, malades
Exemple concret : une application de jeu de casino en ligne dont l'IA détecte les profils addictifs (temps de jeu, patterns de comportement) et leur envoie des offres de bonus spéciales pour les maintenir dans le jeu serait clairement interdite.
→ Systèmes IA interdits : liste complète
Impact sur les entreprises : ce qu'il faut réviser
Si votre entreprise utilise des systèmes d'IA dans ses interactions avec les utilisateurs, voici les éléments à auditer :
Systèmes de recommandation : analysez si votre IA utilise des signaux d'état émotionnel ou psychologique pour calibrer les recommandations.
Chatbots et assistants IA : vérifiez qu'ils ne se font pas passer pour des humains (article 50) et qu'ils n'utilisent pas de techniques de persuasion psychologique.
Systèmes de notification push : si vous utilisez l'IA pour optimiser le timing des notifications, assurez-vous que les critères d'optimisation ne incluent pas des signaux de vulnérabilité émotionnelle.
Systèmes de pricing dynamique : la discrimination par les prix basée sur des profils de vulnérabilité détectés est dans la zone grise — à faire auditer par un juriste spécialisé.
- Audit de vos systèmes de recommandation IA
- Revue des données utilisées pour le timing des notifications
- Vérification de la conformité des chatbots IA (transparence, art. 50)
- Évaluation du pricing dynamique IA au regard de l'article 5
- Formation des équipes marketing sur les frontières légales
FAQ : manipulation et IA
Conclusion
La manipulation par IA est l'une des problématiques les plus complexes de l'AI Act, car la frontière avec la persuasion légitime est parfois subjective. L'élément déterminant reste la combinaison de techniques inconscientes ET de préjudice. Pour les entreprises, la prudence consiste à auditer les systèmes qui exploitent des données psychologiques ou comportementales pour influencer des décisions individuelles.
Questions fréquentes
C'est une question sur laquelle les juristes débattent. L'algorithme de TikTok optimise le temps passé sur la plateforme en exploitant des mécanismes de récompense variable. Si cela constitue une 'manipulation subliminale causant un préjudice', il pourrait être concerné par l'AI Act. Mais la démonstration du préjudice et du caractère subliminal reste complexe. Le DSA impose déjà des obligations à TikTok sur ses algorithmes.
Pas nécessairement. La gamification transparente (badges, classements, récompenses visibles) où l'utilisateur comprend les mécanismes n'est pas de la manipulation subliminale. Ce qui serait problématique : une gamification IA qui exploite des biais psychologiques identifiés individuellement, notamment dans un contexte de travail où la personne n'a pas vraiment le choix de participer.
Non. L'optimisation du sujet d'un email par A/B testing ou IA est une forme de persuasion transparente et légitime. Ce qui serait problématique : une IA qui analyserait les états émotionnels des destinataires en temps réel pour envoyer le message au moment de leur plus grande vulnérabilité.
L'AI Act interdit les systèmes d'IA qui utilisent des techniques subliminales ou délibérément trompeuses pour altérer le comportement d'une personne à son insu et à son détriment. Cela inclut l'exploitation de biais cognitifs détectés par IA et le ciblage de personnes vulnérables.