Objectifs
- Comprendre pourquoi l'IA responsable concerne les équipes produit autant que les équipes techniques.
- Retenir les trois questions à se poser avant de déployer un système d'IA.
Le paradoxe de l'IA
La même technologie peut rendre de grands services et créer de nouveaux risques. Un modèle de vision par ordinateur peut aider à repérer un objet dangereux dans un lieu public ; le même type de technologie peut alimenter une surveillance de masse. Un modèle de scoring peut accélérer l'octroi d'un service ; il peut aussi reproduire une discrimination à grande échelle.
Les risques typiques sont :
- la surveillance de masse ;
- les décisions automatisées injustes ;
- les erreurs à grande échelle (une erreur humaine touche un dossier, une erreur de modèle en touche des milliers) ;
- la perte de contrôle humain sur des décisions importantes.
Une question de conception
L'éthique de l'IA n'est pas un débat réservé aux chercheurs. C'est une question de design (que voit et que comprend l'utilisateur ?), d'architecture (quelles données, quels droits, quels garde-fous ?) et de produit (quelle décision confie-t-on à la machine ?).
Le signal d'alerte, pas le juge
Dans les systèmes sensibles, une bonne pratique consiste à faire de l'IA un signal d'alerte : elle détecte, priorise, recommande, mais un humain vérifie, interprète et décide. Derrière chaque détection, il y a une personne réelle, et un faux positif (accuser à tort) comme un faux négatif (ne rien voir) ont des coûts humains.
Figure 1 : l'IA est un signal d'alerte ; l'humain vérifie, décide et reste responsable.
Les trois questions à se poser
- Quel est l'impact réel de ce système sur les personnes ?
- Qui reste responsable de la décision finale ?
- Comment éviter que l'automatisation remplace le jugement humain ?
Pour aller plus loin
Pensez à un produit de votre entreprise qui utilise (ou pourrait utiliser) de l'IA. Répondez en trois phrases aux trois questions ci-dessus. Si vous ne savez pas répondre à l'une d'elles, vous venez d'identifier votre premier chantier.