De nombreux contrôles d'IA se terminent par la même formule : une personne examinera la sortie. La phrase rassure parce qu'elle place un humain dans le processus. Elle ne dit pas si cette personne peut détecter un problème, comprendre le rôle du système, refuser la recommandation, renverser l'action ou provoquer une amélioration.
La supervision humaine n'est pas un emplacement dans un flux de travail. C'est une boucle de contrôle qui relie la sortie de l'IA, la personne qui décide ou supervise, l'action prise et la rétroaction qui modifie l'exploitation future.
L'obligation varie selon l'impact
La Directive sur la prise de décisions automatisée rend l'intervention humaine proportionnelle à l'incidence. Selon l'annexe C, les systèmes de faible incidence peuvent prendre des décisions sans intervention humaine directe, tout en conservant une assurance de la qualité humaine. Aux niveaux d'incidence III et IV, la décision finale doit être humaine, avec une intervention clairement définie et une revue des recommandations du système.
L'indication d'application IA-RI-2025-003-OP exige une supervision humaine proportionnée pour les cas d'usage autorisés, selon l'impact potentiel des décisions et le degré d'autonomie du système. Elle exige aussi une analyse continue des impacts avant et après le déploiement.
Le NIST AI RMF fournit le principe opérationnel : les rôles et responsabilités humaines dans la prise de décision et la supervision doivent être clairement définis et différenciés.
Cinq composantes d'une vraie boucle de supervision
1. Définir la frontière de décision
Précisez ce que produit le système et ce que décide la personne. La sortie est-elle un brouillon, une cote, une recommandation, une file classée ou une action? Nommez le moment où le jugement doit intervenir et les cas qui doivent être escaladés plutôt qu'approuvés par le réviseur de première ligne.
2. Donner des preuves utilisables
Le réviseur a besoin de plus que la réponse. Présentez les sources pertinentes, les intrants importants, l'incertitude lorsqu'elle est utile, les limites connues et une description claire du rôle du modèle. L'information doit soutenir la décision, sans noyer la personne dans les détails techniques.
3. Protéger le temps et l'attention
Une revue nominale à faire en quelques secondes ou dans une file ingérable favorise le biais d'automatisation et l'approbation mécanique. Fixez des attentes qui permettent d'examiner les exceptions, d'obtenir des preuves supplémentaires et de suspendre le processus lorsque le cas sort des conditions normales.
4. Donner l'autorité et un recours
Le réviseur doit pouvoir modifier, retourner, escalader ou arrêter. La personne touchée doit disposer d'une voie compréhensible pour contester une conséquence importante lorsque cela s'applique. Suivez les dérogations et recours comme des signaux d'exploitation, pas comme la preuve d'un refus de suivre le système.
5. Fermer la boucle de rétroaction
Consignez ce que le réviseur a changé, pourquoi, le résultat et la répétition éventuelle de cas semblables. Utilisez ces signaux pour ajuster les instructions, la formation, les seuils, les données, le suivi ou le système. Une supervision qui ne change jamais l'exploitation future demeure une observation, pas un contrôle.
Une fiche de conception de la supervision
| Question de conception | Réponse attendue |
|---|---|
| Quel jugement précis demeure humain? | Une décision nommée, pas « examiner la sortie ». |
| Quelles preuves la personne verra-t-elle? | Sources, intrants, limites et incertitude pertinente. |
| Quel temps et quelle expertise sont nécessaires? | Une file réaliste, une attente de service et un profil de rôle. |
| Quelles actions sont permises? | Approuver, modifier, retourner, escalader, déroger ou arrêter selon le cas. |
| Que faut-il consigner et revoir? | Dérogations, erreurs, plaintes, recours, résultats et correctifs. |
Ce que la direction devrait demander
- Le réviseur peut-il expliquer le rôle du système dans la décision?
- Voit-il assez de preuves pour repérer une mauvaise recommandation?
- Peut-il refuser la sortie sans délai ou pénalité déraisonnable?
- Les dérogations et plaintes mènent-elles à un changement documenté?
Si une réponse est négative, l'organisation a une présence humaine, pas une supervision humaine.
Si la frontière de décision, les preuves ou le parcours de dérogation sont flous, la Revue de décision IA sert à résoudre cet écart de contrôle avant le déploiement.
Sources et portée
Références principales : la Directive sur la prise de décisions automatisée, articles 6.3.13 et 6.3.14 et annexe C; l'indication IA-RI-2025-003-OP, notamment l'article 17; et l'annexe C du NIST AI RMF. Cet article présente des orientations opérationnelles générales. Le degré d'intervention humaine requis dépend de la décision, de l'impact et des règles applicables.
Vous voulez une note pratique sur la gouvernance chaque mois?