Automatisation en santé : organiser un contrôle humain qui peut réellement arrêter ou corriger

Décrire l’action exacte et ce qui arrive si elle se trompe

Notre point de départ n’est pas le mot « intelligence artificielle », mais le scénario : quelle donnée déclenche quelle action, vers quel destinataire, avec quelle possibilité d’annulation ? Une règle déterministe peut aussi produire une erreur en série.

Distinguez au minimum préparation d’un brouillon, notification, modification d’un état et décision affectant la prise en charge. Pour chaque automatisme, identifiez l’erreur la plus dommageable plausible. Un message de rappel envoyé à la mauvaise personne relève déjà d’un problème de confidentialité, même sans calcul médical.

Ne pas traiter une décision de soins comme une simple optimisation

Le guide HAS-CNIL de 2026 souligne que les décisions portant sur la prise en charge sanitaire avec l’aide d’un système d’IA doivent faire l’objet d’une supervision par le professionnel qui prend en charge la personne. Il rappelle que l’intervention doit dépasser une validation de façade.

La CNIL explique plus généralement que les décisions exclusivement automatisées produisant des effets juridiques ou comparables font l’objet de règles particulières. Leur encadrement ne se résume pas à ajouter une case d’accord : faites qualifier l’usage, notamment lorsqu’il affecte l’accès au service ou utilise des données de santé.

Références : HAS-CNIL — bon usage des systèmes d’IA en contexte de soins, 2026 ; CNIL — profilage et décision entièrement automatisée.

Donner au contrôleur du temps, des informations et un pouvoir de refus

Dans notre dispositif proposé, le responsable du contrôle connaît les limites de l’outil, voit les données nécessaires et peut demander une correction, rejeter la proposition ou reprendre manuellement. Un superviseur sans possibilité d’agir n’est qu’un témoin.

L’interface doit distinguer proposition et décision validée. Prévoyez ce qui se passe pendant une absence ou une surcharge : aucune validation silencieuse ne devrait être ajoutée simplement parce que la file d’attente grossit. Les règles exactes sont à fixer avec les responsables métier et sécurité.

Tester les exceptions avant les démonstrations réussies

Voici une série de tests fictifs que nous proposons pour les automatismes de parcours. Elle complète, sans remplacer, l’évaluation spécialisée d’un dispositif clinique.

Sur petit écran, faites défiler le tableau horizontalement pour voir toutes les colonnes.

Une alerte doit conduire à une action identifiable

Notre question de conception : qui reçoit cette alerte, dans quel délai doit-elle être examinée, et que se passe-t-il si personne n’en prend connaissance ? L’apparition d’un badge rouge ne garantit pas qu’un problème soit traité.

Réservez les interruptions aux situations qui les justifient et mesurez les alertes ignorées ou répétées. Ne fixez pas de seuil clinique à partir d’un simple objectif de réduction du bruit. Les paramètres qui influencent les soins doivent être validés par les professionnels compétents et réévalués après un changement.

Apprendre des quasi-incidents et des corrections

La HAS recommande une gestion des risques collective, analysant aussi les événements qui auraient pu nuire au patient. Elle associe prévention, barrières de sécurité et retour d’expérience plutôt qu’une recherche limitée à la faute individuelle.

Notre journal de suivi proposé distingue erreur de donnée, règle mal définie, défaut logiciel, mauvaise compréhension et obstacle organisationnel. Enregistrez aussi les erreurs rattrapées avant conséquence. Elles montrent où le contrôle humain fonctionne, mais peuvent révéler qu’il compense en permanence une conception défaillante.

Références : HAS — comprendre la sécurité du patient, actualisation septembre 2026.

Prévoir un arrêt sûr et une reprise vérifiable

Nous proposons une procédure courte : responsable habilité à suspendre, liste des actions déjà exécutées, file des actions en attente et moyen de poursuivre les tâches indispensables. Après rétablissement, réconciliez les états avant de relancer : rejouer aveuglément une file peut produire des doublons.

Conservez la version des règles utilisée et retestez les cas critiques après mise à jour. Un fonctionnement correct pendant le pilote ne prouve pas que la nouvelle version, le nouveau service ou la nouvelle population seront couverts avec la même qualité.

Mesurer le bénéfice net, pas le volume d’actions automatiques

Notre bilan additionne le temps économisé et celui consacré aux contrôles, aux reprises et aux incidents. Il examine aussi les demandes restées sans réponse et les difficultés des personnes qui utilisent peu le numérique.

La meilleure décision peut être de limiter un automatisme à un périmètre étroit. Déployer moins largement mais avec une responsabilité claire vaut mieux qu’obtenir un taux d’automatisation élevé impossible à expliquer aux utilisateurs.

Questions complémentaires