L’IA dans la gestion de la sécurité aérienne : Partie 3 – Responsabilité et réglementation

Quand l’IA se trompe : responsabilité, auditabilité et conformité au SGS

L’intelligence artificielle s’invite de plus en plus dans les discussions sur la gestion de la sécurité aérienne.

Elle rédige des rapports.
Elle résume des données sur les dangers.
Elle analyse des tendances.
Elle propose des mesures d’atténuation des risques.

Et elle le fait souvent avec assurance.

Mais l’assurance n’est pas la conformité.

Comme nous l’avons vu dans cette série, l’IA représente à la fois une opportunité et un risque informationnel. Dans cette troisième partie, nous abordons une question que les dirigeants ne peuvent ignorer :

Lorsque l’IA se trompe, qui est responsable?

Je n’audite pas des logiciels

En tant qu’auditeur, je n’ai jamais rédigé une constatation de non-conformité contre un logiciel.

Je n’ai jamais demandé à un aéroport pourquoi « son système » était fautif, comme si le système était la partie responsable.

Je pose plutôt les questions suivantes :

• Pourquoi votre manuel de gestion de la sécurité (MGS) ne reflète-t-il pas les exigences réglementaires?

• Pourquoi le processus décrit dans votre MGS n’est-il pas suivi?

• Pourquoi la procédure documentée n’est-elle pas appliquée?

• Qui est responsable de cette fonction?

Les autorités ne réglementent pas les outils.
Elles réglementent les titulaires de certificats.

Si un chiffrier contient une erreur, le chiffrier n’est pas tenu responsable.
Si une plateforme logicielle calcule mal un indicateur, ce n’est pas la plateforme qui fait l’objet d’une constatation.

La constatation vise l’organisation - et ultimement, la personne à qui la responsabilité est confiée.

L’IA n’est que le plus récent outil dans la boîte à outils.

Elle ne change pas l’emplacement de la responsabilité.

La réalité réglementaire : les fonctions sont attribuées à des personnes

Dans les cadres de SGS en aviation, les fonctions sont attribuées à des personnes.

Les activités d’assurance de la qualité doivent être exercées par des personnes.
Le gestionnaire responsable est une personne.
Le gestionnaire de la sécurité est une personne.
Le titulaire de certificat est représenté par des personnes.

Un système d’IA :

• ne peut pas détenir un certificat;

• ne peut pas être désigné gestionnaire responsable;

• ne peut pas assumer une fonction réglementaire;

• ne peut pas comparaître dans le cadre d’une mesure d’application;

• ne peut pas signer un plan d’actions correctives.

Si quelque chose tourne mal, aucun organisme de réglementation n’interrogera votre algorithme.

On s’adressera à la personne responsable.

Transports Canada n’a peut-être pas encore publié de document de position officiel sur l’IA en SGS. Mais il n’est pas nécessaire qu’il le fasse pour que ce principe s’applique. Le cadre de responsabilité existe déjà. L’IA y est intégrée - elle ne le remplace pas.

Lorsque l’IA se trompe

L’IA ne « connaît » pas la réglementation. Elle prédit du texte probable en fonction de modèles et des données d’entrée fournies par l’utilisateur.

Cela signifie qu’elle peut :

• citer des références réglementaires inexactes;

• produire des analyses convaincantes mais erronées;

• combler des lacunes par des informations plausibles;

• mal interpréter le contexte;

• refléter la qualité - ou les limites - des données d’entrée.

J’ai personnellement constaté des références réglementaires générées par l’IA qui étaient incorrectes - même lorsque mes instructions étaient claires. Cela ne rend pas l’IA dangereuse. Cela en fait un outil qui doit être vérifié.

Lorsque je livre une formation, un rapport ou une analyse réglementaire, la responsabilité m’appartient. S’il y a une erreur, elle me revient - et non au logiciel utilisé.

Même Microsoft Word ne détecte pas toutes les erreurs si le mot est techniquement correct.

La signature appartient à une personne.

Ce principe ne change pas parce que l’outil est plus sophistiqué.

Une leçon tirée du simulateur de vol

Permettez-moi un exemple plus personnel.

Après plusieurs années loin des simulateurs de vol, j’y suis récemment revenu - cette fois avec un nouvel ordinateur suffisamment puissant pour faire fonctionner la version 2024.

J’étais enthousiaste à l’idée d’installer un environnement à deux écrans et de recréer une expérience immersive.

Tout semblait correctement configuré.

Pourtant, je ne pouvais pas interagir avec les instruments.

Les paramètres de la souris étaient bons. Le mode de contrôle approprié était sélectionné. Malgré cela, rien ne fonctionnait.

Il aurait été facile de blâmer le logiciel.

Mais le problème venait de moi.

Dans mon empressement à configurer l’affichage et à activer le deuxième écran, j’avais modifié certains paramètres d’une manière qui empêchait le système de fonctionner comme prévu.

Le logiciel fonctionnait exactement selon sa configuration.

C’est moi qui avais introduit l’erreur.

Il en va de même pour l’IA en gestion de la sécurité.

Si un système d’IA produit une analyse inexacte, il faut se demander :

• A-t-il été correctement configuré?

• Les données d’entrée étaient-elles appropriées?

• Les résultats ont-ils été examinés par une personne qualifiée?

• Comprenons-nous ses limites?

• Avons-nous des mécanismes de vérification en place?

Et surtout :

Si le système se trompait, le saurions-nous?

La technologie ne peut appuyer la gestion de la sécurité que si la direction comprend son fonctionnement - et ses limites.

Auditabilité et conformité au SGS

L’innovation exige une gouvernance.

Si l’IA est utilisée dans votre SGS - pour la rédaction de rapports, l’analyse de données ou l’examen de tendances - posez-vous les questions suivantes :

• Les résultats générés par l’IA sont-ils examinés par une personne compétente?

• Cette vérification est-elle documentée?

• L’utilisation de l’IA est-elle décrite dans votre manuel de gestion de la sécurité, le cas échéant?

• Votre programme d’assurance de la qualité inclut-il la surveillance des processus appuyés par l’IA?

• Pouvez-vous démontrer la traçabilité des décisions?

• Seriez-vous en mesure de défendre ces décisions lors d’un audit?

Si vous ne pouvez pas l’auditer, vous ne devriez pas vous y fier pour des fonctions critiques de conformité.

L’IA peut accélérer des processus.
Elle peut améliorer l’analyse.
Elle peut accroître l’efficacité.

Mais elle ne transfère pas la responsabilité.

La technologie n’absorbe pas la responsabilité

L’automatisation peut piloter un aéronef.
Le pilote demeure responsable.

L’IA peut appuyer votre système de gestion de la sécurité.
Mais elle ne remplacera jamais votre responsabilité.

La question n’est pas de savoir si l’IA entrera dans la gestion de la sécurité aérienne. Elle y est déjà.

La question est de savoir si elle sera encadrée adéquatement - ou présumée correcte sans validation.

Appel à l’action

Si votre organisation envisage d’intégrer l’IA à ses processus de sécurité - ou si vous souhaitez vous assurer que vos systèmes actuels respectent pleinement les exigences réglementaires - il est temps d’en discuter.

Chez Acclivix, nous aidons les organisations aéronautiques à :

• renforcer leurs cadres de gouvernance du SGS;

• aligner leurs manuels de gestion de la sécurité sur la réalité opérationnelle;

• maintenir l’efficacité des processus d’assurance de la qualité à mesure que les outils évoluent;

• évaluer les plateformes technologiques pour confirmer qu’elles soutiennent - et non compromettent - la conformité.

L’IA est un outil.
La responsabilité est une fonction de leadership.

Assurons-nous que la vôtre soit claire. Contactez-nous dès aujourd’hui pour amorcer la conversation.