Consultations sur le Registre de l’intelligence artificielle du gouvernement du Canada : ce que nous avons entendu

Préoccupations

Les personnes participantes ont indiqué que le Registre est difficile à comprendre pour le grand public non spécialiste. Le Registre présentait des renseignements techniques et administratifs détaillés s’adressant davantage aux spécialistes des données ou de la recherche en gouvernance qu’au grand public. Les personnes participantes ont suggéré qu’il serait utile de déterminer les publics cibles du Registre et de fournir à chacun d’eux des renseignements adaptés expliquant ce qu’est le Registre et comment l’interpréter.

Les personnes participantes ont également signalé qu’il était difficile d’utiliser le Registre et d’y naviguer. Le format CSV ne permettait pas d’appliquer de filtres pour faciliter la recherche. Les recherches étaient encore plus complexes en raison du manque d’uniformité dans la façon dont les renseignements étaient saisis. Les personnes participantes ont aussi souligné des problèmes avec l’accessibilité et l’expérience d’utilisation dans les deux langues officielles.

« Le Registre de l’IA serait plus facile à utiliser avec une orientation et des directives plus claires pour les personnes qui l’utilisent pour la première fois. Un aperçu en langage clair expliquant ce qu’est le Registre, à qui il s’adresse et comment l’information devrait être interprétée permettrait de mieux définir les attentes. »

« Utilisez moins de jargon ultra technique ou utilisez plutôt du langage clair. Retirez les descriptions répétitives ou redondantes. Simplifiez les longues sections en créant des résumés concis contenant des « renseignements supplémentaires » facultatifs. Revoyez la terminologie imprécise pour la rendre plus accessible au grand public. »

« Le Registre semble spécialement conçu pour les personnes qui sont à l’aise avec les données, et non pour celles qui jettent un coup d’œil à la page. »

Améliorations suggérées par les personnes participantes

• Clarifier les publics cibles. Pour chaque public, expliquer brièvement ce que le Registre peut aider à faire, les types de questions auxquelles il ne peut pas répondre et toute autre limite ou mise en garde importante.
• Créer une page d’accueil « À propos du Registre » contenant une brève foire aux questions.
• Améliorer la navigation et la convivialité en élargissant les options de recherche et de filtrage afin de permettre la recherche et le filtrage par :
• ministère ou organisation;
• cas d’utilisation, but ou type d’utilisation (par exemple, triage, acheminement, recommandations) ou capacité;
• niveau d’incidence de l’évaluation des risques ou de l’incidence algorithmique ou type de décision;
• types de parties prenantes concernées;
• accessible au public par opposition à utilisation interne;
• type de données (par exemple, personnelles, financières, sur la santé);
• fournisseur;
• étape du cycle de vie.
• Présenter des résumés de système normalisés (« cartes système ») rédigés en langage clair pour accompagner les descriptions techniques plus complexes.
• Améliorer la conformité en matière d’accessibilité et l’uniformité de la présentation dans les deux langues officielles.

Préoccupations

Les commentaires mettaient en évidence le grand manque d’uniformité dans l’exhaustivité, la profondeur et la qualité des entrées du Registre. Les champs laissés vides, l’utilisation d’une terminologie incohérente et la qualité variable des entrées d’un ministère à l’autre ont rendu le Registre plus difficile à utiliser pour la recherche, la comparaison et l’analyse. Les personnes participantes ont souligné que des champs clés étaient souvent laissés vides, remplis de façon non uniforme ou décrits au moyen d’une terminologie propre au ministère qui limitait la comparabilité. Les étiquettes d’état (par exemple, « projet pilote », « en cours de développement », « mis hors service ») ont été appliquées de façon incohérente, ce qui permettait difficilement de déterminer la maturité du système ou son utilisation opérationnelle.

« Il n’y a pas suffisamment d’explications. Il n’y a pas de liste de codes, alors il est difficile de comprendre ce que signifient les variables. »

« Incohérence des saisies : Copilot est entré sous de nombreux noms, certains noms sont très génériques (par exemple, "modèle d’apprentissage automatique"). La variable des résultats mêle les résultats escomptés et les résultats obtenus. »

« Les cellules vides sont indissociables des champs où l’information n’a pas été recueillie par opposition à l’information qui ne s’applique pas, ce qui crée de la confusion par rapport à l’exhaustivité des données. »

Les problèmes liés à l’exhaustivité et à la qualité des données dans le PMV étaient dus au fait que les données proviennent de sources existantes et n’ont pas été recueillies au moyen d’un instrument de collecte spécialisé. Cela dit, la préoccupation met en évidence l’importance d’établir des normes de données strictes dans les versions futures.

Améliorations suggérées par les personnes participantes

• Créer une liste de codes ou un dictionnaire de données public expliquant ce que signifie chaque champ et comment il doit être interprété.
• Utiliser des listes déroulantes dans la mesure du possible pour normaliser les réponses.
• Établir une terminologie contrôlée pour les champs de base, comme le statut du système, le type de capacité d’IA et les catégories de données.
• Ajouter un indicateur d’exhaustivité visible pour chaque entrée.
• Définir une norme minimale de communication que toutes les entrées doivent respecter.
• Indiquer obligatoirement la date de la dernière mise à jour et la fréquence d’examen prévue pour chaque système.

Préoccupations

Les personnes participantes ont déclaré avoir de la difficulté à comprendre quels systèmes d’IA présentent des risques plus élevés ou ont des répercussions plus importantes. Ce problème a été aggravé par des lacunes en matière de gouvernance et de reddition de compte, y compris l’absence de renseignements sur la surveillance humaine, d’information sur le cycle de vie et de liens vers les évaluations de l’incidence algorithmique. Les personnes participantes ont signalé que le Registre n’indique pas quels systèmes ont une grande incidence et n’explique pas en termes simples ce que font réellement les systèmes. Il était donc difficile de déterminer quels systèmes devaient être examinés en priorité et de faire la distinction entre les outils internes et les systèmes qui ont une incidence sur les droits et les services de la population canadienne. Présenter de la même façon les outils internes à faible risque et les systèmes de décision ayant une grande incidence peut brouiller la perception du risque, semer la confusion chez les non-spécialistes et soulever des préoccupations inutiles au sujet des outils à faible risque.

« À l’heure actuelle, le Registre indique que l’IA est utilisée, mais il serait beaucoup plus utile qu’il présente un niveau de risque ou d’incidence, des renseignements plus clairs sur les sources de données et la provenance des modèles (y compris si des fournisseurs tiers ont été sollicités) et la façon dont la gouvernance fonctionne réellement en pratique. »

« Le Registre devrait indiquer clairement le niveau d’incidence de chaque système, conformément à la Directive sur la prise de décisions automatisée, avec un lien direct vers l’évaluation de l’incidence algorithmique pertinente, pour permettre au public d’examiner les évaluations des risques. »

« Les catégories de risque ne devraient pas se limiter à la protection des renseignements personnels et à la sécurité. Elles devraient inclure le risque pour l’emploi, le facteur humain, l’environnement, et autres. »

« À l’heure actuelle, le Registre n’explique pas ce que font réellement les systèmes qui y sont répertoriés dans des termes permettant aux personnes concernées de déterminer si l’IA a joué un rôle dans leur dossier. »

« J’aimerais voir des liens vers l’évaluation de l’incidence algorithmique des systèmes, le cas échéant, ainsi que vers l’évaluation des facteurs relatifs à la vie privée et le Répertoire de services du GC ».

Améliorations suggérées par les personnes participantes

• Introduire des classifications selon le niveau de risque (incidence faible, moyenne ou élevée), conformément à la Directive sur la prise de décisions automatisée.
• Exiger un lien explicite vers le niveau de l’évaluation de l’incidence algorithmique du système et les documents connexes, ou une justification claire en cas d’exemption.
• Ajouter des liens vers d’autres documents de gouvernance, comme les évaluations des facteurs relatifs à la vie privée, les fichiers de renseignements personnels et le Répertoire de services du GC. Dans la mesure du possible, éviter de répéter l’information qui est déjà fournie dans les outils de gouvernance existants et fournir des liens directs vers ces outils.
• Ajouter des champs structurés indiquant les parties prenantes concernées et les principaux domaines de risque (protection des renseignements personnels, partialité, sûreté, sécurité, environnement, coûts financiers).
• Inclure un résumé des mécanismes de protection et de surveillance humaine en langage clair.
• Faire ressortir les systèmes ayant une grande incidence au moyen d’un élément visuel dans l’interface du Registre.

Préoccupations

Une préoccupation commune était le fait que le Registre n’expliquait pas clairement le rôle de l’IA dans les décisions. Les personnes participantes ont indiqué qu’il n’était pas évident de savoir si les systèmes d’IA servent uniquement d’outils d’aide à la décision, s’ils reposent sur une automatisation partielle ou s’ils fonctionnent de manière entièrement automatisée. Les descriptions des systèmes d’IA employaient souvent une terminologie vague comme « assisté par l’IA », ce qui ne permettait pas de comprendre clairement comment les résultats produits par l’IA influençaient les décisions ayant une incidence sur les personnes, les organisations ou les résultats obtenus. De plus, la responsabilité humaine à l’égard des décisions appuyées ou influencées par l’IA n’est pas systématiquement indiquée, et le rôle du système d’IA dans le flux de prise de décisions est rarement expliqué.

« Des termes comme "assisté par l’IA", "ayant recours à l’IA" ou "automatisation" sont utilisés sans indiquer systématiquement dans quelle mesure le système peut prendre des décisions indépendantes. Souvent, on ne sait pas si l’IA ne fait que formuler des recommandations, influe activement sur la prise de décisions ou exécute les décisions de façon autonome. »

« Il serait utile que le Registre comprenne des renseignements plus clairs sur la façon dont chaque système d’IA influe sur les décisions ou les services. À l’heure actuelle, le Registre explique la raison d’être des systèmes, mais on ne sait pas toujours clairement s’ils sont utilisés pour appuyer les décisions du personnel ou s’ils influencent directement les décisions qui concernent des gens. »

« Le Registre serait beaucoup plus utile s’il mettait moins l’accent sur le simple recensement des systèmes d’IA pris isolément et davantage sur l’architecture décisionnelle, c’est-à-dire sur la manière dont l’IA interagit concrètement sur le jugement humain, les pouvoirs décisionnels et les mécanismes de reddition de compte. »

Améliorations suggérées par les personnes participantes

• Ajouter un champ obligatoire qui indique clairement si un système d’IA appuie la prise de décisions.
• Ajouter un champ obligatoire de catégorie qui classe clairement le rôle du système d’IA dans la prise de décisions (par exemple, aide à la décision, avec intervention humaine, décisions entièrement automatisées).
• Ajouter une courte description en langage clair expliquant le rôle du système d’IA dans le flux de prise de décisions et la façon dont les résultats sont utilisés.

Préoccupations

Les personnes participantes ont signalé que le Registre contenait peu d’information au sujet de l’utilisation des données. Souvent, il n’était pas clairement indiqué si des données personnelles, sensibles ou protégées avaient été utilisées. Les renseignements relatifs à l’emplacement des données, à la participation des fournisseurs et aux dépendances à l’égard de systèmes de tiers n’étaient pas toujours présentés de façon transparente.

Améliorations suggérées par les personnes participantes

• Normaliser les communications relatives aux catégories de données (par exemple, personnelles, financières, biométriques, sur la santé).
• Indiquer clairement l’emplacement des données (au Canada ou à l’étranger).
• Indiquer le rôle des fournisseurs (fournisseur d’outils, exploitant, codéveloppeur).
• Lorsqu’il n’est pas possible de communiquer certains renseignements en raison de restrictions contractuelles ou d’exigences de sécurité, inclure un énoncé précisant les limites en matière de transparence.

Préoccupations

Les personnes participantes ont demandé des mécanismes permettant aux personnes de :

• comprendre si l’IA a joué un rôle dans une décision qui les concerne;
• demander un recours, s’il y a lieu;
• s’informer davantage sur des systèmes donnés.

« Les citoyens et citoyennes doivent savoir avec qui communiquer et connaître les processus qui sont à leur disposition lorsqu’une décision assistée par IA les concerne. La Directive sur la prise de décisions automatisée exige déjà un examen humain pour les systèmes ayant une incidence plus élevée; le Registre devrait faire ressortir cette exigence de façon claire et explicite. »

« Mécanismes de recours : le Registre devrait indiquer explicitement comment les personnes peuvent consulter et contester les décisions automatisées et exercer leur droit à un recours efficace. »

« Le Registre doit contenir un mécanisme public de signalement direct permettant aux contribuables et aux organisations de la société civile de signaler les préjudices causés par l’IA, les biais algorithmiques ou les défaillances des systèmes. »

« En l’absence d’un mécanisme de reddition de comptes, le Registre risque de n’être qu’un exercice de transparence "de façade". »

Améliorations suggérées par les personnes participantes

• Exiger que chaque entrée contienne les coordonnées d’une personne-ressource désignée (ou le titre du rôle fonctionnel) ainsi qu’une description de la démarche permettant aux personnes concernées par des décisions assistées par l’IA d’obtenir des explications ou de demander un recours.
• Relier chaque entrée de système ayant une grande incidence directement au mécanisme d’appel ou de recours pertinent.
• Ajouter une fonction de rétroaction et de signalement d’incident permettant aux utilisateurs et utilisatrices de signaler les préjudices causés par l’IA ou les défaillances des systèmes.
• Inclure un mécanisme permettant aux personnes d’effectuer un signalement si elles suspectent qu’un système d’IA non répertorié a été utilisé dans la prise d’une décision qui les concerne.