Une intelligence artificielle (IA) capable de diagnostiquer des maladies ou d’analyser des radiographies pour prévenir les erreurs médicales ; une autre qui traque des millions de transactions pour déceler des fraudes fiscales ; des algorithmes aidant la police à identifier des “sujets d’intérêt” ; et des systèmes utilisant la reconnaissance faciale pour la vidéoprotection. Tous ces systèmes ont été ou sont utilisés par l’Administration, que ce soit à l’échelle nationale, régionale ou locale. Bien qu’ils aient été mis en concurrence et que des documents décrivant les objectifs de ces projets soient accessibles au public, seul un petit groupe de fonctionnaires connaît réellement leur fonctionnement, leurs bénéficiaires et leurs répercussions. Ces systèmes restent des zones d’ombre dont personne ne veut débattre. Et avec le développement exponentiel de l’IA, ces zones d’ombre se multiplient.
L’IA pénètre non seulement le secteur privé, mais elle s’impose également dans l’Administration, touchant des domaines tels que la santé, le fisc, la défense ou l’emploi. Des chercheurs et spécialistes tirent la sonnette d’alarme depuis des années : l’adoption de cette technologie par le secteur public représente davantage de risques que d’opportunités. Le problème réside dans le fait que la réglementation européenne sur l’IA, destinée à protéger les citoyens de son utilisation inappropriée, est peu appliquée en Espagne. De plus, avec des pressions venant de Donald Trump et des grandes entreprises technologiques, l’illustre AI Act pourrait subir d’importants amendements.
Estrella Gutiérrez, chercheuse et professeure à l’Université Complutense de Madrid, travaille depuis cinq ans pour identifier les contrats que l’Administration attribue pour l’utilisation de l’IA. À ce jour, elle a recensé environ 60 appels d’offres depuis 2015, révélant que l’Espagne néglige les règlements européens relatifs à l’IA.
“La transparence sur le fonctionnement technique de ces systèmes est insuffisante ; les garanties minimales exigées par la Commission Européenne pour assurer la fiabilité de ces systèmes ne sont pas respectées. Il n’existe pas de guide clair sur la responsabilité des données ni de registre approprié. Ainsi, si ce logiciel dévie de son but de manière autonome, ce qui est courant avec l’IA, il n’y a pas de registre pour retracer ce qui s’est passé et pourquoi. De plus, la supervision humaine de cette technologie reste floue”, explique Gutiérrez lors d’un échange téléphonique.
Pourquoi cela se produit-il ?
En théorie, l’Administration espagnole respecte les règlements européens sur l’IA, car le délai d’application obligatoire ne prendra effet qu’en août 2030. Toutefois, si les exigences et les bonnes pratiques sont connues depuis longtemps, pourquoi ne pas commencer dès maintenant ? Pourquoi priver les citoyens d’informations cruciales sur des outils ayant un impact direct sur leur vie ?
“En théorie, l’Agenzia Española de Supervisión de la Inteligencia Artificial (AESIA) et l’Agenzia Española de Protección de Datos (AEPD) sont censées superviser ces aspects, mais cela nécessite l’élaboration d’un anteprojet de loi pour un usage éthique de l’IA. Et nous ne savons pas quand cela sera fait… ni s’il sera fait“, note Gutiérrez.
Des spécialistes soulignent que cette situation laisse les citoyens dans une position de vulnérabilité et d’inégalité face à l’usage croissant de l’IA. La vulnérabilité provient du manque de clarté sur les technologies utilisées ; l’inégalité découle des différences entre chaque communauté autonome, surtout en matière de santé. “Chaque région achète le logiciel qu’elle veut, peut ou a besoin”, explique Antonio López Rueda, porte-parole de la Société Espagnole de Radiologie Médicale (SERAM).
Des recherches ont montré que la Communauté de Madrid met en œuvre une centaine de projets d’IA, avec chaque hôpital agissant de manière indépendante. En revanche, la Catalogne a jusqu’à présent publié des informations partielles, invoquant le secret commercial et la protection des droits de propriété intellectuelle.
Cas Bosco : évolution dans l’utilisation gouvernementale de l’IA
L’opacité de l’Administration concernant l’utilisation de l’IA a été mise en lumière par un récent jugement de la Cour Suprême qui marquera un tournant dans l’évolution de cette technologie. Après sept ans de lutte, le tribunal a donné raison à la Fondation Civio dans le cas Bosco, qui implique une application algorithmique servant à déterminer l’attribution du chèque social électrique.
“La raison pour laquelle l’Administration refusait de remettre le code source de Bosco était simplement une question de honte”.
Civio avait demandé au Gouvernement de publier le code source pour une vérification indépendante afin de corriger d’éventuelles erreurs, telles que celles touchant les femmes retraitées percevant une pension de veuvage, qui se voyaient refuser le chèque social en raison d’une erreur de configuration. Le Gouvernement a refusé à plusieurs reprises, évoquant la sécurité nationale et la propriété intellectuelle. Mais le 11 septembre, la Cour Suprême a exigé la publication de ce code.
“Plusieurs passages de cette décision sont cruciaux, particulièrement celui-ci : ‘les pouvoirs publics ont l’obligation d’expliquer de manière compréhensible le fonctionnement des algorithmes utilisés dans la prise de décisions affectant les citoyens pour leur permettre de connaître, contrôler et participer à la gestion publique‘”, a déclaré Eva Belmonte, directrice de Civio.
Le regard vers l’avenir
La situation actuelle est délicate en Europe. Récemment, le Financial Times a rapporté que la Commission Européenne envisageait de lever certaines restrictions de la loi sur l’IA, en raison de pressions exercées par le gouvernement de Donald Trump et les géants technologiques. Ce débat soulève un dilemme entre rapidité et sécurité. L’Europe doit-elle se précipiter pour ne pas perdre du terrain face aux États-Unis et à la Chine, même si cela implique des risques déjà visibles en Espagne avec l’IA chaotique de l’Administration ? Quel compromis sommes-nous prêts à accepter ?
Points à retenir
- Les systèmes d’IA sont de plus en plus intégrés dans les services publics, mais leur fonctionnement reste opaque.
- La réglementation européenne sur l’IA est peu appliquée en Espagne, laissant des risques importants non couverts.
- Des recherches montrent des niveaux variés d’adoption de l’IA dans les différentes communautés autonomes, créant des disparités.
- Le cas Bosco souligne l’importance de la transparence dans l’utilisation des algorithmes décidant des aides sociales.
Dans un monde où l’IA progresse à pas de géant, il est essentiel que nous, en tant que citoyens, exigions davantage de transparence et de responsabilité de la part de nos gouvernements. Ne laissons pas cette technologie nous glisser entre les doigts sans un examen rigoureux et éclairé. Quelles seraient pour nous, citoyens, les implications d’une IA mal régulée ?