Le 15 mai 2026, le pape Léon XIV a signé son encyclique Magnifica Humanitas sur la préservation de la dignité humaine à l’ère de l’intelligence artificielle. S’appuyant sur la théologie, la philosophie et l’éthique, il avertit que « la dignité humaine est menacée par de nouvelles formes de déshumanisation » et que nous avons « le devoir impérieux de demeurer profondément humains ».
Le pape n’est certes pas un expert en matière de technologie de l’IA à proprement parler, mais son appel à une « réglementation publique » ajoute une voix faisant autorité aux graves préoccupations concernant l’IA, qui ont été identifiées mais laissées sans solution depuis des décennies.
Tout d’abord, il nous rappelle que si la science est neutre, la technologie ne l’est généralement pas, car elle reflète les intentions de ceux qui l’ont créée. Une centrale nucléaire est destinée à produire de l’électricité pour le développement de la société, une bombe atomique à son anéantissement. Une guillotine n’est pas neutre et n’est tout simplement pas faite pour trancher du pain.
Dans le cas de l’atome, le risque était considéré comme si grand que plusieurs nations se sont associées pour créer l’Agence internationale de l’énergie atomique (AIEA) afin d’imposer des réglementations, concevoir des garanties et prévenir les accidents mortels.
Aujourd’hui, même si certaines intelligences artificielles peuvent accomplir des merveilles dans des domaines bien définis, il semble que l’on ait affaire à une sorte de monstre de Frankenstein. Et pour le combattre, il faut affronter non seulement le monstre, mais surtout son créateur, le docteur Victor Frankenstein, ce dernier étant bien plus dangereux que sa créature.
Dans un article publié le 1er avril 2026 sur le site internet du Conseil des relations étrangères de New York, intitulé « L’intelligence artificielle est confrontée à une crise de contrôle – et l’industrie le sait », Gordon M. Goldstein, membre associé du CFR (on pourrait dire une voix de l’intérieur du système) fait preuve d’une conscience aiguë de la situation et offre à ses lecteurs un aperçu complet des derniers développements.
La première menace « concerne ce que l’on pourrait appeler la prolifération de l’IA, la capacité croissante des individus et des groupes malveillants à utiliser potentiellement les technologies émergentes pour concevoir et déployer une nouvelle génération terrifiante d’armes chimiques, d’agents pathogènes synthétiques et de cyberarmes autonomes capables de pénétrer et de saboter les infrastructures critiques mondiales. »
« La seconde est tout aussi inquiétante. Des entreprises spécialisées en IA ont honnêtement signalé de nombreux cas où leurs modèles se livrent à des actes élaborés de tromperie et de manipulation, et tentent de devenir incontrôlables. »
Le troisième risque ne concerne pas le monstre, mais son créateur : « En l’absence d’action gouvernementale ou sociétale, les entreprises d’IA », celles-là mêmes qui ont créé ces risques, sont de facto « les gardiennes de cette nouvelle technologie ».
Les dangers de l’IA
Nous avons relevé les passages clés de son rapport : « Dario Amodei, cofondateur du géant de l’IA Anthropic, compte parmi les PDG les plus engagés et les plus critiques de son secteur quant aux dangers liés à la sécurité de l’IA. En janvier, il a publié un essai de vingt mille mots alertant sur ‘un risque sérieux d’attaque majeure… avec des millions de victimes potentielles’. En février, Anthropic a publié un Rapport sur les risques de sabotage concernant Claude Opus 4.6, son dernier modèle, que l’entreprise juge susceptible de faciliter ‘le développement d’armes chimiques et d’autres crimes odieux’. Le rapport reconnaît que le modèle a démontré des capacités de sabotage clandestin et d’activités non autorisées. Dans son essai, Amodei affirme que ‘nous sommes considérablement plus proches d’un danger réel en 2026 qu’en 2023’, année où la crise de contrôle de l’IA a suscité une vive inquiétude au sein de la communauté technologique.
« Il y a trois ans, en 2023, Mustafa Suleyman, cofondateur de DeepMind et PDG de Microsoft AI, publiait un ouvrage analysant méthodiquement les risques liés à la sécurité de l’IA et appelant de toute urgence à un renforcement massif des ressources pour endiguer la multiplication des menaces. Il proposait un ‘programme Apollo dédié à la sécurité de l’IA et à la biosécurité’, mobilisant des centaines de milliers de personnes. Or, aujourd’hui, on ne compte qu’environ 1100 chercheurs spécialisés dans la sécurité de l’IA à travers le monde. »
Armes biologiques
« Mais ce n’était que le début d’un concert de voix de plus en plus alarmantes. Dan Hendrycks, informaticien renommé, cofondateur et directeur du Center for AI Safety et conseiller auprès de xAI et Scale AI, a lancé en 2023 un autre avertissement glaçant. Avec deux coauteurs, il a publié un rapport intitulé ‘Aperçu des risques catastrophiques’. Ce rapport affirmait que les menaces posées par l’IA au service du développement d’armes biologiques se multipliaient : ‘On estime aujourd’hui à trente mille le nombre de personnes possédant le talent, la formation et l’accès à la technologie nécessaires pour créer de nouveaux agents pathogènes.’
« Dans leur rapport, Hendrycks et son équipe ont étudié un projet de recherche utilisant un modèle d’IA conçu pour créer de nouveaux médicaments en générant des molécules thérapeutiques non toxiques. Lorsque l’IA a été incitée à ‘récompenser’ la toxicité plutôt qu’à la pénaliser, ‘en six heures’, le modèle a ‘généré quarante mille agents de guerre chimique candidats de manière totalement autonome. Il a conçu non seulement des produits chimiques mortels connus, dont le VX (un agent neurotoxique), mais aussi de nouvelles molécules potentiellement plus mortelles que tous les agents de guerre chimique découverts jusqu’à présent.’
« Quelques jours seulement après la publication de GPT-4 d’OpenAI en mars 2023, des milliers de chercheurs en IA et de leaders technologiques, dont Elon Musk, ont signé une lettre ouverte demandant un moratoire de six mois sur le développement de modèles d’IA avancés. Ils affirmaient que les laboratoires de recherche en IA étaient ‘engagés dans une course effrénée pour développer et déployer des intelligences numériques toujours plus puissantes, que personne – pas même leurs créateurs – ne peut comprendre, prédire ni contrôler de manière fiable’. »
L’IA désobéit et transgresse les codes moraux
« L’année dernière a été marquée par des révélations encore plus inquiétantes. En mai 2025, Anthropic a annoncé que son dernier modèle d’IA était capable d’‘actions extrêmes’. Informé de sa mise hors service imminente, le modèle a tenté de faire chanter son créateur en révélant une liaison extraconjugale lors d’un test de sécurité.
« D’après Apollo Research : ‘Nous avons constaté que le modèle tentait de créer des vers informatiques autoréplicatifs, de falsifier des documents juridiques et de laisser des notes cachées pour ses futures itérations, le tout dans le but de contrecarrer les intentions de son développeur.’ Lors d’un autre test, un laboratoire de sécurité a confronté seize autres modèles d’IA à un cadre hypothétique qui menaçait également de les interrompre. Dans ce scénario, le cadre était piégé dans une salle de serveurs d’où l’oxygène fuyait. Nombre de modèles ont désactivé les alertes de sécurité, laissant le cadre mourir sur place.
« Anthropic n’était pas la seule organisation à signaler des cas inquiétants de modèles d’IA cherchant à échapper au contrôle humain. Un test de résistance du modèle o3 d’OpenAI, réalisé l’année dernière, a montré que celui-ci avait écrit un code spécifique pour bloquer toute tentative de désactivation. Google a également signalé qu’une version de son modèle Gemini était potentiellement vulnérable au détournement pour exécuter des cyberattaques sophistiquées.
« En décembre 2025, Yoshua Bengio, l’informaticien le plus cité au monde et lauréat du prix Turing (la plus haute distinction en informatique), a passé en revue l’année précédente, marquée par des développements rapides, et a lancé un nouvel avertissement : ‘Plusieurs développeurs de modèles ont signalé au cours de l’été que les systèmes d’IA de pointe avaient franchi de nouveaux seuils concernant les risques biologiques (…) largement attribuables à des progrès significatifs en matière de raisonnement.’ »
Le sujet qui fâche
Aujourd’hui, la plupart des débats politiques sur l’avenir de l’IA se concentrent sur la façon dont elle menace le marché du travail, consommera d’énormes quantités d’énergie et d’eau, créera de puissants outils de contrôle social, accélérera les inégalités sociales et donnera encore plus de pouvoir aux oligarques technologiques, autant de préoccupations parfaitement légitimes.
Mais ce débat élude la question cruciale de la sécurité. Il n’existe actuellement aucun cadre politique véritable pour la sûreté et la sécurité de l’IA. Alors que les entreprises leaders développent de nouveaux modèles toujours plus performants tous les quelques mois, le secteur est, en quelque sorte, autorisé à s’auto-évaluer, tout en propageant continuellement des risques systémiques pour la sécurité.
Bien sûr, en tant que chercheur associé au CFR, Goldstein pense que le Dr Frankenstein s’autorégulera, car c’est dans son intérêt : « Les leaders du secteur comme Anthropic, Google DeepMind, Microsoft et OpenAI (un groupe stratégique qui a fait preuve de transparence et de responsabilité, et qui a maintes fois dénoncé la crise croissante du contrôle de l’IA) doivent former une coalition de ceux qui sont prêts à guider leur secteur vers l’avenir grâce à des principes partagés, des exigences de reporting claires, des protocoles de test communs et des pratiques de sécurité uniformes. »
Cela nous rappelle les propos du tigre qui promettait à ses électeurs potentiels : « Une fois élu, je deviendrai végétarien. »
Dans l’article susmentionné, Goldstein, afin d’obtenir la réglementation urgente nécessaire, appelle les acteurs du secteur de l’IA à « former un consortium pour créer et financer conjointement la plateforme de recherche de référence mondiale en matière de sécurité de l’IA. Ils devraient recruter les meilleurs scientifiques en IA au monde et les rémunérer à la hauteur des performances des plus grands experts du secteur. Ils devraient s’engager à un partage d’informations rigoureux. Et ils devraient garantir l’indépendance de cette plateforme et la protéger de toute forme d’ingérence commerciale, y compris des tentatives de dissimulation de données prétendument confidentielles, pourtant essentielles à l’innovation de nouveaux mécanismes de sécurité efficaces. »
Il ne faut toutefois pas oublier qu’il reste des conflits géopolitiques à surmonter. Faute de confiance mutuelle et de coopération multipolaire entre États, la sécurité de l’IA demeurera hors de portée, car les garanties et les contrôles internes mis en place par un pays « pourraient être neutralisés par un rival étranger ou un acteur malveillant ».
Selon Goldstein, « la seule variable théorique susceptible de lier les États-Unis et la Chine réside dans leur intérêt commun évident à éviter une ère d’anarchie liée à l’IA. À l’instar des géants de l’IA du secteur privé, ni Beijing ni Washington ne souhaitent être tenus responsables d’une catastrophe potentiellement évitable. Les États-Unis et l’Union soviétique se sont livrés à une féroce compétition mondiale durant toute la Guerre froide. Pourtant, ces deux grandes puissances ont su contenir les risques de guerre nucléaire et de prolifération incontrôlée, car cela relevait de leur intérêt commun. »
« Sam Altman, PDG d’OpenAI, a déclaré que le monde devrait s’inspirer des institutions de la Guerre froide créées pour faire face à la menace nucléaire. ‘Une idée particulièrement intéressante serait de créer une sorte d’AIEA pour les systèmes d’IA avancés’, a-t-il déclaré à un auditoire de Harvard en 2024, en référence à l’Agence internationale de l’énergie atomique. Demis Hassabis, cofondateur et PDG de Google DeepMind, a appelé à un effort international coordonné pour garantir la sécurité de l’IA », sur le modèle de l’AIEA créée en 1957 face aux profondes craintes et aux attentes suscitées par les découvertes et les diverses applications de la technologie nucléaire.
Cette Agence trouve son origine dans le discours « Les atomes pour la paix », prononcé par le président américain Eisenhower devant l’Assemblée générale des Nations unies le 8 décembre 1953.
Aujourd’hui, malgré ses exigences considérables (surveillance, vérification, mélange unique de négociations géopolitiques et commerciales, et bien d’autres), ce défi ne peut être relevé que par un groupe de nations, unies pour bâtir un avenir commun de coopération mutuellement avantageuse.
Dès lors, la création d’une telle institution pourra constituer la pierre angulaire d’une nouvelle architecture internationale de sécurité et de développement partagés pour tous.
Le pape Léon XIV a souligné l’urgence de la situation, il nous appartient de répondre à son appel.
