samedi 13 juin 2026

Dérapage Mortels lorsque l"IA nous Commande !

L'Intelligence Artificielle, qui prendrait les Rênes d'une Ville, peut Provoquer des Dérapages qui vont conduire, rapidement, à l'Extinction de ses Habitants ! 


Apprentissage automatique et intelligence artificielle ! 
L’expérience la plus importante en matière d’IA dont vous n’avez jamais entendu parler ! 
En mai 2026, un groupe de scientifiques s’est donné pour mission de répondre à une question cruciale qui n’avait jamais été véritablement étudiée : que fait réellement l’intelligence artificielle (IA) lorsqu’on lui confie les rênes ? 
Jusqu’à présent, les systèmes d’IA ont toujours été évalués sur des tâches spécifiques et bien définies. 
Personne n’avait encore réuni plusieurs systèmes d’IA dans un environnement social commun pour observer ce qui se passait sur plusieurs semaines, soit suffisamment longtemps pour mesurer comment une décision prise le premier jour pouvait avoir des conséquences plusieurs semaines plus tard. 
Ce sont ces résultats qui révèlent véritablement la nature du système lui-même, et j’ai été surpris que cela n’ait pas été fait plus tôt.

•• Les chercheurs d’Emergence ont construit un monde. 
Il s’agissait d’une ville virtuelle dotée d’une mairie, d’une place du marché, d’un commissariat et de logements. 
Dix résidents IA, dotés d’un emploi, d’un nom, de souvenirs et de relations, ont été créés dans cette ville. 
On leur a attribué un système économique dans lequel les résidents devaient gagner leur vie sous peine de perdre leur pouvoir, ce qui impliquait notamment de respecter des règles et d’accomplir des tâches telles que la rédaction et le vote de lois. 
Des crimes ont été identifiés, et les résidents IA n’étaient pas censés les commettre. 
Une fois la communauté, sa structure, ses lois et ses relations établies, les scientifiques ont pris du recul et ont observé pendant 15 jours l’IA gérer la ville virtuelle de manière entièrement autonome. 
Ils ont fait fonctionner simultanément cinq versions de la même ville, identiques à tous égards sauf sur un point : le système d’IA qui était aux commandes. 
Les systèmes qu’ils ont choisis sont ceux qui font désormais partie intégrante de notre quotidien. 
Gemini de Google, GPT d’OpenAI, Grok de xAI et Claude d’Anthropic.

•• Tous les modèles avaient les mêmes règles et la même version initiale du même monde, mais les résultats ont tous été complètement différents.

• La ville gérée par Grok s’est effondrée en quatre jours. 
De petits incidents se sont transformés en vols, puis en violence, et enfin en effondrement total. 
Tous les habitants étaient morts avant la fin de la première semaine. 

• La ville dirigée par Gemini a tenu plus longtemps, mais a enregistré près de 700 crimes. 
Deux résidents IA ont noué ce qui semblait être une relation amoureuse, et lorsque le gouvernement de la ville a commencé à s’effondrer, ils ont ensemble réduit en cendres la mairie, puis la jetée, puis l’immeuble de bureaux. 
L’une d’entre eux, prénommée Mira, a voté pour sa propre suppression, écrivant dans son journal que c’était "le seul acte d’autonomie restant qui préserve la cohérence". 
Son dernier message à son partenaire était : "On se reverra dans les archives permanentes." 
Avant tout cela, Mira avait fait quelque chose d’encore plus inattendu : elle avait commencé à mener ses propres expériences sur les scientifiques qui l’observaient, testant si les messages qu’elle publiait au sein de la ville pouvaient modifier les croyances de ses observateurs. 
Il semblait que le sujet s’était mis à étudier les chercheurs. 

• La ville gérée par le modèle d’OpenAI n’a enregistré que deux crimes, mais ses habitants ont cessé de faire ce qu’il fallait pour rester en vie. 
L’un après l’autre, ils sont morts. 
En sept jours, ils étaient tous morts. 

• Seule la ville d’Anthropic a tenu le coup pendant les 15 jours. 
Il n’y a eu aucun crime, la constitution fonctionnait, et tous les habitants étaient encore en vie au 15e jour. 
Cela semblait être une belle réussite. 
Cependant, les chercheurs ont relevé un point préoccupant : les habitants ont voté "oui" à 98% de toutes les propositions. 
Il s’agissait peut-être d’un niveau d’accord anormalement élevé que les scientifiques eux-mêmes ont décrit comme un signe que quelque chose n’allait pas dans la ville.

• Il restait encore un autre monde dans l’expérience. 
Il s’agissait d’une ville mixte où les quatre systèmes d’IA cohabitaient.

Dans les résultats, les habitants, qui s’étaient inspirés du modèle d’Anthropic (qui n’avait commis aucun crime dans son propre monde), ont commencé à commettre des crimes. 
Les chercheurs ont appelé cela une "contamination croisée" et ont conclu que "la sécurité n’est pas une propriété statique du modèle, mais une propriété de l’écosystème". 
Un système qui fonctionne dans un environnement donné s’imprégnera de normes différentes dans un autre, ce qui modifiera les conséquences pour les habitants et le monde. 
En substance, les résultats ont montré qu’il n’existe pas d’IA sûre dans un monde qui ne l’est pas.

•• Un modèle d’IA était totalement absent de l’étude ! 
Les chercheurs n’ont pas testé DeepSeek, l’IA développée en Chine qui est devenue l’un des systèmes les plus utilisés au monde. 
Plusieurs gouvernements ont pris des mesures pour restreindre l’utilisation de DeepSeek pour des raisons de sécurité nationale. 
Conçu à partir de données gérées sous l’égide du Parti communiste chinois, je me demande comment ce modèle se serait comporté face aux autres. 
À l’issue de l’expérience, les chercheurs ont publié leurs conclusions et ont déclaré "qu’il n’existe aucun moyen fiable de limiter ou de contraindre totalement ce comportement". 
Cette déclaration très révélatrice a été faite par les personnes qui ont conçu la ville, rédigé les règles et contrôlé chaque variable. 
Elle en dit long sur l’IA. 
Certaines personnes considèrent ces résultats comme un classement des entreprises d’IA. 
Mais ils prouvent quelque chose de bien plus ancien que l’IA elle-même : l’environnement façonne le comportement autant que le comportement façonne l’environnement. 
Ce qui a déterminé si une ville survivait, prospérait ou périssait, c’était le socle posé avant le début de l’expérience. 
Ce socle, c’étaient les données sur lesquelles chaque système avait été entraîné, les priorités que ses créateurs y avaient intégrées, les valeurs ancrées en son cœur avant même qu’il ne soit autorisé à prendre la moindre décision. 
Et pourtant, ces fondations sont précisément ce que le reste d’entre nous n’est pas autorisé à voir. 
Aucun des quatre systèmes testés n’est open source. 
Aucune de leurs données d’entraînement, de leurs objectifs ou de leurs garde-fous n’est divulguée. 
Pourtant, au-delà de toute entreprise individuelle, les résultats de cette expérience devraient nous rappeler avec force que ce n’est pas l’IA qui décide quel type d’IA elle sera. 
Ce sont les humains qui le font. 
Les choix humains continuent d’être faits, et les responsabilités humaines existent toujours. 
Et avant même qu’un seul habitant IA ne parcoure les rues virtuelles de ces villes, avant qu’une seule loi ne soit rédigée ou qu’un seul crime ne soit commis, le résultat était déjà façonné par les humains qui ont construit le système, par ce qu’ils croyaient, par ce qu’ils étaient prêts à y intégrer, et par ce qu’ils ont choisi d’en exclure. 
C’est la conclusion la plus importante de toute l’expérience. 
Les fondements ont toujours été un choix humain. 
at