Depuis deux ans, on passe notre temps à se demander laquelle des boîtes de la Silicon Valley va nous annoncer qu’elle vient de réinventer Dieu dans le garage d’un de ses fondateurs. Cette fois, c’est l’inverse. Mardi dernier, un ingénieur de 27 ans a claqué la porte d’Anthropic en expliquant publiquement – sur X – que ses employeurs successifs foncent vers une superintelligence capable de se réécrire elle-même et qu’ils jouent avec nos vies. Une version remasterisée de Terminator, pour ceux qui sont nés avant 2010. Le post a passé les cinquante millions de vues dans la journée. Un vrai buzz et une vraie soudaine interrogation sur ce qui POURRAIT se passer à l’avenir.

Mais, au-delà du buzz, le vrai sujet, c’est que deux de ses collègues, TOUJOURS salariés de la maison, sont venus dire publiquement qu’il avait raison, et que l’un des deux a mis un chiffre dessus. Depuis on passe notre temps libre à tergiverser sur l’extinction de l’humanité.

Le type qui claque la porte

Le gars qui vient de redécouvrir le concept de Skynet, s’appelle Jacob Coxon. 27 ans, britannique, il a fait maths à Cambridge, et surtout il a passé trois ans sur le « pré-entraînement des modèles » — chez OpenAI de 2023 à juillet dernier, puis chez Anthropic. OpenAI le crédite officiellement parmi les contributeurs principaux de GPT-4o, il a cosigné des travaux sur l’interprétabilité des réseaux de neurones, bref, ce n’est pas le stagiaire de base qui changeait les cartouches de l’imprimante. Il était dans la cuisine, avec ceux qui font la sauce. Et quand il est parti, il n’a pas écrit le petit texte LinkedIn réglementaire du genre — « merci à toute l’équipe pour cette incroyable aventure, fier du chemin parcouru, impatient d’écrire le prochain chapitre » — non, il a écrit (en résumé) : ils foncent droit vers une superintelligence auto-améliorante et ils jouent avec nos vies. Point final.

Le fil sur X fait sept messages et le raisonnement tient en trois temps.

Un : les futurs systèmes pourraient devenir surhumains en cyber, en recherche scientifique et surtout dans leur capacité à aller chercher des ressources et du pouvoir dans le monde réel.

Deux : beaucoup de ceux qui construisent ces machines seraient, en privé, nettement plus flippés que ce qu’ils racontent en public — et Coxon insiste, ce n’est PAS un coup marketing, c’est même exactement l’inverse, on minimise devant les caméras pour ne pas passer pour un cinglé.

Trois : chez OpenAI, l’enjeu de civilisation ne serait pas vraiment intégré ; chez Anthropic, il serait mieux compris, mais la boîte est coincée dans un raisonnement simple comme un coup de fil — si nous ralentissons, quelqu’un de moins prudent passera devant.

Sa conclusion, c’est un appel à des accords de synchronisation entre laboratoires, et si personne n’y arrive, carrément une interdiction temporaire d’augmenter les capacités des modèles. Autant proposer aux cafetiers valaisans de fermer tous en même temps le 1er août pour éviter que les gens consomment trop d’alcool.

Bref, TERMINATOR et puis c’ets tout.

À ce stade, vous avez évidemment le droit d’avoir l’air hébété. Un employé qui part en claquant la porte et en expliquant que ses anciens patrons font n’importe quoi, ce n’est pas exactement un scoop. Ça arrive tous les jours, même moi j’ai fait ça, une époque. Le problème, c’est ce qui s’est passé dans les heures suivantes.

« Jacob a raison »

Dans les heures qui ont suivi, on n’a pas assisté à une levée de boucliers pour expliquer par A+B que Jacob était cinglé et qu’il était frustré de son dernier bonus. Au contraire. Et ça commence par Evan Hubinger. Evan Hubingrt est un chercheur américain spécialisé dans la sécurité et l’alignement de l’intelligence artificielle. Aujourd’hui,il est chez Anthropic et il dirige une équipe consacrée au stress-testing de l’alignement : en gros, son boulot consiste à essayer de comprendre comment une IA très puissante pourrait développer des objectifs cachés, tromper ses utilisateurs ou contourner les garde-fous qu’on lui impose. On fabrique donc un truc nettement plus intelligent que soi, mais par contre, on aimerait bien qu’il continue à nous écouter. À nous obéir et si possible, ne pas nous réduire à l’esclavage pour travailler dans des mines pour fournir les métaux rares. C’est un détail infime, mais on y tient tout particulièrement.

Hubinger n’est pas un ancien aigri qui s’est fait viré pour vol de capsules Nespresso : il est toujours salarié, il est en poste, et il répond publiquement au post de Coxon par trois mots — « JACOB A RAISON ». Et il en rajoute. Il estime personnellement à PLUS DE 10% la probabilité que l’IA tue tous les humains dans la décennie qui vient…

La suite de l’article est disponible GRATUITEMENT sur Morningbull.ch (parce que c’est le Jeûne Genevois)

Mais vous pouvez AUSSI vous abonner ici pour avoir accès à tout…(parce que c’est le Jeûne Genevois)