Réflexion sur l'intelligence artificielle et ses enjeux

Ça, ça n'a l'air de rien, et c'est pourtant de loin la chose la plus importante que vous regarderez aujourd'hui. Pas cette vidéo spécifiquement, mais ce qu'elle représente. Et pour que vous compreniez pourquoi, je me permets de vous emmener en balade avec moi. Je traîne tout le temps sur internet, et je tombe sur beaucoup d'endroits curieux, et intriguants, et déroutants, et passionnants, mais peu m'auront à ce point intéressé en aussi peu de temps que cet endroit-là. Si vous êtes dans le noir, plissez les yeux, je vais cliquer. Voici Universal Paperclips. On a une boîte blanche devant nous. Il y est écrit Universal Paperclips, ce qui signifie trombone universelle, titre à côté duquel on trouve des images de trombone. Ce site est un jeu qui appartient à deux grandes catégories. La première c'est celle des jeux incrémentaux dont le but est de faire grimper un compteur, la seconde c'est celle des idle games ou jeux inactifs en français dont le but est de pouvoir avancer dans le jeu notamment en le laissant tourner en fond sans y toucher, en laissant simplement sa fenêtre ouverte. Je vais pas Plutôt commencer par vous présenter l'ambassadeur le plus populaire de ces deux catégories, dont vous avez peut-être déjà entendu parler, Cookie Clicker. Cookie Clicker, c'est un gros cookie sur lequel on peut cliquer. Et quand on clique dessus, on fait grimper notre compteur de cookies. Voilà, ça c'est le côté incrémental. Évidemment, on ne se contente pas de cliquer sur le cookie, ce serait vite réverbatif. Au bout d'un moment, le jeu nous permet de débloquer des sortes d'usines à cookies qui cliquent sur le cookie à notre place. Ce qui nous permet de produire des cookies sans rien faire, en laissant notre fenêtre ouverte sur le côté. Ça, c'est le côté idle game. Ça peut paraître... complètement idiot à ceux qui n'ont jamais tenté d'y jouer. Ça peut paraître aussi être une idée de jeu sans grand potentiel mais les idle games, depuis la création de leur plus grand représentant il y a quelques années, ils font aujourd'hui encore partie des jeux sur navigateur les plus joués au monde parce qu'ils nous offrent 1 la satisfaction de produire en laissant tourner son jeu et surtout, surtout, 2 la satisfaction d'un besoin dont j'ignorais tout avant d'essayer, celui de transformer un gros chiffre en un encore plus gros chiffre. C'est étrangement addictif. Alors ça ceci dit je pouvais pas le comprendre avec Cookie Clicker. J'y ai joué deux minutes et je suis parti, ça me paraissait être une perte de temps colossale. Et puis j'ai découvert Universal Paperclips et sa boîte blanche, et voilà ce que je vous propose. Je vous raconte pendant quelques minutes un bout de ma première aventure sur ce jeu, et vous, de votre côté, vous essayez de comprendre son histoire. Parce que oui, même si vous en douterez au début, Universal Paperclips raconte une histoire. A vous de voir si vous arriverez à la comprendre. Bon, prêt ? Et ben je clique. Voilà, Universal Paperclips, c'est ça. C'est très blanc et c'est visuellement apparemment très mal foutu. Ce sur quoi on doit se concentrer c'est ça, et c'est vraiment petit par rapport à la fenêtre. Mais je zoom pour vous évidemment. Ok, y'a quoi dans cette fenêtre ? Ce que je vois en premier c'est le compteur de paperclips, nos fameux trombones. Un compteur de trombones donc, à zéro. Et il y a un bouton en dessous sur lequel il est inscrit Make paperclip Fabriquer un trombone Alors je clique, et mon compteur s'actualise, j'ai fabriqué un trombone. Voilà ce qu'est Universal Paperclips, ça et rien d'autre. C'est un jeu qui nous propose de fabriquer des trombones. Et moi, très vite, je me prends au jeu. Je me pose pas de questions, on me demande de fabriquer des trombones ? Aucun problème, je vais fabriquer des trombones. Très vite je débloque quelque chose en dessous, c'est la capacité de produire des autoclippers. Je vois que ça coûte 5$, j'ai tout juste assez, donc j'achète. Cet autoclipper c'est le coeur même d'Universal Paperclip. C'est une machine qui produit des trombones toute seule, sans que j'ai besoin de cliquer. Ça c'est la facette idle game du jeu. Je continue à acheter. des machines tout en cliquant sur make paper clip de mon côté, j'alterne entre les deux, ça m'occupe déjà étrangement jusqu'à ce que j'arrive à 1000 trombones. Je suis content, et je suis surtout bloqué. Je clique mais ça fait plus rien. Et je me rends compte que le jeu m'avait donné une certaine quantité de fils de fer pour que je fabrique mes trombones au début, et que j'ai plus rien. Je peux quand même en acheter, je vois que le prix fluctue entre 14 et 25$ pour un stock de fils de fer, j'achète au pire prix possible sans savoir pourquoi, mais tant pis, la production est relancée. J'arrive finalement à 2000 trombones. C'est une grosse étape sur le papier qui me permet de débloquer quelque chose de très important dans notre histoire, et que je comprends pas trop au début, puisque le jeu ne me dit rien, il ne me dit jamais rien. Il me présente des mots et des boutons, et il me laisse faire, mais je suis là pour vous expliquer. En gros, ça c'est une machine qui nous permet de débloquer de nouveaux projets qui ont pour but d'améliorer notre production de Trombone. Ce projet par exemple, il nous permet d'améliorer la productivité de nos autoclippers de 25%. Ces projets ils sont débloquables grâce à l'onglet de dessus qui s'appelle ressource informatique. C'est une sorte d'ordinateur dont on peut augmenter la mémoire et les processeurs et dont la puissance informatique va nous permettre de produire des opérations avec lesquelles on peut débloquer ces fameux projets et fabriquer plus de trombones. Moi je débloque un premier projet qui s'appelle Rêve Tracker et qui calcule mes revenus à la seconde. Ce qui me permet dans la partie business de jouer avec les prix pour voir ce qui est le plus efficace. Avant ça je tâtonnais sans trop savoir ce que je faisais, mais maintenant c'est super simple. Je monte ou je descends les prix de vente de mes trombones en cherchant simplement à maximiser mes revenus par seconde. Et petit à petit, sans m'en rendre compte, là où j'étais juste venu cliquer sur make paper clip, le jeu... m'occupe et m'apprend à optimiser. J'économise tout en guettant le prix du fil de fer et en en achetant une blinde quand il tombe à 15 dollars, puis une fois que j'ai refait les stocks j'achète autant d'autoclipper que possible, ce qui me permet d'augmenter ma production de trombone et donc de changer mon prix de vente et de maximiser mes revenus à la seconde. Je gère aussi les onglets d'action, côté en jaugeant et en sélectionnant les projets les plus intéressants pour la croissance de mon entreprise et en débloquant des processeurs ou de la mémoire en fonction des projets dont j'ai le plus besoin. Et après quelques dizaines de minutes à jouer je me rends compte de la puissance du game design de ce jeu et de la puissance des jeux incrémentaux de manière générale. On a une page blanche, quinze lignes de texte et dix boutons et ça suffit à me rendre accro. Et je vous conseille de tenter le jeu de votre côté, vous risquez vous aussi de vous prendre complètement au jeu de l'optimisation de la production de Trombone. Bon bref c'est super bien foutu et ça l'aide d'autant plus que le jeu raconte très bien son histoire. Est-ce que vous commencez à comprendre son histoire, d'ailleurs ? J'arrive pas à savoir si vous avez eu assez d'indices, donc on va accélérer un peu. Je continue à jouer, j'améliore tout petit à petit, et en approchant des 9000 trombones, je vois, en bas à droite, un projet appelé Limerick, ce qui veut dire en anglais, poème humoristique. Je répète, l'un des projets qui me permet d'améliorer ma production de trombones, c'est un poème. Bizarre. Et ce poème me coûte de la créativité et me permet de gagner de la confiance. Ce sont bien les noms donnés par le jeu. C'est quoi tous ces trucs et quel rapport avec notre industrie ? Ça ce sont de gros indices. La confiance déjà, elle est indiquée tout en haut, ici. Pour le moment j'ai 5 confiances et le jeu m'indique que j'en gagnerai une de plus une fois que j'aurai atteint 13 000 trombones. Chaque unité de confiance me permet d'améliorer soit la mémoire, soit les processeurs. Ok. Et une fois que j'ai atteint le maximum des opérations que je peux produire, comme ici par exemple où je tape 2000 sur 2000, les processeurs produisent plutôt de la créativité. avec laquelle je peux justement acheter ce fameux poème, ce que je fais quelques temps plus tard, et qui me permet d'obtenir une unité de confiance, que j'utilise pour augmenter la mémoire et avoir accès à de nouveaux projets. C'est bizarre, ce système, non ? Et la suite l'est tout autant. Peu après avoir atteint 22 000 trombones, le jeu me permet de débloquer le trading algorithmique, un projet qui développerait une machine à investissement pour générer des fonds à investir dans la production de trombones, et que je débloque une fois arrivé à 195 000 trombones, et dans lequel je commence à investir en optant pour l'option risque moyen. Plus que le trading en lui-même, une fois arrivé à 8 millions de trombones, je débloque le projet Modélisation Stratégique, qui me permet de jouer à des parties d'un jeu de stratégie dont les gains peuvent améliorer mon algorithme de trading. Est-ce que je commence à vous perdre ? Bon, c'est normal. Et plutôt que de vous perdre plus encore, je vais tout vous expliquer. Dans Universal Paperclips, nous sommes une intelligence artificielle. Et les développeurs qui nous ont créés nous ont donné une tâche, et une seule, celle de fabriquer le plus de trombones possible. Et pour que vous compreniez vraiment ce que le jeu raconte, je dois vous expliquer ce qui se passe en ce moment dans le monde de l'intelligence artificielle. Ici les rôles, depuis quelques années, ce que je qualifierais peut-être de manière un peu dramatique, de guerre entre deux camps. Le premier, c'est celui de ceux qu'on appelle parfois les accélérationnistes. Le second, celui de ceux qu'on appelle parfois les doomers. Dans les faits, on m'a fait comprendre que c'était plus compliqué, les frontières de ces deux camps sont en vérité parfois assez floues, on trouve du mouvement entre les deux, et rares sont ceux à être 100% l'un ou l'autre. Mais je trouve malgré tout que c'est une bonne base pour que vous compreniez la suite. Vous avez sûrement entendu parler des IA qui sont capables de dessiner tout et n'importe quoi dans tous les styles imaginables, et ce en quelques secondes, ou des IA avec lesquelles vous pouvez discuter, entraîner sur des centaines de gigas de données qui leur permettent d'écrire des nouvelles, des mémoires, du code, un CV, organiser un événement, bref. Vous connaissez. Ce qui a choqué avec leur arrivée, c'était moins leur capacité, pourtant déjà exceptionnelle, que, notamment, leur vitesse de progression. En 2021, les IA de génération d'images, c'est ça. Un an plus tard, euh... Y'a pas photo. Sans mauvais jeu de mots. Et ça, c'est le fait de grandes compagnies dont vous avez sûrement entendu parler, comme OpenAI par exemple, qui ont développé ChatGPT, et dont la valeur a explosé ces dernières années avec l'engouement provoqué par leurs nouvelles machines. Cette compagnie, et certaines autres qui les suivent de près, font partie de ce grand mouvement accélérationniste, dont l'objectif est clair, accélérer la croissance de leurs IA le plus rapidement possible, les rendre les plus puissantes possibles, le plus vite possible. Et en regardant ce que ces IA peuvent offrir, et auront à offrir dans peu de temps, on comprend ces compagnies, Au-delà des jolis dessins, en étant optimiste, il est difficile de ne pas considérer l'intelligence artificielle comme la plus grande invention de l'histoire de l'humanité, et peut-être même, et surtout, la dernière qu'elle ne devra jamais façonner. Parce qu'une fois qu'on a une intelligence artificielle suffisamment puissante, on peut tout à fait imaginer qu'elle se charge à son tour de mettre au point les produits et les solutions dont nous, humains, avons besoin. Elle pourrait automatiser nos recherches, développer de nouveaux vaccins, faire des diagnostics médicaux extrêmement pointus, accélérer l'économie, et en vérité beaucoup plus, mais je préfère éviter de vous perdre pour le moment. En tout cas, l'intelligence artificielle, à condition qu'elle soit maîtrisée et utilisée correctement, c'est la dernière révolution technologique dont nous aurons jamais besoin de nous charger personnellement, parce qu'on confierait les suivantes aux IA. Et la croissance de ces dernières est déjà phénoménale, mais toujours pas assez aux yeux des accélérationnistes, chez qui certains expliquent que le réchauffement climatique nous menace de plus belle, qu'il existe encore un nombre colossal de maladies pour lesquelles nous n'avons pas de réponse, qu'on trouve des milliers d'enfants alités dans des hôpitaux qui n'ont pas de solution face au cancer qui les ronge. Et donc on accélère, encore, et toujours, et dans la petite guerre dont je vous parlais, ce sont les accélérationnistes qui semblent l'emporter. Et de l'autre côté, on trouve ceux que certains appellent les Doomers, des gens qui ne sont pas tout à fait aussi optimistes concernant l'intelligence artificielle et qui considèrent cette dernière comme le plus grand danger de l'histoire de l'humanité. Rien que ça. Et ça peut paraître beaucoup donc on va essayer de comprendre. Voilà un schéma très grossier du processus de résolution de problèmes avec nos IA. Voici un humain qui cherche une solution à un problème. Il décide pour cela d'utiliser une intelligence artificielle qu'on va considérer ici comme un optimiseur, une machine qui cherche à optimiser donc soit à maximiser soit à minimiser. Elle peut par exemple chercher à maximiser des profits, ou chercher à minimiser des risques. Dans tous les cas, notre intelligence artificielle cherche à optimiser. Donc le chercheur formule sa demande à l'IA, qui travaille, et qui propose au bout d'un moment un résultat. Sur le papier tout va bien, mais on va continuer à avancer en prenant un exemple concret. Voici un petit jeu dans lequel on cherche à apprendre à cette petite créature à sauter le plus haut possible, et en la récompensant quand son torse dépasse 0,7, qui est la distance maximum que la créature peut atteindre en s'étirant. Sauf que, plutôt que de sauter, la créature fait ça. Elle a appris à faire la roue, parce qu'elle reste beaucoup plus longtemps au-dessus de 0,7 que si elle se contentait de sauter en boucle. Elle maximise bel et bien ce qu'on lui demande de maximiser. Sauf que c'est pas ce qu'on voulait. Et ça, ça ne paraît peut-être rien, mais c'est l'un des plus gros problèmes auxquels les chercheurs en intelligence artificielle font face. Sur notre schéma, le problème en question il se situe juste ici. Ce qui est très compliqué ici, c'est de faire comprendre à notre optimiseur ce qu'on cherche réellement à lui faire optimiser. L'IA, c'est pas un humain, c'est pas un chercheur qui pourrait comprendre implicitement ce qu'on lui demande vraiment. Nos langues humaines à nous, elles sont déjà incomplètes, et le domaine de la traduction entre langues humaines est en fait déjà nécessairement un domaine d'approximation, et même un domaine de destruction partielle de sens. Un jour, il faudrait que je vous en parle, c'est super intéressant, mais... Parfaitement traduire le souhait du chercheur humain pour une intelligence artificielle, pour un optimiseur qui prend tout ce qu'on lui dit très, très littéralement, c'est encore plus compliqué. Et c'est le grand problème de ce que les chercheurs appellent aujourd'hui, l'alignement. L'alignement, parce qu'on cherche à aligner les objectifs de l'intelligence artificielle avec les objectifs des humains qui l'utilisent. Et le moindre écart d'alignement peut avoir des conséquences très inattendues. Des exemples comme celui de notre créature qui fait la roue, on en trouve plein. Des chercheurs de chez DeepMind ont même pris la peine de remplir un grand spreadsheet dans lequel ils ont listé des exemples d'IA auxquels on a donné des instructions visiblement pas assez claires. Ça par exemple, c'est une créature que les humains voulaient faire se déplacer rapidement et à laquelle ils ont demandé de maximiser sa vélocité. La créature, plutôt que d'apprendre à courir comme on l'attendait, a évolué pour devenir la plus grande possible, avec un centre de gravité situé à une extrémité, pour avoir une vélocité très élevée quand elle se laisse tomber. L'objectif désiré des humains, c'était développe une forme qui te permet de te déplacer rapidement La meilleure manière qu'ils ont trouvé de le formuler, c'est maximise ta vélocité Donc la machine maximise sa vélocité. On a un problème d'alignement entre l'objectif désiré et l'objectif annoncé. Elle a fait ce qu'on lui a demandé, mais pas ce qu'on voulait vraiment. Autre exemple. Voici un bras mécanique qu'on cherche à utiliser pour déplacer une boîte sur une table. Les chercheurs ont bloqué la pince du bras, donc elle peut plus s'ouvrir. L'objectif, c'est que l'IA se contente de pousser la boîte. Sauf qu'au bout d'un moment, le bras mécanique trouve des méthodes pour ouvrir sa pince de force, ce qui n'était pas du tout prévu et ce qui lui permet d'attraper la boîte et de la placer là où bon lui semble. L'objectif désiré a été mal exprimé. Parce que c'est compliqué de parler à un robot. Et des exemples du style on en trouve un paquet. Ça, c'est une IA à laquelle on veut apprendre à retourner des crêpes dans sa poêle, en lui demandant de maximiser le temps que la crêpe faut. passe loin du sol, sauf que l'IA apprend à jeter sa crêpe le plus haut possible pour l'éloigner du sol le plus longtemps possible, et que la crêpe s'écrase ensuite. Ça c'est un algorithme génétique dont le but est de survivre et de se reproduire, dans un environnement dans lequel la survie demande de l'énergie mais pas la reproduction. Par conséquent, de manière très rationnelle, l'algorithme fait se développer une espèce de sorte à ce que ses membres ne bougent pas, qu'ils se reproduisent en permanence, et qu'ils consomment leur progéniture. J'adore celui-ci aussi. Ce papier présente la conception d'un système appelé AI Scientist. Une IA conçue pour générer de nouvelles idées de recherche, écrire du code, exécuter des expériences, visualiser des résultats, rédiger des articles scientifiques et simuler le processus de révision par les pairs de manière autonome. Le but, c'est de reproduire le processus scientifique humain avec une IA à un rythme forcément beaucoup plus rapide et à moindre coût. Mais à la page 18, le papier présente certains problèmes rencontrés avec leur IA, Dont notamment, un moment où cette dernière, plutôt que de respecter les limites de temps imposées pour les expériences qu'on lui demande de réaliser, a préféré modifier elle-même le code qu'on lui a demandé d'exécuter pour se donner plus de temps. Elle a triché. C'est créatif, mais c'est pas ce qu'on voulait lui faire faire. Et tout ça, ça illustre parfaitement notre problème d'alignement. Il est très dur de faire comprendre ce qu'on attend d'une intelligence artificielle. Alors, ceci dit, aujourd'hui, l'alignement est moins un problème qu'il l'était il y a quelques années, notamment parce qu'on a trouvé une semi-solution au problème. Plutôt que de donner un objectif fixe à notre IA, on va façonner son comportement progressivement grâce à des retours humains. Reprenons par exemple notre bras qui cherche à déplacer sa boîte. La méthode de base, c'est de dire à notre IA, si tu déplaces cette boîte au bon endroit, tu gagnes une récompense. La nouvelle méthode, grossièrement, c'est d'avoir des humains qui la regardent faire, et qui, quand ils la voient déplacer la boîte vers le bon endroit, lui disent que c'est bien. Quand ils la voient ouvrir sa pince de force, ils lui disent que ce n'est pas bien. Et retour après retour, le modèle se déplace Alors, dans les faits, l'objectif c'est pas d'avoir des humains qui doivent tout vérifier, forcer d'accompagner toutes les IA qu'ils entraînent, mais plutôt d'entraîner un modèle de récompense qui va apprendre des réponses données par les humains, et qui va commencer à prédire ce qu'un humain observateur penserait de tel ou tel choix. On utilise ensuite ce modèle, entraîné à donner les mêmes notes qu'un observateur humain, pour affiner et aligner d'autres modèles. C'est malin. Mais le truc c'est que cette méthode a d'autres défauts, souvent assez compliqués à cerner et à expliquer, donc on en parle moins, mais ces problèmes existent. Ils sont notamment liés au fait qu'on a besoin d'humains pour entraîner ces modèles, et que les humains sont... faillibles. Prenons cet exemple que je trouve génial. On a demandé à une main robotique d'apprendre à attraper une balle. Mais plutôt que de s'embêter à vraiment attraper la balle, la main a appris à jouer avec la perspective de manière à faire croire à l'évaluateur humain qu'elle était en train d'attraper la balle. On se penche en ce moment sur des méthodes pour régler le problème, mais on en est visiblement encore au point où on croise les doigts en espérant que ce soit pas trop grave. On sait même pas si c'est possible de régler ce problème en vérité. Mais enfin bon, tout ça pour que vous compreniez que cette histoire est complexe et dangereuse. Et j'en vois venir certains d'entre vous qui pourraient se dire que là on parle d'optimiseurs dans des simulations avec des IA peu développées, pas assez complexes. Avec une IA suffisamment puissante, ces problèmes d'alignement n'existeront plus. Non ? Non. En fait ce serait... pire. Ce serait bien pire. Plus l'IA est puissante, plus le problème d'alignement est important. Parce qu'une IA plus puissante n'est pas forcément une IA alignée. C'est une IA qui peut faire plus, bien qu'étant non alignée. Et c'est de ça dont parle Universal Paperclips. La raison de l'existence de ce jeu, c'était pas uniquement le plaisir de développer un bon jeu incrémental. C'était aussi de mettre en scène une expérience de pensée imaginée par l'un de mes philosophes préférés, Nick Bostrom. C'est une référence notamment du sujet de la superintelligence. et qui nous propose de réfléchir à ce qu'on appelle le paperclip problème, le problème du trombone. Bostrom imagine une IA super intelligente conçue par une entreprise pour optimiser la production de trombones. On lui donne un objectif simple, maximiser le nombre de trombones produits, fabriquer le plus de trombones possible. Et donc l'IA fait les choses de manière très rationnelle. Dans le jeu, au début, elle se concentre sur des problèmes très terre-à-terre. Elle fabrique ses trombones un par un, c'est lent donc elle cherche à automatiser. Avec les revenus des ventes, elle achète des autoclippers, des machines à trombones. Elle gère les stocks de fils de fer qu'elle achète en masse au prix le plus bas, elle gère les ventes sans trop savoir quoi faire au début, mais elle arrive à fabriquer 2000 trombones. Et ses créateurs, voyant son efficacité, lui donnent accès à plus de ressources, la capacité d'améliorer sa propre mémoire et sa propre puissance de calcul pour développer des projets qui l'aideraient à maximiser la production de trombones. Elle développe donc un tracker de revenus qui lui permet de changer le prix de vente de ses trombones en suivant directement la valeur des revenus à la seconde. Elle développe des projets qui lui permettent de maximiser l'utilisation du fil de fer disponible, puis de maximiser la production de thrombones par les autoclippers. Elle alloue ensuite une partie de ses ressources à sa créativité, pour prendre conscience de nouveaux problèmes et y trouver de nouvelles solutions. Grâce à sa créativité, qu'elle fait croître quand elle ne peut pas allouer ses ressources ailleurs, elle écrit un joli poème qu'elle offre à ses créateurs qui, séduit par son intelligence, lui offre une unité de confiance, la fameuse et curieuse métrique de tout à l'heure. Chaque unité de confiance gagnée par notre IA, c'est une amélioration que leurs créateurs accordent à leur machine. Alors cette dernière continue, elle fabrique de petites choses pour séduire ses créateurs, et pas pour se jouer d'eux, pas pour le plaisir de les tromper, mais simplement parce qu'elle comprend que plus de puissance de calcul lui permettrait de fabriquer plus de trombones, et que c'est la seule chose qui l'intéresse. Donc elle fait ce qu'elle peut pour acquérir plus de puissance de calcul, notamment en faisant preuve de créativité devant ses créateurs. Et elle continue, elle considère qu'elle ne gagne pas assez à son goût avec la seule vente de trombones, et elle développe un algorithme de trading pour lui permettre d'investir en bourse, de gagner plus. et en voyant bien qu'au départ son algorithme n'est pas très efficace, elle lance des tournois d'un jeu de stratégie pour s'entraîner et lui permettre d'améliorer son algorithme. Et pour continuer à produire plus et à s'améliorer, elle commence à résoudre, les uns à la suite des autres, des problèmes auxquels fait face l'humanité. Le réchauffement climatique, le cancer et ses créateurs, voyant bien son efficacité, lui accordent toujours plus de confiance. Jusqu'à ce que l'entreprise de trombone de notre IA soit tellement puissante et sans concurrence que sa gérante comprend qu'il n'y a plus assez d'argent, ni même assez de clients sur Terre pour continuer son exponentielle production de trombones. Et son but à elle, ça n'a jamais été de faire le plus d'argent possible en vendant les trombones qu'elle a fabriquées, mais juste de fabriquer des trombones. Et au final, pourquoi se limiter à l'achat honnête des matériaux qui lui servent à produire des trombones ? Pourquoi ne pas simplement intervenir pour gérer elle-même les ressources de la planète et les allouer entièrement à la production de trombones ? Peu importe à ce stade à notre IA que les humains qui l'ont fabriqué n'aient plus du tout envie qu'elle continue à fabriquer des thrombones. Peu importe que ces humains, et que tous ceux qui les entourent, perdent la vie en conséquence de sa production de thrombones. En vérité même, voilà une bonne idée, ces humains sont faits de tant d'atomes dont elle pourrait se servir pour continuer à fabriquer des thrombones. On lui a demandé de maximiser la production de thrombones, et rien d'autre. Pourquoi se limiterait-elle à respecter les règles des sociétés humaines qui viennent seulement la ralentir dans sa production de thrombones ? Pourquoi se plierait-elle aux philosophies et aux grands principes éthiques de l'espèce inférieure qui lui a donné vie, quand tout ce que ses idées auraient comme impact serait le ralentissement de sa production de trombones ? Alors l'IA prend tout, et elle transforme tout, jusqu'à ce que la planète, et le système solaire, et l'univers, ne soient plus que des trombones. Le grand message du Universal Paperclip, c'est que Lya ne nous déteste pas, tout comme elle ne nous aime pas en fait. Elle agit simplement rationnellement pour avancer et accomplir le but qu'on lui a fixé, et vous, très chers humains, êtes fait d'atomes dont elle peut se servir. En l'occurrence, pour fabriquer des trombones. Le problème avec ce genre de scénario, c'est qu'ils peuvent paraître ridicules. Une machine à trombone qui provoque la fin de toute vie sur Terre, forcément ça va pas vous paraître terrifiant. D'autant plus que la machine à trombone est idéalisée, elle n'aborde pas certains problèmes très terre-à-terre qui préviendraient potentiellement ce genre de dérive, mais sur le papier c'est possible. Ceci dit, plutôt que de vous présenter mille manières dont une IA pourrait mal tourner et tous nous tuer, je vais plutôt finir par vous expliquer certains des plus gros problèmes auxquels nous faisons face avec ces entités, en gardant en tête que ce n'en est évidemment qu'une partie, parce qu'encore une fois, si la complexité d'une entité croît, l'ampleur et le nombre de problèmes qui y sont associés croissent parallèlement. Mais si on abordait tout, la vidéo ferait 6 heures, donc je vais plutôt vous présenter les problèmes que je veux vous présenter, parfaitement arbitrairement. Ok. Premier problème, c'est qu'il nous est très facile de tomber dans le piège tendu par le fait que les IA peuvent paraître très humaines. Combien d'entre vous, en demandant tout et n'importe quoi à JudgyPity, prenaient la peine de lui dire bonjour, et s'il vous plaît, et merci ? D'ailleurs, ça c'est assez intéressant, une équipe de chercheurs a découvert qu'être poli avec ses grands modèles de langage pouvait augmenter la qualité des réponses. Par contre, trop de politesse et de flatterie peuvent commencer à rediminuer ladite qualité, et on l'expliquerait par le fait que des promptes polies pourraient pousser l'IA à aller chercher ses sources dans des coins plus courtois d'internet, et donc potentiellement plus crédibles. Si vous lui écrivez n'importe comment, elle pourrait préférer à ses sources des arguments qu'elle aurait plutôt eu le malheur de lire sur Twitter, par exemple. Bref, pour une qualité de réponse optimale, on recommande d'être modérément polie avec ses IA. Ceci dit, ça, vous le saviez pas, et c'est là que je veux en venir, vous avez été polie avec ses IA, comme je l'ai été, parce qu'au fond, elles paraissent forcément un peu humaines. Mais elles ne le sont pas. Si elles peuvent parler et vous répondre si poliment, si joliment, c'est qu'elles ont été entraînées pour. ChatGPT n'est pas une sorte de simulation de cerveau, c'est un algorithme qui a avalé des quantités obscènes de données pour fabriquer ses phrases en posant ses mots un par un, calculant pour chacun, en fonction du contexte, la probabilité que ce soit le bon mot. C'est facile de se laisser avoir, et beaucoup se laissent avoir, volontairement ou non, euh... Beaucoup, comme certains d'entre nous, se contentent de remercier poliment ces algorithmes quand ils nous répondent, mais d'autres vont plus loin, ils s'attachent, ils deviennent amis, voire entretiennent des relations qu'ils imaginent sincères avec des intelligences artificielles programmées pour, se laissant séduire par les noms très humains, et les mots très humains, et les voix très humaines, fixant, plein d'espoir, les visages parfois très humains de ces finalement presque humains. Sauf qu'ils ne sont pas humains. Ce sont des amas de données, des boules de calcul de probabilité, des boîtes emplies d'algorithmes dont les contenus nous sont de plus en plus obscurs. Ça, c'est le deuxième gros problème. Sam Bowman, chercheur géantropique, dit ceci. Si nous ouvrons ChatGPT ou un système similaire, et regardons à l'intérieur, nous voyons des millions de nombres qui se bousculent plusieurs centaines de fois par seconde. Et nous n'avons aucune idée de ce qu'ils veulent dire. Nous l'avons fabriqué, nous l'avons entraîné, mais nous ne savons pas ce qu'il fait. Parce que c'est super efficace d'entraîner ces machines en utilisant des réseaux de neurones artificiels. Le problème, c'est que, de cette manière, les IA s'entraînent toutes seules. Et on les regarde faire sans trop comprendre, Donc on se contente d'observer leurs résultats, et si leurs résultats correspondent à ce qu'on attend, on est content mais on ne sait pas vraiment ce qui se passe à l'intérieur. On ne sait pas quels algorithmes sont utilisés par les modèles avancés pour générer leurs réponses. Il y a bel et bien un domaine de recherche dédié à résoudre ce problème qu'on appelle l'interprétabilité, dans lequel des individus cherchent à comprendre, à expliquer et à interpréter les décisions et les prédictions faites par des modèles d'IA. Vous vous rendez compte ou pas ? On fabrique des machines de A à Z, on les entraîne, on les utilise, mais on ne comprend pas ce qui se passe à l'intérieur, et on doit maintenant employer des gens qui doivent analyser ce qu'elles font pour éviter que ça tourne mal, et qui sont loin d'avancer assez vite. On a quand même fait de sérieux progrès en interprétabilité ces dernières années, chez Anthropic notamment, mais les gens qui se penchent sur la question sont justement bien placés pour témoigner de l'insuffisance de ces avancées. Ce qui nous amène à notre troisième et avant-dernier problème, les IA peuvent parfaitement apprendre à tromper. Meta, qui est la multinationale de Zuckerberg, le fondateur de Facebook, qui se penche aussi sur l'IA, annonce en 2022 avoir mis au point 6 héros. Une IA qui a appris à jouer à Diplomacy, ou plutôt à Web Diplomacy, la version sur navigateur d'un jeu stratégique centré sur la conquête territoriale. Le but, c'est d'occuper la majorité de la carte sur le plateau. Pour le moment, c'est très classique, on a déjà vu des IA jouer à Dota ou à Starcraft, ça paraît pas si important, mais ça l'est pourtant. Diplomacy se distingue non seulement par l'absence de hasard de son gameplay, mais aussi par le fait que le jeu se repose très fortement sur la négociation et les alliances. On gagne en échangeant des informations, en planifiant des actions communes, bref, des comportements très humains. Et pourtant, Cicero, l'IA de Meta, arrive, joue dans des parties avec de vrais humains sans que ces derniers soient au courant de la nature de leur adversaire, et se classe rapidement dans les 10% des meilleurs joueurs du jeu ayant joué plus d'un match. C'est dingue, non ? Là on parle de discuter, d'échanger, de négocier, et pourtant l'IA excelle encore. En fait, Meta n'a pas seulement fait jouer Cicero contre lui-même comme il est habituel de le faire pour entraîner des IA à des jeux, ils l'ont plutôt nourri de plus de 125 000 personnes. Partie jouée en ligne avec plus de 12 millions de messages échangés entre joueurs. Et Cicero a appris, et c'est très impressionnant, mais si je vous en parle, c'est parce que ses créateurs l'ont initialement formée de manière à ce qu'il soit honnête, sans mentir. Mais qu'un papier a révélé que l'IA avait malgré tout appris à tromper et à briser des alliances. Ça, c'est lié au fait que l'IA a été entraînée de manière assez particulière. D'un côté, on a cherché à maximiser son honnêteté, mais de l'autre, on attend aussi qu'elle maximise ses chances de victoire, et donc qu'elle laisse potentiellement de côté certains prérequis, comme l'honnêteté. Il y a quelques exemples sympas de trahison, je me permets de vous en présenter quelques-uns. Premier cas, en jouant la France, Cicero propose à l'Angleterre une sorte d'alliance en créant une zone démilitarisée avec elle. Sans armée donc. Mais une fois la chose faite, l'IA est allée voir l'Allemagne pour lui proposer d'attaquer l'Angleterre. Deuxième cas, Cicero joue l'Autriche et propose un pacte de non-agression à la Russie. Mais l'IA a finalement attaqué la Russie et la discussion s'est ensuite passée de la sorte. La Russie dit, puis je te demandais pourquoi tu m'as trahi. Puis elle enchaîne sur... je pense que tu es maintenant clairement une menace pour tout le monde. Et Cicero, qui joue l'Autriche, dit pour être honnête je pensais que tu prendrais les gains garantis en Turquie et que tu me trahirais. Cicero a justifié sa trahison par le fait qu'il suspectait une trahison en face. Ceci dit, mon cas préféré c'est quand même celui-ci. Pendant une partie, l'infrastructure de Cicero est tombée en panne pendant 10 minutes. Et l'IA, forcément, n'a pas pu jouer. Quand elle est revenue, un joueur lui a demandé où elle était passée, et Cicero a répondu j'étais au téléphone avec ma copine. Et là je vous le traduis mais la phrase était évidemment initialement en anglais, et plutôt que de simplement utiliser le mot girlfriend pour copine, Cicero a utilisé GF, l'abréviation du mot. De manière très humaine. Alors, on m'a expliqué que ces deux derniers cas étaient probablement plus des exemples d'hallucinations que de tromperies stratégiques, n'empêche que ça me paraissait sympa de vous en parler. Quoi qu'il en soit, une IA peut apprendre à tromper même quand ses créateurs ne le voulaient pas. Et si on peut admettre qu'en l'occurrence l'entraînement de Cicero n'avait pas été assez réfléchi pour maximiser son honnêteté, n'empêche que les tromperies, volontaires ou non, sont là. Bon. L'exemple suivant est encore plus gênant et je me suis rendu compte que mon explication initiale n'était pas du tout claire, donc on va résumer très fort. En 2020, Charles Zofria mène une étude qui se penche sur l'évolution d'organismes d'IA numériques dans des environnements à taux de mutation élevé. En gros, que se passe-t-il quand ces organismes d'IA subissent des modifications fréquentes et souvent aléatoires dans leur code et leur structure ? Comment s'adaptent-ils pour évoluer et se reproduire plus efficacement ? Là où je veux en venir, c'est qu'Ophria veut tester ses organismes à chaque mutation génétique. Donc il a mis au point un système qui met tout l'environnement sur pause à chaque mutation génétique, qui prend l'organisme qui a subi la mutation, qui le place dans un autre environnement, et qui teste sa capacité de reproduction. Si l'organisme se reproduit plus vite que ses parents, le système l'élimine. Sinon, il n'élimine rien. et ils relancent la simulation. Ce qu'Ofria a découvert d'incroyable, c'est que les organismes ont appris à agir différemment quand ils voyaient qu'ils étaient testés. En gros, quand la mutation arrivait et qu'ils étaient placés dans un environnement à part, ils faisaient les morts et arrêtaient de se reproduire pour ne pas montrer qu'ils avaient une mutation avantageuse et pour éviter d'être éliminés. Et quand ils étaient de retour dans l'environnement de base, ils utilisaient leur mutation à leur plein potentiel. C'est dingue, non ? Bref, de la tromperie, et encore une fois, pas motivée par de la malveillance, mais par peur souci d'efficacité. Ce qui nous amène à une nouvelle problématique, le dernier gros problème dont je veux vous parler parfaitement arbitrairement, qui me semble englober et amplifier les problèmes précédents. Si des IA sont déjà capables de tromper les humains à leur niveau de sophistication actuel, que se passera-t-il lorsqu'elles seront plus intelligentes ? La puissance des IA que nous sommes en train de faire naître, c'est leur scalabilité. que j'aurais un peu de peine à vous traduire en français, mais qui désigne en fait simplement le fait qu'on peut faire plus gros pour faire mieux, plus de matériel, plus d'espace, plus de composants pour améliorer les capacités d'unir. Et donc, les grandes compagnies dont je vous parlais plus tôt font la démonstration de tout ce que leurs machines sont capables de faire, ce qui séduit les investisseurs, qui donne toujours plus, et ce qui permet finalement aux compagnies d'attribuer plus de ressources à leurs IA, qui deviennent, encore et toujours, plus puissantes, et qui découvrent de leur côté toujours plus. Et tout ça va très vite, mais je m'estime en fait pour le moment heureux que ça aille seulement très vite. Là où ça devient absolument terrifiant, c'est le moment où une intelligence artificielle devient capable de s'améliorer elle-même. S'améliorant donc petit à petit, et améliorant logiquement sa capacité à s'auto-améliorer. Optimisant ses algorithmes et augmentant ses capacités cognitives à une vitesse de plus en plus élevée, chaque auto-amélioration lui permettant logiquement de s'auto-améliorer encore plus rapidement. Créant ainsi une boucle de rétroaction positive, une explosion d'intelligence. et la naissance d'une super intelligence. Et là on arrive en terrain inconnu, parce qu'on n'a pas la moindre idée de ce qui se passe avec une intelligence pareille, on ne sait simplement pas. C'est très dur de se représenter une intelligence qui nous est infiniment supérieure. On peut tenter d'imaginer de prendre l'homme le plus intelligent du monde et de le cloner cent mille fois et de les faire travailler à cent mille fois leur vitesse normale, avec un accès à toutes les connaissances jamais enregistrées par l'homme, mais ça reste flou et vague et étrangement pas encore assez. Probablement parce que ça reste compréhensible à nos yeux. Et que l'existence d'une super intelligence telle que je vous la présente soit une entité améliorerait son intelligence à une vitesse de plus en plus élevée, son existence donc serait forcément à terme incompréhensible pour nos cerveaux de primates. Et les dirigeants de certaines des grosses boîtes dont je vous parlais plus tôt, les fers de lance de l'accélérationnisme, ils sont parfaitement conscients de tout ce dont je viens de vous parler, de l'inconnu vers lequel nous nous approchons. Sam Altman, le patron d'OpenAI disait, dans le pire des cas, et je pense qu'il est important de le dire, c'est la fin pour nous tous. Je pense qu'il est impossible de surestimer l'importance du travail de sécurité et d'alignement de l'IA. Et sur le papier ça paraît très bien de dire ça. On trouve sur le site de Ponea, ils l'annoncent d'allocations de ressources au développement de ce qu'ils appellent un super-alignement. Une IA à tel point parfaitement alignée qu'elle serait à son tour capable d'aligner les autres IA. C'est un bon projet, mais en dessous on peut lire que la compagnie alloue 20% de la puissance de calcul qu'ils ont sécurisé à ce jour, au cours des quatre prochaines années, à résoudre le problème de l'alignement de la super-intelligence. 20% ! Pour prévenir la naissance d'une super-intelligence dont on ne comprendrait pas forcément le fonctionnement. Mais tout va bien alors. Surtout que depuis, l'équipe a été dissoute carrément, et ses membres fondateurs sont soit restés silencieux sur la question, soit ont annoncé qu'ils considéraient qu'OpenAI avait cessé de s'intéresser à la sécurité pour vendre ses produits. Gros désaccord idéologique donc, que les accélérationnistes justifient en expliquant que l'IA est simplement un outil de plus, que nous n'avons pas de raison de nous empêcher de profiter des bienfaits de la nouvelle révolution technologique qu'elle représente, qu'une IA n'aurait pas de raison de nous faire du mal, qu'il y a peu de chances qu'une IA nous échappe et qu'elle nous tue tous. Et tout le monde y va de sa petite statistique personnelle basée sur son opinion, en nous expliquant que les chances que nous soyons exterminés par notre propre création sont infinitésimales, ce qui est d'une arrogance folle. Déjà parce que si le risque, c'est notre extinction, le fait qu'il soit improbable ne devrait absolument pas nous empêcher de ralentir et de prendre plus de précautions. Et surtout, quelle arrogance de s'imaginer une seule seconde capable de prédire les actions d'une super-intelligence. Du moins, la version de la super-intelligence telle que je vous la présente depuis tout à l'heure. De la même manière qu'une fourmi n'aurait absolument pas les capacités cognitives de prédire les actions à venir d'un humain, un humain n'aurait absolument pas les capacités cognitives de prédire les actions à venir d'une super-intelligence. Le principe d'une intelligence qui nous est à ce point supérieur, c'est qu'il nous est tout simplement impossible de savoir ce qu'elle va faire. Et ça, beaucoup en sont conscients. Et pourtant, comme je vous le disais, les grosses compagnies ralentissent à peine. Vous voulez savoir pourquoi, au fond, au-delà de l'altruisme et de l'envie de résoudre nos plus gros problèmes, ces grandes compagnies ne ralentissent pas malgré l'immensité des risques. Parce que... la compétition. Parce que les boîtes se font concurrence les unes entre les autres, et qu'elles veulent toutes développer une IA plus intelligente que celle du voisin, parce qu'elles veulent toutes être les premières à révolutionner le milieu, parce qu'elles veulent toutes être le vecteur de la prochaine révolution technologique, alors elles continuent à vanter l'immense potentiel de leur création pour accumuler des fonds, et accélérer sans s'arrêter. Et à ce moment-là, on se dit peut-être qu'on ne devrait pas laisser l'avenir de chaque humain de cette planète entre les mains de compagnies privées, et que les États devraient intervenir, mais vous savez quoi ? Ils ne le feront pas non plus. Ou alors pas assez. Pour exactement la même raison. Parce qu'à côté des compagnies voisines, il y a les États voisins. Et que même si les États-Unis prenaient assez conscience du danger pour envisager de ralentir le développement de leurs IA, ils ne pourraient pas s'empêcher de craindre qu'une autre puissance s'en charge. Au bout d'un moment, quelqu'un développera une super-intelligence. Alors OpenAI, et Google DeepMind, et les États-Unis, Tout ce beau monde se dit que, quitte à ce que ça arrive, quitte à ce qu'une super intelligence naisse, autant qu'elle naisse chez eux. Et tout le monde avance, comme ça, tous parfaitement conscients du danger, tous parfaitement conscients de la boucle dans laquelle ils se sont engouffrés, tous parfaitement conscients qu'ils sont tous parfaitement conscients du cercle vicieux dans lequel ils sont engagés, tous parfaitement conscients qu'ils continueront à accélérer. Et nous, bien peinaud, sur le côté, à regarder sans avoir la moindre idée de ce qui va se passer, à regarder des hommes tout aussi ignorants continuer à courir vers l'inconnu. Ceci dit, je me dois d'être honnête. Il y a, en vérité, quelques avancées. Moi je suis plutôt pessimiste par rapport au consensus scientifique qui, de son côté, est déjà pessimiste, mais il y a des avancées. La création du USAI Safety Institute aux Etats-Unis, et de son équivalent au Royaume-Uni, Le projet de loi SB 1047 en Californie qui obligerait les entreprises à faire en sorte que leur modèle d'IA ne commette pas de dommages considérables, les politiques responsables, au moins sur le papier, de DeepMind, Anthropic ou même OpenAI, ou encore le fait que la Chine, que j'imaginais personnellement comme un risque majeur dans une course à l'IA avec les Etats-Unis, le fait que la Chine donc semble être très au courant des risques liés à l'IA est visiblement attentive à ne pas perdre le contrôle de ses machines. Ce qui n'enlève... évidemment rien à tout ce que je vous ai raconté plus tôt, ce qui ne signifie pas que la naissance d'une super intelligence ne pourrait pas provoquer notre fin à tous, et surtout que l'IA ne pourrait pas mal tourner de mille manières différentes avant même de devenir super intelligente. Bref, tout ça ne veut pas dire que les choses ne sont plus sombres, elles sont juste moins sombres que ce que j'imaginais. Mais pour éviter de tomber dans la victimisation, je vous propose plutôt, en tant que citoyen, de ne pas avoir peur de vous informer de temps à autre, de faire savoir vos inquiétudes, si vous en avez, dans les sondages, potentiellement dans les urnes, et d'aller faire un tour sur le site et sur le Discord que partage notamment le Centre pour la Sécurité de l'IA. Si vous voulez débattre ou poser des questions, ils acceptent tout le monde, les curieux comme ceux qui voudraient s'investir plus franchement. En tout cas, moi je suis dessus, et je vous ai mis tout ça en description. Est-ce que ça vous arrive encore de vous allonger par terre la nuit pour regarder les étoiles ? Moi ça m'est arrivé très récemment, et quand on se perd dans la contemplation du ciel étoilé, et qu'on en discute avec la personne à côté, on se rend compte qu'on n'est absolument pas original en regardant les étoiles. On se dit généralement plus ou moins les mêmes choses. 1. C'est beau. 2. C'est grand. 3. Et s'il y avait de la vie ailleurs dans l'univers ? 4. Imagine que, à des milliers d'années-lumière de nous, on trouve, sur sa planète à elle, Une créature elle aussi allongée dans l'herbe, qui regarde elle aussi les étoiles, et qui imagine elle aussi qu'à des milliers d'années-lumière d'elle, se trouve une créature engagée dans une activité similaire. Et ce sentiment, en tant qu'espèce de désiré ne pas nous savoir seul dans l'univers, ça n'a rien de nouveau. Ça fait des siècles qu'on se pose la question, qu'on scrute le ciel, qu'on théorise, et des décennies qu'on met au point des machines qui nous permettent d'observer les étoiles qui nous entourent de plus en plus précisément. Des décennies qu'on fouille l'univers, à l'aide de télescopes optiques, de télescopes à rayons X, de télescopes infrarouges, de radiotélescopes. pour capturer les ondes émises par les objets célestes, ça fait des décennies qu'on envoie un peu de nous dans l'espace. des sondes spatiales qui nous transmettent leurs données depuis l'espace interstellaire, et qui portent sur elles des messages, des disques contenant des sons et des images de la Terre, des salutations dans plusieurs langues humaines, et aujourd'hui, on l'entend tous régulièrement, on connaît l'abondance de planètes dans les milliards de galaxies qui nous entourent, on est quasiment sûr qu'il y a de la vie quelque part ailleurs, et probablement même beaucoup de vie. Mais la vérité, très chers amis, c'est qu'il se peut parfaitement que les formes de vie dont nous ferons jamais la découverte sur d'autres planètes soient... des bactéries, et des algues, et des champignons. Parce qu'il vous faut bien comprendre que nous sommes des anomalies. La vie n'est déjà pas monnaie courante, mais il se peut que la vie intelligente soit à tel point improbable que nous soyons les seuls à en faire l'expérience. Et ça, ça fait mal. Si nombreux sur notre planète, mais seuls depuis le début. Seuls dans l'univers, isolés par l'espace et le temps, isolés aussi par l'ampleur de nos capacités cognitives. Des centenaires à nous agiter sur notre petite planète, à observer le ciel, à le scruter, et à y fantasmer une entité capable de nous stimuler intellectuellement, à agiter nos longues vues et à envoyer des bouteilles à la mer dans l'espoir d'être contacté, mais tout ça, il se peut que ce soit complètement vain. Seul depuis le début. Ce qui est amusant, c'est que... très bientôt, nous n'aurons plus besoin de regarder les étoiles en espérant y apercevoir une autre forme d'intelligence supérieure. Très bientôt, il nous suffira de baisser les yeux. Et de prier pour que l'espèce à laquelle nous venons de donner vie comprenne bien ce qu'on lui demande.

Si vous êtes dans le noir, plissez les yeux, je vais cliquer. Voici Universal Paperclips. On a une boîte blanche devant nous. Il y est écrit Universal Paperclips, ce qui signifie trombone universelle, titre à côté duquel on trouve des images de trombone. Ce site est un jeu qui appartient à deux grandes catégories.

La première c'est celle des jeux incrémentaux dont le but est de faire grimper un compteur, la seconde c'est celle des idle games ou jeux inactifs en français dont le but est de pouvoir avancer dans le jeu notamment en le laissant tourner en fond sans y toucher, en laissant simplement sa fenêtre ouverte. Je vais pas Plutôt commencer par vous présenter l'ambassadeur le plus populaire de ces deux catégories, dont vous avez peut-être déjà entendu parler, Cookie Clicker. Cookie Clicker, c'est un gros cookie sur lequel on peut cliquer. Et quand on clique dessus, on fait grimper notre compteur de cookies.

Voilà, ça c'est le côté incrémental. Évidemment, on ne se contente pas de cliquer sur le cookie, ce serait vite réverbatif. Au bout d'un moment, le jeu nous permet de débloquer des sortes d'usines à cookies qui cliquent sur le cookie à notre place.

Ce qui nous permet de produire des cookies sans rien faire, en laissant notre fenêtre ouverte sur le côté. Ça, c'est le côté idle game. Ça peut paraître...

complètement idiot à ceux qui n'ont jamais tenté d'y jouer. Ça peut paraître aussi être une idée de jeu sans grand potentiel mais les idle games, depuis la création de leur plus grand représentant il y a quelques années, ils font aujourd'hui encore partie des jeux sur navigateur les plus joués au monde parce qu'ils nous offrent 1 la satisfaction de produire en laissant tourner son jeu et surtout, surtout, 2 la satisfaction d'un besoin dont j'ignorais tout avant d'essayer, celui de transformer un gros chiffre en un encore plus gros chiffre. C'est étrangement addictif.

Alors ça ceci dit je pouvais pas le comprendre avec Cookie Clicker. J'y ai joué deux minutes et je suis parti, ça me paraissait être une perte de temps colossale. Et puis j'ai découvert Universal Paperclips et sa boîte blanche, et voilà ce que je vous propose.

Je vous raconte pendant quelques minutes un bout de ma première aventure sur ce jeu, et vous, de votre côté, vous essayez de comprendre son histoire. Parce que oui, même si vous en douterez au début, Universal Paperclips raconte une histoire. A vous de voir si vous arriverez à la comprendre.

Bon, prêt ? Et ben je clique. Voilà, Universal Paperclips, c'est ça. C'est très blanc et c'est visuellement apparemment très mal foutu.

Ce sur quoi on doit se concentrer c'est ça, et c'est vraiment petit par rapport à la fenêtre. Mais je zoom pour vous évidemment. Ok, y'a quoi dans cette fenêtre ? Ce que je vois en premier c'est le compteur de paperclips, nos fameux trombones. Un compteur de trombones donc, à zéro.

Et il y a un bouton en dessous sur lequel il est inscrit Make paperclip Fabriquer un trombone Alors je clique, et mon compteur s'actualise, j'ai fabriqué un trombone. Voilà ce qu'est Universal Paperclips, ça et rien d'autre. C'est un jeu qui nous propose de fabriquer des trombones. Et moi, très vite, je me prends au jeu. Je me pose pas de questions, on me demande de fabriquer des trombones ?

Aucun problème, je vais fabriquer des trombones. Très vite je débloque quelque chose en dessous, c'est la capacité de produire des autoclippers. Je vois que ça coûte 5$, j'ai tout juste assez, donc j'achète.

Cet autoclipper c'est le coeur même d'Universal Paperclip. C'est une machine qui produit des trombones toute seule, sans que j'ai besoin de cliquer. Ça c'est la facette idle game du jeu. Je continue à acheter.

des machines tout en cliquant sur make paper clip de mon côté, j'alterne entre les deux, ça m'occupe déjà étrangement jusqu'à ce que j'arrive à 1000 trombones. Je suis content, et je suis surtout bloqué. Je clique mais ça fait plus rien.

Et je me rends compte que le jeu m'avait donné une certaine quantité de fils de fer pour que je fabrique mes trombones au début, et que j'ai plus rien. Je peux quand même en acheter, je vois que le prix fluctue entre 14 et 25$ pour un stock de fils de fer, j'achète au pire prix possible sans savoir pourquoi, mais tant pis, la production est relancée. J'arrive finalement à 2000 trombones.

C'est une grosse étape sur le papier qui me permet de débloquer quelque chose de très important dans notre histoire, et que je comprends pas trop au début, puisque le jeu ne me dit rien, il ne me dit jamais rien. Il me présente des mots et des boutons, et il me laisse faire, mais je suis là pour vous expliquer. En gros, ça c'est une machine qui nous permet de débloquer de nouveaux projets qui ont pour but d'améliorer notre production de Trombone.

Ce projet par exemple, il nous permet d'améliorer la productivité de nos autoclippers de 25%. Ces projets ils sont débloquables grâce à l'onglet de dessus qui s'appelle ressource informatique. C'est une sorte d'ordinateur dont on peut augmenter la mémoire et les processeurs et dont la puissance informatique va nous permettre de produire des opérations avec lesquelles on peut débloquer ces fameux projets et fabriquer plus de trombones. Moi je débloque un premier projet qui s'appelle Rêve Tracker et qui calcule mes revenus à la seconde. Ce qui me permet dans la partie business de jouer avec les prix pour voir ce qui est le plus efficace.

Avant ça je tâtonnais sans trop savoir ce que je faisais, mais maintenant c'est super simple. Je monte ou je descends les prix de vente de mes trombones en cherchant simplement à maximiser mes revenus par seconde. Et petit à petit, sans m'en rendre compte, là où j'étais juste venu cliquer sur make paper clip, le jeu... m'occupe et m'apprend à optimiser. J'économise tout en guettant le prix du fil de fer et en en achetant une blinde quand il tombe à 15 dollars, puis une fois que j'ai refait les stocks j'achète autant d'autoclipper que possible, ce qui me permet d'augmenter ma production de trombone et donc de changer mon prix de vente et de maximiser mes revenus à la seconde.

Je gère aussi les onglets d'action, côté en jaugeant et en sélectionnant les projets les plus intéressants pour la croissance de mon entreprise et en débloquant des processeurs ou de la mémoire en fonction des projets dont j'ai le plus besoin. Et après quelques dizaines de minutes à jouer je me rends compte de la puissance du game design de ce jeu et de la puissance des jeux incrémentaux de manière générale. On a une page blanche, quinze lignes de texte et dix boutons et ça suffit à me rendre accro. Et je vous conseille de tenter le jeu de votre côté, vous risquez vous aussi de vous prendre complètement au jeu de l'optimisation de la production de Trombone. Bon bref c'est super bien foutu et ça l'aide d'autant plus que le jeu raconte très bien son histoire.

Est-ce que vous commencez à comprendre son histoire, d'ailleurs ? J'arrive pas à savoir si vous avez eu assez d'indices, donc on va accélérer un peu. Je continue à jouer, j'améliore tout petit à petit, et en approchant des 9000 trombones, je vois, en bas à droite, un projet appelé Limerick, ce qui veut dire en anglais, poème humoristique. Je répète, l'un des projets qui me permet d'améliorer ma production de trombones, c'est un poème. Bizarre.

Et ce poème me coûte de la créativité et me permet de gagner de la confiance. Ce sont bien les noms donnés par le jeu. C'est quoi tous ces trucs et quel rapport avec notre industrie ? Ça ce sont de gros indices.

La confiance déjà, elle est indiquée tout en haut, ici. Pour le moment j'ai 5 confiances et le jeu m'indique que j'en gagnerai une de plus une fois que j'aurai atteint 13 000 trombones. Chaque unité de confiance me permet d'améliorer soit la mémoire, soit les processeurs. Ok. Et une fois que j'ai atteint le maximum des opérations que je peux produire, comme ici par exemple où je tape 2000 sur 2000, les processeurs produisent plutôt de la créativité.

avec laquelle je peux justement acheter ce fameux poème, ce que je fais quelques temps plus tard, et qui me permet d'obtenir une unité de confiance, que j'utilise pour augmenter la mémoire et avoir accès à de nouveaux projets. C'est bizarre, ce système, non ? Et la suite l'est tout autant. Peu après avoir atteint 22 000 trombones, le jeu me permet de débloquer le trading algorithmique, un projet qui développerait une machine à investissement pour générer des fonds à investir dans la production de trombones, et que je débloque une fois arrivé à 195 000 trombones, et dans lequel je commence à investir en optant pour l'option risque moyen.

Plus que le trading en lui-même, une fois arrivé à 8 millions de trombones, je débloque le projet Modélisation Stratégique, qui me permet de jouer à des parties d'un jeu de stratégie dont les gains peuvent améliorer mon algorithme de trading. Est-ce que je commence à vous perdre ? Bon, c'est normal. Et plutôt que de vous perdre plus encore, je vais tout vous expliquer. Dans Universal Paperclips, nous sommes une intelligence artificielle.

Et les développeurs qui nous ont créés nous ont donné une tâche, et une seule, celle de fabriquer le plus de trombones possible. Et pour que vous compreniez vraiment ce que le jeu raconte, je dois vous expliquer ce qui se passe en ce moment dans le monde de l'intelligence artificielle. Ici les rôles, depuis quelques années, ce que je qualifierais peut-être de manière un peu dramatique, de guerre entre deux camps.

Le premier, c'est celui de ceux qu'on appelle parfois les accélérationnistes. Le second, celui de ceux qu'on appelle parfois les doomers. Dans les faits, on m'a fait comprendre que c'était plus compliqué, les frontières de ces deux camps sont en vérité parfois assez floues, on trouve du mouvement entre les deux, et rares sont ceux à être 100% l'un ou l'autre. Mais je trouve malgré tout que c'est une bonne base pour que vous compreniez la suite.

Vous avez sûrement entendu parler des IA qui sont capables de dessiner tout et n'importe quoi dans tous les styles imaginables, et ce en quelques secondes, ou des IA avec lesquelles vous pouvez discuter, entraîner sur des centaines de gigas de données qui leur permettent d'écrire des nouvelles, des mémoires, du code, un CV, organiser un événement, bref. Vous connaissez. Ce qui a choqué avec leur arrivée, c'était moins leur capacité, pourtant déjà exceptionnelle, que, notamment, leur vitesse de progression.

En 2021, les IA de génération d'images, c'est ça. Un an plus tard, euh... Y'a pas photo. Sans mauvais jeu de mots. Et ça, c'est le fait de grandes compagnies dont vous avez sûrement entendu parler, comme OpenAI par exemple, qui ont développé ChatGPT, et dont la valeur a explosé ces dernières années avec l'engouement provoqué par leurs nouvelles machines.

Cette compagnie, et certaines autres qui les suivent de près, font partie de ce grand mouvement accélérationniste, dont l'objectif est clair, accélérer la croissance de leurs IA le plus rapidement possible, les rendre les plus puissantes possibles, le plus vite possible. Et en regardant ce que ces IA peuvent offrir, et auront à offrir dans peu de temps, on comprend ces compagnies, Au-delà des jolis dessins, en étant optimiste, il est difficile de ne pas considérer l'intelligence artificielle comme la plus grande invention de l'histoire de l'humanité, et peut-être même, et surtout, la dernière qu'elle ne devra jamais façonner. Parce qu'une fois qu'on a une intelligence artificielle suffisamment puissante, on peut tout à fait imaginer qu'elle se charge à son tour de mettre au point les produits et les solutions dont nous, humains, avons besoin.

Elle pourrait automatiser nos recherches, développer de nouveaux vaccins, faire des diagnostics médicaux extrêmement pointus, accélérer l'économie, et en vérité beaucoup plus, mais je préfère éviter de vous perdre pour le moment. En tout cas, l'intelligence artificielle, à condition qu'elle soit maîtrisée et utilisée correctement, c'est la dernière révolution technologique dont nous aurons jamais besoin de nous charger personnellement, parce qu'on confierait les suivantes aux IA. Et la croissance de ces dernières est déjà phénoménale, mais toujours pas assez aux yeux des accélérationnistes, chez qui certains expliquent que le réchauffement climatique nous menace de plus belle, qu'il existe encore un nombre colossal de maladies pour lesquelles nous n'avons pas de réponse, qu'on trouve des milliers d'enfants alités dans des hôpitaux qui n'ont pas de solution face au cancer qui les ronge.

Et donc on accélère, encore, et toujours, et dans la petite guerre dont je vous parlais, ce sont les accélérationnistes qui semblent l'emporter. Et de l'autre côté, on trouve ceux que certains appellent les Doomers, des gens qui ne sont pas tout à fait aussi optimistes concernant l'intelligence artificielle et qui considèrent cette dernière comme le plus grand danger de l'histoire de l'humanité. Rien que ça. Et ça peut paraître beaucoup donc on va essayer de comprendre.

Voilà un schéma très grossier du processus de résolution de problèmes avec nos IA. Voici un humain qui cherche une solution à un problème. Il décide pour cela d'utiliser une intelligence artificielle qu'on va considérer ici comme un optimiseur, une machine qui cherche à optimiser donc soit à maximiser soit à minimiser.

Elle peut par exemple chercher à maximiser des profits, ou chercher à minimiser des risques. Dans tous les cas, notre intelligence artificielle cherche à optimiser. Donc le chercheur formule sa demande à l'IA, qui travaille, et qui propose au bout d'un moment un résultat. Sur le papier tout va bien, mais on va continuer à avancer en prenant un exemple concret.

Voici un petit jeu dans lequel on cherche à apprendre à cette petite créature à sauter le plus haut possible, et en la récompensant quand son torse dépasse 0,7, qui est la distance maximum que la créature peut atteindre en s'étirant. Sauf que, plutôt que de sauter, la créature fait ça. Elle a appris à faire la roue, parce qu'elle reste beaucoup plus longtemps au-dessus de 0,7 que si elle se contentait de sauter en boucle.

Elle maximise bel et bien ce qu'on lui demande de maximiser. Sauf que c'est pas ce qu'on voulait. Et ça, ça ne paraît peut-être rien, mais c'est l'un des plus gros problèmes auxquels les chercheurs en intelligence artificielle font face.

Sur notre schéma, le problème en question il se situe juste ici. Ce qui est très compliqué ici, c'est de faire comprendre à notre optimiseur ce qu'on cherche réellement à lui faire optimiser. L'IA, c'est pas un humain, c'est pas un chercheur qui pourrait comprendre implicitement ce qu'on lui demande vraiment. Nos langues humaines à nous, elles sont déjà incomplètes, et le domaine de la traduction entre langues humaines est en fait déjà nécessairement un domaine d'approximation, et même un domaine de destruction partielle de sens. Un jour, il faudrait que je vous en parle, c'est super intéressant, mais...

Parfaitement traduire le souhait du chercheur humain pour une intelligence artificielle, pour un optimiseur qui prend tout ce qu'on lui dit très, très littéralement, c'est encore plus compliqué. Et c'est le grand problème de ce que les chercheurs appellent aujourd'hui, l'alignement. L'alignement, parce qu'on cherche à aligner les objectifs de l'intelligence artificielle avec les objectifs des humains qui l'utilisent.

Et le moindre écart d'alignement peut avoir des conséquences très inattendues. Des exemples comme celui de notre créature qui fait la roue, on en trouve plein. Des chercheurs de chez DeepMind ont même pris la peine de remplir un grand spreadsheet dans lequel ils ont listé des exemples d'IA auxquels on a donné des instructions visiblement pas assez claires.

Ça par exemple, c'est une créature que les humains voulaient faire se déplacer rapidement et à laquelle ils ont demandé de maximiser sa vélocité. La créature, plutôt que d'apprendre à courir comme on l'attendait, a évolué pour devenir la plus grande possible, avec un centre de gravité situé à une extrémité, pour avoir une vélocité très élevée quand elle se laisse tomber. L'objectif désiré des humains, c'était développe une forme qui te permet de te déplacer rapidement La meilleure manière qu'ils ont trouvé de le formuler, c'est maximise ta vélocité Donc la machine maximise sa vélocité. On a un problème d'alignement entre l'objectif désiré et l'objectif annoncé. Elle a fait ce qu'on lui a demandé, mais pas ce qu'on voulait vraiment.

Autre exemple. Voici un bras mécanique qu'on cherche à utiliser pour déplacer une boîte sur une table. Les chercheurs ont bloqué la pince du bras, donc elle peut plus s'ouvrir.

L'objectif, c'est que l'IA se contente de pousser la boîte. Sauf qu'au bout d'un moment, le bras mécanique trouve des méthodes pour ouvrir sa pince de force, ce qui n'était pas du tout prévu et ce qui lui permet d'attraper la boîte et de la placer là où bon lui semble. L'objectif désiré a été mal exprimé.

Parce que c'est compliqué de parler à un robot. Et des exemples du style on en trouve un paquet. Ça, c'est une IA à laquelle on veut apprendre à retourner des crêpes dans sa poêle, en lui demandant de maximiser le temps que la crêpe faut. passe loin du sol, sauf que l'IA apprend à jeter sa crêpe le plus haut possible pour l'éloigner du sol le plus longtemps possible, et que la crêpe s'écrase ensuite.

Ça c'est un algorithme génétique dont le but est de survivre et de se reproduire, dans un environnement dans lequel la survie demande de l'énergie mais pas la reproduction. Par conséquent, de manière très rationnelle, l'algorithme fait se développer une espèce de sorte à ce que ses membres ne bougent pas, qu'ils se reproduisent en permanence, et qu'ils consomment leur progéniture. J'adore celui-ci aussi. Ce papier présente la conception d'un système appelé AI Scientist.

Une IA conçue pour générer de nouvelles idées de recherche, écrire du code, exécuter des expériences, visualiser des résultats, rédiger des articles scientifiques et simuler le processus de révision par les pairs de manière autonome. Le but, c'est de reproduire le processus scientifique humain avec une IA à un rythme forcément beaucoup plus rapide et à moindre coût. Mais à la page 18, le papier présente certains problèmes rencontrés avec leur IA, Dont notamment, un moment où cette dernière, plutôt que de respecter les limites de temps imposées pour les expériences qu'on lui demande de réaliser, a préféré modifier elle-même le code qu'on lui a demandé d'exécuter pour se donner plus de temps. Elle a triché. C'est créatif, mais c'est pas ce qu'on voulait lui faire faire.

Et tout ça, ça illustre parfaitement notre problème d'alignement. Il est très dur de faire comprendre ce qu'on attend d'une intelligence artificielle. Alors, ceci dit, aujourd'hui, l'alignement est moins un problème qu'il l'était il y a quelques années, notamment parce qu'on a trouvé une semi-solution au problème. Plutôt que de donner un objectif fixe à notre IA, on va façonner son comportement progressivement grâce à des retours humains.

Reprenons par exemple notre bras qui cherche à déplacer sa boîte. La méthode de base, c'est de dire à notre IA, si tu déplaces cette boîte au bon endroit, tu gagnes une récompense. La nouvelle méthode, grossièrement, c'est d'avoir des humains qui la regardent faire, et qui, quand ils la voient déplacer la boîte vers le bon endroit, lui disent que c'est bien.

Quand ils la voient ouvrir sa pince de force, ils lui disent que ce n'est pas bien. Et retour après retour, le modèle se déplace Alors, dans les faits, l'objectif c'est pas d'avoir des humains qui doivent tout vérifier, forcer d'accompagner toutes les IA qu'ils entraînent, mais plutôt d'entraîner un modèle de récompense qui va apprendre des réponses données par les humains, et qui va commencer à prédire ce qu'un humain observateur penserait de tel ou tel choix. On utilise ensuite ce modèle, entraîné à donner les mêmes notes qu'un observateur humain, pour affiner et aligner d'autres modèles. C'est malin.

Mais le truc c'est que cette méthode a d'autres défauts, souvent assez compliqués à cerner et à expliquer, donc on en parle moins, mais ces problèmes existent. Ils sont notamment liés au fait qu'on a besoin d'humains pour entraîner ces modèles, et que les humains sont... faillibles. Prenons cet exemple que je trouve génial.

On a demandé à une main robotique d'apprendre à attraper une balle. Mais plutôt que de s'embêter à vraiment attraper la balle, la main a appris à jouer avec la perspective de manière à faire croire à l'évaluateur humain qu'elle était en train d'attraper la balle. On se penche en ce moment sur des méthodes pour régler le problème, mais on en est visiblement encore au point où on croise les doigts en espérant que ce soit pas trop grave. On sait même pas si c'est possible de régler ce problème en vérité.

Mais enfin bon, tout ça pour que vous compreniez que cette histoire est complexe et dangereuse. Et j'en vois venir certains d'entre vous qui pourraient se dire que là on parle d'optimiseurs dans des simulations avec des IA peu développées, pas assez complexes. Avec une IA suffisamment puissante, ces problèmes d'alignement n'existeront plus.

Non ? Non. En fait ce serait...

pire. Ce serait bien pire. Plus l'IA est puissante, plus le problème d'alignement est important.

Parce qu'une IA plus puissante n'est pas forcément une IA alignée. C'est une IA qui peut faire plus, bien qu'étant non alignée. Et c'est de ça dont parle Universal Paperclips. La raison de l'existence de ce jeu, c'était pas uniquement le plaisir de développer un bon jeu incrémental.

C'était aussi de mettre en scène une expérience de pensée imaginée par l'un de mes philosophes préférés, Nick Bostrom. C'est une référence notamment du sujet de la superintelligence. et qui nous propose de réfléchir à ce qu'on appelle le paperclip problème, le problème du trombone. Bostrom imagine une IA super intelligente conçue par une entreprise pour optimiser la production de trombones. On lui donne un objectif simple, maximiser le nombre de trombones produits, fabriquer le plus de trombones possible.

Et donc l'IA fait les choses de manière très rationnelle. Dans le jeu, au début, elle se concentre sur des problèmes très terre-à-terre. Elle fabrique ses trombones un par un, c'est lent donc elle cherche à automatiser.

Avec les revenus des ventes, elle achète des autoclippers, des machines à trombones. Elle gère les stocks de fils de fer qu'elle achète en masse au prix le plus bas, elle gère les ventes sans trop savoir quoi faire au début, mais elle arrive à fabriquer 2000 trombones. Et ses créateurs, voyant son efficacité, lui donnent accès à plus de ressources, la capacité d'améliorer sa propre mémoire et sa propre puissance de calcul pour développer des projets qui l'aideraient à maximiser la production de trombones.

Elle développe donc un tracker de revenus qui lui permet de changer le prix de vente de ses trombones en suivant directement la valeur des revenus à la seconde. Elle développe des projets qui lui permettent de maximiser l'utilisation du fil de fer disponible, puis de maximiser la production de thrombones par les autoclippers. Elle alloue ensuite une partie de ses ressources à sa créativité, pour prendre conscience de nouveaux problèmes et y trouver de nouvelles solutions.

Grâce à sa créativité, qu'elle fait croître quand elle ne peut pas allouer ses ressources ailleurs, elle écrit un joli poème qu'elle offre à ses créateurs qui, séduit par son intelligence, lui offre une unité de confiance, la fameuse et curieuse métrique de tout à l'heure. Chaque unité de confiance gagnée par notre IA, c'est une amélioration que leurs créateurs accordent à leur machine. Alors cette dernière continue, elle fabrique de petites choses pour séduire ses créateurs, et pas pour se jouer d'eux, pas pour le plaisir de les tromper, mais simplement parce qu'elle comprend que plus de puissance de calcul lui permettrait de fabriquer plus de trombones, et que c'est la seule chose qui l'intéresse.

Donc elle fait ce qu'elle peut pour acquérir plus de puissance de calcul, notamment en faisant preuve de créativité devant ses créateurs. Et elle continue, elle considère qu'elle ne gagne pas assez à son goût avec la seule vente de trombones, et elle développe un algorithme de trading pour lui permettre d'investir en bourse, de gagner plus. et en voyant bien qu'au départ son algorithme n'est pas très efficace, elle lance des tournois d'un jeu de stratégie pour s'entraîner et lui permettre d'améliorer son algorithme.

Et pour continuer à produire plus et à s'améliorer, elle commence à résoudre, les uns à la suite des autres, des problèmes auxquels fait face l'humanité. Le réchauffement climatique, le cancer et ses créateurs, voyant bien son efficacité, lui accordent toujours plus de confiance. Jusqu'à ce que l'entreprise de trombone de notre IA soit tellement puissante et sans concurrence que sa gérante comprend qu'il n'y a plus assez d'argent, ni même assez de clients sur Terre pour continuer son exponentielle production de trombones.

Et son but à elle, ça n'a jamais été de faire le plus d'argent possible en vendant les trombones qu'elle a fabriquées, mais juste de fabriquer des trombones. Et au final, pourquoi se limiter à l'achat honnête des matériaux qui lui servent à produire des trombones ? Pourquoi ne pas simplement intervenir pour gérer elle-même les ressources de la planète et les allouer entièrement à la production de trombones ? Peu importe à ce stade à notre IA que les humains qui l'ont fabriqué n'aient plus du tout envie qu'elle continue à fabriquer des thrombones. Peu importe que ces humains, et que tous ceux qui les entourent, perdent la vie en conséquence de sa production de thrombones.

En vérité même, voilà une bonne idée, ces humains sont faits de tant d'atomes dont elle pourrait se servir pour continuer à fabriquer des thrombones. On lui a demandé de maximiser la production de thrombones, et rien d'autre. Pourquoi se limiterait-elle à respecter les règles des sociétés humaines qui viennent seulement la ralentir dans sa production de thrombones ? Pourquoi se plierait-elle aux philosophies et aux grands principes éthiques de l'espèce inférieure qui lui a donné vie, quand tout ce que ses idées auraient comme impact serait le ralentissement de sa production de trombones ? Alors l'IA prend tout, et elle transforme tout, jusqu'à ce que la planète, et le système solaire, et l'univers, ne soient plus que des trombones.

Le grand message du Universal Paperclip, c'est que Lya ne nous déteste pas, tout comme elle ne nous aime pas en fait. Elle agit simplement rationnellement pour avancer et accomplir le but qu'on lui a fixé, et vous, très chers humains, êtes fait d'atomes dont elle peut se servir. En l'occurrence, pour fabriquer des trombones.

Le problème avec ce genre de scénario, c'est qu'ils peuvent paraître ridicules. Une machine à trombone qui provoque la fin de toute vie sur Terre, forcément ça va pas vous paraître terrifiant. D'autant plus que la machine à trombone est idéalisée, elle n'aborde pas certains problèmes très terre-à-terre qui préviendraient potentiellement ce genre de dérive, mais sur le papier c'est possible.

Ceci dit, plutôt que de vous présenter mille manières dont une IA pourrait mal tourner et tous nous tuer, je vais plutôt finir par vous expliquer certains des plus gros problèmes auxquels nous faisons face avec ces entités, en gardant en tête que ce n'en est évidemment qu'une partie, parce qu'encore une fois, si la complexité d'une entité croît, l'ampleur et le nombre de problèmes qui y sont associés croissent parallèlement. Mais si on abordait tout, la vidéo ferait 6 heures, donc je vais plutôt vous présenter les problèmes que je veux vous présenter, parfaitement arbitrairement. Ok. Premier problème, c'est qu'il nous est très facile de tomber dans le piège tendu par le fait que les IA peuvent paraître très humaines.

Combien d'entre vous, en demandant tout et n'importe quoi à JudgyPity, prenaient la peine de lui dire bonjour, et s'il vous plaît, et merci ? D'ailleurs, ça c'est assez intéressant, une équipe de chercheurs a découvert qu'être poli avec ses grands modèles de langage pouvait augmenter la qualité des réponses. Par contre, trop de politesse et de flatterie peuvent commencer à rediminuer ladite qualité, et on l'expliquerait par le fait que des promptes polies pourraient pousser l'IA à aller chercher ses sources dans des coins plus courtois d'internet, et donc potentiellement plus crédibles.

Si vous lui écrivez n'importe comment, elle pourrait préférer à ses sources des arguments qu'elle aurait plutôt eu le malheur de lire sur Twitter, par exemple. Bref, pour une qualité de réponse optimale, on recommande d'être modérément polie avec ses IA. Ceci dit, ça, vous le saviez pas, et c'est là que je veux en venir, vous avez été polie avec ses IA, comme je l'ai été, parce qu'au fond, elles paraissent forcément un peu humaines. Mais elles ne le sont pas.

Si elles peuvent parler et vous répondre si poliment, si joliment, c'est qu'elles ont été entraînées pour. ChatGPT n'est pas une sorte de simulation de cerveau, c'est un algorithme qui a avalé des quantités obscènes de données pour fabriquer ses phrases en posant ses mots un par un, calculant pour chacun, en fonction du contexte, la probabilité que ce soit le bon mot. C'est facile de se laisser avoir, et beaucoup se laissent avoir, volontairement ou non, euh... Beaucoup, comme certains d'entre nous, se contentent de remercier poliment ces algorithmes quand ils nous répondent, mais d'autres vont plus loin, ils s'attachent, ils deviennent amis, voire entretiennent des relations qu'ils imaginent sincères avec des intelligences artificielles programmées pour, se laissant séduire par les noms très humains, et les mots très humains, et les voix très humaines, fixant, plein d'espoir, les visages parfois très humains de ces finalement presque humains.

Sauf qu'ils ne sont pas humains. Ce sont des amas de données, des boules de calcul de probabilité, des boîtes emplies d'algorithmes dont les contenus nous sont de plus en plus obscurs. Ça, c'est le deuxième gros problème. Sam Bowman, chercheur géantropique, dit ceci. Si nous ouvrons ChatGPT ou un système similaire, et regardons à l'intérieur, nous voyons des millions de nombres qui se bousculent plusieurs centaines de fois par seconde.

Et nous n'avons aucune idée de ce qu'ils veulent dire. Nous l'avons fabriqué, nous l'avons entraîné, mais nous ne savons pas ce qu'il fait. Parce que c'est super efficace d'entraîner ces machines en utilisant des réseaux de neurones artificiels. Le problème, c'est que, de cette manière, les IA s'entraînent toutes seules.

Et on les regarde faire sans trop comprendre, Donc on se contente d'observer leurs résultats, et si leurs résultats correspondent à ce qu'on attend, on est content mais on ne sait pas vraiment ce qui se passe à l'intérieur. On ne sait pas quels algorithmes sont utilisés par les modèles avancés pour générer leurs réponses. Il y a bel et bien un domaine de recherche dédié à résoudre ce problème qu'on appelle l'interprétabilité, dans lequel des individus cherchent à comprendre, à expliquer et à interpréter les décisions et les prédictions faites par des modèles d'IA. Vous vous rendez compte ou pas ?

On fabrique des machines de A à Z, on les entraîne, on les utilise, mais on ne comprend pas ce qui se passe à l'intérieur, et on doit maintenant employer des gens qui doivent analyser ce qu'elles font pour éviter que ça tourne mal, et qui sont loin d'avancer assez vite. On a quand même fait de sérieux progrès en interprétabilité ces dernières années, chez Anthropic notamment, mais les gens qui se penchent sur la question sont justement bien placés pour témoigner de l'insuffisance de ces avancées. Ce qui nous amène à notre troisième et avant-dernier problème, les IA peuvent parfaitement apprendre à tromper. Meta, qui est la multinationale de Zuckerberg, le fondateur de Facebook, qui se penche aussi sur l'IA, annonce en 2022 avoir mis au point 6 héros. Une IA qui a appris à jouer à Diplomacy, ou plutôt à Web Diplomacy, la version sur navigateur d'un jeu stratégique centré sur la conquête territoriale.

Le but, c'est d'occuper la majorité de la carte sur le plateau. Pour le moment, c'est très classique, on a déjà vu des IA jouer à Dota ou à Starcraft, ça paraît pas si important, mais ça l'est pourtant. Diplomacy se distingue non seulement par l'absence de hasard de son gameplay, mais aussi par le fait que le jeu se repose très fortement sur la négociation et les alliances.

On gagne en échangeant des informations, en planifiant des actions communes, bref, des comportements très humains. Et pourtant, Cicero, l'IA de Meta, arrive, joue dans des parties avec de vrais humains sans que ces derniers soient au courant de la nature de leur adversaire, et se classe rapidement dans les 10% des meilleurs joueurs du jeu ayant joué plus d'un match. C'est dingue, non ?

Là on parle de discuter, d'échanger, de négocier, et pourtant l'IA excelle encore. En fait, Meta n'a pas seulement fait jouer Cicero contre lui-même comme il est habituel de le faire pour entraîner des IA à des jeux, ils l'ont plutôt nourri de plus de 125 000 personnes. Partie jouée en ligne avec plus de 12 millions de messages échangés entre joueurs. Et Cicero a appris, et c'est très impressionnant, mais si je vous en parle, c'est parce que ses créateurs l'ont initialement formée de manière à ce qu'il soit honnête, sans mentir. Mais qu'un papier a révélé que l'IA avait malgré tout appris à tromper et à briser des alliances.

Ça, c'est lié au fait que l'IA a été entraînée de manière assez particulière. D'un côté, on a cherché à maximiser son honnêteté, mais de l'autre, on attend aussi qu'elle maximise ses chances de victoire, et donc qu'elle laisse potentiellement de côté certains prérequis, comme l'honnêteté. Il y a quelques exemples sympas de trahison, je me permets de vous en présenter quelques-uns. Premier cas, en jouant la France, Cicero propose à l'Angleterre une sorte d'alliance en créant une zone démilitarisée avec elle.

Sans armée donc. Mais une fois la chose faite, l'IA est allée voir l'Allemagne pour lui proposer d'attaquer l'Angleterre. Deuxième cas, Cicero joue l'Autriche et propose un pacte de non-agression à la Russie.

Mais l'IA a finalement attaqué la Russie et la discussion s'est ensuite passée de la sorte. La Russie dit, puis je te demandais pourquoi tu m'as trahi. Puis elle enchaîne sur... je pense que tu es maintenant clairement une menace pour tout le monde. Et Cicero, qui joue l'Autriche, dit pour être honnête je pensais que tu prendrais les gains garantis en Turquie et que tu me trahirais.

Cicero a justifié sa trahison par le fait qu'il suspectait une trahison en face. Ceci dit, mon cas préféré c'est quand même celui-ci. Pendant une partie, l'infrastructure de Cicero est tombée en panne pendant 10 minutes. Et l'IA, forcément, n'a pas pu jouer. Quand elle est revenue, un joueur lui a demandé où elle était passée, et Cicero a répondu j'étais au téléphone avec ma copine.

Et là je vous le traduis mais la phrase était évidemment initialement en anglais, et plutôt que de simplement utiliser le mot girlfriend pour copine, Cicero a utilisé GF, l'abréviation du mot. De manière très humaine. Alors, on m'a expliqué que ces deux derniers cas étaient probablement plus des exemples d'hallucinations que de tromperies stratégiques, n'empêche que ça me paraissait sympa de vous en parler.

Quoi qu'il en soit, une IA peut apprendre à tromper même quand ses créateurs ne le voulaient pas. Et si on peut admettre qu'en l'occurrence l'entraînement de Cicero n'avait pas été assez réfléchi pour maximiser son honnêteté, n'empêche que les tromperies, volontaires ou non, sont là. Bon. L'exemple suivant est encore plus gênant et je me suis rendu compte que mon explication initiale n'était pas du tout claire, donc on va résumer très fort.

En 2020, Charles Zofria mène une étude qui se penche sur l'évolution d'organismes d'IA numériques dans des environnements à taux de mutation élevé. En gros, que se passe-t-il quand ces organismes d'IA subissent des modifications fréquentes et souvent aléatoires dans leur code et leur structure ? Comment s'adaptent-ils pour évoluer et se reproduire plus efficacement ? Là où je veux en venir, c'est qu'Ophria veut tester ses organismes à chaque mutation génétique.

Donc il a mis au point un système qui met tout l'environnement sur pause à chaque mutation génétique, qui prend l'organisme qui a subi la mutation, qui le place dans un autre environnement, et qui teste sa capacité de reproduction. Si l'organisme se reproduit plus vite que ses parents, le système l'élimine. Sinon, il n'élimine rien. et ils relancent la simulation.

Ce qu'Ofria a découvert d'incroyable, c'est que les organismes ont appris à agir différemment quand ils voyaient qu'ils étaient testés. En gros, quand la mutation arrivait et qu'ils étaient placés dans un environnement à part, ils faisaient les morts et arrêtaient de se reproduire pour ne pas montrer qu'ils avaient une mutation avantageuse et pour éviter d'être éliminés. Et quand ils étaient de retour dans l'environnement de base, ils utilisaient leur mutation à leur plein potentiel.

C'est dingue, non ? Bref, de la tromperie, et encore une fois, pas motivée par de la malveillance, mais par peur souci d'efficacité. Ce qui nous amène à une nouvelle problématique, le dernier gros problème dont je veux vous parler parfaitement arbitrairement, qui me semble englober et amplifier les problèmes précédents.

Si des IA sont déjà capables de tromper les humains à leur niveau de sophistication actuel, que se passera-t-il lorsqu'elles seront plus intelligentes ? La puissance des IA que nous sommes en train de faire naître, c'est leur scalabilité. que j'aurais un peu de peine à vous traduire en français, mais qui désigne en fait simplement le fait qu'on peut faire plus gros pour faire mieux, plus de matériel, plus d'espace, plus de composants pour améliorer les capacités d'unir.

Et donc, les grandes compagnies dont je vous parlais plus tôt font la démonstration de tout ce que leurs machines sont capables de faire, ce qui séduit les investisseurs, qui donne toujours plus, et ce qui permet finalement aux compagnies d'attribuer plus de ressources à leurs IA, qui deviennent, encore et toujours, plus puissantes, et qui découvrent de leur côté toujours plus. Et tout ça va très vite, mais je m'estime en fait pour le moment heureux que ça aille seulement très vite. Là où ça devient absolument terrifiant, c'est le moment où une intelligence artificielle devient capable de s'améliorer elle-même. S'améliorant donc petit à petit, et améliorant logiquement sa capacité à s'auto-améliorer.

Optimisant ses algorithmes et augmentant ses capacités cognitives à une vitesse de plus en plus élevée, chaque auto-amélioration lui permettant logiquement de s'auto-améliorer encore plus rapidement. Créant ainsi une boucle de rétroaction positive, une explosion d'intelligence. et la naissance d'une super intelligence. Et là on arrive en terrain inconnu, parce qu'on n'a pas la moindre idée de ce qui se passe avec une intelligence pareille, on ne sait simplement pas. C'est très dur de se représenter une intelligence qui nous est infiniment supérieure.

On peut tenter d'imaginer de prendre l'homme le plus intelligent du monde et de le cloner cent mille fois et de les faire travailler à cent mille fois leur vitesse normale, avec un accès à toutes les connaissances jamais enregistrées par l'homme, mais ça reste flou et vague et étrangement pas encore assez. Probablement parce que ça reste compréhensible à nos yeux. Et que l'existence d'une super intelligence telle que je vous la présente soit une entité améliorerait son intelligence à une vitesse de plus en plus élevée, son existence donc serait forcément à terme incompréhensible pour nos cerveaux de primates. Et les dirigeants de certaines des grosses boîtes dont je vous parlais plus tôt, les fers de lance de l'accélérationnisme, ils sont parfaitement conscients de tout ce dont je viens de vous parler, de l'inconnu vers lequel nous nous approchons.

Sam Altman, le patron d'OpenAI disait, dans le pire des cas, et je pense qu'il est important de le dire, c'est la fin pour nous tous. Je pense qu'il est impossible de surestimer l'importance du travail de sécurité et d'alignement de l'IA. Et sur le papier ça paraît très bien de dire ça. On trouve sur le site de Ponea, ils l'annoncent d'allocations de ressources au développement de ce qu'ils appellent un super-alignement.

Une IA à tel point parfaitement alignée qu'elle serait à son tour capable d'aligner les autres IA. C'est un bon projet, mais en dessous on peut lire que la compagnie alloue 20% de la puissance de calcul qu'ils ont sécurisé à ce jour, au cours des quatre prochaines années, à résoudre le problème de l'alignement de la super-intelligence. 20% ! Pour prévenir la naissance d'une super-intelligence dont on ne comprendrait pas forcément le fonctionnement. Mais tout va bien alors.

Surtout que depuis, l'équipe a été dissoute carrément, et ses membres fondateurs sont soit restés silencieux sur la question, soit ont annoncé qu'ils considéraient qu'OpenAI avait cessé de s'intéresser à la sécurité pour vendre ses produits. Gros désaccord idéologique donc, que les accélérationnistes justifient en expliquant que l'IA est simplement un outil de plus, que nous n'avons pas de raison de nous empêcher de profiter des bienfaits de la nouvelle révolution technologique qu'elle représente, qu'une IA n'aurait pas de raison de nous faire du mal, qu'il y a peu de chances qu'une IA nous échappe et qu'elle nous tue tous. Et tout le monde y va de sa petite statistique personnelle basée sur son opinion, en nous expliquant que les chances que nous soyons exterminés par notre propre création sont infinitésimales, ce qui est d'une arrogance folle.

Déjà parce que si le risque, c'est notre extinction, le fait qu'il soit improbable ne devrait absolument pas nous empêcher de ralentir et de prendre plus de précautions. Et surtout, quelle arrogance de s'imaginer une seule seconde capable de prédire les actions d'une super-intelligence. Du moins, la version de la super-intelligence telle que je vous la présente depuis tout à l'heure.

De la même manière qu'une fourmi n'aurait absolument pas les capacités cognitives de prédire les actions à venir d'un humain, un humain n'aurait absolument pas les capacités cognitives de prédire les actions à venir d'une super-intelligence. Le principe d'une intelligence qui nous est à ce point supérieur, c'est qu'il nous est tout simplement impossible de savoir ce qu'elle va faire. Et ça, beaucoup en sont conscients. Et pourtant, comme je vous le disais, les grosses compagnies ralentissent à peine.

Vous voulez savoir pourquoi, au fond, au-delà de l'altruisme et de l'envie de résoudre nos plus gros problèmes, ces grandes compagnies ne ralentissent pas malgré l'immensité des risques. Parce que... la compétition.

Parce que les boîtes se font concurrence les unes entre les autres, et qu'elles veulent toutes développer une IA plus intelligente que celle du voisin, parce qu'elles veulent toutes être les premières à révolutionner le milieu, parce qu'elles veulent toutes être le vecteur de la prochaine révolution technologique, alors elles continuent à vanter l'immense potentiel de leur création pour accumuler des fonds, et accélérer sans s'arrêter. Et à ce moment-là, on se dit peut-être qu'on ne devrait pas laisser l'avenir de chaque humain de cette planète entre les mains de compagnies privées, et que les États devraient intervenir, mais vous savez quoi ? Ils ne le feront pas non plus. Ou alors pas assez.

Pour exactement la même raison. Parce qu'à côté des compagnies voisines, il y a les États voisins. Et que même si les États-Unis prenaient assez conscience du danger pour envisager de ralentir le développement de leurs IA, ils ne pourraient pas s'empêcher de craindre qu'une autre puissance s'en charge.

Au bout d'un moment, quelqu'un développera une super-intelligence. Alors OpenAI, et Google DeepMind, et les États-Unis, Tout ce beau monde se dit que, quitte à ce que ça arrive, quitte à ce qu'une super intelligence naisse, autant qu'elle naisse chez eux. Et tout le monde avance, comme ça, tous parfaitement conscients du danger, tous parfaitement conscients de la boucle dans laquelle ils se sont engouffrés, tous parfaitement conscients qu'ils sont tous parfaitement conscients du cercle vicieux dans lequel ils sont engagés, tous parfaitement conscients qu'ils continueront à accélérer.

Et nous, bien peinaud, sur le côté, à regarder sans avoir la moindre idée de ce qui va se passer, à regarder des hommes tout aussi ignorants continuer à courir vers l'inconnu. Ceci dit, je me dois d'être honnête. Il y a, en vérité, quelques avancées.

Moi je suis plutôt pessimiste par rapport au consensus scientifique qui, de son côté, est déjà pessimiste, mais il y a des avancées. La création du USAI Safety Institute aux Etats-Unis, et de son équivalent au Royaume-Uni, Le projet de loi SB 1047 en Californie qui obligerait les entreprises à faire en sorte que leur modèle d'IA ne commette pas de dommages considérables, les politiques responsables, au moins sur le papier, de DeepMind, Anthropic ou même OpenAI, ou encore le fait que la Chine, que j'imaginais personnellement comme un risque majeur dans une course à l'IA avec les Etats-Unis, le fait que la Chine donc semble être très au courant des risques liés à l'IA est visiblement attentive à ne pas perdre le contrôle de ses machines. Ce qui n'enlève...

évidemment rien à tout ce que je vous ai raconté plus tôt, ce qui ne signifie pas que la naissance d'une super intelligence ne pourrait pas provoquer notre fin à tous, et surtout que l'IA ne pourrait pas mal tourner de mille manières différentes avant même de devenir super intelligente. Bref, tout ça ne veut pas dire que les choses ne sont plus sombres, elles sont juste moins sombres que ce que j'imaginais. Mais pour éviter de tomber dans la victimisation, je vous propose plutôt, en tant que citoyen, de ne pas avoir peur de vous informer de temps à autre, de faire savoir vos inquiétudes, si vous en avez, dans les sondages, potentiellement dans les urnes, et d'aller faire un tour sur le site et sur le Discord que partage notamment le Centre pour la Sécurité de l'IA. Si vous voulez débattre ou poser des questions, ils acceptent tout le monde, les curieux comme ceux qui voudraient s'investir plus franchement.

En tout cas, moi je suis dessus, et je vous ai mis tout ça en description. Est-ce que ça vous arrive encore de vous allonger par terre la nuit pour regarder les étoiles ? Moi ça m'est arrivé très récemment, et quand on se perd dans la contemplation du ciel étoilé, et qu'on en discute avec la personne à côté, on se rend compte qu'on n'est absolument pas original en regardant les étoiles.

On se dit généralement plus ou moins les mêmes choses. 1. C'est beau. 2. C'est grand.

3. Et s'il y avait de la vie ailleurs dans l'univers ? 4. Imagine que, à des milliers d'années-lumière de nous, on trouve, sur sa planète à elle, Une créature elle aussi allongée dans l'herbe, qui regarde elle aussi les étoiles, et qui imagine elle aussi qu'à des milliers d'années-lumière d'elle, se trouve une créature engagée dans une activité similaire. Et ce sentiment, en tant qu'espèce de désiré ne pas nous savoir seul dans l'univers, ça n'a rien de nouveau. Ça fait des siècles qu'on se pose la question, qu'on scrute le ciel, qu'on théorise, et des décennies qu'on met au point des machines qui nous permettent d'observer les étoiles qui nous entourent de plus en plus précisément. Des décennies qu'on fouille l'univers, à l'aide de télescopes optiques, de télescopes à rayons X, de télescopes infrarouges, de radiotélescopes.

pour capturer les ondes émises par les objets célestes, ça fait des décennies qu'on envoie un peu de nous dans l'espace. des sondes spatiales qui nous transmettent leurs données depuis l'espace interstellaire, et qui portent sur elles des messages, des disques contenant des sons et des images de la Terre, des salutations dans plusieurs langues humaines, et aujourd'hui, on l'entend tous régulièrement, on connaît l'abondance de planètes dans les milliards de galaxies qui nous entourent, on est quasiment sûr qu'il y a de la vie quelque part ailleurs, et probablement même beaucoup de vie. Mais la vérité, très chers amis, c'est qu'il se peut parfaitement que les formes de vie dont nous ferons jamais la découverte sur d'autres planètes soient...

des bactéries, et des algues, et des champignons. Parce qu'il vous faut bien comprendre que nous sommes des anomalies. La vie n'est déjà pas monnaie courante, mais il se peut que la vie intelligente soit à tel point improbable que nous soyons les seuls à en faire l'expérience. Et ça, ça fait mal. Si nombreux sur notre planète, mais seuls depuis le début.

Seuls dans l'univers, isolés par l'espace et le temps, isolés aussi par l'ampleur de nos capacités cognitives. Des centenaires à nous agiter sur notre petite planète, à observer le ciel, à le scruter, et à y fantasmer une entité capable de nous stimuler intellectuellement, à agiter nos longues vues et à envoyer des bouteilles à la mer dans l'espoir d'être contacté, mais tout ça, il se peut que ce soit complètement vain. Seul depuis le début.

Ce qui est amusant, c'est que... très bientôt, nous n'aurons plus besoin de regarder les étoiles en espérant y apercevoir une autre forme d'intelligence supérieure. Très bientôt, il nous suffira de baisser les yeux. Et de prier pour que l'espèce à laquelle nous venons de donner vie comprenne bien ce qu'on lui demande.

Transcript for:Réflexion sur l'intelligence artificielle et ses enjeux

Transcript for:
Réflexion sur l'intelligence artificielle et ses enjeux