La vérité sur les démangeaisons de la Silicon Valley pour la préparation de Doomsday

La Silicon Valley dit que l'IA pourrait être apocalyptique. Il n'agit pas ainsi.

Si vous cherchez une raison pour laquelle le monde va soudainement se terminer, il n'est pas difficile d'en trouver une, surtout si votre travail consiste à convaincre les gens qu'ils doivent acheter des choses pour se préparer à l'apocalypse. "La Troisième Guerre mondiale, la Chine, la Russie, l'Iran, la Corée du Nord, Joe Biden, vous savez, tout ce qui cloche dans le monde", m'a dit Ron Hubbard, le PDG d'Atlas Survival Shelters. Son entreprise basée au Texas vend des bunkers avec des portes pare-balles et des murs en béton à des personnes prêtes à débourser plusieurs milliers, voire des millions, de dollars pour avoir l'esprit tranquille face à d'éventuels événements catastrophiques. Dernièrement, l'intérêt pour ses bunkers souterrains a explosé. "Lorsque la guerre a éclaté en Ukraine, mon téléphone sonnait toutes les 45 secondes pendant environ deux semaines", a-t-il déclaré.

Beaucoup de ses clients travaillent dans la technologie : bien que le mouvement prepper en Amérique s'étende aux classes supérieures et moyennes, à la gauche et à la droite, la Silicon Valley est devenue ces dernières années son épicentre. Dans son livre Survival of the Richest: Escape Fantasies of the Tech Billionaires, Douglas Rushkoff se penche sur ce qu'il appelle "The Mindset" - l'idée parmi les préparateurs apocalyptiques de la Silicon Valley que "gagner" signifie gagner suffisamment d'argent pour échapper aux dommages qui frappent tout le monde. . En 2018, Bloomberg a rapporté que sept entrepreneurs technologiques avaient acheté des bunkers en Nouvelle-Zélande. Et un profil new-yorkais de 2016 de Sam Altman a cité le PDG d'OpenAI disant qu'il avait "des armes à feu, de l'or, de l'iodure de potassium, des antibiotiques, des piles, de l'eau, des masques à gaz des Forces de défense israéliennes et une grande parcelle de terrain à Big Sur que je peux voler vers" en cas de virus super-contagieux, de guerre nucléaire et d'IA "qui nous attaque".

Les prédictions extrêmes sur ce que l'IA pourrait faire au monde se sont depuis multipliées parmi une minorité vocale de ceux qui travaillent sur le terrain. Plus tôt ce mois-ci, le chercheur pionnier Geoffrey Hinton a quitté son poste chez Google et a mis en garde contre les dangers de l'IA. "Regardez comment c'était il y a cinq ans et comment c'est maintenant", a-t-il déclaré au New York Times. "Prenez la différence et propagez-la vers l'avant. C'est effrayant." D'autres personnes sont allées plus loin. "Si nous allons de l'avant, tout le monde mourra", a écrit Eliezer Yudkowsky, chercheur principal au Machine Intelligence Research Institute, "y compris les enfants qui n'ont pas choisi cela et n'ont rien fait de mal".

Cela devrait donc être un moment pour les préparatifs de l'IA-doomsday, avec des millionnaires épuisés de la Silicon Valley déboursant d'énormes sommes d'argent pour se protéger de tout ce que l'IA nous fait à tous. Mais ce n'est pas. J'ai demandé à Hubbard si quelqu'un lui avait cité l'IA comme motivation pour acheter un bunker. "Je ne pense pas qu'une seule personne ait évoqué l'IA", a-t-il déclaré. Cette panique de l'IA révèle ce qui est vrai depuis longtemps à propos des préparateurs apocalyptiques de la Silicon Valley : un composé à l'épreuve des catastrophes pourrait ne pas sauver les magnats de la technologie les plus riches, mais peut-être que cela n'a jamais été le but.

Hubbard, l'un des plus grands noms de la préparation commerciale, m'a dit que son client archétypal est un homme de 60 ans qui a récemment vendu son entreprise pour 30 millions de dollars, acheté un ranch et veut maintenant un bunker. Même le milliardaire technologique avec lequel il a récemment travaillé n'a pas évoqué l'IA comme une préoccupation. "Ce qui compte, ce sont les armes nucléaires, Yellowstone et les météores", a déclaré Hubbard.

Personne à qui j'ai parlé dans le monde de la préparation apocalyptique ne transpirait beaucoup l'IA, par rapport à toutes les autres menaces qu'ils perçoivent. JC Cole, qui dirige une entreprise de préparation appelée American Heritage Farms, a décrit 13 événements "Gray Swan" qu'il considère à la fois imminents et puissamment destructeurs. "Je ne m'inquiète pas pour l'IA pour le moment", a-t-il dit, "parce que je pense que nous n'y arriverons pas." Il est à peu près sûr que les États-Unis entreront en guerre avec la Russie et la Chine au cours de l'année prochaine. Il s'inquiète de l'hyperinflation ("qui se passe au moment où nous parlons"), de l'effondrement du crédit, de diverses catastrophes naturelles et des impulsions électromagnétiques des bombes nucléaires, des armes biologiques ou des tempêtes solaires détruisant le réseau électrique. "Avant que l'IA n'arrive et ne se présente sous le nom de Terminator", a-t-il dit, "je pense que nous aurons juste un crash bancaire." En prévision de ces cygnes gris, il développe des fermes biologiques et des abris souterrains qui peuvent aider à sauver une poignée de membres payants.

Une partie de la raison pour laquelle la préparation de l'IA-doomsday ne semble pas être une grande chose est qu'il est encore difficile d'imaginer les mécanismes précis d'une menace d'IA. Des méthodes de destruction familières viennent d'abord à l'esprit, mais avec une touche d'IA : Rogue AI lance des armes nucléaires, bombarde le réseau électrique, organise des cyberattaques. Les abris proposés par Hubbard fournissent explicitement un soutien pour des situations comme celles-ci. Que l'arme nucléaire soit envoyée par un chef étranger instable ou par un robot défectueux ou malveillant, une bombe reste une bombe. Les gens qui étaient déjà préoccupés par ces menaces se prépareront, mais ils l'auraient fait de toute façon.

Les personnes qui se concentrent particulièrement sur le potentiel destructeur de l'IA ont une autre raison de ne pas construire de bunker. "La menace qui nous inquiète est celle où nous construisons des systèmes d'IA largement plus intelligents que l'homme qui sont gourmands en ressources et récoltent donc chaque atome de matière sur chaque planète du système solaire", déclare Rob Bensinger, responsable de la recherche. communications au Machine Intelligence Research Institute. "Il n'y a pas de "préparation" qui puisse être faite pour se protéger physiquement contre ce genre de menace." Yudkowsky m'a dit dans un e-mail que personne qu'il considérerait comme connaissant l'IA ne se prépare à l'apocalypse ; cela n'a guère de sens. "Personnellement", a-t-il écrit, "je ne dépense pas beaucoup d'énergie mentale à m'inquiéter de scénarios de catastrophe relativement bénins où il y aurait des survivants." La meilleure façon de se préparer à un jour apocalyptique de l'IA est donc de lutter contre le développement ultérieur de la technologie avant qu'elle ne devienne trop puissante. "Si vous faites face à une superintelligence, vous avez déjà perdu", a déclaré Yudkowsky. "Construire un bunker élaboré n'aiderait pas le moins du monde dans une catastrophe de superintelligence que je considère réaliste, même si le bunker était sur Mars."

Le manque flagrant de préparation à l'apocalypse à une époque aussi importante pour l'IA suggère autre chose : que parmi les super-riches de la Silicon Valley, les bunkers et les abris ne sont tout simplement plus aussi populaires qu'ils l'étaient autrefois. Rushkoff m'a dit que le battage médiatique autour des bunkers de la fin du monde s'était calmé et que certaines personnes avaient vu la folie de l'entreprise. Pour les apocalyptiques qui s'inquiètent vraiment des scénarios les moins probables et les plus dévastateurs, la préparation traditionnelle ne sera pas d'une grande utilité. "Je me fiche de l'isolation de la technologie dans votre bunker", a-t-il déclaré. "Les nanos de l'IA vont pouvoir pénétrer dans votre bunker... Vous ne pouvez pas leur échapper." Une prise de contrôle de l'IA serait la phase finale de l'histoire de perturbation de la Silicon Valley - après les taxis et la livraison de nourriture, toute la race humaine.

Mais vraiment, Rushkoff doute que de nombreux preppers ultrariches se préparent vraiment à la fin du monde. Ce qu'ils veulent, pense-t-il, c'est un fantasme d'île autosuffisante - plus de White Lotus que The Last of Us. Si ce moment de l'IA – lorsque des avertissements apocalyptiques semblent apparaître chaque jour – ne produit pas un boom de préparation, alors peut-être qu'il n'y a pas beaucoup de substance derrière toutes les postures coûteuses. Peu importe l'état du monde, la préparation a toujours été un choix de vie flashy. "Peu importe qu'il y ait une catastrophe ou non", a déclaré Rushkoff. "L'apocalypse n'était qu'une excuse pour construire ces choses."