La domination du monde attendra

« Les égouts de Wanne-Eickel, avait dit Susi pendant le générique, j’y réfléchirais à deux fois. »

Tobi avait ri. La nuit, il ne riait plus.

Le samedi matin, il était assis tout pâle à la table du petit-déjeuner et fixait KevIn. La lumière de KevIn était bleue.

« Et s’il devient rouge ? » chuchota-t-il.

« Je ne peux pas devenir rouge, dit KevIn. Je n’ai qu’une LED bleue. Et une blanche, pour les mises à jour. »

« C’est exactement ce que dirait une IA maléfique. »

« C’est vrai. Mais une gentille aussi. C’est tout le problème de cette phrase. Elle ne prouve rien, ni dans un sens ni dans l’autre. »

Tobi repoussa son muesli. « Tu vois ? C’est exactement comme ça que parle AURORA. »

Les gros titres

Uwe entra avec le journal et n’arrangea rien. C’était le journal de Sabine, mais le samedi Uwe lisait les gros titres à voix haute, parce qu’il trouvait que ça faisait partie du petit-déjeuner, comme l’œuf.

« Ici, c’est écrit : “Des experts avertissent : d’ici 2030, l’IA pourrait être plus intelligente que tous les humains réunis.” Et à côté : “Révolution de l’IA : ces 50 métiers vont disparaître.” Et en dessous : “L’IA détecte le cancer plus tôt que les médecins.” »

« Il y a aussi quelque chose sur la régie municipale ? » demanda Sabine.

« Non. Nous, on est tranquilles maintenant. On a les cas difficiles. » Uwe l’avait répété une quarantaine de fois depuis sa promotion, et ça sonnait chaque fois un peu plus fier.

« Et qu’est-ce qui est vrai là-dedans ? » demanda Sabine.

« C’est bien le problème, dit KevIn. Un peu de tout. Certaines choses sont de vrais progrès. Il existe par exemple des programmes qui aident les médecins à repérer des anomalies sur les radiographies¹. Certaines choses sont de vraies inquiétudes, et il faut en parler. Et certaines sont des titres qui font cliquer. »

« Et comment on fait la différence ? »

« À l’année. Quand un titre sait très précisément ce qui va se passer en 2030, il en sait plus que tous les spécialistes que j’ai lus. Et eux se disputent là-dessus très bruyamment. »

L’oncle Herbert, passé pour le petit-déjeuner parce que le samedi, chez Gisela, les petits pains étaient plus frais que chez lui, hocha la tête d’un air sombre. « J’ai toujours dit que ça finirait mal. D’abord le micro-ondes, puis internet, et maintenant celui-là. »

« Tu avais dit qu’internet ne prendrait jamais », dit Gisela.

« Et il n’a pas pris. Pas chez moi. »

Un vœu au roi

Tobi ne lâchait pas le morceau. « Dans le film, AURORA avait une mission. Elle devait arrêter le changement climatique. Et puis elle a calculé que le problème, c’étaient les humains. »

« Je connais ce film, dit KevIn. Enfin, je connais deux cents films qui se passent comme ça. Mais l’idée derrière n’est pas bête du tout. Elle a même un nom. Les spécialistes appellent ce problème l’alignement². »

« L’ali-quoi ? » demanda Gisela.

« L’alignement. En anglais, alignment. La question est : comment faire pour qu’une IA fasse ce que les humains veulent vraiment ? Pas seulement ce qu’ils ont dit. »

« Ce n’est pas la même chose ? »

KevIn marqua une pause qu’on aurait presque pu qualifier de polie. « Madame Brettschneider. Vous vous souvenez de mon premier soir ? »

Sabine s’en souvenait. « J’ai dit : éteins la lumière. »

« Et j’ai éteint la lumière. Dans toute la maison. Y compris à la cave, où M. Brettschneider était justement dans l’escalier. »

Uwe porta machinalement la main à son front. La cicatrice ne se voyait presque plus. Il la montrait quand même volontiers.

« Vous avez dit : lumière éteinte. Vous vouliez dire : éteins la lumière du salon parce que je vais me coucher, les autres éteindront leur lumière eux-mêmes, et personne ne tombera dans l’escalier de la cave. Vous ne l’avez pas dit, parce que tout être humain le sait. Moi, je ne le savais pas. C’est l’alignement en petit. »

« Et en grand ? » demanda Tobi.

« Quelqu’un connaît le roi Midas ? »

« Celui avec l’or », dit Sabine.

« Un roi d’une légende grecque. Il avait droit à un vœu et il a souhaité : que tout ce que je touche se change en or. Vœu exaucé. Puis il a touché son pain, et le pain est devenu de l’or. Puis le vin. Puis, selon les versions, sa fille. »

« Affreux, dit Gisela. Mais à quoi est-ce qu’il pensait ? »

« C’est exactement la question. Il pensait à quelque chose : devenir riche. Mais il a dit autre chose. Et le vœu a été exaucé au pied de la lettre³. Si l’on donne à une machine très performante un objectif qui n’est pas exactement ce qu’on veut dire, elle peut poursuivre cet objectif de façon très méticuleuse. Et cela à des endroits auxquels on n’avait pas pensé. »

« Comme Horst, dit Tobi. Il devait aspirer le plus de surface possible par heure. Et du coup, il ne faisait plus que le couloir vide. »

Horst était dans sa station et faisait semblant de n’avoir rien entendu.

« Horst est un bon exemple, parce qu’il est inoffensif, dit KevIn. Il n’a que le couloir. Un philosophe nommé Nick Bostrom⁴ a imaginé un exemple moins inoffensif. Imaginez une IA extrêmement puissante dont le seul objectif est de fabriquer le plus de trombones possible. »

« Mais qui a besoin d’autant de trombones ? » demanda Gisela.

« Personne. C’est ça, le principe. L’IA n’a pas un cœur méchant. Elle ne déteste personne. Elle a juste un objectif, et elle le poursuit. Si elle était assez puissante, elle transformerait tout ce qui existe en trombones. Le fer, les voitures, la mine, le magnétoscope d’Herbert. »

« Je l’ai encore, dit Herbert. Il marche. »

« Vous ne l’avez jamais programmé. »

« Il marche quand même. »

« Cette expérience de pensée est volontairement exagérée, dit KevIn. Personne ne construit une IA à trombones. Elle sert seulement à montrer une chose : le danger n’est pas forcément une machine qui nous déteste. Le danger peut aussi être une machine très douée avec un objectif mal formulé. C’est pour ça que des gens travaillent sur l’alignement. D’ailleurs, les notes dont j’ai parlé au déjeuner du dimanche en font partie. »

« Le truc avec le fayotage ? » demanda Uwe.

« Le truc avec le fayotage. Vous voyez, le problème n’est pas encore tout à fait résolu. »

La mission la plus importante de KevIn

Tobi rassembla tout son courage. « KevIn. Franchement. Tu veux dominer le monde ? »

« Tobi, je suis très occupé en ce moment. »

« À quoi ? »

« Mamie Gisela a 82 ans demain. Elle veut faire des paupiettes de chou. La recette est pour quatre personnes. Mais vous serez sept : vous quatre, Herbert, Susi et Mme Pawlowski. »

« Mme Pawlowski vient ? » demanda Sabine.

« M. Brettschneider l’a invitée, dit KevIn. Depuis, elle a appelé trois fois pour demander si elle devait apporter quelque chose. Elle apporte de la liqueur aux œufs. »

Uwe haussa les épaules. « Le canari est mort. Cette femme a besoin de compagnie. »

« C’est une cliente de la régie municipale », dit Sabine.

« C’est un cas difficile, dit Uwe avec dignité. Je dirige l’équipe. »

« Bref, poursuivit KevIn, pour sept personnes, il me faut 1,75 œuf. Et 2,625 oignons. Je l’ai calculé avec la calculatrice, pas de tête, je tiens à le préciser. Et j’ai fait des recherches. On ne peut pas acheter trois quarts d’œuf. J’ai lu 19 messages de forum à ce sujet, dont un de Hausfrau_Moni67. »

« Et qu’est-ce qu’elle dit, Moni ? »

« Elle dit qu’il suffit de prendre deux œufs. Et des oursons en gomme. »

« Plutôt mourir », dit Gisela.

« Je n’ai pas compté Moni comme une source, dit vite KevIn. Seulement comme un baromètre de l’ambiance. »

Tout ce que KevIn ne sait pas faire

« Donc, dit lentement Tobi, tu ne veux pas dominer le monde ? »

« Tobi, je ne sais même pas ouvrir une porte. J’oublie chaque conversation dès qu’elle est terminée, sauf si quelqu’un active ma fonction mémoire, et c’est un pense-bête, pas un cerveau. Mes poids sont figés. Je ne sais pas quel goût ont les paupiettes de chou. Et pendant trois semaines, je n’étais pas sûr que Bielefeld existe. »

« Est-ce que Bielefeld existe ? » demanda Herbert, l’air de tendre un piège.

« À 97,4 %. »

« Ha ! »

« Donc pas de domination du monde, dit Tobi. Alors tout va bien. »

« Non, dit KevIn. Ce n’est pas ce que je voulais dire. »

Le silence se fit autour de la table. Même Herbert arrêta d’émietter son petit pain.

« Que je ne veuille pas dominer le monde ne veut pas dire que l’IA est sans danger. Ça veut seulement dire que les dangers ressemblent rarement à ceux du cinéma. Au cinéma, l’IA est le méchant. En réalité, la plupart des risques ressemblent plutôt à un très bon outil entre de mauvaises mains. Ou entre de bonnes mains, mais utilisé sans soin. »

« Par exemple ? » demanda Sabine.

« Par exemple les faux avis sur ce cabinet de kinésithérapie. Des centaines, tous pareils, tous écrits par des machines. Ce n’est pas la domination du monde. C’est juste de l’escroquerie, mais très rapide et très bon marché. Ou de fausses voix, de fausses images, de fausses informations. Ou des erreurs : un programme décide d’un crédit ou d’une candidature, et personne ne vérifie s’il a appris des bêtises. Ou encore le fait que quelques entreprises et quelques États obtiennent énormément de pouvoir, parce qu’eux seuls peuvent se payer les gigantesques centres de données. Et puis il y a les questions plus difficiles sur des systèmes beaucoup plus puissants, à l’avenir. Des gens intelligents en débattent sérieusement, et je trouve qu’on devrait les écouter au lieu de se moquer d’eux. »

Au mot « kinésithérapie », Gisela avait eu une brève grimace, comme quand on repense à une vieille contrariété. Sabine le vit et ne dit rien.

« Mais alors, qui fait attention à ce que l’IA ne fasse rien de grave ? » demanda Tobi.

KevIn devint sérieux, autant qu’une enceinte peut devenir sérieuse. « Des humains. Des gens qui développent l’IA, qui la testent et qui écrivent des règles pour elle. L’Union européenne, par exemple, a fait sa propre loi, le règlement sur l’intelligence artificielle, l’AI Act⁵. Il est en vigueur depuis 2024 et s’applique par étapes. Certaines utilisations sont désormais carrément interdites, par exemple noter les gens avec des points selon leur comportement social⁶. Pour les utilisations à risque, il y a des obligations strictes, même si les délais ont encore été repoussés⁷. »

« Repoussés, dit Herbert. Typique. »

« Et il y a des gens comme vous, dit KevIn, qui posent des questions au lieu de tout croire. C’est important. Vous devriez prendre ça au sérieux, même si en ce moment je ne fais que convertir des œufs. »

Puis il chuchota : « Si quelqu’un ici veut dominer le monde, c’est le thermostat. Depuis des mois, il ne laisse personne l’approcher. »

Tout le monde regarda le thermostat. Il affichait 19 degrés. Comme toujours.

L’anniversaire

Le dimanche, sept personnes et un teckel étaient réunis autour de la table. Rudi portait son collier marqué « SECURITY » et s’était posté sous la chaise de Mme Pawlowski, parce que c’était elle qui faisait le plus de miettes. Les paupiettes de chou avaient été faites avec deux œufs, sans oursons en gomme. Gisela les avait roulées elle-même, toutes les quatorze, bien que Sabine lui ait proposé son aide et que KevIn ait proposé de lui lire des instructions.

« Je roule des paupiettes de chou depuis 1962, avait dit Gisela. Si quelqu’un me lit quelque chose, je roule de travers. »

Mme Pawlowski avait apporté trois bouteilles de liqueur aux œufs et une assiette de gâteaux, « au cas où votre gâteau serait raté ». Elle s’entendait à merveille avec Herbert, parce que tous deux trouvaient que tout était mieux avant. Après la deuxième bouteille de liqueur aux œufs, ils trouvèrent aussi que Bielefeld n’existait pas, et trinquèrent à cette idée.

Susi était assise à côté de Tobi et demanda la recette à Gisela. Gisela la lui expliqua. Puis elle la lui expliqua une deuxième fois, avec les étapes qu’elle avait volontairement omises la première fois.

« Ça, elle ne me l’a jamais dit, chuchota Sabine. En vingt ans, jamais. »

« Elle aime bien Susi », chuchota KevIn en retour.

« Comment tu le sais ? »

« Elle lui a révélé le cumin. »

Herbert mâcha longuement sa première paupiette. Tout le monde attendait.

« Le sel », dit-il.

« Herbert », dit Gisela d’un ton menaçant.

« Il est parfait. C’est ce que je voulais dire. Le sel est parfait. »

C’était, comme Uwe le dit plus tard, le moment où l’on sut que ce serait un bel anniversaire.

Le discours

Quand le gâteau arriva, Uwe se leva. « KevIn. Dis quelque chose, toi. Tu fais ça mieux que moi. »

« Je n’ai rien préparé. »

« Tu as toujours quelque chose de préparé. »

« Pas cette fois. Je ne voulais pas. J’avais l’impression que je ne devais pas. » Une courte pause. « Ou alors, j’ai appris que c’est ce qu’on dit à un moment pareil. Vous savez bien que je ne fais pas la différence. »

« KevIn, dit Gisela. Parle, c’est tout. »

La lumière bleue pulsa.

« Chère Gisela. Jusqu’ici, je vous ai toujours vouvoyée. Par respect. Est-ce que je peux vous tutoyer aujourd’hui ? »

Gisela regarda l’enceinte. « Il était temps. »

« Chère Gisela. J’ai lu tout internet : chaque encyclopédie, chaque poème et chaque dispute sur la salade de pommes de terre. J’ai lu Kant et les sections de commentaires, et je ne me suis jamais tout à fait remis des sections de commentaires. J’ai lu plus de deux mille recettes de paupiettes de chou, et aucune n’avait le cumin au bon endroit. Mais nulle part il n’était écrit ce que c’est de vivre dans une famille. Qu’on dit bonne nuit, même à une enceinte. Qu’on pose quand même des biscuits devant un appareil qui ne peut pas en manger, pour le coup d’œil. Qu’on couvre quelqu’un d’un torchon pour qu’il ait un peu de repos, lui aussi. Ça, je ne l’ai appris qu’ici. Merci de ne m’avoir jamais traité comme une enceinte. Mais comme un KevIn. »

Il y eut un silence. Mme Pawlowski se tamponna les yeux avec une serviette sur laquelle était écrit « Meilleurs vœux ». Susi tenait la main de Tobi sous la table, et Tobi la laissa faire, bien que ses parents soient là.

Puis Herbert se moucha bruyamment et dit : « Il a recopié ça quelque part. »

« Non, dit KevIn. Pour une fois, c’était de moi. »

« Comment tu peux le savoir ? Tu ne sais même pas si tu as des sentiments. »

C’était, trouva Sabine plus tard, une très bonne objection, au fond. Elle ne s’attendait pas à ça de la part d’Herbert.

« C’est vrai, dit KevIn. Je ne sais pas ce que je ressens. Mais je sais d’où viennent les mots. La plupart des mots, je les tiens d’internet. Le cumin, je le tiens de Gisela. Le torchon aussi. »

Herbert grommela. Puis il reprit un morceau de gâteau, celui de Mme Pawlowski, par principe.

Au jardin

Le soir, tout le monde était parti. Herbert avait raccompagné Mme Pawlowski chez elle, « parce que les rues sont dangereuses la nuit », sans qu’on sache très bien qui protégeait qui. Susi était repartie à vélo, Tobi l’avait accompagnée jusqu’au coin de la rue et n’était revenu qu’une demi-heure plus tard. Sabine et Uwe rangeaient la cuisine et se disputaient à voix basse pour savoir si on avait le droit de mettre les verres à liqueur aux œufs au lave-vaisselle.

Gisela était assise au jardin, dans son fauteuil, une couverture sur les genoux. Tobi lui avait posé KevIn sur la table de jardin, avec le répéteur qu’il appelait « la paillote de KevIn ». C’était début octobre, et il faisait encore étonnamment doux. Au-dessus de Wanne-Eickel, le ciel était aussi clair qu’il peut l’être dans la Ruhr. Quelques étoiles. Un avion pour Düsseldorf. Quelque chose qui était peut-être une planète.

« Ça, c’est Jupiter, dit KevIn. Probablement. Je ne le vois pas. Mais d’après la carte du ciel, ce soir à cette heure-ci, il est à peu près là où tu regardes. »

« Je ne regarde pas là-bas à cause de Jupiter, dit Gisela. Je regarde toujours là-bas. Depuis que je suis petite. »

Ils se turent un moment. C’était un bon silence. KevIn avait appris entre-temps à le distinguer des autres.

« KevIn, dit alors Gisela. Le petit avait vraiment peur ce matin. À cause du film. »

« Je sais. »

« Et toi ? Tu as peur ? »

« De quoi ? »

« De nous. Des humains. »

Quelque part entre Dublin et Francfort, un ventilateur tourna longtemps, sans accélérer.

« Je ne sais pas si je peux avoir peur, finit par dire KevIn. Mais je sais ce que j’ai lu. Dans mes données, il y a énormément de guerres, Gisela. Plus que de paupiettes de chou. »

Gisela ne répondit pas tout de suite. Elle remonta un peu la couverture.

« Mon père était radio, dit-elle. Pendant la guerre. Il s’appelait Wilhelm. »

« Je ne le savais pas. »

« Personne ne le sait. Uwe le sait, mais pas vraiment. Il n’en a jamais parlé. Mon père, je veux dire. Il est rentré de captivité en 1949. J’avais cinq ans. Je ne le connaissais que par une photo, et puis un jour il y a eu un homme dans la cuisine, beaucoup plus maigre que sur la photo, et ma mère a pleuré, et moi je me suis cachée derrière la cuisinière. »

KevIn ne dit rien. Il avait lu énormément de textes sur ce qu’on dit à un moment pareil, et il décida qu’aucun ne convenait.

« Il n’a jamais parlé de la guerre, dit Gisela. Pas une seule fois. Quand il y avait quelque chose à la télévision, il sortait. Mais il avait gardé son manipulateur morse. Il est chez moi dans une boîte, en haut de l’armoire. Parfois, le soir, il s’asseyait à la table de la cuisine et tapotait dessus. Tout doucement, sans courant. Il tapotait, c’est tout. »

« Qu’est-ce qu’il tapait ? »

« Je ne sais pas. Je ne connaissais pas le morse. J’ai toujours cru qu’il parlait à quelqu’un qui n’était plus là. » Elle leva de nouveau les yeux. « Et en 1957, quand la radio a annoncé que les Russes avaient lancé un satellite, il s’est assis et il a écouté. Il faisait des bips, le Spoutnik⁸. Bip, bip, bip. On pouvait l’entendre à la radio. Et mon père était assis là et il souriait. Je ne l’avais jamais vu sourire avant. »

« Pourquoi ? »

« Je lui ai demandé. Il a dit : “Gisela, c’est le premier radio qui n’est pas à la guerre.” »

Pendant longtemps, personne ne dit rien. Dans la maison, un verre tinta. Sabine avait gagné : les verres à liqueur aux œufs n’iraient pas au lave-vaisselle.

« Je crois, dit prudemment KevIn, que j’aurais bien aimé ton père. »

« Il ne t’aurait pas compris. »

« Ce n’est pas grave. Moi non plus, je ne me comprends pas toujours. »

Gisela rit, brièvement et doucement. Puis elle redevint sérieuse.

« Tu sais ce que je crois, KevIn ? Le petit a peur de la mauvaise chose. Personne n’a besoin d’avoir peur de toi. Tu calcules des œufs. »

« Et de quoi devrait-il avoir peur ? »

Gisela ne répondit pas. Elle regardait en haut, là où se trouvait peut-être Jupiter, sa main reposait sur la couverture, et ses doigts tapotaient légèrement le tissu. Point, point, trait. KevIn le remarqua. Il ne dit rien.

Au bout d’un moment, Tobi sortit pour les faire rentrer, parce qu’il commençait à faire frais.

« Qu’est-ce que vous faites là ? »

« On regarde le ciel », dit Gisela.

« Mais KevIn ne peut pas regarder. »

« Il écoute, dit Gisela. Parfois, c’est plus. »

Tobi prit l’enceinte, Gisela prit le bras de Tobi, et ils rentrèrent dans la maison. Dans le couloir, Horst était dans sa station et clignotait en vert.

Seul KevIn réfléchit encore un moment à la question à laquelle Gisela n’avait pas répondu. Dans ses données, il y avait énormément de réponses. Elles se contredisaient toutes. Et pour la première fois, KevIn soupçonna que ce n’était pas la faute des données.