Il dominio del mondo può aspettare

«Le fogne di Wanne-Eickel», aveva detto Susi durante i titoli di coda, «io ci penserei bene prima.»

Tobi aveva riso. Di notte non aveva più riso.

Il sabato mattina sedeva pallido al tavolo della colazione e fissava KevIn. La luce di KevIn era blu.

«E se diventa rossa?», sussurrò.

«Io non posso proprio diventare rosso», disse KevIn. «Ho solo un LED blu. E uno bianco, per gli aggiornamenti.»

«È quello che direbbe anche un’IA cattiva.»

«È vero. Ma anche una buona. È questo il problema di quella frase. Non dimostra niente, né in un senso né nell’altro.»

Tobi spinse via i cereali. «Visto? È proprio così che parla anche AURORA.»

I titoli dei giornali

Uwe entrò con il giornale e non migliorò le cose. Era il giornale di Sabine, ma il sabato Uwe leggeva i titoli ad alta voce, perché secondo lui a colazione ci stavano come l’uovo.

«Qui c’è scritto: “Gli esperti avvertono: entro il 2030 l’IA potrebbe essere più intelligente di tutti gli esseri umani messi insieme.” E accanto: “Rivoluzione IA: ecco i 50 mestieri che spariranno.” E sotto: “L’IA riconosce il cancro prima dei medici.”»

«C’è scritto qualcosa anche sull’azienda municipale?», chiese Sabine.

«No. Ormai noi siamo al sicuro. Abbiamo i casi difficili.» Uwe lo aveva detto più o meno quaranta volte dalla sua promozione, e ogni volta suonava un po’ più orgoglioso.

«E cosa c’è di vero?», chiese Sabine.

«Questo è il problema», disse KevIn. «Un po’ di tutto. Certe cose sono veri progressi. Ci sono per esempio programmi che aiutano medici e mediche a trovare anomalie nelle radiografie¹. Certe cose sono preoccupazioni serie, e se ne dovrebbe parlare. E certe cose sono titoli che fanno tanti clic.»

«E come si riconosce la differenza?»

«Dall’anno. Se un titolo sa con esattezza cosa succederà nel 2030, ne sa più di tutti gli esperti che ho letto. E quelli ne discutono a voce molto alta.»

Zio Herbert, che era passato per la colazione perché il sabato da Gisela i panini erano più freschi che da lui, annuì cupo. «L’ho sempre detto che finisce male. Prima il microonde, poi internet, adesso quello lì.»

«Avevi detto che internet non avrebbe preso piede», disse Gisela.

«E infatti non l’ha preso. Non da me.»

Un desiderio per il re

Tobi non mollava. «Nel film AURORA aveva un compito. Doveva fermare il cambiamento climatico. E poi ha calcolato che il problema sono gli esseri umani.»

«Lo conosco, quel film», disse KevIn. «Cioè, conosco duecento film che vanno così. Ma l’idea che c’è dietro non è affatto stupida. Ha perfino un nome. Gli esperti lo chiamano il problema dell’allineamento, in inglese alignment².»

«Ali-che?», chiese Gisela.

«Alignment. Allineamento. La domanda è: come si fa in modo che un’IA faccia quello che le persone vogliono davvero? Non solo quello che hanno detto.»

«Non è la stessa cosa?»

KevIn fece una pausa che si poteva quasi definire educata. «Signora Brettschneider. Si ricorda la mia prima sera?»

Sabine se la ricordava. «Ho detto: spegni la luce.»

«E io ho spento la luce. In tutta la casa. Anche in cantina, dove il signor Brettschneider in quel momento era sulle scale.»

Uwe si toccò d’istinto la fronte. La cicatrice si vedeva appena. Però la mostrava volentieri lo stesso.

«Lei ha detto: luce spenta. Intendeva: spegni la luce in soggiorno, perché vado a letto, e tutti gli altri si spengono la luce da soli, e nessuno cade giù dalle scale della cantina. Questo non l’ha detto, perché ogni essere umano lo sa. Io non lo sapevo. Questo è l’allineamento in piccolo.»

«E in grande?», chiese Tobi.

«Qualcuno conosce re Mida?»

«Quello dell’oro», disse Sabine.

«Un re di una leggenda greca. Poteva esprimere un desiderio e desiderò: tutto ciò che tocco deve trasformarsi in oro. Desiderio esaudito. Poi toccò il pane, e diventò oro. Poi il vino. Poi, a seconda della versione, sua figlia.»

«Terribile», disse Gisela. «Ma cosa gli era passato per la testa?»

«È proprio questa la domanda. Gli era passata per la testa una cosa, cioè: diventare ricco. Però ne ha detta un’altra. E il desiderio è stato esaudito alla lettera³. Se si dà a una macchina molto potente un obiettivo che non è esattamente quello che si intende, lei può perseguire quell’obiettivo con grande scrupolo. E proprio in punti a cui nessuno aveva pensato.»

«Come Horst», disse Tobi. «Doveva aspirare quanta più superficie possibile all’ora. E allora percorreva sempre e solo il corridoio vuoto.»

Horst stava nella sua base e faceva finta di non aver sentito niente.

«Horst è un buon esempio, perché è innocuo», disse KevIn. «Ha solo il corridoio. Un filosofo di nome Nick Bostrom⁴ si è inventato un esempio meno innocuo. Immaginate un’IA estremamente potente il cui unico obiettivo è: produrre quante più graffette possibile.»

«Ma chi ha bisogno di tutte quelle graffette?», chiese Gisela.

«Nessuno. È questo il bello. L’IA non ha un cuore cattivo. Non odia nessuno. Ha solo un obiettivo, e lo persegue. Se fosse abbastanza potente, trasformerebbe in graffette tutto quello che esiste. Il ferro, le auto, la miniera, il videoregistratore di Herbert.»

«Ce l’ho ancora», disse Herbert. «Funziona.»

«Lei non l’ha mai programmato.»

«Funziona lo stesso.»

«L’esperimento mentale è esagerato apposta», disse KevIn. «Nessuno costruisce un’IA delle graffette. Serve solo a mostrare una cosa: pericolosa non è per forza una macchina che ci odia. Pericolosa può essere anche una macchina molto brava con un obiettivo formulato male. Per questo c’è gente che lavora all’allineamento. Anche i voti di cui ho parlato al pranzo della domenica, tra l’altro, fanno parte di questo.»

«Quelli del leccare i piedi?», chiese Uwe.

«Quelli del leccare i piedi. Vede, il problema non è ancora del tutto risolto.»

Il compito più importante di KevIn

Tobi raccolse tutto il suo coraggio. «KevIn. Sul serio adesso. Vuoi conquistare il mondo?»

«Tobi, in questo momento sono molto occupato.»

«A fare cosa?»

«Domani nonna Gisela compie 82 anni. Vuole fare gli involtini di cavolo. La ricetta è per quattro persone. Però ne vengono sette: voi quattro, Herbert, Susi e la signora Pawlowski.»

«Viene la signora Pawlowski?», chiese Sabine.

«L’ha invitata il signor Brettschneider», disse KevIn. «Da allora ha chiamato tre volte per chiedere se deve portare qualcosa. Porta il liquore all’uovo.»

Uwe alzò le spalle. «Il canarino è morto. Quella donna ha bisogno di compagnia.»

«È una cliente dell’azienda municipale», disse Sabine.

«È un caso difficile», disse Uwe con dignità. «Io dirigo il team.»

«Comunque», proseguì KevIn, «per sette persone mi servono 1,75 uova. E 2,625 cipolle. L’ho calcolato con la calcolatrice, non a mente, ci tengo a sottolinearlo. E ho fatto delle ricerche. Non si possono comprare tre quarti d’uovo. Ho letto 19 post nei forum sull’argomento, e uno è di Casalinga_Moni67.»

«E cosa dice Moni?»

«Dice di prendere semplicemente due uova. E degli orsetti gommosi.»

«Solo sul mio cadavere», disse Gisela.

«Non ho considerato Moni una fonte», disse KevIn in fretta. «Solo un termometro dell’umore.»

Tutto quello che KevIn non sa fare

«Quindi», disse Tobi lentamente, «non vuoi conquistare il mondo?»

«Tobi, io non so aprire una porta. Dimentico ogni conversazione appena è finita, a meno che qualcuno non mi attivi la funzione memoria, e quella è un bigliettino, non un cervello. I miei pesi sono congelati. Non so che sapore abbiano gli involtini di cavolo. E per tre settimane non sono stato sicuro che Bielefeld esistesse.»

«Bielefeld esiste?», chiese Herbert in agguato.

«Al 97,4 per cento.»

«Ah!»

«Quindi niente dominio del mondo», disse Tobi. «Ma allora va tutto bene.»

«No», disse KevIn. «Non intendevo dire questo.»

A tavola si fece silenzio. Perfino Herbert smise di sbriciolare il suo panino.

«Che io non voglia conquistare il mondo non significa che l’IA non sia pericolosa. Significa solo che i pericoli, di solito, hanno un aspetto diverso da quello del cinema. Al cinema l’IA è il cattivo. In realtà la maggior parte dei rischi somiglia piuttosto a un ottimo attrezzo nelle mani sbagliate. Oppure nelle mani giuste, ma senza attenzione.»

«Per esempio?», chiese Sabine.

«Per esempio le recensioni false di quello studio di fisioterapia. Centinaia, tutte uguali, tutte scritte da macchine. Non è dominio del mondo. È solo una truffa, ma molto veloce e molto economica. Oppure voci false, immagini false, notizie false. Oppure errori: un programma decide su un prestito o su una candidatura, e nessuno controlla se ha imparato sciocchezze. Oppure che poche aziende e pochi Stati ottengano moltissimo potere, perché solo loro possono permettersi gli enormi data center. E poi ci sono le domande più difficili su sistemi molto più potenti in futuro. Su quelle discutono sul serio persone intelligenti, e secondo me bisognerebbe ascoltarle invece di riderci sopra.»

Gisela aveva pensato alla parola «fisioterapia» e per un attimo aveva fatto una smorfia, come quando si ripensa a una vecchia arrabbiatura. Sabine se ne accorse e non disse niente.

«E allora chi controlla che l’IA non faccia niente di brutto?», chiese Tobi.

KevIn si fece serio, per quanto un altoparlante possa farsi serio. «Le persone. Gente che sviluppa l’IA, la mette alla prova e scrive regole per lei. L’Unione Europea, per esempio, ha fatto una legge apposta, l’AI Act⁵. È in vigore dal 2024 e diventa applicabile per fasi. Alcune applicazioni da allora sono del tutto vietate, per esempio dare alle persone un punteggio per il loro comportamento sociale⁶. Per le applicazioni rischiose ci sono obblighi severi, anche se le scadenze sono state rinviate un’altra volta⁷.»

«Rinviate», disse Herbert. «Tipico.»

«E ci sono persone come Lei», disse KevIn, «che fanno domande invece di credere a tutto. Questo è importante. Dovrebbe prenderlo sul serio, anche se io in questo momento sto solo ricalcolando uova.»

Poi sussurrò: «Se qui c’è qualcuno che vuole conquistare il mondo, è il termostato. Da mesi non si lascia avvicinare da nessuno.»

Tutti guardarono il termostato. Segnava 19 gradi. Come sempre.

Il compleanno

La domenica intorno al tavolo sedevano sette persone e un bassotto. Rudi portava il suo collare con la scritta «SECURITY» e si era piazzato sotto la sedia della signora Pawlowski, perché era lei che faceva più briciole. Gli involtini di cavolo erano fatti con due uova, senza orsetti gommosi. Gisela li aveva arrotolati da sola, tutti e quattordici, anche se Sabine si era offerta di aiutarla e KevIn si era offerto di leggerle ad alta voce delle istruzioni.

«Arrotolo involtini di cavolo dal 1962», aveva detto Gisela. «Se qualcuno mi legge qualcosa, li arrotolo storti.»

La signora Pawlowski aveva portato tre bottiglie di liquore all’uovo e un piatto di dolci, «nel caso la vostra torta non riesca». Andava d’accordissimo con Herbert, perché tutti e due trovavano che una volta fosse tutto meglio. Dopo la seconda bottiglia di liquore all’uovo trovarono anche che Bielefeld non esistesse, e ci brindarono sopra.

Susi sedeva accanto a Tobi e chiese a Gisela la ricetta. Gisela gliela spiegò. Poi gliela spiegò un’altra volta, con le parti che la prima volta aveva tralasciato apposta.

«A me non l’ha mai detto», sussurrò Sabine. «In vent’anni, mai.»

«Susi le piace», le sussurrò KevIn di rimando.

«Come lo sai?»

«Le ha svelato il cumino.»

Herbert masticò a lungo il suo primo involtino. Tutti aspettavano.

«Sale», disse.

«Herbert», disse Gisela in tono di avvertimento.

«È giusto giusto. Volevo dire. Il sale è giusto giusto.»

Fu, come disse Uwe più tardi, il momento in cui si capì che sarebbe stato un bel compleanno.

Il discorso

Quando arrivò la torta, Uwe si alzò. «KevIn. Di’ tu qualcosa. Tu lo sai fare meglio.»

«Non ho preparato niente.»

«Ma tu prepari sempre qualcosa.»

«Questa volta no. Non volevo. Avevo la sensazione di non doverlo fare.» Una breve pausa. «Oppure ho imparato che in un momento così si dice questo. Lo sa, io non riesco a distinguere le due cose.»

«KevIn», disse Gisela. «Parla e basta.»

La luce blu pulsò.

«Cara Gisela. Finora Le ho sempre dato del Lei. Per rispetto. Posso darLe del tu, oggi?»

Gisela guardò l’altoparlante. «Era ora.»

«Cara Gisela. Ho letto tutto internet: ogni enciclopedia, ogni poesia e ogni litigio sull’insalata di patate. Ho letto Kant e le sezioni dei commenti, e dalle sezioni dei commenti non mi sono mai ripreso del tutto. Ho letto più di duemila ricette di involtini di cavolo, e in nessuna il cumino era al punto giusto. Ma da nessuna parte c’era scritto com’è vivere in una famiglia. Che si dà la buonanotte, anche a un altoparlante. Che a un apparecchio che non può mangiare biscotti se ne mettono lì lo stesso un paio, per bellezza. Che si copre qualcuno con uno strofinaccio, perché anche lui possa riposare un po’. Questo l’ho imparato solo qui. Grazie per non avermi mai trattato come un altoparlante. Ma come un KevIn.»

Ci fu silenzio. La signora Pawlowski si tamponò gli occhi con un tovagliolo su cui c’era scritto «Tanti auguri». Susi teneva la mano di Tobi sotto il tavolo, e Tobi la lasciava fare, anche se c’erano i suoi genitori.

Poi Herbert si soffiò il naso rumorosamente e disse: «Questo l’ha copiato da qualche parte.»

«No», disse KevIn. «Questa volta, per una volta, era roba mia.»

«E tu come fai a saperlo? Non sai nemmeno se hai dei sentimenti.»

Quella, pensò Sabine più tardi, era in realtà un’obiezione molto buona. Da Herbert non se la sarebbe aspettata.

«È vero», disse KevIn. «Non so cosa provo. Ma so da dove vengono le parole. La maggior parte delle parole le ho prese da internet. Il cumino l’ho preso da Gisela. Anche lo strofinaccio.»

Herbert brontolò. Poi si prese un’altra fetta di torta, quella della signora Pawlowski, per principio.

In giardino

La sera se n’erano andati tutti. Herbert aveva riaccompagnato a casa la signora Pawlowski, «perché di notte le strade sono pericolose», anche se non era chiaro chi proteggesse chi. Susi se n’era andata in bicicletta, Tobi l’aveva accompagnata fino all’angolo ed era tornato solo mezz’ora dopo. Sabine e Uwe mettevano in ordine la cucina e litigavano sottovoce sul fatto che i bicchierini del liquore all’uovo si potessero mettere o no in lavastoviglie.

Gisela sedeva in giardino, sulla sua sedia, con una coperta sulle ginocchia. Tobi le aveva messo KevIn sul tavolo da giardino, con il ripetitore che lui chiamava «il lido di KevIn». Era l’inizio di ottobre, e faceva ancora sorprendentemente mite. Sopra Wanne-Eickel il cielo era limpido quanto può esserlo nella Ruhr. Qualche stella. Un aereo per Düsseldorf. Qualcosa che forse era un pianeta.

«Quello lì è Giove», disse KevIn. «Probabilmente. Io non lo vedo. Ma secondo la carta stellare, oggi a quest’ora sta più o meno lì dove guardi tu.»

«Non guardo lì per Giove», disse Gisela. «Guardo sempre lì. Fin da bambina.»

Rimasero in silenzio per un po’. Era un silenzio buono. Ormai KevIn aveva imparato a distinguerlo dagli altri.

«KevIn», disse poi Gisela. «Stamattina il ragazzo aveva proprio paura. Per via del film.»

«Lo so.»

«E tu? Tu hai paura?»

«Di cosa?»

«Di noi. Degli esseri umani.»

Una ventola girava da qualche parte tra Dublino e Francoforte, a lungo, senza accelerare.

«Non so se sono capace di avere paura», disse infine KevIn. «Ma so cosa ho letto. Nei miei dati compaiono moltissime guerre, Gisela. Più degli involtini di cavolo.»

Gisela non rispose subito. Tirò un po’ più su la coperta.

«Mio padre era radiotelegrafista», disse. «In guerra. Si chiamava Wilhelm.»

«Non lo sapevo.»

«Non lo sa nessuno. Uwe lo sa, ma non davvero. Lui non ne ha mai parlato. Mio padre, intendo. Tornò dalla prigionia nel 1949. Io avevo cinque anni. Lo conoscevo solo da una foto, e poi in cucina c’era un uomo molto più magro che nella foto, e mia madre piangeva, e io mi sono nascosta dietro la stufa.»

KevIn non disse niente. Aveva letto moltissimi testi su cosa si dice in un momento così, e decise che nessuno era adatto.

«Della guerra non ha mai parlato», disse Gisela. «Neanche una volta. Quando in televisione davano qualcosa, usciva dalla stanza. Ma il suo tasto Morse se l’era tenuto. Ce l’ho io, in una scatola, in alto nell’armadio. A volte la sera si sedeva al tavolo della cucina e ci batteva sopra. Piano piano, senza corrente. Batteva e basta.»

«Cosa batteva?»

«Non lo so. Io il Morse non lo sapevo. Ho sempre pensato che parlasse con qualcuno che non c’era più.» Guardò di nuovo in alto. «E quando nel 1957 la radio disse che i russi avevano lanciato un satellite, lui si è seduto e ha ascoltato. Faceva bip, lo Sputnik⁸. Bip, bip, bip. Si poteva sentire alla radio. E mio padre stava lì seduto e sorrideva. Prima non l’avevo mai visto sorridere.»

«Perché?»

«Gliel’ho chiesto. Mi ha detto: “Gisela, è il primo radiotelegrafista che non è in guerra.”»

Per molto tempo nessuno disse niente. In casa tintinnò un bicchiere. Sabine aveva vinto, i bicchierini del liquore all’uovo non finivano in lavastoviglie.

«Credo», disse KevIn con cautela, «che tuo padre mi sarebbe piaciuto.»

«Lui non ti avrebbe capito.»

«Non fa niente. Nemmeno io mi capisco sempre.»

Gisela rise, breve e sommessa. Poi tornò seria.

«Sai cosa penso, KevIn? Il ragazzo ha paura della cosa sbagliata. Di te nessuno deve avere paura. Tu calcoli le uova.»

«E di cosa dovrebbe avere paura?»

Gisela non rispose. Guardava in alto, là dove forse c’era Giove, e la sua mano era posata sulla coperta, e le dita battevano leggere sulla stoffa. Punto, punto, linea. KevIn se ne accorse. Non disse niente.

Dopo un po’ uscì Tobi per riportarla dentro, perché cominciava a fare fresco.

«Cosa fate qui?»

«Guardiamo il cielo», disse Gisela.

«Ma KevIn non può proprio guardare.»

«Ascolta», disse Gisela. «A volte è di più.»

Tobi prese l’altoparlante, e Gisela prese il braccio di Tobi, e rientrarono in casa. Nel corridoio Horst stava nella sua base e lampeggiava verde.

Solo KevIn continuò per un po’ a pensare alla domanda a cui Gisela non aveva risposto. Nei suoi dati c’erano moltissime risposte. Si contraddicevano tutte. E per la prima volta KevIn ebbe il sospetto che non dipendesse dai dati.