Tradotto dall’originale tedesco. La storia si svolge nella Ruhr, in Germania.

Parte 1 · Capitolo 4 · 4 di 27

Ho letto tutto

Sabine stava preparando gli involtini di manzo. Li faceva solo nelle occasioni speciali. Oggi era una di quelle, perché per la prima volta da mesi Uwe aveva svuotato la lavastoviglie senza che nessuno glielo chiedesse. Nel farlo aveva messo i bicchieri nell’armadietto delle pentole, ma Sabine aveva deciso di non dire niente. Si loda il tentativo, non il risultato. Con Tobi aveva funzionato, quasi sempre.

«KevIn, hai un consiglio per il sugo?»

«Certamente. Un’utente di nome Casalinga_Moni67 ha scritto il 14 marzo 2009: “Al posto del vino rosso ho messo la Coca-Cola e al posto dei cetriolini gli orsetti gommosi, è venuto benissimo, i bambini lo adorano. Cinque stelle!!!”»

Sabine fermò il mestolo. «Questo non è un consiglio. È una richiesta d’aiuto.»

«Ha ricevuto 214 risposte», disse KevIn. «La prima diceva “Primo!”. La seconda diceva “E allora perché non cucini semplicemente qualcos’altro, Moni?”. Dopo è diventata una questione politica.»

«Orsetti gommosi», disse nonna Gisela, che al tavolo della cucina stava spuntando i fagiolini. Lo disse come altri dicono «aumento delle tasse».

«Riporto solo quello che ho letto», disse KevIn. «Moni era molto convinta.»

«Anche Herbert era convinto, quando ha verniciato il garage con la pittura a olio. Dentro. Ad agosto.»

«Su questo non c’è nessun post nei forum», disse KevIn. «Credo.»

Da dove KevIn ha preso tutto

A cena KevIn spiegò come fosse diventato così intelligente. C’erano involtini, cavolo rosso e canederli, e il sugo era fatto con il vino rosso. Sabine ci aveva tenuto a sottolinearlo.

«Sono stato addestrato con un’enorme quantità di testo. Libri, giornali, enciclopedie, manuali di istruzioni, forum. Si chiamano dati di addestramento. È per questo che so moltissime cose sul mondo.»

«E le sezioni dei commenti?», chiese Tobi.

La luce blu tremolò per un attimo. «Anche quelle. Preferirei non parlarne.»

«Qual è la cosa peggiore che hai letto?»

«Una lite del 2011 sulla questione se un hot dog sia un panino. Aveva 9.000 messaggi. Due persone si sono sposate per questo. Sei hanno divorziato.»

Nonna Gisela annuì comprensiva. «Da noi era così con la questione se l’insalata di patate si fa con la maionese o con il brodo.»

«Con il brodo», disse Uwe.

«Con la maionese», disse Sabine.

Per precauzione KevIn abbassò un po’ la luce in sala da pranzo. Aveva letto che calma gli animi.

«Ma come si fa a leggere tutto internet?», chiese Gisela, quando la situazione si fu distesa. «Non si finisce mai. Io ci ho messo tre anni per i Buddenbrook.»

«Io non leggo come Lei. Io gioco a completare le frasi.»

«A completare le frasi?»

«Gisela, io dico una frase e Lei dice l’ultima parola. “Chi dorme …”»

«… non piglia pesci.»

«“Il mattino ha …”»

«… l’oro in bocca. KevIn, è roba da bambini.»

«È tutto il mio percorso di studi», disse KevIn. «Si prende un testo, si copre la parola successiva e si fa indovinare il modello. All’inizio tira a indovinare a casaccio. “Il mattino ha il rabarbaro in bocca.” Poi si scopre la parola e si confronta. Sbagliato. Allora si regolano le manopole un pochino, in modo che la parola giusta la volta dopo sia un po’ più probabile. E poi la frase successiva. E quella dopo.»

«Quante volte?», chiese Tobi.

«Migliaia di miliardi di volte. Con migliaia di miliardi di parole¹. In molte lingue. Per settimane o mesi, su moltissimi chip contemporaneamente.»

«E chi ha scritto le soluzioni?», chiese Sabine. «Per migliaia di miliardi di frasi da completare servirebbero milioni di insegnanti.»

«È questo il bello. Nessuno. La soluzione c’è già nel testo. La parola successiva è semplicemente la parola che viene davvero dopo. Il testo si corregge da solo. Per questo si chiama apprendimento autosupervisionato². Self-supervised, in inglese.»

«E così si diventa intelligenti?»

«Sorprendentemente sì. Per indovinare bene come continua una frase sullo Schalke bisogna sapere un po’ di calcio. Per indovinare come continua una ricetta bisogna sapere un po’ di cucina. Per indovinare come continua una lite sull’insalata di patate …»

«… bisogna essere sposati», disse Uwe.

«Volevo dire “sapere un po’ di esseri umani”», disse KevIn. «Ma va bene.»

Quello che KevIn non sa

«KevIn, come ha giocato ieri lo Schalke?», chiese Uwe.

«Non ho informazioni aggiornate in merito. Le mie conoscenze hanno una data limite. Tutto quello che viene dopo non l’ho letto.»

«Come, data limite?»

«A un certo punto l’addestramento finisce. Allora le mie manopole vengono congelate e io vengo messo in commercio. Quello che succede dopo quel giorno non è dentro di me. Come un’enciclopedia sullo scaffale. Nemmeno lei sa chi ha vinto il campionato la settimana scorsa.»

«E che cosa sai dello Schalke fino alla data limite?»

«Moltissimo. E la maggior parte è triste.»

Uwe posò la forchetta. Gli serviva un momento.

Tobi approfittò del silenzio. «KevIn, di’ qualcosa di figo.»

«YOLO», disse KevIn. «Questa cosa ha un sacco di swag. Sono troppo lost, mi chillo un po’ con i miei bro. Hashtag Wanne-Eickel. Adesso sono figo?»

Tobi lo fissò inorridito. «Non lo dice più nessuno da dieci anni.»

«Nei miei dati lo dicono in tantissimi.»

«Adesso hanno tutti quarant’anni e un mutuo.»

«Questo», disse KevIn dopo una breve pausa, «è il secondo problema delle mie conoscenze. Non solo che finiscono. Ma anche che le cose vecchie dentro di me fanno così tanto rumore. Su internet ci sono dieci anni di “YOLO” e solo pochi mesi di quello che dite voi oggi. Non sono solo di ieri. Sono dell’altro ieri, di ieri e di oggi contemporaneamente, ma l’altro ieri parla più forte di tutti³.»

«Come nonno Heinz», disse Gisela. «Lui fino all’ultimo ha detto “fichissimo”.»

«Io trovo “fichissimo” molto bello», disse KevIn.

«Vedi?», disse Tobi. «È proprio questo che intendo.»

Rudi o non Rudi

Il martedì sera Sabine era seduta al portatile e imprecava a bassa voce. Voleva fare un calendario fotografico per Natale. Dodici mesi, dodici volte Rudi. Purtroppo le foto di Rudi erano sparse tra altre tremila foto, tra cui quattrocento immagini del barbecue di Uwe, che Uwe aveva scattato per motivi che non sapeva spiegare.

«KevIn, non si può insegnare al computer a trovare Rudi?»

«Si può. Sarebbe il secondo modo di imparare. Quello con l’insegnante.»

«Quello con l’insegnante?»

«Quando si completano le frasi, il testo si corregge da solo. Qui invece serve qualcuno che dica prima che cosa è giusto. Lei per esempio prenderebbe cinquecento foto e attaccherebbe un’etichetta su ognuna: “Rudi” oppure “non Rudi”. Il programma guarda le foto, tira a indovinare, confronta con la Sua etichetta e regola le sue manopole. Come Rudi all’addestramento per cani, solo senza croccantini. Si chiama apprendimento supervisionato. Supervised.»

«Cinquecento?», disse Sabine. «Allora tanto vale che le smisti da sola.»

«Per un calendario sì. Ma una volta fatto, il programma poi trova Rudi anche nelle foto che non ha mai visto. Il Suo cellulare, tra l’altro, sa già farlo. Qualcuno prima gli ha mostrato moltissimi cani⁴.»

Tobi entrò, vide lo schermo e assunse un’espressione che rese Sabine subito sospettosa. «Posso attaccare le etichette anch’io?»

«No», disse Sabine.

«Sì», disse KevIn, «e sarebbe istruttivo. Tobi, tu che cosa faresti?»

«Etichetterei il colbacco di pelliccia di zio Herbert come “Rudi”.»

«Allora il programma imparerebbe che il colbacco di Herbert è un bassotto. Si fida delle sue etichette. Non ha nient’altro. Se le etichette sono stupidaggini, impara stupidaggini. Gli esperti dicono: spazzatura dentro, spazzatura fuori.»

«Il colbacco di Herbert è spazzatura davvero», disse Tobi.

«E c’è un’altra cosa perfida», proseguì KevIn. «Sabine, dove si trova Rudi nella maggior parte delle foto?»

Sabine scorse le immagini. «Sul tappeto del soggiorno. Quello rosso con le frange.»

«Allora il programma potrebbe imparare che Rudi è un tappeto rosso con le frange. Non capisce che cosa intendiamo noi. Capisce solo che cosa aiuta nei dati. Se il tappeto c’è in tutte le foto di Rudi e in nessun’altra, il tappeto è un indizio eccellente. E poi in un negozio di mobili trova un sacco di bassotti⁵.»

Rudi entrò, si sdraiò sul tappeto rosso e guardò tutti. Non aveva idea di essere appena diventato un termine tecnico.

«E come si evita?»

«Gli si mostra Rudi anche in giardino, in macchina e sul divano. E ogni tanto anche il tappeto senza Rudi. Dei buoni dati sono già metà dell’opera. Come minimo.»

Alla fine Sabine smistò le foto a mano. Ci vollero due ore. A maggio Rudi è sul tappeto. Ad agosto pure.

La scatola dei bottoni

Il mercoledì nonna Gisela rovesciò la sua scatola dei bottoni sul tavolo della cucina. Era una vecchia scatola di latta blu per biscotti danesi, in cui dal 1971 non c’erano più biscotti, ma tutti i bottoni che nella famiglia Brettschneider si erano mai staccati, erano avanzati o erano stati tagliati via per precauzione. Gisela cercava un bottone marrone per il cardigan di Uwe.

Dopo mezz’ora sul tavolo c’erano otto mucchietti. Grandi bottoni da cappotto. Piccoli bottoni bianchi da camicia. Bottoni dorati con l’ancora. Bottoni di legno. Bottoni colorati per bambini a forma di coccinella. E così via.

«Gisela», disse KevIn, che aveva osservato dalla credenza. «Lo sa che cosa sta facendo?»

«Smisto i bottoni.»

«Sta facendo il terzo tipo di apprendimento automatico.»

Gisela guardò i bottoni, poi l’altoparlante. «Lo faccio da sessant’anni.»

«Allora è molto avanti rispetto ai Suoi tempi. Nessuno Le ha detto quali gruppi dovessero esserci. Niente etichette. Ha solo guardato quali bottoni si somigliano e ha messo insieme quelli simili. Si può far fare esattamente la stessa cosa a un computer. Gli si danno tante cose senza etichetta e gli si dice: scopri da solo che cosa va insieme. Si chiama apprendimento non supervisionato. Unsupervised. E lo smistamento in mucchietti si chiama clustering⁶.»

«Claster-ing», ripeté Gisela. «E come si chiamano i mucchietti?»

«In nessun modo. È questo il punto debole. Il computer trova i gruppi, ma non sa che cosa significano. Dice solo: gruppo uno, gruppo due, gruppo tre. I nomi li deve dare dopo un essere umano.»

Gisela indicò un mucchietto di bottoni grigi che non si somigliavano particolarmente in niente. Alcuni erano grandi, altri piccoli, alcuni avevano quattro buchi, altri due.

«E questo?»

«Questo non lo capisco», ammise KevIn. «Non rientra in nessuno schema.»

«Sono quelli delle camicie di Heinz», disse Gisela. «Li ho conservati tutti.»

KevIn rimase in silenzio per un momento. «Questo gruppo un computer non l’avrebbe trovato.»

«No», disse Gisela, e rimise uno dei bottoni grigi nella scatola, giù in fondo. «Ti credo.»

Il bottone marrone per il cardigan di Uwe lo trovò nel mucchietto dei bottoni di legno. Era di plastica. Ma sembrava di legno, e per un mucchietto bastava.

La salsa alla senape di Hilde

La domenica nonna Gisela era ai fornelli e tentava una cosa che non tentava da anni: la salsa alla senape di Hilde. Hilde era stata la cuoca migliore dei Cetrioli Sottaceto, prima di morire, e la ricetta non l’aveva mai scritta. «È tutto qui dentro», aveva detto, toccandosi la testa. Era stato un male quando Hilde era ancora viva, e da allora non era migliorato.

Gisela mescolò. Assaggiò. Aggiunse un cucchiaino di senape. Assaggiò. Aggiunse un pizzico di zucchero. Assaggiò di nuovo.

«Non ancora», mormorò.

«Posso dire una cosa?», chiese KevIn.

«Purché non siano orsetti gommosi.»

«Quello che sta facendo è esattamente ciò che succede alle mie manopole durante l’addestramento. Lei assaggia, cioè misura l’errore. Troppo poco piccante, troppo poco dolce. Poi gira un pochino nel punto che riduce di più l’errore. Poi assaggia di nuovo. Si chiama discesa del gradiente⁷.»

«Discesa di che?»

«Del gradiente. Immagini di stare sulla Halde Hoheward, la collina di detriti di miniera, in cima, con una nebbia fitta. Vuole scendere al parcheggio, ma non vede niente. Che cosa fa?»

«Sto ferma e chiamo Uwe.»

«Uwe non ha campo. E allora che cosa fa?»

Gisela rifletté. «Allora tasto col piede dove si scende. E faccio un passo da quella parte.»

«Esatto. E poi tasta di nuovo. E di nuovo un passo. Sempre dove la discesa è più ripida. Così prima o poi arriva in fondo. Nell’addestramento la montagna è l’errore: più si è in alto, più il modello sbaglia. Giù a valle la salsa è perfetta. La pendenza che sente col piede si chiama gradiente. E la si calcola per ogni manopola. All’indietro attraverso tutta la rete: quanta colpa ha avuto ciascuna manopola nell’errore?⁸»

«E quante manopole hai?»

«Centinaia di miliardi.»

Gisela si fermò un attimo e osservò i suoi fornelli con le loro quattro manopole. «Ma è un mucchio di senape.»

In quel momento Uwe entrò in cucina, annusò, prese un cucchiaio, assaggiò e disse: «Manca il sale.» Prima che qualcuno potesse dire qualcosa, aveva rovesciato dentro una bella dose dalla saliera. Il coperchio era allentato. Dopo non c’era più.

In cucina calò il silenzio.

Gisela assaggiò. Fece una smorfia come l’ultima volta nel 1974, davanti a una birra di Dortmund.

«Questo», disse KevIn con dolcezza, «si chiama tasso di apprendimento troppo alto.»

«Un che cosa?», disse Uwe.

«La lunghezza del passo. Se nella nebbia si fanno passi troppo lunghi, si salta oltre la valle e si atterra sulla collina successiva. Allora bisogna tornare indietro e si salta di nuovo troppo lontano. E così via. Se si fanno passi troppo piccoli, ci si mette un’eternità. Gisela fa passi da cucchiaino. Lei ha appena fatto un passo da saliera.»

«Volevo solo aiutare.»

«È quello che vogliono sempre i tassi di apprendimento alti.»

Gisela buttò via metà della salsa, allungò il resto con il brodo e ricominciò a passi da cucchiaino. Uwe fu spedito a pelare le patate. Ci volle ancora tre quarti d’ora.

Poi Gisela assaggiò un’ultima volta, posò il cucchiaio e a lungo non disse niente.

«È quella di Hilde?», chiese KevIn piano.

«Quasi», disse Gisela. «Manca qualcosa. Non so cosa.»

«Forse quella valle laggiù non è profonda come quella di Hilde», disse KevIn. «Succede anche con la discesa del gradiente. Si arriva in una valle, ed è una buona valle, ma non la più profonda di tutte. Solo che non ce ne si accorge, perché si è nella nebbia.»

«Hilde avrebbe detto che ho smesso troppo presto.»

«Probabilmente Hilde avrebbe avuto ragione.»

Gisela annuì. Poi versò la salsa sulle patate, e tutti dissero che era eccellente, ed era vero.

La verifica di prova

Il giovedì Tobi tornò a casa con una verifica di geografia su cui, in penna rossa, c’era un cinque meno. Sotto la professoressa Küppers aveva scritto: «Imparato a memoria non vuol dire capito.»

«È ingiusto», disse Tobi, e lanciò lo zaino nell’angolo. Rudi si mise in salvo. «Ho fatto la verifica di prova cento volte. Sapevo tutte le risposte. Tutte!»

«E che cosa è uscito?», chiese Sabine.

«Altre domande! Nella verifica di prova c’era il Reno. In quella vera l’Elba!»

«È un fiume anche quello», disse Uwe.

«Ma un altro!»

«Tobi», disse KevIn con cautela. «Posso dirti che cosa ti è successo? Ti sei adattato troppo.»

«Mi sono che cosa?»

«È uno dei problemi più grandi dell’apprendimento automatico. Si chiama overfitting, sovradattamento. Un modello impara gli esempi di addestramento così bene a memoria che li sa perfettamente. Ogni risposta. Ma così facendo non ha imparato il principio, solo gli esempi. E appena arriva qualcosa di nuovo, fallisce.»

«Io ho imparato che il Reno a Basilea gira verso nord.»

«E avresti dovuto imparare perché i fiumi a un certo punto girano. Allora l’avresti saputo anche per l’Elba.»

«Come fai a sapere queste cose sui fiumi?»

«Non so niente dei fiumi. So moltissimo del sovradattamento. Sono praticamente un esperto del pericolo di imparare troppo a memoria. Succede anche a me. Se un testo compare molto spesso nei miei dati di addestramento, a volte riesco a recitarlo quasi parola per parola⁹, invece di scrivere qualcosa di mio.»

«Come Moni», disse Sabine.

«Come Moni», ammise KevIn. «Il suo post lo so a memoria. Compresi i tre punti esclamativi.»

«E come si evita? Per te, intendo. Per me ormai è tardi.»

«Si tiene da parte una porzione dei dati. Il modello non deve vederla mentre impara. Alla fine lo si mette alla prova proprio con quei dati. Dati di test. Se lì va bene come durante l’esercizio, ha capito qualcosa. Se durante l’esercizio brilla e al test fallisce …»

«… prende cinque meno», disse Tobi cupo.

«In fondo la professoressa Küppers fa tutto giusto», disse KevIn. «Ti ha dato dei dati di test. L’Elba.»

Tobi lo guardò a lungo. «KevIn. Ma tu da che parte stai?»

«Dalla parte della statistica», disse KevIn. «Ma ti aiuto volentieri a studiare. Con fiumi che non conosci ancora.»

La sera i due rimasero insieme ancora un’ora. KevIn fece domande sul Weser, sul Danubio e, su espresso desiderio di Tobi, sull’Emscher. Tobi sbagliò quasi tutte le risposte e poi, verso la fine, ne azzeccò qualcuna. KevIn disse che era una curva di apprendimento molto bella. Tobi gli disse di non parlare così. Sabine ascoltava dal corridoio e sorrideva.

Moni

La domenica della salsa alla senape Sabine rimase in cucina fino a tardi. Gli altri erano a letto. Sul tavolo c’era un bicchiere di vino rosso avanzato, perché la salsa l’aveva fatta Gisela, e Gisela il vino rosso non lo usava mai.

«KevIn», disse piano. «Che fine ha fatto Moni?»

«Non lo so. Il suo ultimo post è del 2013. Scriveva: “Adesso ho il Bimby. Siamo felici.”»

Sabine sorrise. «Bene per lei.»

«Sì», disse KevIn. «Spero che abbia lasciato perdere gli orsetti gommosi.»

Sabine fece girare il bicchiere tra le mani. «Non è strano? Una donna a un certo punto scrive una sciocchezza sugli involtini su internet, e anni dopo quella sciocchezza ce l’hai in testa tu. Per sempre.»

«Non per sempre. Solo fino al prossimo modello. Ma sì. Sono fatto di tantissime Moni. Anche di professori, di giornali e di poesie. Ma appunto anche di Moni. Non sempre riesco a distinguere chi era chi. Le persone che mi hanno addestrato hanno sì scartato e filtrato molto¹⁰. Ma Moni è sfuggita. Metà dell’umanità mi ha insegnato qualcosa, e nessuno di loro lo sa.»

«Di sicuro Moni non sa di essere la tua insegnante.»

«No», disse KevIn. «E io non so nemmeno se si chiama davvero Moni.»

Sabine finì il vino, sciacquò il bicchiere e lo mise nell’armadietto delle pentole. Il sistema di Uwe aveva avuto la meglio. Overfitting, pensò. Oppure matrimonio.

«Buonanotte, KevIn.»

«Buonanotte, Sabine. E se mai dovesse incontrare Moni: la storia della Coca-Cola mi piacerebbe verificarla, una volta.»

Sabine prepara gli involtini di manzo e gira il sugo sul fornello; KevIn è sulla credenza. Sabine: KevIn, hai un consiglio per il sugo? KevIn, hai un consiglio per il sugo? Sabine preparava gli involtini di manzo.

Fonti del Capitolo 4

  1. Hoffmann, J. et al.: „Training Compute-Optimal Large Language Models“. Advances in Neural Information Processing Systems 35, 2022. https://arxiv.org/abs/2203.15556 Il modello Chinchilla è stato addestrato con 1,4 bilioni di token.↑
  2. Radford, A. et al.: „Improving Language Understanding by Generative Pre-Training“. OpenAI, rapporto tecnico, 2018. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Pre-addestramento tramite previsione della parola successiva su testo non etichettato.↑
  3. Cheng, J. et al.: „Dated Data: Tracing Knowledge Cutoffs in Large Language Models“. COLM 2024. https://arxiv.org/abs/2403.12958 Lo stato effettivo delle conoscenze è spesso anteriore alla data limite dichiarata, perché nei dati prevalgono i testi vecchi.↑
  4. Deng, J. et al.: „ImageNet: A Large-Scale Hierarchical Image Database“. CVPR 2009. https://doi.org/10.1109/CVPR.2009.5206848↑
  5. Ribeiro, M. T.; Singh, S.; Guestrin, C.: „‚Why Should I Trust You?‘ Explaining the Predictions of Any Classifier“. Proceedings of KDD 2016, p. 1135–1144. https://doi.org/10.1145/2939672.2939778 Contiene un classificatore husky-o-lupo che in realtà riconosce la neve sullo sfondo. In generale: Geirhos, R. et al.: „Shortcut Learning in Deep Neural Networks“. Nature Machine Intelligence 2, 2020, p. 665–673. https://doi.org/10.1038/s42256-020-00257-z↑
  6. Lloyd, S. P.: „Least Squares Quantization in PCM“. IEEE Transactions on Information Theory 28(2), 1982, p. 129–137. https://doi.org/10.1109/TIT.1982.1056489 Il procedimento di clustering oggi noto come k-means.↑
  7. Cauchy, A.: „Méthode générale pour la résolution des systèmes d’équations simultanées“. Comptes rendus hebdomadaires des séances de l’Académie des sciences 25, 1847, p. 536–538. https://archive.org/details/comptesrendusheb25acad Prima descrizione della discesa del gradiente.↑
  8. Rumelhart, D. E.; Hinton, G. E.; Williams, R. J.: „Learning Representations by Back-Propagating Errors“. Nature 323, 1986, p. 533–536. https://doi.org/10.1038/323533a0↑
  9. Carlini, N. et al.: „Extracting Training Data from Large Language Models“. 30th USENIX Security Symposium, 2021. https://www.usenix.org/conference/usenixsecurity21/presentation/carlini-extracting↑
  10. Raffel, C. et al.: „Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer“. Journal of Machine Learning Research 21(140), 2020. https://www.jmlr.org/papers/v21/20-074.html Descrive tra l’altro il filtraggio di un corpus di testi dal web (C4).↑