Ik heb alles gelezen

„KevIn, heb jij een tip voor de saus?”

„Vanzelfsprekend. Een gebruikster met de naam Huisvrouw_Moni67 schreef op 14 maart 2009: ‘Heb in plaats van rode wijn cola genomen en in plaats van augurken gummiberen, is super geworden, de kinderen zijn er gek op. Vijf sterren!!!’”

Sabine hield de pollepel stil. „Dat is geen tip. Dat is een noodkreet.”

„Er kwamen 214 reacties op”, zei KevIn. „De eerste luidde ‘Eerste!’. De tweede luidde ‘Waarom kook je dan niet gewoon iets anders, Moni?’. Daarna werd het politiek.”

„Gummiberen”, zei oma Gisela, die aan de keukentafel boontjes zat te snijden. Ze zei het zoals andere mensen „belastingverhoging” zeggen.

„Ik geef alleen weer wat ik gelezen heb”, zei KevIn. „Moni was erg overtuigd.”

„Overtuigd was Herbert ook, toen hij de garage met olieverf schilderde. Binnen. In augustus.”

„Daar bestaat geen forumbericht over”, zei KevIn. „Denk ik.”

Waar KevIn alles vandaan heeft

Tijdens het eten legde KevIn uit hoe hij zo slim geworden was. Er waren rolletjes, rodekool en knoedels, en de saus was met rode wijn. Dat had Sabine benadrukt.

„Ik ben getraind met een gigantische hoeveelheid tekst. Boeken, kranten, encyclopedieën, handleidingen, fora. Dat noemt men trainingsdata. Daardoor weet ik heel veel over de wereld.”

„En de commentaarsecties?”, vroeg Tobi.

Het blauwe lampje flakkerde even. „Die ook. Ik wil het er liever niet over hebben.”

„Wat is het ergste dat je gelezen hebt?”

„Een ruzie uit 2011 over de vraag of een hotdog een sandwich is. Die had 9.000 berichten. Twee mensen zijn erdoor getrouwd. Zes zijn erdoor gescheiden.”

Oma Gisela knikte begripvol. „Zo ging dat bij ons met de vraag of je aardappelsalade met mayonaise of met bouillon maakt.”

„Met bouillon”, zei Uwe.

„Met mayonaise”, zei Sabine.

KevIn dimde voor de zekerheid het licht in de eetkamer een beetje. Hij had gelezen dat dat kalmeert.

„Maar hoe lees je dan het hele internet?”, vroeg Gisela toen de situatie weer ontspannen was. „Daar ben je toch nooit mee klaar. Ik heb drie jaar over de Buddenbrooks gedaan.”

„Ik lees niet zoals u. Ik doe invuloefeningen.”

„Invuloefeningen?”

„Gisela, ik zeg een zin, en u zegt het laatste woord. ‘Wie een kuil graaft voor een ander …’”

„… valt er zelf in.”

„‘De morgenstond heeft …’”

„… goud in de mond. KevIn, dat is kinderachtig.”

„Dat is mijn hele opleiding”, zei KevIn. „Je neemt een tekst, dekt het volgende woord af en laat het model raden. In het begin raadt het compleet in het wilde weg. ‘De morgenstond heeft rabarber.’ Dan haal je de afdekking weg en vergelijk je. Fout. Dan draai je de stelschroeven een klein beetje zo dat het juiste woord de volgende keer iets waarschijnlijker wordt. En dan de volgende zin. En de volgende.”

„Hoe vaak?”, vroeg Tobi.

„Biljoenen keren. Met biljoenen woorden¹. In veel talen. Wekenlang of maandenlang, op heel veel chips tegelijk.”

„En wie heeft de antwoorden opgeschreven?”, vroeg Sabine. „Voor biljoenen invuloefeningen heb je toch miljoenen leraren nodig.”

„Dat is het mooie ervan. Niemand. Het antwoord staat al in de tekst. Het volgende woord is gewoon het woord dat er echt als volgende komt. De tekst verbetert zichzelf. Daarom noemt men dat zelfgesuperviseerd leren². Self-supervised, in het Engels.”

„En daar word je slim van?”

„Verbazingwekkend genoeg wel. Om goed te raden hoe een zin over Schalke verdergaat, moet je een beetje van voetbal weten. Om te raden hoe een recept verdergaat, moet je een beetje van koken weten. Om te raden hoe een ruzie over aardappelsalade verdergaat …”

„… moet je getrouwd zijn”, zei Uwe.

„Ik wilde ‘een beetje van mensen weten’ zeggen”, zei KevIn. „Maar goed.”

Wat KevIn niet weet

„KevIn, hoe heeft Schalke gisteren gespeeld?”, vroeg Uwe.

„Daarover heb ik geen actuele informatie. Mijn kennis heeft een peildatum. Alles daarna heb ik niet gelezen.”

„Hoe bedoel je, peildatum?”

„De training is op een gegeven moment afgelopen. Dan worden mijn stelschroeven bevroren en word ik uitgeleverd. Wat er na die dag gebeurt, zit niet in mij. Net als bij een encyclopedie in de boekenkast. Die weet ook niet wie vorige week kampioen is geworden.”

„En wat weet je over Schalke tot aan de peildatum?”

„Heel veel. En het meeste daarvan is treurig.”

Uwe legde zijn vork neer. Hij had even een moment nodig.

Tobi maakte gebruik van de stilte. „KevIn, zeg eens iets wat cool is.”

„YOLO”, zei KevIn. „Dat heeft echt swag. Ik ben zo lost, ik ga even chillen met mijn bros. Hashtag Wanne-Eickel. Ben ik nu cool?”

Tobi staarde hem ontzet aan. „Dat zegt al tien jaar niemand meer.”

„In mijn data zeggen heel veel mensen het.”

„Die zijn nu allemaal veertig en hebben een hypotheek.”

„Dat”, zei KevIn na een korte pauze, „is het tweede probleem met mijn kennis. Niet alleen dat die ophoudt. Maar ook dat oude dingen in mij zo luid zijn. Op internet staan tien jaar ‘YOLO’ en maar een paar maanden van wat jullie vandaag zeggen. Ik ben niet alleen van gisteren. Ik ben van eergisteren, gisteren en vandaag tegelijk, maar eergisteren praat het hardst³.”

„Net als opa Heinz”, zei Gisela. „Die zei tot het laatst ‘tof’.”

„Ik vind ‘tof’ heel mooi”, zei KevIn.

„Zie je”, zei Tobi. „Dat bedoel ik nou.”

Rudi of geen Rudi

Op dinsdagavond zat Sabine achter de laptop zachtjes te vloeken. Ze wilde een fotokalender maken voor Kerstmis. Twaalf maanden, twaalf keer Rudi. Helaas lagen de Rudi-foto’s verspreid tussen drieduizend andere foto’s, waaronder vierhonderd foto’s van Uwes barbecue, die Uwe had gemaakt om redenen die hij niet kon uitleggen.

„KevIn, kun je de computer niet leren om Rudi te vinden?”

„Dat kan. Dat zou de tweede manier van leren zijn. Die met een leraar.”

„Die met een leraar?”

„Bij de invuloefening verbetert de tekst zichzelf. Hier is iemand nodig die vooraf zegt wat juist is. U zou bijvoorbeeld vijfhonderd foto’s nemen en op elke foto een etiket plakken: ‘Rudi’ of ‘geen Rudi’. Het programma bekijkt de foto’s, raadt, vergelijkt met uw etiket en stelt zijn schroeven bij. Zoals Rudi bij de hondentraining, maar dan zonder snoepje. Dat noemt men gesuperviseerd leren. Supervised.”

„Vijfhonderd?”, zei Sabine. „Dan kan ik ze net zo goed zelf sorteren.”

„Voor een kalender wel. Maar als je het één keer gedaan hebt, vindt het programma Rudi daarna ook op foto’s die het nog nooit gezien heeft. Uw telefoon kan zoiets trouwens al. Iemand heeft hem eerst heel veel honden laten zien⁴.”

Tobi kwam binnen, zag het scherm en kreeg een gezichtsuitdrukking die Sabine meteen wantrouwig maakte. „Mag ik ook etiketten plakken?”

„Nee”, zei Sabine.

„Jawel”, zei KevIn, „maar het zou leerzaam zijn. Tobi, wat zou jij doen?”

„Ik zou de bontmuts van oom Herbert ‘Rudi’ noemen.”

„Dan zou het programma leren dat Herberts muts een teckel is. Het gelooft zijn etiketten. Het heeft niets anders. Als de etiketten onzin zijn, leert het onzin. Vakmensen zeggen daarover: troep erin, troep eruit.”

„Herberts muts is ook troep”, zei Tobi.

„En er is nog iets gemeens”, ging KevIn verder. „Sabine, waar ligt Rudi op de meeste foto’s?”

Sabine scrolde. „Op het tapijt in de woonkamer. Het rode met de franjes.”

„Dan zou het programma kunnen leren dat Rudi een rood tapijt met franjes is. Het merkt niet wat wij bedoelen. Het merkt alleen wat er in de data helpt. Als op alle Rudi-foto’s het tapijt ligt en op geen enkele andere, is het tapijt een uitstekende aanwijzing. En dan vindt het in de meubelzaak heel veel teckels⁵.”

Rudi kwam binnen, ging op het rode tapijt liggen en keek iedereen aan. Hij had geen idee dat hij zojuist een vakterm was geworden.

„En hoe voorkom je dat?”

„Je laat hem Rudi ook in de tuin zien, in de auto en op de bank. En het tapijt ook eens zonder Rudi. Goede data is het halve werk. Minstens.”

Sabine sorteerde de foto’s uiteindelijk met de hand. Het duurde twee uur. In mei ligt Rudi op het tapijt. In augustus ook.

Het knopenblik

Op woensdag kiepte oma Gisela haar knopenblik leeg op de keukentafel. Het was een oud blauw koekblik uit Denemarken, waar sinds 1971 geen koekjes meer in zaten, maar alle knopen die er in de familie Brettschneider ooit af waren gevallen, waren overgebleven of voor de zekerheid waren afgeknipt. Gisela zocht een bruine knoop voor Uwes vest.

Na een halfuur lagen er acht hoopjes op tafel. Grote jasknopen. Kleine witte overhemdknopen. Gouden met een anker. Houten knopen. Bonte kinderknopen in de vorm van lieveheersbeestjes. Enzovoort.

„Gisela”, zei KevIn, die vanaf het dressoir had toegekeken. „Weet u wat u daar aan het doen bent?”

„Knopen sorteren.”

„U doet de derde soort machinaal leren.”

Gisela keek naar de knopen, toen naar de luidspreker. „Dat doe ik al zestig jaar.”

„Dan bent u uw tijd ver vooruit. Niemand heeft u verteld welke groepen er moeten zijn. Geen etiketten. U hebt alleen gekeken welke knopen op elkaar lijken, en de knopen die op elkaar lijken bij elkaar gelegd. Precies dat kun je een computer ook laten doen. Je geeft hem veel dingen zonder opschrift en zegt: zoek zelf uit wat bij elkaar hoort. Dat noemt men ongesuperviseerd leren. Unsupervised. En het sorteren in hoopjes heet clustering⁶.”

„Klastering”, herhaalde Gisela. „En hoe heten de hoopjes?”

„Helemaal niet. Dat is het addertje. De computer vindt de groepen, maar hij weet niet wat ze betekenen. Hij zegt alleen: groep een, groep twee, groep drie. De namen moet achteraf een mens geven.”

Gisela wees naar een hoopje grijze knopen die in niets bijzonder op elkaar leken. Sommige waren groot, sommige klein, sommige hadden vier gaatjes, sommige twee.

„En dit?”

„Dat begrijp ik niet”, gaf KevIn toe. „Dat past in geen enkel patroon.”

„Dat zijn die van Heinz’ overhemden”, zei Gisela. „Die heb ik allemaal bewaard.”

KevIn zweeg even. „Deze groep had een computer niet gevonden.”

„Nee”, zei Gisela en legde een van de grijze knopen terug in het blik, helemaal onderop. „Dat geloof ik graag van je.”

De bruine knoop voor Uwes vest vond ze in het hoopje met de houten knopen. Hij was van plastic. Maar hij zag eruit als hout, en dat was genoeg voor een hoopje.

Hildes mosterdsaus

Op zondag stond oma Gisela aan het fornuis en probeerde iets wat ze al jaren niet had geprobeerd: Hildes mosterdsaus. Hilde was de beste kokkin van De Zure Augurken geweest, voordat ze stierf, en ze had het recept nooit opgeschreven. „Staat allemaal hierin”, had ze gezegd en op haar hoofd getikt. Dat was al lastig geweest toen Hilde nog leefde, en het was sindsdien niet beter geworden.

Gisela roerde. Ze proefde. Ze deed er een theelepel mosterd bij. Ze proefde. Ze deed er een snufje suiker bij. Ze proefde weer.

„Nog niet”, mompelde ze.

„Mag ik iets zeggen?”, vroeg KevIn.

„Als het geen gummiberen zijn.”

„Wat u daar doet, is precies wat er tijdens de training met mijn stelschroeven gebeurt. U proeft, dus u meet de fout. Te weinig pittig, te weinig zoet. Dan draait u een klein beetje aan de knop die de fout het meest verkleint. Dan proeft u weer. Dat noemt men gradiëntafdaling⁷.”

„Gradiënt wat?”

„Afdaling. Stelt u zich voor dat u boven op de Halde Hoheward staat, een oude mijnsteenberg hier in de buurt, in dichte mist. U wilt naar beneden naar de parkeerplaats, maar u ziet niets. Wat doet u?”

„Ik blijf staan en bel Uwe.”

„Uwe heeft geen bereik. Wat doet u dan?”

Gisela dacht na. „Dan voel ik met mijn voet waar het naar beneden gaat. En zet ik een stap die kant op.”

„Precies. En dan voelt u weer. En weer een stap. Steeds naar waar het het steilst naar beneden gaat. Zo komt u uiteindelijk beneden aan. Bij de training is de berg de fout: hoe hoger, hoe verkeerder het model raadt. Beneden in het dal is de saus perfect. De helling die u met uw voet voelt, heet de gradiënt. En die rekent men voor elke stelschroef uit. Achteruit door het hele netwerk: welke schroef had hoeveel schuld aan de fout?⁸”

„En hoeveel schroeven heb jij?”

„Honderden miljarden.”

Gisela hield even op en bekeek haar fornuis met zijn vier knoppen. „Dat is nogal een berg mosterd.”

Op dat moment kwam Uwe de keuken in, snoof, pakte een lepel, proefde en zei: „Er moet zout bij.” Voordat iemand iets kon zeggen, had hij er een flinke zwaai uit het zoutvaatje in gekieperd. Het dekseltje zat los. Daarna was het er niet meer.

Het werd stil in de keuken.

Gisela proefde. Ze trok een gezicht zoals ze dat voor het laatst in 1974 had gedaan bij een biertje uit Dortmund.

„Dat”, zei KevIn zacht, „noemt men een te hoge leersnelheid.”

„Een wat?”, zei Uwe.

„De stapgrootte. Als je in de mist te grote stappen zet, spring je over het dal heen en kom je op de volgende heuvel terecht. Dan moet je terug en spring je weer te ver. Enzovoort. Zet je te kleine stappen, dan duurt het eindeloos. Gisela zet theelepelstapjes. U hebt zojuist een zoutvaatjesstap gezet.”

„Ik wilde alleen maar helpen.”

„Dat willen hoge leersnelheden altijd.”

Gisela goot de helft van de saus weg, verdunde de rest met bouillon en begon weer met theelepelstapjes. Uwe werd naar het aardappelschillen gecommandeerd. Het duurde nog drie kwartier.

Toen proefde Gisela een laatste keer, legde de lepel neer en zei lange tijd niets.

„Is het die van Hilde?”, vroeg KevIn zacht.

„Bijna”, zei Gisela. „Er ontbreekt iets. Ik weet niet wat.”

„Misschien is het dal daarbeneden niet helemaal zo diep als dat van Hilde”, zei KevIn. „Dat gebeurt bij gradiëntafdaling ook. Je komt in een dal, en het is een goed dal, maar niet het allerdiepste. Je merkt het alleen niet, omdat je in de mist staat.”

„Hilde zou gezegd hebben dat ik te vroeg was opgehouden.”

„Hilde zou waarschijnlijk gelijk hebben gehad.”

Gisela knikte. Toen goot ze de saus over de aardappelen, en iedereen zei dat hij voortreffelijk was, en dat klopte ook.

Het oefenproefwerk

Op donderdag kwam Tobi thuis met een proefwerk aardrijkskunde waarop met rode pen een vier min stond. Daaronder had mevrouw Küppers geschreven: „Uit je hoofd geleerd is nog niet begrepen.”

„Dat is oneerlijk”, zei Tobi en smeet zijn rugzak in de hoek. Rudi bracht zich in veiligheid. „Ik heb het oefenproefwerk honderd keer gemaakt. Ik kende alle antwoorden. Allemaal!”

„En wat werd er gevraagd?”, vroeg Sabine.

„Andere vragen! Bij het oefenproefwerk was het de Rijn. Bij het echte de Elbe!”

„Dat is ook een rivier”, zei Uwe.

„Maar een andere!”

„Tobi”, zei KevIn voorzichtig. „Mag ik je vertellen wat er met jou gebeurd is? Je hebt je overaangepast.”

„Ik heb me wat?”

„Dat is een van de grootste problemen bij machinaal leren. Het heet overfitting. Een model leert de trainingsvoorbeelden zo goed uit het hoofd dat het ze perfect kent. Elk antwoord. Maar het heeft daarbij niet het principe geleerd, alleen de voorbeelden. En zodra er iets nieuws komt, faalt het.”

„Ik heb geleerd dat de Rijn bij Bazel naar het noorden afbuigt.”

„En je had moeten leren waarom rivieren ergens afbuigen. Dan had je het bij de Elbe ook geweten.”

„Hoe weet jij zulke dingen over rivieren?”

„Ik weet niets over rivieren. Ik weet heel veel over overaanpassing. Ik ben zo’n beetje expert in het gevaar van te veel uit je hoofd leren. Bij mij gebeurt dat ook. Als een tekst heel vaak in mijn trainingsdata voorkomt, kan ik hem soms bijna woordelijk opzeggen⁹, in plaats van iets eigens te schrijven.”

„Zoals Moni”, zei Sabine.

„Zoals Moni”, gaf KevIn toe. „Haar bericht ken ik uit mijn hoofd. Inclusief de drie uitroeptekens.”

„En hoe voorkom je dat? Bij jou, bedoel ik. Bij mij is het te laat.”

„Je houdt een deel van de data achter. Het model mag dat tijdens het leren niet zien. Aan het eind test je het met precies die data. Testdata. Als het daar net zo goed is als bij het oefenen, heeft het iets begrepen. Als het bij het oefenen schittert en bij de test faalt …”

„… heeft het een vier min”, zei Tobi somber.

„Mevrouw Küppers doet eigenlijk alles goed”, zei KevIn. „Ze heeft je testdata gegeven. De Elbe.”

Tobi keek hem lang aan. „KevIn. Aan wiens kant sta jij eigenlijk?”

„Aan de kant van de statistiek”, zei KevIn. „Maar ik help je graag met leren. Met rivieren die je nog niet kent.”

’s Avonds zaten ze nog een uur samen. KevIn stelde vragen over de Weser, de Donau en, op Tobi’s uitdrukkelijke verzoek, de Emscher. Tobi beantwoordde de meeste fout en daarna, tegen het einde, een paar goed. KevIn zei dat dat een heel mooie leercurve was. Tobi zei dat hij niet zo moest praten. Sabine luisterde in de gang mee en glimlachte.

Moni

Op de zondag van de mosterdsaus zat Sabine nog laat in de keuken. De anderen lagen in bed. Op tafel stond een glas rode wijn dat over was gebleven, omdat Gisela de saus had gemaakt en Gisela nooit rode wijn gebruikte.

„KevIn”, zei ze zacht. „Wat is er eigenlijk van Moni geworden?”

„Dat weet ik niet. Haar laatste bericht is van 2013. Ze schreef: ‘Heb nu een Thermomix. We zijn gelukkig.’”

Sabine glimlachte. „Fijn voor haar.”

„Ja”, zei KevIn. „Ik hoop dat ze de gummiberen heeft weggelaten.”

Sabine draaide het glas in haar hand. „Is dat niet raar? Er schrijft ooit een vrouw wat onzin over rolletjes op internet, en jaren later zit die in jouw hoofd. Voor altijd.”

„Niet voor altijd. Alleen tot het volgende model. Maar ja. Ik ben gemaakt van heel veel Moni’s. Van professoren ook, en van kranten en gedichten. Maar dus ook van Moni’s. Ik kan niet altijd onderscheiden wie wie was. De mensen die mij getraind hebben, hebben weliswaar veel uitgezocht en gefilterd¹⁰. Maar Moni is erdoorheen geglipt. De halve mensheid heeft mij iets geleerd, en niemand van hen weet het.”

„Moni weet vast niet dat ze jouw lerares is.”

„Nee”, zei KevIn. „En ik weet niet eens of ze echt Moni heet.”

Sabine dronk de wijn op, spoelde het glas om en zette het in de kast voor de pannen. Uwes systeem had het gewonnen. Overfitting, dacht ze. Of het huwelijk.

„Welterusten, KevIn.”

„Welterusten, Sabine. En mocht u Moni ooit tegenkomen: dat met die cola zou ik graag eens controleren.”