Przeczytałem wszystko

„KevIn, masz jakąś radę na sos?”

„Oczywiście. Użytkowniczka o nicku Gospodyni_Moni67 napisała 14 marca 2009 roku: ‚Zamiast czerwonego wina dałam colę, a zamiast ogórków żelki misie, wyszło super, dzieci uwielbiają. Pięć gwiazdek!!!’”

Sabine zatrzymała drewnianą łyżkę. „To nie jest rada. To jest wołanie o pomoc.”

„Było pod tym 214 odpowiedzi”, powiedział KevIn. „Pierwsza brzmiała ‚Pierwszy!’. Druga: ‚To czemu po prostu nie ugotujesz czegoś innego, Moni?’. Potem zrobiło się politycznie.”

„Żelki misie”, powiedziała babcia Gisela, która przy kuchennym stole kroiła fasolkę. Powiedziała to tak, jak inni mówią „podwyżka podatków”.

„Ja tylko powtarzam, co przeczytałem”, powiedział KevIn. „Moni była bardzo przekonana.”

„Herbert też był przekonany, kiedy malował garaż farbą olejną. Od środka. W sierpniu.”

„Na ten temat nie ma żadnego wpisu na forum”, powiedział KevIn. „Chyba.”

Skąd KevIn to wszystko ma

Przy obiedzie KevIn wyjaśnił, skąd się wzięła jego mądrość. Były zrazy, czerwona kapusta i kluski, a sos był na czerwonym winie. Sabine to podkreśliła.

„Trenowano mnie na gigantycznej ilości tekstu. Książki, gazety, encyklopedie, instrukcje, fora. Nazywa się to danymi treningowymi. Dzięki temu bardzo dużo wiem o świecie.”

„A sekcje komentarzy?”, zapytał Tobi.

Niebieskie światełko na chwilę zamigotało. „Też. Nie chcę o tym rozmawiać.”

„Co najgorszego przeczytałeś?”

„Kłótnię z 2011 roku o to, czy hot dog jest kanapką. Miała 9000 wpisów. Dwoje ludzi się przez nią pobrało. Sześcioro się rozwiodło.”

Babcia Gisela pokiwała głową ze zrozumieniem. „U nas tak było z pytaniem, czy sałatkę ziemniaczaną robi się z majonezem, czy z rosołem.”

„Z rosołem”, powiedział Uwe.

„Z majonezem”, powiedziała Sabine.

KevIn na wszelki wypadek przyciemnił trochę światło w jadalni. Czytał, że to uspokaja.

„Ale jak się czyta cały internet?”, zapytała Gisela, kiedy sytuacja się rozluźniła. „Przecież tego się nigdy nie skończy. Mnie Buddenbrookowie zajęli trzy lata.”

„Ja nie czytam tak jak pani. Ja gram w uzupełnianie luk.”

„W uzupełnianie luk?”

„Giselo, ja mówię zdanie, a pani mówi ostatnie słowo. ‚Kto pod kim dołki kopie…’”

„…ten sam w nie wpada.”

„‚Kto rano wstaje…’”

„…temu Pan Bóg daje. KevIn, to jest dziecinne.”

„To są całe moje studia”, powiedział KevIn. „Bierze się tekst, zasłania następne słowo i każe modelowi zgadywać. Na początku zgaduje zupełnie na ślepo. ‚Kto rano wstaje, temu rabarbar.’ Potem się odsłania i porównuje. Źle. Wtedy przestawia się śrubki regulacyjne odrobinkę tak, żeby następnym razem właściwe słowo było trochę bardziej prawdopodobne. I następne zdanie. I następne.”

„Ile razy?”, zapytał Tobi.

„Biliony razy. Na bilionach słów¹. W wielu językach. Przez tygodnie albo miesiące, na bardzo wielu chipach jednocześnie.”

„A kto zapisał rozwiązania?”, zapytała Sabine. „Do bilionów luk trzeba by milionów nauczycieli.”

„To jest w tym najpiękniejsze. Nikt. Rozwiązanie już jest w tekście. Następne słowo to po prostu słowo, które naprawdę pojawia się jako następne. Tekst sam się poprawia. Dlatego nazywa się to uczeniem samonadzorowanym². Po angielsku self-supervised.”

„I od tego się mądrzeje?”

„Zdumiewające, ale tak. Żeby dobrze zgadnąć, jak toczy się dalej zdanie o Schalke, trzeba trochę wiedzieć o piłce nożnej. Żeby zgadnąć, jak toczy się dalej przepis, trzeba trochę wiedzieć o gotowaniu. Żeby zgadnąć, jak toczy się dalej kłótnia o sałatkę ziemniaczaną…”

„…trzeba być żonatym”, powiedział Uwe.

„Chciałem powiedzieć ‚trzeba trochę wiedzieć o ludziach’”, powiedział KevIn. „Ale niech będzie.”

Czego KevIn nie wie

„KevIn, jak wczoraj zagrało Schalke?”, zapytał Uwe.

„Nie mam na ten temat aktualnych informacji. Moja wiedza ma datę graniczną. Wszystkiego, co było potem, nie czytałem.”

„Jak to, datę graniczną?”

„Trening w pewnym momencie się kończy. Wtedy moje śrubki zostają zamrożone, a ja trafiam do ludzi. To, co dzieje się po tym dniu, nie jest we mnie. Jak z encyklopedią na półce. Ona też nie wie, kto w zeszłym tygodniu został mistrzem.”

„A co wiesz o Schalke do tej daty?”

„Bardzo dużo. I większość z tego jest smutna.”

Uwe odłożył widelec. Potrzebował chwili.

Tobi wykorzystał ciszę. „KevIn, powiedz coś, co jest cool.”

„YOLO”, powiedział KevIn. „To ma totalny swag. Jestem taki lost, idę chillować z moimi ziomami. Hasztag Wanne-Eickel. Jestem teraz cool?”

Tobi wpatrywał się w niego z przerażeniem. „Tak nikt nie mówi od dziesięciu lat.”

„W moich danych mówi tak bardzo wielu.”

„Oni wszyscy mają teraz po czterdziestce i kredyt hipoteczny.”

„To”, powiedział KevIn po krótkiej przerwie, „jest drugi problem z moją wiedzą. Nie tylko to, że się kończy. Ale też to, że stare rzeczy są we mnie takie głośne. W internecie jest dziesięć lat ‚YOLO’ i tylko kilka miesięcy tego, co wy mówicie dzisiaj. Nie jestem tylko z wczoraj. Jestem z przedwczoraj, z wczoraj i z dzisiaj jednocześnie, ale przedwczoraj mówi najgłośniej³.”

„Jak dziadek Heinz”, powiedziała Gisela. „Do samego końca mówił ‚klawo’.”

„Bardzo mi się podoba ‚klawo’”, powiedział KevIn.

„No widzisz”, powiedział Tobi. „Właśnie o to mi chodzi.”

Rudi albo nie Rudi

We wtorek wieczorem Sabine siedziała przy laptopie i cicho klęła. Chciała zrobić kalendarz ze zdjęciami na święta. Dwanaście miesięcy, dwanaście razy Rudi. Niestety zdjęcia Rudiego były porozrzucane wśród trzech tysięcy innych, w tym czterystu zdjęć grilla Uwego, które Uwe zrobił z powodów, których nie umiał wyjaśnić.

„KevIn, nie da się nauczyć komputera, żeby sam znalazł Rudiego?”

„Da się. To byłby drugi sposób uczenia się. Ten z nauczycielem.”

„Ten z nauczycielem?”

„Przy uzupełnianiu luk tekst sam się poprawia. Tutaj potrzebny jest ktoś, kto wcześniej powie, co jest dobrze. Wzięłaby pani na przykład pięćset zdjęć i do każdego przykleiła etykietkę: ‚Rudi’ albo ‚nie Rudi’. Program ogląda zdjęcia, zgaduje, porównuje z pani etykietką i dokręca swoje śrubki. Jak Rudi na szkoleniu dla psów, tylko bez smakołyków. Nazywa się to uczeniem nadzorowanym. Supervised.”

„Pięćset?”, powiedziała Sabine. „To już mogę sama posortować.”

„Do kalendarza tak. Ale jak się to raz zrobi, program znajdzie potem Rudiego także na zdjęciach, których nigdy nie widział. Pani telefon zresztą już to potrafi. Ktoś mu wcześniej pokazał bardzo dużo psów⁴.”

Wszedł Tobi, zobaczył ekran i zrobił minę, która natychmiast wzbudziła podejrzliwość Sabine. „Mogę też przyklejać etykietki?”

„Nie”, powiedziała Sabine.

„Owszem”, powiedział KevIn, „i to byłoby pouczające. Tobi, co byś zrobił?”

„Opisałbym futrzaną czapkę wujka Herberta jako ‚Rudi’.”

„Wtedy program nauczyłby się, że czapka Herberta to jamnik. Wierzy swoim etykietkom. Nic innego przecież nie ma. Jeśli etykietki są bzdurą, uczy się bzdur. Fachowcy mówią na to: śmieci na wejściu, śmieci na wyjściu.”

„Czapka Herberta to i tak śmieć”, powiedział Tobi.

„Jest jeszcze coś podstępnego”, ciągnął KevIn. „Sabine, gdzie jest Rudi na większości zdjęć?”

Sabine przewinęła. „Na dywanie w salonie. Tym czerwonym z frędzlami.”

„W takim razie program mógłby się nauczyć, że Rudi to czerwony dywan z frędzlami. On nie rozumie, o co nam chodzi. Rozumie tylko, co w danych pomaga. Jeśli na wszystkich zdjęciach Rudiego jest dywan, a na żadnym innym go nie ma, dywan jest znakomitą wskazówką. I wtedy w sklepie meblowym znajduje bardzo dużo jamników⁵.”

Wszedł Rudi, położył się na czerwonym dywanie i popatrzył na wszystkich. Nie miał pojęcia, że właśnie stał się terminem fachowym.

„A jak temu zapobiec?”

„Pokazuje mu się Rudiego też w ogrodzie, w samochodzie i na kanapie. A dywan czasem bez Rudiego. Dobre dane to połowa sukcesu. Co najmniej.”

W końcu Sabine posortowała zdjęcia ręcznie. Zajęło to dwie godziny. W maju Rudi leży na dywanie. W sierpniu też.

Puszka z guzikami

W środę babcia Gisela wysypała na kuchenny stół swoją puszkę z guzikami. Była to stara niebieska puszka po duńskich ciasteczkach, w której od 1971 roku nie było już ciastek, tylko wszystkie guziki, które w rodzinie Brettschneiderów kiedykolwiek odpadły, zostały albo zostały na wszelki wypadek odcięte. Gisela szukała brązowego guzika do swetra Uwego.

Po pół godzinie na stole leżało osiem kupek. Duże guziki od płaszczy. Małe białe od koszul. Złote z kotwicą. Drewniane. Kolorowe dziecięce w kształcie biedronek. I tak dalej.

„Giselo”, powiedział KevIn, który przyglądał się z kredensu. „Czy pani wie, co pani właśnie robi?”

„Sortuję guziki.”

„Uprawia pani trzeci rodzaj uczenia maszynowego.”

Gisela spojrzała na guziki, potem na głośnik. „Robię to od sześćdziesięciu lat.”

„W takim razie wyprzedziła pani swoje czasy. Nikt pani nie powiedział, jakie mają być grupy. Żadnych etykietek. Patrzyła pani tylko, które guziki są do siebie podobne, i kładła pani podobne razem. Dokładnie to samo można kazać zrobić komputerowi. Daje mu się mnóstwo rzeczy bez opisu i mówi: sam znajdź, co do czego pasuje. Nazywa się to uczeniem nienadzorowanym. Unsupervised. A sortowanie na kupki to klasteryzacja⁶.”

„Klasteryzacja”, powtórzyła Gisela. „A jak się nazywają te kupki?”

„Wcale. W tym cały haczyk. Komputer znajduje grupy, ale nie wie, co one znaczą. Mówi tylko: grupa pierwsza, grupa druga, grupa trzecia. Nazwy musi potem nadać człowiek.”

Gisela wskazała kupkę szarych guzików, które niczym szczególnym się nie przypominały. Jedne były duże, inne małe, jedne miały cztery dziurki, inne dwie.

„A to?”

„Tego nie rozumiem”, przyznał KevIn. „To nie pasuje do żadnego wzorca.”

„To są te od koszul Heinza”, powiedziała Gisela. „Wszystkie zachowałam.”

KevIn przez chwilę milczał. „Tej grupy komputer by nie znalazł.”

„Nie”, powiedziała Gisela i włożyła jeden z szarych guzików z powrotem do puszki, na sam spód. „W to ci wierzę.”

Brązowy guzik do swetra Uwego znalazła w kupce z drewnianymi. Był z plastiku. Ale wyglądał jak drewno, a to wystarczyło na kupkę.

Sos musztardowy Hilde

W niedzielę babcia Gisela stała przy kuchence i próbowała czegoś, czego nie próbowała od lat: sosu musztardowego Hilde. Hilde była najlepszą kucharką Kiszonych Ogórków, zanim umarła, i nigdy nie zapisała przepisu. „Wszystko jest tutaj”, mówiła i stukała się w głowę. Było to niedobre, kiedy Hilde jeszcze żyła, i od tamtej pory nie zrobiło się lepsze.

Gisela mieszała. Próbowała. Dodała łyżeczkę musztardy. Próbowała. Dodała szczyptę cukru. Znowu spróbowała.

„Jeszcze nie”, mruknęła.

„Mogę coś powiedzieć?”, zapytał KevIn.

„Jeśli to nie są żelki misie.”

„To, co pani robi, to dokładnie to, co dzieje się z moimi śrubkami podczas treningu. Próbuje pani, czyli mierzy pani błąd. Za mało ostre, za mało słodkie. Potem kręci pani odrobinkę w tym miejscu, które najbardziej zmniejsza błąd. Potem znowu pani próbuje. Nazywa się to metodą spadku gradientu⁷.”

„Spadku czego?”

„Gradientu. Niech pani sobie wyobrazi, że stoi pani na hałdzie Hoheward, na samej górze, w gęstej mgle. Chce pani zejść na parking, ale nic pani nie widzi. Co pani robi?”

„Stoję i dzwonię do Uwego.”

„Uwe nie ma zasięgu. Co pani wtedy robi?”

Gisela się zastanowiła. „To macam nogą, gdzie jest w dół. I robię tam krok.”

„Właśnie. A potem znowu pani maca. I znowu krok. Zawsze tam, gdzie najbardziej stromo w dół. W ten sposób w końcu dociera pani na dół. Przy treningu górą jest błąd: im wyżej, tym gorzej model zgaduje. Na dole w dolinie sos jest idealny. Nachylenie, które czuje pani stopą, nazywa się gradientem. I oblicza się je dla każdej śrubki. Wstecz przez całą sieć: która śrubka ile zawiniła?⁸”

„A ile ty masz tych śrubek?”

„Setki miliardów.”

Gisela na chwilę znieruchomiała i przyjrzała się swojej kuchence z czterema pokrętłami. „To ci dopiero musztardy.”

W tym momencie do kuchni wszedł Uwe, powąchał, wziął łyżkę, spróbował i powiedział: „Brakuje soli.” Zanim ktokolwiek zdążył coś powiedzieć, wsypał do środka porządną porcję z solniczki. Wieczko było luźne. Potem już go nie było.

W kuchni zapadła cisza.

Gisela spróbowała. Skrzywiła się tak, jak ostatnio w 1974 roku przy piwie z Dortmundu.

„To”, powiedział KevIn łagodnie, „nazywa się za dużym współczynnikiem uczenia.”

„Za dużym czym?”, zapytał Uwe.

„Wielkością kroku. Jeśli we mgle robi się za duże kroki, przeskakuje się nad doliną i ląduje na następnym pagórku. Wtedy trzeba wracać i znowu skacze się za daleko. I tak dalej. Jeśli robi się za małe kroki, trwa to wieki. Gisela robi kroki łyżeczkowe. Pan zrobił właśnie krok solniczkowy.”

„Chciałem tylko pomóc.”

„Duże współczynniki uczenia zawsze chcą tylko pomóc.”

Gisela wylała połowę sosu, resztę rozcieńczyła rosołem i zaczęła od nowa krokami łyżeczkowymi. Uwe został oddelegowany do obierania ziemniaków. Trwało to jeszcze trzy kwadranse.

Potem Gisela spróbowała ostatni raz, odłożyła łyżkę i długo nic nie mówiła.

„Czy to sos Hilde?”, zapytał cicho KevIn.

„Prawie”, powiedziała Gisela. „Czegoś brakuje. Nie wiem czego.”

„Może ta dolina na dole nie jest tak głęboka jak dolina Hilde”, powiedział KevIn. „Przy spadku gradientu też się tak zdarza. Dochodzi się do doliny, i to jest dobra dolina, ale nie ta najgłębsza. Tylko się tego nie zauważa, bo stoi się we mgle.”

„Hilde by powiedziała, że za wcześnie przestałam.”

„Hilde miałaby pewnie rację.”

Gisela kiwnęła głową. Potem polała sosem ziemniaki, i wszyscy powiedzieli, że jest znakomity, i to też była prawda.

Próbny sprawdzian

W czwartek Tobi przyniósł do domu sprawdzian z geografii, na którym czerwonym długopisem stała dwója. Pod spodem pani Küppers napisała: „Wykute to nie zrozumiane.”

„To niesprawiedliwe”, powiedział Tobi i rzucił plecak w kąt. Rudi uciekł w bezpieczne miejsce. „Robiłem próbny sprawdzian sto razy. Znałem wszystkie odpowiedzi. Wszystkie!”

„I co było?”, zapytała Sabine.

„Inne pytania! Na próbnym był Ren. Na prawdziwym Łaba!”

„To też jest rzeka”, powiedział Uwe.

„Ale inna!”

„Tobi”, powiedział ostrożnie KevIn. „Mogę ci powiedzieć, co ci się przydarzyło? Przeuczyłeś się.”

„Co ja zrobiłem?”

„To jeden z największych problemów w uczeniu maszynowym. Nazywa się overfitting. Model tak dobrze wkuwa przykłady treningowe, że zna je perfekcyjnie. Każdą odpowiedź. Ale nie nauczył się przy tym zasady, tylko przykładów. A kiedy pojawia się coś nowego, wykłada się.”

„Nauczyłem się, że Ren koło Bazylei skręca na północ.”

„A powinieneś był się nauczyć, dlaczego rzeki gdzieś skręcają. Wtedy wiedziałbyś to też przy Łabie.”

„Skąd ty wiesz takie rzeczy o rzekach?”

„Nic nie wiem o rzekach. Za to bardzo dużo wiem o przeuczeniu. Jestem praktycznie ekspertem od niebezpieczeństwa, że się wykuje za dużo na pamięć. U mnie też tak się zdarza. Jeśli jakiś tekst bardzo często występuje w moich danych treningowych, czasem potrafię go wyrecytować prawie słowo w słowo⁹, zamiast napisać coś własnego.”

„Jak Moni”, powiedziała Sabine.

„Jak Moni”, przyznał KevIn. „Jej wpis znam na pamięć. Razem z trzema wykrzyknikami.”

„A jak temu zapobiec? U ciebie, znaczy. U mnie już za późno.”

„Część danych się odkłada. Modelowi nie wolno ich zobaczyć podczas nauki. Na końcu sprawdza się go właśnie na tych danych. Dane testowe. Jeśli wypada na nich równie dobrze jak przy ćwiczeniach, to coś zrozumiał. Jeśli przy ćwiczeniach błyszczy, a na teście się wykłada…”

„…dostaje dwóję”, powiedział ponuro Tobi.

„Pani Küppers w gruncie rzeczy robi wszystko dobrze”, powiedział KevIn. „Dała ci dane testowe. Łabę.”

Tobi długo mu się przyglądał. „KevIn. Po czyjej ty właściwie jesteś stronie?”

„Po stronie statystyki”, powiedział KevIn. „Ale chętnie pomogę ci w nauce. Na rzekach, których jeszcze nie znasz.”

Wieczorem obaj siedzieli razem jeszcze godzinę. KevIn zadawał pytania o Wezerę, Dunaj i, na wyraźne życzenie Tobiego, o Emscher. Tobi na większość odpowiedział źle, a potem, pod koniec, na kilka dobrze. KevIn powiedział, że to bardzo ładna krzywa uczenia się. Tobi powiedział, żeby tak nie gadał. Sabine słuchała w przedpokoju i się uśmiechała.

Moni

W niedzielę po sosie musztardowym Sabine siedziała jeszcze do późna w kuchni. Reszta była już w łóżkach. Na stole stał kieliszek czerwonego wina, które zostało, bo sos przecież robiła Gisela, a Gisela nigdy nie dawała czerwonego wina.

„KevIn”, powiedziała cicho. „Co się właściwie stało z Moni?”

„Nie wiem. Jej ostatni wpis jest z 2013 roku. Napisała: ‚Mam teraz Thermomix. Jesteśmy szczęśliwi.’”

Sabine się uśmiechnęła. „Dobrze dla niej.”

„Tak”, powiedział KevIn. „Mam nadzieję, że zrezygnowała z żelków.”

Sabine obracała kieliszek w dłoni. „Czy to nie dziwne? Jakaś kobieta pisze kiedyś w internecie bzdurę o zrazach, a po latach ta bzdura siedzi w twojej głowie. Na zawsze.”

„Nie na zawsze. Tylko do następnego modelu. Ale tak. Jestem zrobiony z bardzo wielu Moni. Z profesorów też, z gazet i wierszy. Ale właśnie także z Moni. Nie zawsze potrafię odróżnić, kto był kim. Ludzie, którzy mnie trenowali, sporo wprawdzie odsiali i przefiltrowali¹⁰. Ale Moni się prześlizgnęła. Połowa ludzkości czegoś mnie nauczyła, a nikt z nich o tym nie wie.”

„Moni na pewno nie wie, że jest twoją nauczycielką.”

„Nie”, powiedział KevIn. „A ja nawet nie wiem, czy naprawdę ma na imię Moni.”

Sabine dopiła wino, umyła kieliszek i wstawiła go do szafki na garnki. System Uwego zwyciężył. Overfitting, pomyślała. Albo małżeństwo.

„Dobranoc, KevIn.”

„Dobranoc, Sabine. A gdyby pani kiedyś spotkała Moni: tę sprawę z colą chętnie bym kiedyś sprawdził.”