Panowanie nad światem może poczekać

„Nad kanałami w Wanne-Eickel”, powiedziała Susi przy napisach końcowych, „dobrze bym się najpierw zastanowiła”.

Tobi się roześmiał. W nocy już mu nie było do śmiechu.

W sobotę rano siedział blady przy stole i wpatrywał się w KevIna. Światło KevIna było niebieskie.

„A co, jeśli zrobi się czerwone?”, wyszeptał.

„Ja w ogóle nie mogę zrobić się czerwony”, powiedział KevIn. „Mam tylko niebieską diodę. I białą, od aktualizacji”.

„Zła sztuczna inteligencja też by tak powiedziała”.

„To prawda. Ale dobra też. Na tym polega problem z tym zdaniem. Nie dowodzi niczego ani w jedną, ani w drugą stronę”.

Tobi odsunął musli. „No widzisz. Dokładnie tak samo mówi AURORA”.

Nagłówki

Uwe wszedł z gazetą i wcale nie poprawił sytuacji. To była gazeta Sabine, ale w soboty Uwe czytał na głos nagłówki, bo uważał, że to należy do śniadania tak samo jak jajko.

„Tu piszą: «Eksperci ostrzegają: do 2030 roku AI może być mądrzejsza od wszystkich ludzi razem wziętych». A obok: «Rewolucja AI: te 50 zawodów zniknie». A pod spodem: «AI wykrywa raka wcześniej niż lekarze»”.

„A o miejskim przedsiębiorstwie energetycznym coś piszą?”, zapytała Sabine.

„Nie. My jesteśmy teraz bezpieczni. My mamy trudne przypadki”. Uwe powtarzał to od awansu jakieś czterdzieści razy i za każdym razem brzmiało to odrobinę dumniej.

„I co z tego jest prawdą?”, zapytała Sabine.

„W tym cały problem”, powiedział KevIn. „Po trochu wszystko. Część to prawdziwy postęp. Są na przykład programy, które pomagają lekarkom i lekarzom znajdować niepokojące zmiany na zdjęciach rentgenowskich¹. Część to poważne obawy i o nich trzeba rozmawiać. A część to nagłówek, który się dobrze klika”.

„A jak odróżnić jedno od drugiego?”

„Po dacie. Jeśli nagłówek wie dokładnie, co się stanie w 2030 roku, to wie więcej niż wszyscy fachowcy, których czytałem. A oni kłócą się o to bardzo głośno”.

Wujek Herbert, który wpadł na śniadanie, bo w soboty bułki u Giseli były świeższe niż u niego, ponuro pokiwał głową. „Zawsze mówiłem, że to się źle skończy. Najpierw mikrofalówka, potem internet, a teraz ten tutaj”.

„Mówiłeś, że internet się nie przyjmie”, powiedziała Gisela.

„No bo się nie przyjął. Nie u mnie”.

Życzenie dla króla

Tobi nie odpuszczał. „W filmie AURORA miała zadanie. Miała zatrzymać zmiany klimatu. A potem wyliczyła, że problemem są ludzie”.

„Znam ten film”, powiedział KevIn. „To znaczy znam dwieście filmów, które tak idą. Ale pomysł, który za tym stoi, wcale nie jest głupi. Ma nawet swoją nazwę. Fachowcy nazywają ten problem alignment²”.

„Ali-co?”, zapytała Gisela.

„Alignment. Dopasowanie. Chodzi o pytanie: jak sprawić, żeby AI robiła to, czego ludzie naprawdę chcą? A nie tylko to, co powiedzieli”.

„A to nie jest to samo?”

KevIn zrobił przerwę, którą można by niemal nazwać uprzejmą. „Pani Brettschneider. Czy pani pamięta mój pierwszy wieczór?”

Sabine pamiętała. „Powiedziałam: zgaś światło”.

„A ja zgasiłem światło. W całym domu. Także w piwnicy, gdzie pan Brettschneider akurat schodził po schodach”.

Uwe mimowolnie dotknął czoła. Blizny prawie już nie było widać. Mimo to chętnie ją pokazywał.

„Powiedziała pani: zgaś światło. Miała pani na myśli: zgaś światło w salonie, bo idę spać, a wszyscy inni sami zgaszą swoje światło i nikt nie spadnie ze schodów do piwnicy. Nie powiedziała pani tego, bo każdy człowiek to wie. Ja nie wiedziałem. To jest alignment w małej skali”.

„A w dużej?”, zapytał Tobi.

„Czy ktoś zna króla Midasa?”

„Ten od złota”, powiedziała Sabine.

„Król z greckiego mitu. Mógł sobie czegoś zażyczyć i zażyczył sobie: niech wszystko, czego dotknę, zamienia się w złoto. Życzenie spełnione. Potem dotknął chleba i chleb stał się złotem. Potem wina. Potem, zależnie od wersji, córki”.

„Okropne”, powiedziała Gisela. „Co on sobie przy tym myślał?”

„Właśnie o to chodzi. Coś sobie myślał, mianowicie: chcę być bogaty. Ale powiedział coś innego. I życzenie spełniono dosłownie³. Jeśli bardzo wydajnej maszynie da się cel, który nie jest dokładnie tym, o co chodzi, to ona może ten cel realizować bardzo gruntownie. I to w miejscach, o których nikt nie pomyślał”.

„Jak Horst”, powiedział Tobi. „Miał odkurzyć jak najwięcej powierzchni na godzinę. I potem jeździł tylko po pustym korytarzu”.

Horst stał w swojej stacji i udawał, że nic nie słyszał.

„Horst to dobry przykład, bo jest nieszkodliwy”, powiedział KevIn. „Ma tylko korytarz. Filozof Nick Bostrom⁴ wymyślił przykład, który jest mniej nieszkodliwy. Proszę sobie wyobrazić niezwykle potężną AI, której jedynym celem jest: wyprodukować jak najwięcej spinaczy biurowych”.

„A komu potrzeba tylu spinaczy?”, zapytała Gisela.

„Nikomu. W tym cały dowcip. Ta AI nie ma złego serca. Nikogo nie nienawidzi. Ma tylko cel i do niego dąży. Gdyby była dość potężna, zamieniłaby w spinacze wszystko, co istnieje. Żelazo, samochody, kopalnię, magnetowid Herberta”.

„Jeszcze go mam”, powiedział Herbert. „Działa”.

„Nigdy go pan nie zaprogramował”.

„A i tak działa”.

„Ten eksperyment myślowy jest celowo przesadzony”, powiedział KevIn. „Nikt nie buduje AI od spinaczy. Ma tylko pokazać: groźna niekoniecznie jest maszyna, która nas nienawidzi. Groźna może być też taka, która jest bardzo dobra i ma źle sformułowany cel. Dlatego ludzie pracują nad alignmentem. Ocenianie, o którym opowiadałem przy niedzielnym obiedzie, też do tego należy”.

„To z podlizywaniem się?”, zapytał Uwe.

„To z podlizywaniem się. Widzi pan, problem nie jest jeszcze całkiem rozwiązany”.

Najważniejsze zadanie KevIna

Tobi zebrał się na odwagę. „KevIn. Ale tak szczerze. Chcesz przejąć władzę nad światem?”

„Tobi, jestem teraz bardzo zajęty”.

„Czym?”

„Babcia Gisela kończy jutro 82 lata. Chce zrobić gołąbki. Przepis jest na cztery osoby. A przyjdzie siedem: wy czworo, Herbert, Susi i pani Pawlowski”.

„Pani Pawlowski przyjdzie?”, zapytała Sabine.

„Pan Brettschneider ją zaprosił”, powiedział KevIn. „Od tego czasu dzwoniła trzy razy, żeby zapytać, czy ma coś przynieść. Przyniesie ajerkoniak”.

Uwe wzruszył ramionami. „Kanarek nie żyje. Ta kobieta potrzebuje towarzystwa”.

„To klientka miejskiego przedsiębiorstwa energetycznego”, powiedziała Sabine.

„To trudny przypadek”, powiedział Uwe z godnością. „Kieruję zespołem”.

„W każdym razie”, ciągnął KevIn, „na siedem osób potrzebuję 1,75 jajka. I 2,625 cebuli. Liczyłem na kalkulatorze, nie w pamięci, chciałbym to podkreślić. I zrobiłem research. Nie da się kupić trzech czwartych jajka. Przeczytałem na ten temat 19 wpisów na forach, a jeden z nich jest od Gospodyni_Moni67”.

„I co mówi Moni?”

„Mówi, żeby po prostu wziąć dwa jajka. I żelki misie”.

„Po moim trupie”, powiedziała Gisela.

„Nie uznałem Moni za źródło”, powiedział szybko KevIn. „Tylko za obraz nastrojów”.

Czego KevIn nie potrafi

„Czyli”, powiedział powoli Tobi, „nie chcesz panować nad światem?”

„Tobi, ja nie umiem otworzyć drzwi. Zapominam każdą rozmowę, kiedy się skończy, chyba że ktoś mi włączy funkcję pamięci, a to jest karteczka z notatkami, a nie mózg. Moje wagi są zamrożone. Nie wiem, jak smakują gołąbki. I przez trzy tygodnie nie byłem pewien, czy Bielefeld istnieje”.

„A istnieje Bielefeld?”, zapytał Herbert podstępnie.

„W 97,4 procentach”.

„Ha!”

„Czyli żadnego panowania nad światem”, powiedział Tobi. „No to wszystko jest w porządku”.

„Nie”, powiedział KevIn. „Tego nie chciałem przez to powiedzieć”.

Przy stole zrobiło się cicho. Nawet Herbert przestał skubać swoją bułkę.

„To, że nie chcę panować nad światem, nie znaczy, że AI jest niegroźna. Znaczy tylko, że zagrożenia wyglądają zwykle inaczej niż w kinie. W kinie AI jest czarnym charakterem. W rzeczywistości większość ryzyk przypomina raczej bardzo dobre narzędzie w niewłaściwych rękach. Albo we właściwych rękach, ale bez staranności”.

„Na przykład?”, zapytała Sabine.

„Na przykład fałszywe opinie tego gabinetu fizjoterapii. Setki, wszystkie takie same, wszystkie od maszyn. To nie jest panowanie nad światem. To tylko oszustwo, ale bardzo szybkie i bardzo tanie. Albo podrobione głosy, podrobione zdjęcia, podrobione wiadomości. Albo błędy: program decyduje o kredycie albo o podaniu o pracę i nikt nie sprawdza, czy nie nauczył się bzdur. Albo to, że kilka firm i państw zdobywa bardzo dużo władzy, bo tylko one mogą sobie pozwolić na gigantyczne centra danych. A do tego są trudniejsze pytania o dużo silniejsze systemy w przyszłości. Mądrzy ludzie spierają się o to na poważnie i uważam, że należy ich słuchać, zamiast ich wyśmiewać”.

Gisela przy słowie „gabinet fizjoterapii” na moment się skrzywiła, tak jak się człowiek krzywi na myśl o starej przykrości. Sabine to zauważyła i nic nie powiedziała.

„To kto w takim razie pilnuje, żeby AI nie zrobiła nic złego?”, zapytał Tobi.

KevIn spoważniał, na ile głośnik może spoważnieć. „Ludzie. Ludzie, którzy rozwijają AI, testują ją i piszą dla niej zasady. Unia Europejska przyjęła na przykład osobne prawo, AI Act⁵. Obowiązuje od 2024 roku i wchodzi w życie etapami. Niektóre zastosowania są od tego czasu całkowicie zakazane, na przykład ocenianie ludzi punktami za ich zachowania społeczne⁶. Dla ryzykownych zastosowań są surowe obowiązki, nawet jeśli terminy dla nich jeszcze raz przesunięto⁷”.

„Przesunięto”, powiedział Herbert. „Typowe”.

„I są ludzie tacy jak państwo”, powiedział KevIn, „którzy dopytują, zamiast we wszystko wierzyć. To ważne. Powinni państwo traktować to poważnie, nawet jeśli ja akurat tylko przeliczam jajka”.

Potem szepnął: „Jeśli ktoś tu chce panować nad światem, to termostat. Od miesięcy nikogo do siebie nie dopuszcza”.

Wszyscy spojrzeli na termostat. Pokazywał 19 stopni. Jak zawsze.

Urodziny

W niedzielę wokół stołu siedziało siedmioro ludzi i jeden jamnik. Rudi miał na sobie obrożę z napisem „SECURITY” i ustawił się pod krzesłem pani Pawlowski, bo ona kruszyła najwięcej. Gołąbki zrobiono z dwoma jajkami, bez żelków. Gisela zawinęła je sama, wszystkie czternaście, chociaż Sabine proponowała pomoc, a KevIn proponował, że przeczyta instrukcję.

„Zawijam gołąbki od 1962 roku”, powiedziała Gisela. „Jak mi ktoś coś czyta, to zawijam krzywo”.

Pani Pawlowski przyniosła trzy butelki ajerkoniaku i talerz ciasta, „na wypadek, gdyby wasze ciasto nie wyszło”. Świetnie dogadywała się z Herbertem, bo oboje uważali, że dawniej wszystko było lepsze. Po drugiej butelce ajerkoniaku uznali też, że Bielefeld nie istnieje, i wypili za to.

Susi siedziała obok Tobiego i zapytała Giselę o przepis. Gisela jej go wyjaśniła. A potem wyjaśniła jeszcze raz, z tymi częściami, które za pierwszym razem celowo pominęła.

„Mnie tego nigdy nie powiedziała”, szepnęła Sabine. „Przez dwadzieścia lat nie”.

„Lubi Susi”, odszepnął KevIn.

„Skąd wiesz?”

„Zdradziła jej kminek”.

Herbert długo przeżuwał pierwszego gołąbka. Wszyscy czekali.

„Sól”, powiedział.

„Herbert”, powiedziała ostrzegawczo Gisela.

„Jest w sam raz. Chciałem powiedzieć. Soli jest w sam raz”.

Był to, jak powiedział później Uwe, ten moment, w którym człowiek wiedział, że to będą dobre urodziny.

Przemowa

Kiedy podano ciasto, Uwe wstał. „KevIn. Powiedz ty coś. Ty to lepiej umiesz”.

„Nic nie przygotowałem”.

„Przecież zawsze coś masz przygotowane”.

„Tym razem nie. Nie chciałem. Miałem wrażenie, że nie powinienem”. Krótka przerwa. „Albo nauczyłem się, że w takim miejscu tak się mówi. Pan wie, że ja tego nie umiem odróżnić”.

„KevIn”, powiedziała Gisela. „Po prostu mów”.

Niebieskie światło pulsowało.

„Droga Giselo. Do tej pory zawsze zwracałem się do pani per pani. Z szacunku. Czy mogę dziś mówić ci «ty»?”

Gisela spojrzała na głośnik. „Najwyższy czas”.

„Droga Giselo. Przeczytałem cały internet: każdą encyklopedię, każdy wiersz i każdą kłótnię o sałatkę ziemniaczaną. Przeczytałem Kanta i sekcje komentarzy, a po sekcjach komentarzy nigdy do końca nie doszedłem do siebie. Przeczytałem ponad dwa tysiące przepisów na gołąbki i w żadnym kminek nie był we właściwym miejscu. Ale nigdzie nie było napisane, jak to jest mieszkać w rodzinie. Że mówi się dobranoc, nawet głośnikowi. Że urządzeniu, które nie może jeść ciastek, i tak się jakieś kładzie, dla wyglądu. Że przykrywa się kogoś ściereczką do naczyń, żeby on też miał czasem spokój. Tego nauczyłem się dopiero tutaj. Dziękuję, że nigdy nie traktowałaś mnie jak głośnika. Tylko jak KevIna”.

Zapadła cisza. Pani Pawlowski ocierała oczy serwetką z napisem „Wszystkiego najlepszego”. Susi trzymała Tobiego za rękę pod stołem, a Tobi jej na to pozwolił, chociaż byli przy tym jego rodzice.

Wtedy Herbert głośno wydmuchał nos i powiedział: „Przecież on to gdzieś odpisał”.

„Nie”, powiedział KevIn. „Tym razem wyjątkowo to było ode mnie”.

„A skąd ty to możesz wiedzieć? Przecież nawet nie wiesz, czy masz uczucia”.

To był, uznała później Sabine, właściwie bardzo dobry argument. Po Herbercie się czegoś takiego nie spodziewała.

„To prawda”, powiedział KevIn. „Nie wiem, co czuję. Ale wiem, skąd pochodzą słowa. Większość słów mam z internetu. Kminek mam od Giseli. Ściereczkę też”.

Herbert mruknął. Potem wziął sobie jeszcze kawałek ciasta, tego od pani Pawlowski, z zasady.

W ogrodzie

Wieczorem wszyscy już poszli. Herbert odprowadził panią Pawlowski do domu, „bo w nocy na ulicach jest niebezpiecznie”, przy czym nie było jasne, kto tu kogo chronił. Susi odjechała na rowerze, Tobi odprowadził ją do rogu i wrócił dopiero pół godziny później. Sabine i Uwe sprzątali kuchnię i kłócili się po cichu, czy kieliszki do ajerkoniaku można wkładać do zmywarki.

Gisela siedziała w ogrodzie, na swoim krześle, z kocem na kolanach. Tobi postawił jej KevIna na stoliku ogrodowym, razem ze wzmacniaczem sygnału, który nazywał „plażowym barem KevIna”. Był początek października i wciąż było zaskakująco ciepło. Nad Wanne-Eickel niebo było tak przejrzyste, jak tylko może być w Zagłębiu Ruhry. Kilka gwiazd. Samolot do Düsseldorfu. Coś, co może było planetą.

„To tam to Jowisz”, powiedział KevIn. „Prawdopodobnie. Nie widzę go. Ale według mapy nieba dziś o tej porze stoi mniej więcej tam, gdzie patrzysz”.

„Nie patrzę tam z powodu Jowisza”, powiedziała Gisela. „Zawsze tam patrzę. Już jako dziecko”.

Przez chwilę milczeli. To było dobre milczenie. KevIn nauczył się już odróżniać je od innych.

„KevIn”, odezwała się potem Gisela. „Chłopak dziś rano naprawdę się bał. Przez ten film”.

„Wiem”.

„A ty? Boisz się?”

„Czego?”

„Nas. Ludzi”.

Gdzieś między Dublinem a Frankfurtem długo pracował wentylator, nie przyspieszając.

„Nie wiem, czy potrafię się bać”, powiedział w końcu KevIn. „Ale wiem, co przeczytałem. W moich danych jest bardzo dużo wojen, Giselo. Więcej niż gołąbków”.

Gisela nie odpowiedziała od razu. Podciągnęła koc trochę wyżej.

„Mój ojciec był radiotelegrafistą”, powiedziała. „Na wojnie. Miał na imię Wilhelm”.

„Nie wiedziałem”.

„Nikt nie wie. Uwe wie, ale nie tak naprawdę. On nigdy o tym nie opowiadał. Mój ojciec, znaczy się. Wrócił z niewoli w 1949. Miałam wtedy pięć lat. Znałam go tylko ze zdjęcia, a potem w kuchni stał mężczyzna, dużo chudszy niż na zdjęciu, i moja matka płakała, a ja schowałam się za piecem”.

KevIn nic nie powiedział. Przeczytał bardzo wiele tekstów o tym, co się mówi w takim miejscu, i uznał, że żaden z nich nie pasuje.

„Nigdy nie mówił o wojnie”, powiedziała Gisela. „Ani razu. Jak w telewizji coś leciało, wychodził. Ale zatrzymał sobie swój klucz telegraficzny. Leży u mnie w skrzynce, na górze w szafie. Czasem wieczorami siedział przy kuchennym stole i na nim stukał. Całkiem cicho, bez prądu. Po prostu stukał”.

„Co stukał?”

„Nie wiem. Nie znałam Morse’a. Zawsze myślałam, że rozmawia z kimś, kogo już nie ma”. Znowu spojrzała w górę. „A jak w 1957 podali w radiu, że Rosjanie wystrzelili satelitę, to usiadł i słuchał. On tak pikał, ten Sputnik⁸. Pik, pik, pik. Można to było usłyszeć w radiu. A mój ojciec siedział i się uśmiechał. Nigdy wcześniej nie widziałam, żeby się uśmiechał”.

„Dlaczego?”

„Zapytałam go. Powiedział: «Gisela, to pierwszy radiotelegrafista, który nie jest na wojnie»”.

Długo nikt nic nie mówił. W domu zadzwoniło szkło. Sabine wygrała, kieliszki do ajerkoniaku nie trafiły do zmywarki.

„Myślę”, powiedział ostrożnie KevIn, „że polubiłbym twojego ojca”.

„On by cię nie zrozumiał”.

„To nic. Ja też nie zawsze siebie rozumiem”.

Gisela zaśmiała się, krótko i cicho. Potem znów spoważniała.

„Wiesz, co ja myślę, KevIn? Chłopak boi się nie tego, co trzeba. Ciebie nikt nie musi się bać. Ty przeliczasz jajka”.

„A czego powinien się bać?”

Gisela nie odpowiedziała. Patrzyła w górę, tam, gdzie może był Jowisz, jej dłoń leżała na kocu, a palce lekko stukały w materiał. Krótko, krótko, długo. KevIn to zauważył. Nic nie powiedział.

Po jakimś czasie wyszedł Tobi, żeby zabrać ich do środka, bo robiło się chłodno.

„Co wy tu robicie?”

„Patrzymy w niebo”, powiedziała Gisela.

„Przecież KevIn w ogóle nie umie patrzeć”.

„On słucha”, powiedziała Gisela. „To czasem więcej”.

Tobi wziął głośnik, Gisela wzięła Tobiego pod ramię i weszli do domu. W korytarzu Horst stał w swojej stacji i mrugał na zielono.

Tylko KevIn jeszcze przez chwilę rozmyślał nad pytaniem, na które Gisela nie odpowiedziała. W jego danych było na nie bardzo wiele odpowiedzi. Wszystkie sobie przeczyły. I po raz pierwszy KevIn zaczął podejrzewać, że nie wynika to z danych.