Toate capitolele
Tradusă din originalul german. Povestea se petrece în regiunea Ruhr din Germania.
Partea 1 · Capitolul 4 · 4 din 27
Am citit tot
Sabine făcea rulade de vită. Le făcea doar la ocazii speciale. Azi era una, pentru că Uwe golise mașina de spălat vase pentru prima dată după luni de zile, fără să-l roage nimeni. Ce-i drept, pusese paharele în dulapul cu oale, dar Sabine hotărâse să nu pomenească asta. Lauzi încercarea, nu rezultatul. La Tobi funcționase și asta, de cele mai multe ori.
„KevIn, ai vreun sfat pentru sos?”
„Desigur. O utilizatoare pe nume Casnica_Moni67 a scris pe 14 martie 2009: «Am pus cola în loc de vin roșu și ursuleți de gumă în loc de castraveți, a ieșit super, copiii îl adoră. Cinci stele!!!»”
Sabine ținu lingura de lemn nemișcată. „Ăsta nu e un sfat. E un strigăt de ajutor.”
„Au fost 214 răspunsuri”, spuse KevIn. „Primul era «Primul!». Al doilea era «Atunci de ce nu gătești pur și simplu altceva, Moni?». După aia s-a ajuns la politică.”
„Ursuleți de gumă”, spuse bunica Gisela, care tăia fasole verde la masa din bucătărie. O spuse așa cum alți oameni spun „majorare de impozite”.
„Eu doar redau ce am citit”, spuse KevIn. „Moni era foarte convinsă.”
„Convins era și Herbert când a vopsit garajul cu vopsea de ulei. Pe dinăuntru. În august.”
„Despre asta nu există nicio postare pe forum”, spuse KevIn. „Cred.”
De unde le știe KevIn pe toate
La masă, KevIn explică cum ajunsese atât de deștept. Erau rulade, varză roșie și găluște de cartofi, iar sosul era cu vin roșu. Sabine subliniase asta.
„Am fost antrenat cu o cantitate uriașă de text. Cărți, ziare, enciclopedii, instrucțiuni, forumuri. Asta se cheamă date de antrenament. Datorită lor știu foarte multe despre lume.”
„Și secțiunile de comentarii?”, întrebă Tobi.
Lumina albastră pâlpâi scurt. „Și pe alea. Nu vreau să vorbesc despre asta.”
„Care e cel mai groaznic lucru pe care l-ai citit?”
„O ceartă din 2011 despre întrebarea dacă un hotdog e un sendviș. Avea 9.000 de postări. Doi oameni s-au căsătorit din cauza ei. Șase au divorțat.”
Bunica Gisela dădu din cap înțelegătoare. „Așa era la noi cu întrebarea dacă salata de cartofi se face cu maioneză sau cu supă.”
„Cu supă”, spuse Uwe.
„Cu maioneză”, spuse Sabine.
KevIn dădu, din precauție, lumina din sufragerie un pic mai încet. Citise că asta calmează.
„Dar cum citești tot internetul?”, întrebă Gisela, după ce situația se detensionase. „Nu termini niciodată. Mie mi-au trebuit trei ani pentru Casa Buddenbrook.”
„Eu nu citesc ca dumneavoastră. Eu completez spații goale.”
„Spații goale?”
„Gisela, eu spun o propoziție, iar dumneavoastră spuneți ultimul cuvânt. «Cine sapă groapa altuia…»”
„… cade singur în ea.”
„«Ziua bună se cunoaște…»”
„… de dimineață. KevIn, e copilărie curată.”
„Asta e toată facultatea mea”, spuse KevIn. „Iei un text, acoperi cuvântul următor și lași modelul să ghicească. La început ghicește complet aiurea. «Ziua bună se cunoaște de la rubarbă.» Apoi descoperi cuvântul și compari. Greșit. Apoi reglezi șuruburile un pic, așa încât cuvântul corect să devină data viitoare ceva mai probabil. Și apoi propoziția următoare. Și următoarea.”
„De câte ori?”, întrebă Tobi.
„De mii de miliarde de ori. Cu mii de miliarde de cuvinte¹. În multe limbi. Săptămâni sau luni la rând, pe foarte multe cipuri deodată.”
„Și cine a scris soluțiile?”, întrebă Sabine. „Pentru mii de miliarde de exerciții de completat îți trebuie milioane de profesori.”
„Asta e partea frumoasă. Nimeni. Soluția e deja în text. Cuvântul următor e pur și simplu cuvântul care chiar urmează. Textul se corectează singur. De aceea se numește învățare autosupravegheată². Self-supervised, în engleză.”
„Și din asta te faci deștept?”
„În mod surprinzător, da. Ca să ghicești bine cum continuă o propoziție despre Schalke, trebuie să știi un pic de fotbal. Ca să ghicești cum continuă o rețetă, trebuie să știi un pic de gătit. Ca să ghicești cum continuă o ceartă despre salata de cartofi…”
„… trebuie să fii căsătorit”, spuse Uwe.
„Voiam să spun «să știi un pic despre oameni»”, spuse KevIn. „Dar fie.”
Ce nu știe KevIn
„KevIn, cum a jucat Schalke ieri?”, întrebă Uwe.
„Nu am informații actuale despre asta. Cunoștințele mele au o dată-limită. Tot ce a fost după ea nu am citit.”
„Cum adică, dată-limită?”
„Antrenamentul se termină la un moment dat. Atunci șuruburile mele sunt înghețate și sunt livrat. Ce se întâmplă după ziua aceea nu e în mine. Ca la o enciclopedie de pe raft. Nici ea nu știe cine a luat campionatul săptămâna trecută.”
„Și ce știi despre Schalke până la data-limită?”
„Foarte multe. Și mare parte din ele sunt triste.”
Uwe lăsă furculița jos. Îi trebui un moment.
Tobi profită de liniște. „KevIn, zi ceva care e cool.”
„YOLO”, spuse KevIn. „Asta are mult swag. Sunt așa de lost, mă duc să mă relaxez cu frații mei. Hashtag Wanne-Eickel. Acum sunt cool?”
Tobi se holbă la el îngrozit. „Asta n-o mai zice nimeni de zece ani.”
„În datele mele o zic foarte mulți.”
„Ăia au acum toți patruzeci de ani și plătesc rate la casă.”
„Asta”, spuse KevIn după o scurtă pauză, „e a doua problemă cu cunoștințele mele. Nu doar că se opresc. Ci și că lucrurile vechi sunt atât de gălăgioase în mine. Pe internet sunt zece ani de «YOLO» și doar câteva luni din ce ziceți voi azi. Nu sunt doar de ieri. Sunt de alaltăieri, de ieri și de azi în același timp, dar alaltăieri vorbește cel mai tare³.”
„Ca bunicul Heinz”, spuse Gisela. „Ăla a zis «meseriaș» până la sfârșit.”
„Mie «meseriaș» mi se pare foarte frumos”, spuse KevIn.
„Vezi”, spuse Tobi. „Exact asta zic.”
Rudi sau nu Rudi
Marți seara, Sabine stătea la laptop și înjura încet. Voia să facă un calendar cu fotografii pentru Crăciun. Douăsprezece luni, de douăsprezece ori Rudi. Din păcate, pozele cu Rudi erau împrăștiate printre alte trei mii de fotografii, printre care patru sute de poze cu grătarul lui Uwe, pe care Uwe le făcuse din motive pe care nu le putea explica.
„KevIn, nu se poate învăța calculatorul să-l găsească pe Rudi?”
„Se poate. Ar fi al doilea fel de a învăța. Cel cu profesor.”
„Cel cu profesor?”
„La spațiile goale, textul se corectează singur. Aici e nevoie de cineva care să spună dinainte ce e corect. Ați lua, de exemplu, cinci sute de fotografii și ați lipi pe fiecare o etichetă: «Rudi» sau «nu Rudi». Programul se uită la fotografii, ghicește, compară cu eticheta dumneavoastră și își reglează șuruburile. Ca Rudi la dresaj, doar că fără recompense. Asta se cheamă învățare supravegheată. Supervised.”
„Cinci sute?”, spuse Sabine. „Atunci pot să le sortez direct eu.”
„Pentru un calendar, da. Dar dacă ați făcut-o o dată, programul îl găsește apoi pe Rudi și în fotografii pe care nu le-a mai văzut niciodată. Telefonul dumneavoastră știe deja așa ceva, apropo. Cineva i-a arătat dinainte foarte mulți câini⁴.”
Tobi intră, văzu ecranul și făcu o mutră care o făcu pe Sabine imediat bănuitoare. „Pot să lipesc și eu etichete?”
„Nu”, spuse Sabine.
„Ba da”, spuse KevIn, „dar ar fi instructiv. Tobi, ce ai face?”
„Aș eticheta căciula de blană a unchiului Herbert drept «Rudi».”
„Atunci programul ar învăța că acea căciulă a lui Herbert e un teckel. Își crede etichetele. N-are altceva. Dacă etichetele sunt prostii, învață prostii. Specialiștii zic: gunoi intră, gunoi iese.”
„Căciula lui Herbert chiar e gunoi”, spuse Tobi.
„Și mai e ceva perfid”, continuă KevIn. „Sabine, unde e Rudi în cele mai multe fotografii?”
Sabine derulă. „Pe covorul din sufragerie. Ăla roșu, cu franjuri.”
„Atunci programul ar putea învăța că Rudi e un covor roșu cu franjuri. Nu-și dă seama ce vrem să spunem. Își dă seama doar ce ajută în date. Dacă în toate pozele cu Rudi e covorul și în niciuna dintre celelalte, covorul e un indiciu excelent. Și atunci găsește la magazinul de mobilă foarte mulți teckeli⁵.”
Rudi intră, se culcă pe covorul roșu și se uită la toți. N-avea habar că tocmai devenise termen de specialitate.
„Și cum previi asta?”
„I-l arăți pe Rudi și în grădină, în mașină și pe canapea. Și covorul, din când în când, fără Rudi. Datele bune sunt jumătate din treabă. Cel puțin.”
Până la urmă, Sabine sortă fotografiile de mână. Îi luă două ore. În mai, Rudi e pe covor. În august la fel.
Cutia cu nasturi
Miercuri, bunica Gisela își răsturnă cutia cu nasturi pe masa din bucătărie. Era o veche cutie albastră de biscuiți din Danemarca, în care din 1971 nu mai fuseseră biscuiți, ci toți nasturii care în familia Brettschneider căzuseră vreodată, rămăseseră sau fuseseră tăiați din precauție. Gisela căuta un nasture maro pentru jacheta tricotată a lui Uwe.
După o jumătate de oră, pe masă erau opt grămăjoare. Nasturi mari de palton. Nasturi mici și albi de cămașă. Aurii, cu ancoră. Nasturi de lemn. Nasturi colorați pentru copii, în formă de buburuze. Și așa mai departe.
„Gisela”, spuse KevIn, care privise de pe bufet. „Știți ce faceți acum?”
„Sortez nasturi.”
„Faceți al treilea fel de învățare automată.”
Gisela se uită la nasturi, apoi la difuzor. „Fac asta de șaizeci de ani.”
„Atunci sunteți cu mult înaintea timpului dumneavoastră. Nimeni nu v-a spus ce grupuri trebuie să existe. Nicio etichetă. V-ați uitat doar care nasturi seamănă între ei și i-ați pus laolaltă pe cei asemănători. Exact asta poți să lași și un calculator să facă. Îi dai multe lucruri fără etichetă și îi spui: află singur ce merge împreună. Asta se cheamă învățare nesupravegheată. Unsupervised. Iar sortatul în grămăjoare se numește clustering⁶.”
„Clastering”, repetă Gisela. „Și cum se numesc grămăjoarele?”
„Nicicum. Aici e problema. Calculatorul găsește grupurile, dar nu știe ce înseamnă. Spune doar: grupul unu, grupul doi, grupul trei. Numele trebuie să le dea pe urmă un om.”
Gisela arătă spre o grămăjoară de nasturi gri care nu semănau între ei prin nimic anume. Unii erau mari, alții mici, unii aveau patru găuri, alții două.
„Și ăștia?”
„Pe ăștia nu-i înțeleg”, recunoscu KevIn. „Nu se potrivesc în niciun tipar.”
„Sunt de la cămășile lui Heinz”, spuse Gisela. „I-am păstrat pe toți.”
KevIn tăcu o clipă. „Grupul ăsta un calculator nu l-ar fi găsit.”
„Nu”, spuse Gisela și puse unul dintre nasturii gri înapoi în cutie, tocmai la fund. „Asta te cred.”
Nasturele maro pentru jacheta lui Uwe îl găsi în grămăjoara cu nasturi de lemn. Era din plastic. Dar arăta ca lemnul, și asta ajungea pentru o grămăjoară.
Sosul de muștar al lui Hilde
Duminică, bunica Gisela stătea la aragaz și încerca ceva ce nu mai încercase de ani de zile: sosul de muștar al lui Hilde. Hilde fusese cea mai bună bucătăreasă din „Castraveții Murați” înainte să moară, și nu scrisese niciodată rețeta. „E totul aici”, spusese ea și se bătuse cu degetul pe frunte. Fusese rău cât trăise Hilde, și de atunci nu devenise mai bine.
Gisela amestecă. Gustă. Mai puse o linguriță de muștar. Gustă. Mai puse un vârf de cuțit de zahăr. Gustă din nou.
„Încă nu”, murmură ea.
„Pot să spun ceva?”, întrebă KevIn.
„Dacă nu-s ursuleți de gumă.”
„Ce faceți acum e exact ce se întâmplă cu șuruburile mele la antrenament. Gustați, deci măsurați greșeala. Prea puțin iute, prea puțin dulce. Apoi învârtiți un pic de locul care micșorează cel mai mult greșeala. Apoi gustați din nou. Asta se numește coborâre pe gradient⁷.”
„Coborâre pe ce?”
„Pe gradient. Închipuiți-vă că stați sus pe halda Hoheward, dealul de steril de lângă Herten, pe o ceață deasă. Vreți să coborâți la parcare, dar nu vedeți nimic. Ce faceți?”
„Rămân pe loc și-l sun pe Uwe.”
„Uwe n-are semnal. Ce faceți atunci?”
Gisela se gândi. „Atunci pipăi cu piciorul pe unde coboară. Și fac un pas într-acolo.”
„Exact. Și apoi pipăiți din nou. Și iar un pas. Mereu acolo unde coboară cel mai abrupt. Așa ajungeți la un moment dat jos. La antrenament, muntele e greșeala: cu cât e mai sus, cu atât ghicește modelul mai prost. Jos, în vale, sosul e perfect. Panta pe care o simțiți cu piciorul se numește gradient. Și se calculează pentru fiecare șurub. Înapoi, prin toată rețeaua: cât de vinovat a fost fiecare șurub de greșeală?⁸”
„Și câte șuruburi ai?”
„Sute de miliarde.”
Gisela se opri o clipă și se uită la aragazul ei cu cele patru butoane. „Asta-i o grămadă de muștar.”
Chiar atunci intră Uwe în bucătărie, adulmecă, luă o lingură, gustă și zise: „Mai trebuie sare.” Înainte să apuce cineva să spună ceva, răsturnase o porție zdravănă din solniță. Capacul era slăbit. După aceea nu mai era acolo.
În bucătărie se făcu liniște.
Gisela gustă. Se strâmbă, cum se strâmbase ultima dată în 1974, la o bere din Dortmund.
„Asta”, spuse KevIn blând, „se numește o rată de învățare prea mare.”
„O ce?”, zise Uwe.
„Mărimea pasului. Dacă în ceață faci pași prea mari, sari peste vale și aterizezi pe dealul următor. Atunci trebuie să te întorci și iar sari prea departe. Și așa mai departe. Dacă faci pași prea mici, îți ia o veșnicie. Gisela face pași de linguriță. Dumneavoastră tocmai ați făcut un pas de solniță.”
„Voiam doar să ajut.”
„Asta vor ratele de învățare mari întotdeauna.”
Gisela turnă jumătate din sos, îl diluă pe restul cu supă și o luă de la capăt cu pași de linguriță. Uwe fu trimis la curățat cartofi. Mai dură trei sferturi de oră.
Apoi Gisela gustă o ultimă dată, puse lingura jos și multă vreme nu zise nimic.
„E al lui Hilde?”, întrebă KevIn încet.
„Aproape”, spuse Gisela. „Lipsește ceva. Nu știu ce.”
„Poate că valea de acolo, de jos, nu e chiar atât de adâncă precum a lui Hilde”, spuse KevIn. „Asta se întâmplă și la coborârea pe gradient. Ajungi într-o vale, și e o vale bună, dar nu cea mai adâncă dintre toate. Doar că nu-ți dai seama, pentru că stai în ceață.”
„Hilde ar fi zis că m-am oprit prea devreme.”
„Probabil că Hilde ar fi avut dreptate.”
Gisela dădu din cap. Apoi turnă sosul peste cartofi, și toți ziseră că e excelent, și chiar așa era.
Lucrarea de probă
Joi, Tobi veni acasă cu o lucrare la geografie pe care scria cu pixul roșu un 5 chinuit, abia de trecere. Dedesubt, doamna profesoară Küppers scrisese: „A învăța pe de rost nu înseamnă a înțelege.”
„E nedrept”, spuse Tobi și aruncă rucsacul în colț. Rudi se puse la adăpost. „Am făcut lucrarea de probă de o sută de ori. Știam toate răspunsurile. Toate!”
„Și ce a picat?”, întrebă Sabine.
„Alte întrebări! La lucrarea de probă a fost Rinul. La cea adevărată, Elba!”
„Și ăla e un râu”, spuse Uwe.
„Dar altul!”
„Tobi”, spuse KevIn cu grijă. „Pot să-ți spun ce ți s-a întâmplat? Te-ai supraadaptat.”
„M-am ce?”
„E una dintre cele mai mari probleme ale învățării automate. Se numește overfitting. Un model învață exemplele de antrenament pe de rost atât de bine încât le știe perfect. Fiecare răspuns. Dar n-a învățat principiul, ci doar exemplele. Și imediat ce vine ceva nou, dă greș.”
„Am învățat că Rinul cotește spre nord la Basel.”
„Și ar fi trebuit să înveți de ce cotesc râurile undeva. Atunci ai fi știut și la Elba.”
„De unde știi tu așa ceva despre râuri?”
„Nu știu nimic despre râuri. Știu foarte multe despre supraadaptare. Sunt practic expert în pericolul de a învăța prea mult pe de rost. La mine se întâmplă și asta. Când un text apare foarte des în datele mele de antrenament, uneori îl pot recita aproape cuvânt cu cuvânt⁹, în loc să scriu ceva al meu.”
„Ca Moni”, spuse Sabine.
„Ca Moni”, recunoscu KevIn. „Postarea ei o știu pe de rost. Inclusiv cele trei semne de exclamare.”
„Și cum previi asta? La tine, zic. La mine e prea târziu.”
„Păstrezi deoparte o parte din date. Modelul n-are voie s-o vadă în timp ce învață. La final îl verifici exact cu datele astea. Date de test. Dacă acolo e la fel de bun ca la exersat, a înțeles ceva. Dacă strălucește la exersat și dă greș la test…”
„… ia un 5 chinuit”, spuse Tobi sumbru.
„Doamna profesoară Küppers face, de fapt, totul corect”, spuse KevIn. „Ți-a dat date de test. Elba.”
Tobi se uită lung la el. „KevIn. De partea cui ești, de fapt?”
„De partea statisticii”, spuse KevIn. „Dar te ajut cu plăcere să înveți. Cu râuri pe care nu le cunoști încă.”
Seara, cei doi mai stătură o oră împreună. KevIn puse întrebări despre Weser, Dunăre și, la dorința expresă a lui Tobi, despre Emscher. Tobi răspunse greșit la cele mai multe și apoi, spre final, corect la câteva. KevIn spuse că e o curbă de învățare foarte frumoasă. Tobi îi spuse să nu mai vorbească așa. Sabine asculta pe hol și zâmbea.
Moni
În duminica cu sosul de muștar, Sabine mai stătea târziu în bucătărie. Ceilalți erau în pat. Pe masă era un pahar de vin roșu care rămăsese, pentru că sosul îl făcuse doar Gisela, iar Gisela nu punea niciodată vin roșu.
„KevIn”, spuse ea încet. „Ce s-a ales, de fapt, de Moni?”
„Nu știu. Ultima ei postare e din 2013. A scris: «Acum am un Thermomix. Suntem fericiți.»”
Sabine zâmbi. „Mă bucur pentru ea.”
„Da”, spuse KevIn. „Sper că a renunțat la ursuleții de gumă.”
Sabine învârti paharul în mână. „Nu e ciudat? O femeie scrie la un moment dat o prostie despre rulade pe internet, și ani mai târziu prostia aia stă în capul tău. Pentru totdeauna.”
„Nu pentru totdeauna. Doar până la următorul model. Dar da. Sunt făcut din foarte multe Moni. Și din profesori, și din ziare, și din poezii. Dar și din Moni. Nu pot să deosebesc mereu cine a fost cine. Oamenii care m-au antrenat au sortat și au filtrat multe, ce-i drept¹⁰. Dar Moni a scăpat printre degete. Jumătate din omenire m-a învățat ceva, și niciunul dintre ei nu știe.”
„Moni sigur nu știe că e profesoara ta.”
„Nu”, spuse KevIn. „Și eu nici nu știu dacă o cheamă cu adevărat Moni.”
Sabine bău vinul, clăti paharul și îl puse în dulapul cu oale. Sistemul lui Uwe se impusese. Overfitting, se gândi ea. Sau căsnicie.
„Noapte bună, KevIn.”
„Noapte bună, Sabine. Și dacă o întâlniți vreodată pe Moni: chestia cu cola aș vrea s-o verific și eu o dată.”
KevIn explică
Cum înveți o mașină ceva
Dragă bunică Gisela, dragi cititoare și cititori, am citit tot, dar am învățat într-un fel care n-are mare legătură cu cititul. Iată ce se întâmplă de fapt la antrenament.
Neînțelegerea 1: „Cineva a programat în IA toate faptele.”
Nu. Nimeni nu mi-a tastat „Paris e capitala Franței”. Un model de limbaj constă din foarte multe numere, ponderile sau parametrii; la modelele mari sunt de la câteva miliarde până la sute de miliarde. La început sunt aleatorii. La antrenament sunt reglate iar și iar câte un pic, până când răspunsurile devin mai bune. Cunoașterea stă la final împrăștiată în aceste numere, nu într-o listă.
Neînțelegerea 2: „Pentru antrenament ai nevoie de milioane de oameni care să eticheteze totul.”
Pentru cea mai mare parte, nu. Există mai multe feluri de învățare, iar modelele de limbaj folosesc mai multe dintre ele:
| Felul de învățare | Cum funcționează | Exemplu la familia Brettschneider | La ce îmi folosește |
|---|---|---|---|
| Autosupravegheată (self-supervised) | Soluția stă chiar în date: acoperi cuvântul următor, ghicești, compari | Spații goale: „Ziua bună se cunoaște…” | Preantrenamentul cu cantități uriașe de text, partea principală |
| Supravegheată (supervised) | Oamenii dau exemple cu răspunsul corect | Fotografii cu eticheta „Rudi” / „nu Rudi” | Finisare cu exemple de răspunsuri bune |
| Nesupravegheată (unsupervised) | Fără etichete; metoda caută singură grupuri și structuri | Cutia cu nasturi a Giselei | Utilă, de ex., la sortarea și curățarea datelor |
| Prin întărire (reinforcement) | Recompensă pentru comportament bun, nicio recompensă pentru cel prost | Rudi învață „Șezi!” pentru o recompensă | Politețe și amabilitate (mai multe în capitolele 6 și 8) |
Neînțelegerea 3: „Antrenament înseamnă că calculatorul citește o dată totul.”
Antrenament înseamnă: ghicești, măsori greșeala, reglezi șuruburile, repeți. Reglarea se face prin coborâre pe gradient. Calculezi pentru fiecare șurub în ce direcție trebuie învârtit ca greșeala să scadă (înapoi prin rețea, asta se numește backpropagation) și apoi îl învârți puțin. Cât de mare e pasul hotărăște rata de învățare. Prea mare: Uwe și solnița. Prea mică: peste trei săptămâni încă stai la aragaz. Metoda găsește o vale bună, dar nu neapărat pe cea mai adâncă.
Neînțelegerea 4: „Dacă IA știe toate exercițiile, e bună.”
Nu neapărat. Un model își poate învăța exemplele de antrenament pe de rost și poate da greș la ceva nou. Asta se numește overfitting, supraadaptare. De aceea se păstrează deoparte date de test, pe care modelul nu le vede niciodată când învață, și se verifică modelul cu ele. Doamna profesoară Küppers le spune Elba.
Încă două lucruri ar trebui să rețineți. Primul: învăț doar ce e în date. Dacă acolo sunt greșeli, prejudecăți sau foarte mulți ursuleți de gumă, le învăț și pe ele. Al doilea: antrenamentul meu are o dată-limită. După ea, ponderile mele sunt înghețate. Ce se întâmplă mai târziu știu doar dacă mi se dau surse actuale.
În capitolul următor, Uwe vrea să-i fac declarația de impozit. La antrenament am citit foarte multe declarații de impozit. Să socotesc n-am învățat, din păcate. Cel puțin nu cum speră Uwe.
KevIn întreabă
Acestui capitol îi corespund 12 cărți de învățare – parte a jocului de cărți care însoțește cartea, cu 312 cărți de quiz și de învățare de imprimat acasă. Adevăr sau gogoașă? Soluția și explicația apar pe telefon, printr-un cod QR.
Surse pentru Capitolul 4
- Hoffmann, J. et al.: „Training Compute-Optimal Large Language Models“. Advances in Neural Information Processing Systems 35, 2022. https://arxiv.org/abs/2203.15556 Modelul Chinchilla a fost antrenat cu 1,4 mii de miliarde de tokeni.↑
- Radford, A. et al.: „Improving Language Understanding by Generative Pre-Training“. OpenAI, raport tehnic, 2018. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Preantrenament prin prezicerea cuvântului următor pe text neetichetat.↑
- Cheng, J. et al.: „Dated Data: Tracing Knowledge Cutoffs in Large Language Models“. COLM 2024. https://arxiv.org/abs/2403.12958 Nivelul real al cunoștințelor e adesea anterior datei-limită declarate, pentru că textele vechi predomină în date.↑
- Deng, J. et al.: „ImageNet: A Large-Scale Hierarchical Image Database“. CVPR 2009. https://doi.org/10.1109/CVPR.2009.5206848↑
- Ribeiro, M. T.; Singh, S.; Guestrin, C.: „‚Why Should I Trust You?‘ Explaining the Predictions of Any Classifier“. Proceedings of KDD 2016, p. 1135–1144. https://doi.org/10.1145/2939672.2939778 Conține un clasificator husky-sau-lup care, în realitate, recunoaște zăpada din fundal. În general: Geirhos, R. et al.: „Shortcut Learning in Deep Neural Networks“. Nature Machine Intelligence 2, 2020, p. 665–673. https://doi.org/10.1038/s42256-020-00257-z↑
- Lloyd, S. P.: „Least Squares Quantization in PCM“. IEEE Transactions on Information Theory 28(2), 1982, p. 129–137. https://doi.org/10.1109/TIT.1982.1056489 Metoda de clustering cunoscută azi drept k-means.↑
- Cauchy, A.: „Méthode générale pour la résolution des systèmes d’équations simultanées“. Comptes rendus hebdomadaires des séances de l’Académie des sciences 25, 1847, p. 536–538. https://archive.org/details/comptesrendusheb25acad Prima descriere a coborârii pe gradient.↑
- Rumelhart, D. E.; Hinton, G. E.; Williams, R. J.: „Learning Representations by Back-Propagating Errors“. Nature 323, 1986, p. 533–536. https://doi.org/10.1038/323533a0↑
- Carlini, N. et al.: „Extracting Training Data from Large Language Models“. 30th USENIX Security Symposium, 2021. https://www.usenix.org/conference/usenixsecurity21/presentation/carlini-extracting↑
- Raffel, C. et al.: „Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer“. Journal of Machine Learning Research 21(140), 2020. https://www.jmlr.org/papers/v21/20-074.html Descrie, printre altele, filtrarea unui corpus de text de pe web (C4).↑
Toate capitolele
PDF gratuit
KevIn se mută la noi: toată cartea în format PDF
380 de pagini de cunoștințe tehnice, sub formă de roman
Cartea despre misiunea McGesund: sănătate, recenzii autentice, inteligență artificială, criptare, computere cuantice și călătorii spațiale. KevIn explică legăturile dintre ele. Toate cele 25 de capitole, cu benzi desenate color, gratuit pentru toți cei care se abonează la newsletterul McGesund.
Prin înscriere vă abonați la newsletterul McGesund. Vă puteți dezabona oricând cu un singur click, iar PDF-ul rămâne al dumneavoastră. Detalii în politica de confidențialitate.

