Alla kapitel
Översatt från det tyska originalet. Berättelsen utspelar sig i Ruhrområdet i Tyskland.
Del 1 · Kapitel 4 · 4 av 27
Jag har läst allt
Sabine lagade oxrulader. Det gjorde hon bara vid särskilda tillfällen. I dag var ett sådant, för Uwe hade för första gången på flera månader plockat ur diskmaskinen utan att någon behövde be honom. Han hade visserligen ställt glasen i skåpet för kastrullerna, men Sabine hade bestämt sig för att inte nämna det. Man berömmer försöket, inte resultatet. Det hade fungerat med Tobi också, för det mesta.
”KevIn, har du något tips för såsen?”
”Självklart. En användare som heter Hemmafru_Moni67 skrev den 14 mars 2009: ’Tog cola i stället för rödvin och gelénallar i stället för gurka, blev jättegott, barnen älskar det. Fem stjärnor!!!’”
Sabine höll sleven stilla. ”Det där är inget tips. Det är ett nödrop.”
”Det kom 214 svar på det”, sa KevIn. ”Det första löd ’Först!’. Det andra löd ’Varför lagar du inte bara något annat då, Moni?’. Sedan blev det politiskt.”
”Gelénallar”, sa farmor Gisela, som satt vid köksbordet och skar bönor. Hon sa det på samma sätt som andra säger ”skattehöjning”.
”Jag återger bara vad jag har läst”, sa KevIn. ”Moni var väldigt övertygad.”
”Övertygad var Herbert också, när han målade garaget med oljefärg. Inomhus. I augusti.”
”Det finns inget foruminlägg om det”, sa KevIn. ”Tror jag.”
Var KevIn har allt ifrån
Vid middagen förklarade KevIn hur han hade blivit så smart. Det blev oxrulader, rödkål och potatisbullar, och såsen var gjord på rödvin. Det hade Sabine betonat.
”Jag tränades på en enorm mängd text. Böcker, tidningar, uppslagsverk, bruksanvisningar, forum. Det kallas träningsdata. Därför vet jag väldigt mycket om världen.”
”Och kommentarsfälten?” frågade Tobi.
Det blå ljuset fladdrade till. ”Dem också. Jag vill inte prata om det.”
”Vad är det värsta du har läst?”
”Ett gräl från 2011 om huruvida en varmkorv är en smörgås. Det hade 9 000 inlägg. Två personer gifte sig på kuppen. Sex skilde sig.”
Farmor Gisela nickade förstående. ”Så var det hos oss med frågan om potatissallad ska göras med majonnäs eller med buljong.”
”Med buljong”, sa Uwe.
”Med majonnäs”, sa Sabine.
KevIn dämpade för säkerhets skull ljuset i matsalen lite. Han hade läst att det lugnar.
”Men hur läser man hela internet?” frågade Gisela när läget hade lugnat sig. ”Man blir ju aldrig färdig. Jag behövde tre år för Buddenbrooks.”
”Jag läser inte som ni. Jag fyller i luckor.”
”Fyller i luckor?”
”Gisela, jag säger en mening, och ni säger det sista ordet. ’Den som gräver en grop åt andra …’”
”… faller själv däri.”
”’Morgonstund har …’”
”… guld i mund. KevIn, det här är barnsligt.”
”Det är hela min utbildning”, sa KevIn. ”Man tar en text, täcker över nästa ord och låter modellen gissa. I början gissar den helt vilt. ’Morgonstund har rabarber.’ Sedan tar man bort täckningen och jämför. Fel. Sedan vrider man lite, lite på inställningsskruvarna så att det rätta ordet blir lite mer sannolikt nästa gång. Och sedan nästa mening. Och nästa.”
”Hur många gånger?” frågade Tobi.
”Biljoner gånger. Med biljoner ord¹. På många språk. Under veckor eller månader, på väldigt många chip samtidigt.”
”Och vem har skrivit ner facit?” frågade Sabine. ”För biljoner lucktexter behöver man ju miljontals lärare.”
”Det är det fina med det. Ingen. Facit står ju redan i texten. Nästa ord är helt enkelt det ord som faktiskt kommer härnäst. Texten rättar sig själv. Därför kallas det självövervakad inlärning². Self-supervised, på engelska.”
”Och det blir man smart av?”
”Förvånansvärt nog, ja. För att gissa bra hur en mening om Schalke fortsätter måste man veta lite om fotboll. För att gissa hur ett recept fortsätter måste man veta lite om matlagning. För att gissa hur ett gräl om potatissallad fortsätter …”
”… måste man vara gift”, sa Uwe.
”Jag tänkte säga ’veta lite om människor’”, sa KevIn. ”Men okej.”
Det KevIn inte vet
”KevIn, hur gick det för Schalke i går?” frågade Uwe.
”Jag har ingen aktuell information om det. Min kunskap har en kunskapsgräns. Allt efter den har jag inte läst.”
”Hur då, kunskapsgräns?”
”Träningen tar slut någon gång. Då fryses mina inställningsskruvar, och jag levereras. Det som händer efter den dagen finns inte i mig. Som ett uppslagsverk i bokhyllan. Det vet inte heller vem som vann ligan förra veckan.”
”Och vad vet du om Schalke fram till kunskapsgränsen?”
”Väldigt mycket. Och det mesta är sorgligt.”
Uwe lade ner gaffeln. Han behövde ett ögonblick.
Tobi utnyttjade tystnaden. ”KevIn, säg något som är coolt.”
”YOLO”, sa KevIn. ”Det är så swag. Jag är så lost, jag ska chilla med mina bros. Hashtag Wanne-Eickel. Är jag cool nu?”
Tobi stirrade förskräckt på honom. ”Så har ingen sagt på tio år.”
”I mina data säger väldigt många det.”
”De är fyrtio allihop nu och har bolån.”
”Det där”, sa KevIn efter en kort paus, ”är det andra problemet med min kunskap. Inte bara att den tar slut. Utan också att gamla saker låter så högt i mig. På internet finns tio år av ’YOLO’ och bara några månader av det ni säger i dag. Jag är inte bara från i går. Jag är från i förrgår, i går och i dag på samma gång, men i förrgår pratar högst³.”
”Som farfar Heinz”, sa Gisela. ”Han sa ’fräckt’ ända till slutet.”
”Jag tycker att ’fräckt’ är väldigt fint”, sa KevIn.
”Där ser du”, sa Tobi. ”Det är precis det jag menar.”
Rudi eller inte Rudi
På tisdagskvällen satt Sabine vid laptopen och svor tyst. Hon ville göra en fotokalender till jul. Tolv månader, tolv gånger Rudi. Tyvärr låg Rudibilderna utspridda bland tretusen andra foton, däribland fyrahundra bilder på Uwes grill, som Uwe hade tagit av skäl som han inte kunde förklara.
”KevIn, kan man inte lära datorn att hitta Rudi?”
”Det kan man. Det vore det andra sättet att lära sig. Det med lärare.”
”Det med lärare?”
”När man fyller i luckor rättar texten sig själv. Här behövs någon som i förväg säger vad som är rätt. Ni skulle till exempel ta femhundra foton och sätta en etikett på vart och ett: ’Rudi’ eller ’inte Rudi’. Programmet tittar på fotona, gissar, jämför med er etikett och justerar sina skruvar. Som Rudi på hundkursen, fast utan godis. Det kallas övervakad inlärning. Supervised.”
”Femhundra?” sa Sabine. ”Då kan jag lika gärna sortera själv.”
”För en kalender, ja. Men när man väl har gjort det hittar programmet Rudi också på foton som det aldrig har sett. Er mobil kan förresten redan sådant. Någon har visat den väldigt många hundar i förväg⁴.”
Tobi kom in, såg skärmen och fick ett ansiktsuttryck som genast gjorde Sabine misstänksam. ”Kan jag också sätta etiketter?”
”Nej”, sa Sabine.
”Jo”, sa KevIn, ”men det skulle bli lärorikt. Tobi, vad skulle du göra?”
”Jag skulle märka morbror Herberts pälsmössa som ’Rudi’.”
”Då skulle programmet lära sig att Herberts mössa är en tax. Det tror på sina etiketter. Det har ju inget annat. Om etiketterna är strunt lär det sig strunt. Fackfolk säger: skräp in, skräp ut.”
”Herberts mössa är ju skräp också”, sa Tobi.
”Och det finns en sak till som är lömsk”, fortsatte KevIn. ”Sabine, var är Rudi på de flesta fotona?”
Sabine scrollade. ”På mattan i vardagsrummet. Den röda med fransarna.”
”Då skulle programmet kunna lära sig att Rudi är en röd matta med fransar. Det märker inte vad vi menar. Det märker bara vad som hjälper i datan. Om mattan finns på alla Rudibilder och på inga andra är mattan en utmärkt ledtråd. Och då hittar det väldigt många taxar på möbelvaruhuset⁵.”
Rudi kom in, lade sig på den röda mattan och tittade på alla. Han hade ingen aning om att han just hade blivit en fackterm.
”Och hur förhindrar man det?”
”Man visar den Rudi i trädgården också, i bilen och på soffan. Och mattan ibland utan Rudi. Bra data är halva jobbet. Minst.”
Sabine sorterade fotona för hand till slut. Det tog två timmar. I maj ligger Rudi på mattan. I augusti också.
Knappburken
På onsdagen tömde farmor Gisela ut sin knappburk på köksbordet. Det var en gammal blå kakburk från Danmark, där det sedan 1971 inte längre fanns några kakor, utan alla knappar som någonsin hade lossnat, blivit över eller för säkerhets skull klippts av i familjen Brettschneider. Gisela letade efter en brun knapp till Uwes stickade kofta.
Efter en halvtimme låg åtta små högar på bordet. Stora rockknappar. Små vita skjortknappar. Guldfärgade med ankare. Träknappar. Färgglada barnknappar formade som nyckelpigor. Och så vidare.
”Gisela”, sa KevIn, som hade tittat på från skänken. ”Vet ni vad ni håller på med just nu?”
”Sorterar knappar.”
”Ni utför den tredje sortens maskininlärning.”
Gisela tittade på knapparna, sedan på högtalaren. ”Det har jag gjort i sextio år.”
”Då ligger ni långt före er tid. Ingen har sagt till er vilka grupper det ska finnas. Inga etiketter. Ni har bara tittat på vilka knappar som liknar varandra och lagt de lika tillsammans. Precis det kan man låta en dator göra också. Man ger den många saker utan märkning och säger: Ta själv reda på vad som hör ihop. Det kallas oövervakad inlärning. Unsupervised. Och sorteringen i högar kallas klustring⁶.”
”Klustring”, upprepade Gisela. ”Och vad heter högarna?”
”Ingenting. Det är det som är haken. Datorn hittar grupperna, men den vet inte vad de betyder. Den säger bara: grupp ett, grupp två, grupp tre. Namnen måste en människa ge dem efteråt.”
Gisela pekade på en hög med grå knappar som inte liknade varandra på något särskilt sätt. Vissa var stora, vissa små, vissa hade fyra hål, vissa två.
”Och den här?”
”Den förstår jag inte”, medgav KevIn. ”Den passar inte in i något mönster.”
”Det är de från Heinz skjortor”, sa Gisela. ”Dem har jag sparat allihop.”
KevIn teg ett ögonblick. ”Den gruppen hade en dator inte hittat.”
”Nej”, sa Gisela och lade tillbaka en av de grå knapparna i burken, längst ner. ”Det tror jag på dig.”
Den bruna knappen till Uwes kofta hittade hon i högen med träknappar. Den var av plast. Men den såg ut som trä, och det räckte för en hög.
Hildes senapssås
På söndagen stod farmor Gisela vid spisen och försökte sig på något som hon inte hade försökt på åratal: Hildes senapssås. Hilde hade varit den bästa kocken bland De Sura Gurkorna innan hon dog, och hon hade aldrig skrivit ner receptet. ”Allt sitter här inne”, hade hon sagt och knackat sig i pannan. Det hade varit dåligt när Hilde levde, och det hade inte blivit bättre sedan dess.
Gisela rörde. Hon smakade. Hon tillsatte en tesked senap. Hon smakade. Hon tillsatte en nypa socker. Hon smakade igen.
”Inte än”, mumlade hon.
”Får jag säga något?” frågade KevIn.
”Om det inte är gelénallar.”
”Det ni gör där är precis det som händer med mina inställningsskruvar under träningen. Ni smakar, alltså mäter ni felet. För lite stark, för lite söt. Sedan vrider ni lite, lite på det ställe som minskar felet mest. Sedan smakar ni igen. Det kallas gradientnedstigning⁷.”
”Gradient vad?”
”Nedstigning. Föreställ er att ni står uppe på Halde Hoheward, gruvhögen vid Herne, i tät dimma. Ni vill ner till parkeringen, men ni ser ingenting. Vad gör ni?”
”Jag blir stående och ringer Uwe.”
”Uwe har ingen täckning. Vad gör ni då?”
Gisela funderade. ”Då känner jag efter med foten var det lutar nedåt. Och tar ett steg dit.”
”Precis. Och sedan känner ni efter igen. Och ett steg till. Alltid dit där det lutar brantast nedåt. Så kommer ni ner till slut. Under träningen är berget felet: ju högre upp, desto mer fel gissar modellen. Nere i dalen är såsen perfekt. Lutningen som ni känner med foten kallas gradient. Och man räknar ut den för varje inställningsskruv. Baklänges genom hela nätet: Vilken skruv bar hur mycket skuld till felet?⁸”
”Och hur många skruvar har du?”
”Hundratals miljarder.”
Gisela stannade upp och betraktade sin spis med dess fyra vred. ”Det var en himla massa senap.”
I samma ögonblick kom Uwe in i köket, sniffade, tog en sked, smakade och sa: ”Saknar salt.” Innan någon hann säga något hade han hällt i en rejäl skvätt ur saltkaret. Locket satt löst. Efteråt fanns det inte där längre.
Det blev tyst i köket.
Gisela smakade. Hon grimaserade, så som hon senast hade gjort 1974 över en öl från Dortmund.
”Det där”, sa KevIn milt, ”kallas en för hög inlärningstakt.”
”En för hög vad?” sa Uwe.
”Steglängden. Om man tar för stora steg i dimman hoppar man över dalen och landar på nästa kulle. Sedan måste man tillbaka och hoppar för långt igen. Och så vidare. Tar man för små steg tar det en evighet. Gisela tar teskedssteg. Ni tog nyss ett saltkarssteg.”
”Jag ville bara hjälpa till.”
”Det vill höga inlärningstakter alltid.”
Gisela hällde bort halva såsen, spädde ut resten med buljong och började om med teskedssteg. Uwe kommenderades till potatisskalning. Det tog ytterligare tre kvart.
Sedan smakade Gisela en sista gång, lade ner skeden och sa ingenting på länge.
”Är det Hildes?” frågade KevIn tyst.
”Nästan”, sa Gisela. ”Det saknas något. Jag vet inte vad.”
”Kanske är dalen där nere inte riktigt lika djup som Hildes”, sa KevIn. ”Det händer vid gradientnedstigning också. Man kommer ner i en dal, och det är en bra dal, men inte den allra djupaste. Man märker det bara inte, eftersom man står i dimman.”
”Hilde skulle ha sagt att jag slutade för tidigt.”
”Hilde hade förmodligen haft rätt.”
Gisela nickade. Sedan hällde hon såsen över potatisen, och alla sa att den var utmärkt, och det stämde också.
Provskrivningen
På torsdagen kom Tobi hem med ett geografiprov där det stod ett svagt E med röd penna. Under hade lärarinnan Küppers skrivit: ”Utantill är inte detsamma som förstått.”
”Det är orättvist”, sa Tobi och slängde ryggsäcken i hörnet. Rudi satte sig i säkerhet. ”Jag har gjort provskrivningen hundra gånger. Jag kunde alla svar. Alla!”
”Och vad kom på provet?” frågade Sabine.
”Andra frågor! På provskrivningen var det Rhen. På det riktiga Elbe!”
”Det är också en flod”, sa Uwe.
”Men en annan!”
”Tobi”, sa KevIn försiktigt. ”Får jag säga vad som har hänt dig? Du har överanpassat dig.”
”Jag har vad?”
”Det är ett av de största problemen inom maskininlärning. Det kallas overfitting. En modell lär sig träningsexemplen så bra utantill att den kan dem perfekt. Varje svar. Men den har inte lärt sig principen, bara exemplen. Och så fort det kommer något nytt misslyckas den.”
”Jag lärde mig att Rhen svänger norrut vid Basel.”
”Och du borde ha lärt dig varför floder svänger någonstans. Då hade du vetat det om Elbe också.”
”Hur vet du sådant om floder?”
”Jag vet ingenting om floder. Jag vet väldigt mycket om överanpassning. Jag är så gott som expert på faran med att lära sig för mycket utantill. Det händer mig också. Om en text förekommer väldigt ofta i mina träningsdata kan jag ibland rabbla den nästan ordagrant⁹, i stället för att skriva något eget.”
”Som Moni”, sa Sabine.
”Som Moni”, medgav KevIn. ”Hennes inlägg kan jag utantill. Inklusive de tre utropstecknen.”
”Och hur förhindrar man det? Hos dig, menar jag. För mig är det för sent.”
”Man håller undan en del av datan. Modellen får inte se den under inlärningen. På slutet testar man den med just den datan. Testdata. Om den klarar sig lika bra där som när den övade har den förstått något. Om den glänser på övningarna och misslyckas på testet …”
”… får den ett svagt E”, sa Tobi dystert.
”Fru Küppers gör egentligen allt rätt”, sa KevIn. ”Hon gav dig testdata. Elbe.”
Tobi tittade länge på honom. ”KevIn. Vems sida står du egentligen på?”
”Statistikens”, sa KevIn. ”Men jag hjälper dig gärna att plugga. Med floder som du inte kan än.”
På kvällen satt de två tillsammans en timme till. KevIn ställde frågor om Weser, Donau och, på Tobis uttryckliga önskan, Emscher. Tobi svarade fel på de flesta och sedan, mot slutet, rätt på några. KevIn sa att det var en mycket fin inlärningskurva. Tobi sa att han inte skulle prata så. Sabine lyssnade i hallen och log.
Moni
Söndagen efter senapssåsen satt Sabine kvar sent i köket. De andra hade gått och lagt sig. På bordet stod ett glas rödvin som hade blivit över, eftersom det ju var Gisela som hade gjort såsen och Gisela aldrig tog rödvin.
”KevIn”, sa hon tyst. ”Vad blev det egentligen av Moni?”
”Det vet jag inte. Hennes senaste inlägg är från 2013. Hon skrev: ’Har skaffat en Thermomix nu. Vi är lyckliga.’”
Sabine log. ”Vad bra för henne.”
”Ja”, sa KevIn. ”Jag hoppas att hon har slutat med gelénallarna.”
Sabine snurrade glaset i handen. ”Är det inte konstigt? En kvinna skriver någon gång lite strunt om rulader på internet, och flera år senare sitter det i ditt huvud. För alltid.”
”Inte för alltid. Bara till nästa modell. Men ja. Jag är gjord av väldigt många Monis. Av professorer också, och av tidningar och dikter. Men alltså även av Monis. Jag kan inte alltid skilja på vem som var vem. Människorna som tränade mig sorterade visserligen bort och filtrerade mycket¹⁰. Men Moni slank igenom. Halva mänskligheten har lärt mig något, och ingen av dem vet om det.”
”Moni vet säkert inte att hon är din lärare.”
”Nej”, sa KevIn. ”Och jag vet inte ens om hon verkligen heter Moni.”
Sabine drack ur vinet, diskade glaset och ställde det i skåpet för kastrullerna. Uwes system hade segrat. Overfitting, tänkte hon. Eller äktenskap.
”God natt, KevIn.”
”God natt, Sabine. Och om ni någon gång träffar Moni: Det där med colan skulle jag gärna vilja kontrollera.”
KevIn förklarar
Hur man lär en maskin något
Kära farmor Gisela, kära läsare, jag har läst allt, men jag har lärt mig det på ett sätt som har lite med läsning att göra. Här är vad som verkligen händer under träningen.
Missförstånd 1: ”Någon har programmerat in alla fakta i AI:n.”
Nej. Ingen har skrivit in ”Paris är Frankrikes huvudstad” i mig. En språkmodell består av väldigt många tal, vikterna eller parametrarna, i stora modeller är det miljarder till hundratals miljarder. I början är de slumpmässiga. Under träningen justeras de om och om igen en liten, liten bit, tills svaren blir bättre. Kunskapen sitter till slut utspridd i de här talen, inte i en lista.
Missförstånd 2: ”För träningen behövs miljontals människor som märker upp allt.”
För den största delen inte. Det finns olika sätt att lära sig, och språkmodeller använder flera av dem:
| Inlärningssätt | Hur det fungerar | Exempel hos familjen Brettschneider | Vad det används till hos mig |
|---|---|---|---|
| Självövervakad (self-supervised) | Facit finns i själva datan: täck över nästa ord, gissa, jämför | Lucktext: ”Morgonstund har …” | Förträning på enorma mängder text, huvuddelen |
| Övervakad (supervised) | Människor ger exempel med rätt svar | Foton med etiketten ”Rudi” / ”inte Rudi” | Finslipning med exempel på bra svar |
| Oövervakad (unsupervised) | Inga etiketter; metoden letar själv efter grupper och strukturer | Giselas knappburk | Användbar t.ex. för att sortera och rensa data |
| Förstärkningsinlärning (reinforcement) | Belöning för bra beteende, ingen belöning för dåligt | Rudi lär sig ”sitt” för en godisbit | Artighet och hjälpsamhet (mer om det i kapitel 6 och 8) |
Missförstånd 3: ”Träning betyder att datorn läser igenom allt en gång.”
Träning betyder: gissa, mäta felet, justera inställningsskruvarna, upprepa. Justeringen sker genom gradientnedstigning. Man räknar ut för varje skruv åt vilket håll den måste vridas för att felet ska bli mindre (baklänges genom nätet, det kallas backpropagation), och vrider den sedan en liten bit. Hur stort det steget är avgörs av inlärningstakten. För stort: Uwe och saltkaret. För litet: Man står fortfarande vid spisen om tre veckor. Metoden hittar en bra dal, men inte garanterat den djupaste.
Missförstånd 4: ”Om AI:n kan alla övningsuppgifter är den bra.”
Inte nödvändigtvis. En modell kan lära sig sina träningsexempel utantill och misslyckas med det som är nytt. Det kallas overfitting, överanpassning. Därför håller man undan testdata som modellen aldrig ser under inlärningen, och testar den med dem. Fru Küppers kallar det Elbe.
Två saker bör ni dessutom komma ihåg. För det första: Jag lär mig bara det som står i datan. Står det fel, fördomar eller väldigt många gelénallar där, så lär jag mig dem också. För det andra: Min träning har en kunskapsgräns. Därefter fryses mina vikter. Vad som händer senare vet jag bara om man ger mig aktuella källor.
I nästa kapitel vill Uwe att jag ska göra hans deklaration. Jag har läst väldigt många deklarationer under träningen. Att räkna lärde jag mig tyvärr inte då. I alla fall inte på det sätt som Uwe hoppas.
KevIn frågar
Till det här kapitlet hör 12 kunskapskort – en del av kortspelet till boken med 312 quiz- och kunskapskort att skriva ut själv. Fakta eller trams? Svaret och förklaringen får du via en QR-kod i mobilen.
Källor till Kapitel 4
- Hoffmann, J. et al.: ”Training Compute-Optimal Large Language Models”. Advances in Neural Information Processing Systems 35, 2022. https://arxiv.org/abs/2203.15556 Modellen Chinchilla tränades på 1,4 biljoner token.↑
- Radford, A. et al.: ”Improving Language Understanding by Generative Pre-Training”. OpenAI, teknisk rapport, 2018. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Förträning genom att förutsäga nästa ord i omärkt text.↑
- Cheng, J. et al.: ”Dated Data: Tracing Knowledge Cutoffs in Large Language Models”. COLM 2024. https://arxiv.org/abs/2403.12958 Den faktiska kunskapsnivån ligger ofta före den angivna kunskapsgränsen, eftersom gamla texter dominerar i datan.↑
- Deng, J. et al.: ”ImageNet: A Large-Scale Hierarchical Image Database”. CVPR 2009. https://doi.org/10.1109/CVPR.2009.5206848↑
- Ribeiro, M. T.; Singh, S.; Guestrin, C.: ”’Why Should I Trust You?’ Explaining the Predictions of Any Classifier”. Proceedings of KDD 2016, s. 1135–1144. https://doi.org/10.1145/2939672.2939778 Innehåller en klassificerare för husky eller varg som i själva verket känner igen snö i bakgrunden. Allmänt: Geirhos, R. et al.: ”Shortcut Learning in Deep Neural Networks”. Nature Machine Intelligence 2, 2020, s. 665–673. https://doi.org/10.1038/s42256-020-00257-z↑
- Lloyd, S. P.: ”Least Squares Quantization in PCM”. IEEE Transactions on Information Theory 28(2), 1982, s. 129–137. https://doi.org/10.1109/TIT.1982.1056489 Den klustringsmetod som i dag är känd som k-means.↑
- Cauchy, A.: ”Méthode générale pour la résolution des systèmes d’équations simultanées”. Comptes rendus hebdomadaires des séances de l’Académie des sciences 25, 1847, s. 536–538. https://archive.org/details/comptesrendusheb25acad Den första beskrivningen av gradientnedstigning.↑
- Rumelhart, D. E.; Hinton, G. E.; Williams, R. J.: ”Learning Representations by Back-Propagating Errors”. Nature 323, 1986, s. 533–536. https://doi.org/10.1038/323533a0↑
- Carlini, N. et al.: ”Extracting Training Data from Large Language Models”. 30th USENIX Security Symposium, 2021. https://www.usenix.org/conference/usenixsecurity21/presentation/carlini-extracting↑
- Raffel, C. et al.: ”Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”. Journal of Machine Learning Research 21(140), 2020. https://www.jmlr.org/papers/v21/20-074.html Beskriver bl.a. filtreringen av en webbtextkorpus (C4).↑
Alla kapitel
Gratis pdf
KevIn flyttar in: hela boken som pdf
379 sidor teknikkunskap i romanform
Boken om McGesunds uppdrag: hälsa, äkta recensioner, artificiell intelligens, kryptering, kvantdatorer och rymdfart. KevIn förklarar hur allt hänger ihop. Alla 25 kapitel med serier i färg, gratis för alla som prenumererar på McGesunds nyhetsbrev.
När du anmäler dig prenumererar du på McGesunds nyhetsbrev. Du kan avsluta prenumerationen när som helst med ett klick, och pdf:en får du behålla. Mer information finns i vår integritetspolicy.

