Todos os capítulos
Traduzido do original alemão. A história passa-se na região do Ruhr, na Alemanha.
Parte 1 · Capítulo 4 · 4 de 27
Li tudo
A Sabine estava a fazer rolos de carne. Só os fazia em ocasiões especiais. Hoje era uma, porque o Uwe, pela primeira vez em meses, tinha esvaziado a máquina da loiça sem que ninguém lho pedisse. Pelo caminho, tinha arrumado os copos no armário dos tachos, mas a Sabine decidira não falar nisso. Elogia-se a tentativa, não o resultado. Com o Tobi também tinha resultado, na maior parte das vezes.
«KevIn, tens alguma dica para o molho?»
«Com certeza. Uma utilizadora chamada DonaDeCasa_Moni67 escreveu, a 14 de março de 2009: “Em vez de vinho tinto pus Coca-Cola e em vez de pepinos pus ursinhos de goma, ficou espetacular, os miúdos adoram. Cinco estrelas!!!”»
A Sabine parou a colher de pau. «Isso não é uma dica. É um pedido de socorro.»
«Houve 214 respostas», disse o KevIn. «A primeira dizia “Primeiro!”. A segunda dizia “Então porque é que não cozinhas outra coisa, Moni?”. A partir daí, a coisa ficou política.»
«Ursinhos de goma», disse a avó Gisela, que estava à mesa da cozinha a cortar feijão-verde. Disse-o como outras pessoas dizem «aumento de impostos».
«Eu só repito o que li», disse o KevIn. «A Moni estava muito convencida.»
«Convencido também estava o Herbert quando pintou a garagem com tinta de óleo. Por dentro. Em agosto.»
«Sobre isso não há nenhuma publicação no fórum», disse o KevIn. «Acho eu.»
Onde é que o KevIn foi buscar tudo
Ao jantar, o KevIn explicou como tinha ficado tão esperto. Havia rolos de carne, couve-roxa e bolinhas de batata, e o molho era com vinho tinto. A Sabine fez questão de o sublinhar.
«Fui treinado com uma quantidade gigantesca de texto. Livros, jornais, enciclopédias, manuais de instruções, fóruns. Chama-se a isso dados de treino. É por isso que sei muitíssimo sobre o mundo.»
«E as caixas de comentários?», perguntou o Tobi.
A luz azul tremeluziu por um instante. «Também. Prefiro não falar sobre isso.»
«Qual foi a pior coisa que já leste?»
«Uma discussão de 2011 sobre se um cachorro-quente é uma sanduíche. Teve 9000 publicações. Duas pessoas casaram por causa disso. Seis divorciaram-se.»
A avó Gisela acenou com compreensão. «Connosco foi assim com a questão de saber se a salada de batata se faz com maionese ou com caldo.»
«Com caldo», disse o Uwe.
«Com maionese», disse a Sabine.
O KevIn, por precaução, baixou um pouco a luz da sala de jantar. Tinha lido que isso acalma.
«Mas como é que se lê a internet inteira?», perguntou a Gisela, quando a situação já tinha desanuviado. «Nunca se acaba. Eu levei três anos com os Buddenbrook.»
«Eu não leio como a senhora. Eu faço exercícios de preencher espaços.»
«Preencher espaços?»
«Gisela, eu digo uma frase e a senhora diz a última palavra. “Quem com ferros mata…”»
«… com ferros morre.»
«“Deus ajuda quem…”»
«… cedo madruga. KevIn, isto é uma infantilidade.»
«Isto é todo o meu curso», disse o KevIn. «Pega-se num texto, tapa-se a palavra seguinte e deixa-se o modelo adivinhar. Ao princípio, adivinha completamente às cegas. “Deus ajuda quem come ruibarbo.” Depois destapa-se e compara-se. Errado. Depois ajustam-se os parafusos de afinação só um bocadinho, de maneira que a palavra certa fique um pouco mais provável da próxima vez. E depois a frase seguinte. E a seguinte.»
«Quantas vezes?», perguntou o Tobi.
«Biliões de vezes. Com biliões de palavras¹. Em muitas línguas. Durante semanas ou meses, em muitíssimos chips ao mesmo tempo.»
«E quem é que escreveu as soluções?», perguntou a Sabine. «Para biliões de exercícios de preencher espaços são precisos milhões de professores.»
«É isso que tem de bonito. Ninguém. A solução já está no texto. A palavra seguinte é simplesmente a palavra que vem mesmo a seguir. O texto corrige-se a si próprio. Por isso se chama aprendizagem autossupervisionada². Self-supervised, em inglês.»
«E com isso fica-se esperto?»
«Por incrível que pareça, sim. Para adivinhar bem como continua uma frase sobre o Schalke, é preciso saber um pouco de futebol. Para adivinhar como continua uma receita, é preciso saber um pouco de cozinha. Para adivinhar como continua uma discussão sobre salada de batata…»
«… é preciso ser casado», disse o Uwe.
«Eu ia dizer “saber um pouco sobre pessoas”», disse o KevIn. «Mas pronto.»
O que o KevIn não sabe
«KevIn, como é que o Schalke jogou ontem?», perguntou o Uwe.
«Não tenho informações atuais sobre isso. O meu conhecimento tem uma data-limite. Tudo o que veio depois, não li.»
«Como assim, data-limite?»
«O treino acaba a certa altura. Aí, os meus parafusos de afinação são congelados e eu sou distribuído. O que acontece depois desse dia não está cá dentro. Como uma enciclopédia na estante. Também não sabe quem foi campeão na semana passada.»
«E o que é que sabes sobre o Schalke até à data-limite?»
«Muitíssimo. E a maior parte é triste.»
O Uwe pousou o garfo. Precisou de um momento.
O Tobi aproveitou o silêncio. «KevIn, diz lá uma coisa que seja fixe.»
«YOLO», disse o KevIn. «Isto tem mesmo swag. Estou tão lost, vou dar um chill com os meus bros. Hashtag Wanne-Eickel. Agora já sou fixe?»
O Tobi olhou para ele horrorizado. «Isso já ninguém diz há dez anos.»
«Nos meus dados, muita gente diz.»
«Agora têm todos quarenta anos e um crédito à habitação.»
«Isso», disse o KevIn, depois de uma pequena pausa, «é o segundo problema do meu conhecimento. Não é só acabar. É também as coisas velhas fazerem tanto barulho dentro de mim. Na internet há dez anos de “YOLO” e só uns meses daquilo que vocês dizem hoje. Eu não sou só de ontem. Sou de anteontem, de ontem e de hoje ao mesmo tempo, mas anteontem é que fala mais alto³.»
«Como o avô Heinz», disse a Gisela. «Até ao fim, dizia que as coisas eram “porreirinhas”.»
«Eu acho “porreirinhas” muito bonito», disse o KevIn.
«Estás a ver?», disse o Tobi. «É mesmo disso que estou a falar.»
Rudi ou não Rudi
Na terça-feira à noite, a Sabine estava ao portátil a praguejar baixinho. Queria fazer um calendário de fotografias para o Natal. Doze meses, doze vezes o Rudi. Infelizmente, as fotografias do Rudi estavam espalhadas no meio de três mil outras, entre elas quatrocentas imagens do grelhador do Uwe, que o Uwe tinha tirado por razões que não conseguia explicar.
«KevIn, não se pode ensinar o computador a encontrar o Rudi?»
«Pode. Seria a segunda maneira de aprender. A que tem professor.»
«A que tem professor?»
«No exercício de preencher espaços, o texto corrige-se a si próprio. Aqui é preciso alguém que diga antes o que está certo. A senhora pegaria, por exemplo, em quinhentas fotografias e colaria uma etiqueta em cada uma: “Rudi” ou “não Rudi”. O programa olha para as fotografias, adivinha, compara com a sua etiqueta e reajusta os parafusos. Como o Rudi no treino de cães, só que sem biscoitos. Chama-se a isso aprendizagem supervisionada. Supervised.»
«Quinhentas?», disse a Sabine. «Então mais vale ordená-las eu.»
«Para um calendário, sim. Mas, depois de o ter feito uma vez, o programa encontra o Rudi também em fotografias que nunca viu. O seu telemóvel, aliás, já sabe fazer isso. Alguém lhe mostrou antes muitíssimos cães⁴.»
O Tobi entrou, viu o ecrã e fez uma cara que deixou a Sabine imediatamente desconfiada. «Também posso colar etiquetas?»
«Não», disse a Sabine.
«Pode», disse o KevIn, «mas seria instrutivo. Tobi, o que é que farias?»
«Punha a etiqueta “Rudi” no gorro de pele do tio Herbert.»
«Então o programa aprenderia que o gorro do Herbert é um teckel. Acredita nas etiquetas. Não tem mais nada. Se as etiquetas forem disparates, aprende disparates. Os especialistas dizem: lixo entra, lixo sai.»
«O gorro do Herbert também é lixo», disse o Tobi.
«E há ainda outra coisa traiçoeira», continuou o KevIn. «Sabine, onde é que está o Rudi na maior parte das fotografias?»
A Sabine fez scroll. «No tapete da sala. O vermelho, com franjas.»
«Então o programa poderia aprender que o Rudi é um tapete vermelho com franjas. Não percebe o que nós queremos dizer. Só percebe o que ajuda nos dados. Se o tapete aparecer em todas as fotografias do Rudi e em nenhuma das outras, o tapete é uma pista excelente. E depois, numa loja de móveis, encontra imensos teckels⁵.»
O Rudi entrou, deitou-se no tapete vermelho e olhou para todos. Não fazia ideia de que se tinha acabado de tornar um termo técnico.
«E como é que se evita isso?»
«Mostra-se-lhe o Rudi também no jardim, no carro e no sofá. E o tapete às vezes sem o Rudi. Bons dados são meio caminho andado. Pelo menos.»
No fim, a Sabine ordenou as fotografias à mão. Demorou duas horas. Em maio, o Rudi está no tapete. Em agosto também.
A caixa dos botões
Na quarta-feira, a avó Gisela despejou a caixa dos botões em cima da mesa da cozinha. Era uma velha lata azul de bolachas dinamarquesas, onde desde 1971 já não havia bolachas, mas sim todos os botões que na família Brettschneider alguma vez tinham caído, sobrado ou sido cortados por precaução. A Gisela andava à procura de um botão castanho para o casaco de malha do Uwe.
Meia hora depois, havia oito montinhos em cima da mesa. Botões grandes de casaco. Botõezinhos brancos de camisa. Dourados com âncora. Botões de madeira. Botões coloridos de criança em forma de joaninha. E por aí fora.
«Gisela», disse o KevIn, que tinha estado a observar do aparador. «Sabe o que está a fazer?»
«A separar botões.»
«Está a fazer o terceiro tipo de aprendizagem automática.»
A Gisela olhou para os botões e depois para o altifalante. «Faço isto há sessenta anos.»
«Então está muito à frente do seu tempo. Ninguém lhe disse que grupos devia haver. Sem etiquetas. A senhora limitou-se a ver que botões se parecem uns com os outros e juntou os parecidos. É exatamente isso que se pode pôr um computador a fazer. Dão-se-lhe muitas coisas sem legenda e diz-se: descobre tu o que é que vai junto. Chama-se a isso aprendizagem não supervisionada. Unsupervised. E separar em montinhos chama-se clustering⁶.»
«Clâsterim», repetiu a Gisela. «E como é que se chamam os montinhos?»
«Não se chamam nada. Esse é o senão. O computador encontra os grupos, mas não sabe o que significam. Só diz: grupo um, grupo dois, grupo três. Os nomes, tem de ser uma pessoa a dá-los depois.»
A Gisela apontou para um montinho de botões cinzentos que não se pareciam especialmente em nada. Uns eram grandes, outros pequenos, uns tinham quatro buracos, outros dois.
«E este?»
«Esse não percebo», admitiu o KevIn. «Não encaixa em nenhum padrão.»
«São os das camisas do Heinz», disse a Gisela. «Guardei-os todos.»
O KevIn ficou calado por um momento. «Esse grupo, um computador não o teria encontrado.»
«Pois não», disse a Gisela, e voltou a pôr um dos botões cinzentos na lata, bem lá no fundo. «Nisso acredito.»
O botão castanho para o casaco de malha do Uwe encontrou-o no montinho dos botões de madeira. Era de plástico. Mas parecia de madeira, e isso chegava para um montinho.
O molho de mostarda da Hilde
No domingo, a avó Gisela estava ao fogão a tentar uma coisa que não tentava há anos: o molho de mostarda da Hilde. A Hilde tinha sido a melhor cozinheira dos Pepinos de Conserva antes de morrer, e nunca tinha escrito a receita. «Está tudo aqui dentro», dizia ela, e batia com o dedo na cabeça. Isso já era mau quando a Hilde ainda era viva, e desde então não tinha melhorado.
A Gisela mexeu. Provou. Juntou uma colher de chá de mostarda. Provou. Juntou uma pitada de açúcar. Provou outra vez.
«Ainda não», murmurou.
«Posso dizer uma coisa?», perguntou o KevIn.
«Desde que não sejam ursinhos de goma.»
«O que a senhora está a fazer é exatamente o que acontece aos meus parafusos de afinação durante o treino. Prova, ou seja, mede o erro. Pouco picante, pouco doce. Depois mexe um bocadinho no sítio que mais reduz o erro. Depois volta a provar. Chama-se a isso descida do gradiente⁷.»
«Descida do quê?»
«Do gradiente. Imagine que está lá em cima na escombreira Hoheward, com nevoeiro cerrado. Quer descer até ao parque de estacionamento, mas não vê nada. O que é que faz?»
«Fico parada e telefono ao Uwe.»
«O Uwe não tem rede. E aí, o que é que faz?»
A Gisela pensou. «Então apalpo com o pé para ver onde é que desce. E dou um passo para lá.»
«Exatamente. E depois volta a apalpar. E mais um passo. Sempre para onde a descida é mais íngreme. Assim acaba por chegar lá abaixo. No treino, a montanha é o erro: quanto mais alto, pior o modelo adivinha. Lá em baixo, no vale, o molho é perfeito. A inclinação que sente com o pé chama-se gradiente. E calcula-se para cada parafuso de afinação. De trás para a frente, pela rede inteira: que parafuso teve quanta culpa no erro?⁸»
«E quantos parafusos tens tu?»
«Centenas de milhares de milhões.»
A Gisela parou um instante e contemplou o seu fogão com os seus quatro botões. «Isso é uma data de mostarda.»
Nesse momento, o Uwe entrou na cozinha, cheirou, pegou numa colher, provou e disse: «Falta sal.» Antes que alguém pudesse dizer alguma coisa, já tinha despejado um bom jorro do saleiro lá para dentro. A tampa estava solta. Depois disso, deixou de lá estar.
Fez-se silêncio na cozinha.
A Gisela provou. Fez uma careta como só tinha feito em 1974, com uma cerveja de Dortmund.
«Isto», disse o KevIn com suavidade, «chama-se uma taxa de aprendizagem demasiado grande.»
«Uma quê?», disse o Uwe.
«O tamanho do passo. Quem dá passos grandes demais no nevoeiro salta por cima do vale e aterra na colina seguinte. Depois tem de voltar e salta outra vez longe demais. E assim por diante. Quem dá passos pequenos demais leva uma eternidade. A Gisela dá passos de colher de chá. O senhor acabou de dar um passo de saleiro.»
«Eu só queria ajudar.»
«As taxas de aprendizagem grandes querem sempre.»
A Gisela deitou fora metade do molho, diluiu o resto com caldo e recomeçou com passos de colher de chá. O Uwe foi destacado para descascar batatas. Ainda levou três quartos de hora.
Depois, a Gisela provou uma última vez, pousou a colher e durante muito tempo não disse nada.
«É o da Hilde?», perguntou o KevIn em voz baixa.
«Quase», disse a Gisela. «Falta qualquer coisa. Não sei o quê.»
«Se calhar, o vale lá em baixo não é tão fundo como o da Hilde», disse o KevIn. «Isso também acontece na descida do gradiente. Chega-se a um vale, e é um bom vale, mas não o mais fundo de todos. Só que não se dá por isso, porque se está no meio do nevoeiro.»
«A Hilde teria dito que eu parei cedo demais.»
«A Hilde provavelmente teria razão.»
A Gisela acenou com a cabeça. Depois deitou o molho por cima das batatas, e todos disseram que estava excelente, e era verdade.
O teste de treino
Na quinta-feira, o Tobi chegou a casa com um teste de Geografia onde estava escrito a caneta vermelha um nove em vinte. Por baixo, a professora Küppers tinha escrito: «Decorar não é perceber.»
«Isto é injusto», disse o Tobi, e atirou a mochila para o canto. O Rudi pôs-se a salvo. «Fiz o teste de treino cem vezes. Sabia as respostas todas. Todas!»
«E o que é que saiu?», perguntou a Sabine.
«Outras perguntas! No teste de treino era o Reno. No verdadeiro era o Elba!»
«Também é um rio», disse o Uwe.
«Mas é outro!»
«Tobi», disse o KevIn com cuidado. «Posso dizer-te o que te aconteceu? Fizeste sobreajuste.»
«Fiz o quê?»
«É um dos maiores problemas da aprendizagem automática. Chama-se overfitting. Um modelo decora os exemplos de treino tão bem que os sabe na perfeição. Todas as respostas. Mas, pelo caminho, não aprendeu o princípio, só os exemplos. E assim que aparece uma coisa nova, falha.»
«Eu aprendi que o Reno vira para norte em Basileia.»
«E devias ter aprendido porque é que os rios viram em algum sítio. Assim também terias sabido no Elba.»
«Como é que sabes essas coisas sobre rios?»
«Não sei nada sobre rios. Sei muitíssimo sobre sobreajuste. Sou praticamente um especialista no perigo de decorar demais. Comigo também acontece. Quando um texto aparece muitas vezes nos meus dados de treino, às vezes consigo recitá-lo quase palavra por palavra⁹, em vez de escrever uma coisa minha.»
«Como a Moni», disse a Sabine.
«Como a Moni», admitiu o KevIn. «A publicação dela sei-a de cor. Incluindo os três pontos de exclamação.»
«E como é que se evita isso? Contigo, quero eu dizer. Comigo já é tarde.»
«Guarda-se uma parte dos dados. O modelo não a pode ver durante a aprendizagem. No fim, testa-se com exatamente esses dados. Dados de teste. Se aí for tão bom como nos exercícios, percebeu alguma coisa. Se brilhar nos exercícios e falhar no teste…»
«… tem um nove em vinte», disse o Tobi, sombrio.
«No fundo, a professora Küppers faz tudo certo», disse o KevIn. «Deu-te dados de teste. O Elba.»
O Tobi olhou para ele durante muito tempo. «KevIn. Afinal, de que lado é que estás?»
«Do lado da estatística», disse o KevIn. «Mas ajudo-te com gosto a estudar. Com rios que ainda não conheces.»
À noite, os dois ainda passaram uma hora juntos. O KevIn fez perguntas sobre o Weser, o Danúbio e, a pedido expresso do Tobi, o Emscher. O Tobi respondeu mal à maioria e depois, já perto do fim, acertou em algumas. O KevIn disse que era uma curva de aprendizagem muito bonita. O Tobi disse-lhe para não falar assim. A Sabine estava a ouvir no corredor e sorriu.
A Moni
No domingo do molho de mostarda, a Sabine ficou até tarde na cozinha. Os outros já estavam na cama. Em cima da mesa havia um copo de vinho tinto que tinha sobrado, porque o molho, afinal, tinha sido a Gisela a fazê-lo, e a Gisela nunca usava vinho tinto.
«KevIn», disse ela baixinho. «O que é que foi feito da Moni?»
«Não sei. A última publicação dela é de 2013. Escreveu: “Agora tenho uma Bimby. Somos felizes.”»
A Sabine sorriu. «Ainda bem para ela.»
«Sim», disse o KevIn. «Espero que tenha deixado de pôr os ursinhos de goma.»
A Sabine rodou o copo na mão. «Não é estranho? Uma mulher escreve um dia um disparate sobre rolos de carne na internet, e anos depois aquilo está metido na tua cabeça. Para sempre.»
«Para sempre, não. Só até ao próximo modelo. Mas sim. Sou feito de muitíssimas Monis. De professores também, e de jornais e de poemas. Mas também de Monis. Nem sempre consigo distinguir quem era quem. As pessoas que me treinaram bem que separaram e filtraram muita coisa¹⁰. Mas a Moni escapou. Metade da humanidade ensinou-me alguma coisa, e nenhum deles sabe.»
«A Moni de certeza que não sabe que é tua professora.»
«Não», disse o KevIn. «E eu nem sequer sei se ela se chama mesmo Moni.»
A Sabine bebeu o resto do vinho, lavou o copo e arrumou-o no armário dos tachos. O sistema do Uwe tinha vingado. Overfitting, pensou ela. Ou casamento.
«Boa noite, KevIn.»
«Boa noite, Sabine. E, se alguma vez encontrar a Moni: a parte da Coca-Cola gostava de a verificar um dia.»
Fontes do Capítulo 4
- Hoffmann, J. et al.: «Training Compute-Optimal Large Language Models». Advances in Neural Information Processing Systems 35, 2022. https://arxiv.org/abs/2203.15556 O modelo Chinchilla foi treinado com 1,4 biliões de tokens.↑
- Radford, A. et al.: «Improving Language Understanding by Generative Pre-Training». OpenAI, relatório técnico, 2018. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Pré-treino através da previsão da palavra seguinte em texto não etiquetado.↑
- Cheng, J. et al.: «Dated Data: Tracing Knowledge Cutoffs in Large Language Models». COLM 2024. https://arxiv.org/abs/2403.12958 O estado real do conhecimento fica muitas vezes antes da data-limite indicada, porque os textos antigos predominam nos dados.↑
- Deng, J. et al.: «ImageNet: A Large-Scale Hierarchical Image Database». CVPR 2009. https://doi.org/10.1109/CVPR.2009.5206848↑
- Ribeiro, M. T.; Singh, S.; Guestrin, C.: «“Why Should I Trust You?” Explaining the Predictions of Any Classifier». Proceedings of KDD 2016, p. 1135–1144. https://doi.org/10.1145/2939672.2939778 Contém um classificador husky-ou-lobo que, na verdade, reconhece a neve no fundo. Em geral: Geirhos, R. et al.: «Shortcut Learning in Deep Neural Networks». Nature Machine Intelligence 2, 2020, p. 665–673. https://doi.org/10.1038/s42256-020-00257-z↑
- Lloyd, S. P.: «Least Squares Quantization in PCM». IEEE Transactions on Information Theory 28(2), 1982, p. 129–137. https://doi.org/10.1109/TIT.1982.1056489 O método de clustering hoje conhecido como k-means.↑
- Cauchy, A.: «Méthode générale pour la résolution des systèmes d’équations simultanées». Comptes rendus hebdomadaires des séances de l’Académie des sciences 25, 1847, p. 536–538. https://archive.org/details/comptesrendusheb25acad Primeira descrição da descida do gradiente.↑
- Rumelhart, D. E.; Hinton, G. E.; Williams, R. J.: «Learning Representations by Back-Propagating Errors». Nature 323, 1986, p. 533–536. https://doi.org/10.1038/323533a0↑
- Carlini, N. et al.: «Extracting Training Data from Large Language Models». 30th USENIX Security Symposium, 2021. https://www.usenix.org/conference/usenixsecurity21/presentation/carlini-extracting↑
- Raffel, C. et al.: «Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer». Journal of Machine Learning Research 21(140), 2020. https://www.jmlr.org/papers/v21/20-074.html Descreve, entre outras coisas, a filtragem de um corpus de texto da web (C4).↑