Todos los capítulos
Traducido del original alemán. La historia transcurre en la cuenca del Ruhr, en Alemania.
Parte 1 · Capítulo 4 · 4 de 27
Lo he leído todo
Sabine estaba haciendo rollos de ternera. Solo los hacía en ocasiones especiales. Hoy era una, porque por primera vez en meses Uwe había vaciado el lavavajillas sin que nadie tuviera que pedírselo. De paso había metido los vasos en el armario de las cazuelas, pero Sabine había decidido no mencionarlo. Se elogia el intento, no el resultado. Con Tobi también había funcionado, casi siempre.
«KevIn, ¿tienes algún consejo para la salsa?»
«Por supuesto. Una usuaria llamada AmaDeCasa_Moni67 escribió el 14 de marzo de 2009: “En vez de vino tinto le puse Coca-Cola y en vez de pepinillos ositos de gominola, ha quedado genial, a los niños les encanta. ¡¡¡Cinco estrellas!!!”»
Sabine dejó quieta la cuchara de palo. «Eso no es un consejo. Es una petición de auxilio.»
«Tuvo 214 respuestas», dijo KevIn. «La primera decía “¡Primero!”. La segunda decía “¿Y por qué no cocinas otra cosa, Moni?”. Después la cosa se puso política.»
«Ositos de gominola», dijo la abuela Gisela, que estaba cortando judías verdes en la mesa de la cocina. Lo dijo como otros dicen «subida de impuestos».
«Yo solo repito lo que he leído», dijo KevIn. «Moni estaba muy convencida.»
«Convencido estaba también Herbert cuando pintó el garaje con pintura al óleo. Por dentro. En agosto.»
«Sobre eso no hay ninguna entrada en ningún foro», dijo KevIn. «Creo.»
De dónde lo sabe todo KevIn
Durante la comida, KevIn explicó cómo se había vuelto tan listo. Había rollos de ternera, lombarda y bolas de patata, y la salsa llevaba vino tinto. Sabine lo había subrayado.
«Me entrenaron con una cantidad enorme de texto. Libros, periódicos, enciclopedias, manuales de instrucciones, foros. Eso se llama datos de entrenamiento. Gracias a ellos sé muchísimo sobre el mundo.»
«¿Y las secciones de comentarios?», preguntó Tobi.
La luz azul parpadeó un instante. «También. No quiero hablar de ello.»
«¿Qué es lo peor que has leído?»
«Una discusión de 2011 sobre si un perrito caliente es un sándwich. Tenía 9.000 mensajes. Dos personas se casaron por ella. Seis se divorciaron.»
La abuela Gisela asintió con comprensión. «En casa nos pasaba eso con la ensalada de patata: si se hace con mayonesa o con caldo.»
«Con caldo», dijo Uwe.
«Con mayonesa», dijo Sabine.
KevIn bajó un poco la luz del comedor, por si acaso. Había leído que eso tranquiliza.
«Pero ¿cómo se lee uno todo internet?», preguntó Gisela cuando la situación se hubo calmado. «Eso no se acaba nunca. Yo tardé tres años en leerme Los Buddenbrook.»
«Yo no leo como usted. Yo juego a rellenar huecos.»
«¿A rellenar huecos?»
«Gisela, yo digo una frase y usted dice la última palabra. “Quien siembra vientos…”»
«… recoge tempestades.»
«“A quien madruga…”»
«… Dios le ayuda. KevIn, esto es de niños.»
«Esto es toda mi carrera», dijo KevIn. «Se coge un texto, se tapa la palabra siguiente y se deja que el modelo adivine. Al principio adivina a lo loco. “A quien madruga, Dios le da ruibarbo.” Luego se destapa y se compara. Mal. Entonces se ajustan las ruedecillas un poquito, de modo que la palabra correcta sea algo más probable la próxima vez. Y luego la frase siguiente. Y la siguiente.»
«¿Cuántas veces?», preguntó Tobi.
«Billones de veces. Con billones de palabras¹. En muchos idiomas. Durante semanas o meses, en muchísimos chips a la vez.»
«¿Y quién escribió las soluciones?», preguntó Sabine. «Para billones de huecos hacen falta millones de profesores.»
«Eso es lo bonito. Nadie. La solución ya está en el texto. La palabra siguiente es sencillamente la palabra que de verdad viene después. El texto se corrige solo. Por eso se llama aprendizaje autosupervisado². Self-supervised, en inglés.»
«¿Y con eso uno se vuelve listo?»
«Sorprendentemente, sí. Para adivinar bien cómo sigue una frase sobre el Schalke, hay que saber un poco de fútbol. Para adivinar cómo sigue una receta, hay que saber un poco de cocina. Para adivinar cómo sigue una discusión sobre la ensalada de patata…»
«… hay que estar casado», dijo Uwe.
«Iba a decir “saber un poco de personas”», dijo KevIn. «Pero bueno.»
Lo que KevIn no sabe
«KevIn, ¿cómo quedó ayer el Schalke?», preguntó Uwe.
«No tengo información actualizada sobre eso. Mis conocimientos tienen una fecha de corte. Todo lo posterior no lo he leído.»
«¿Cómo que fecha de corte?»
«El entrenamiento termina en algún momento. Entonces congelan mis ruedecillas y me ponen a la venta. Lo que pasa después de ese día no está dentro de mí. Como una enciclopedia en la estantería. Tampoco sabe quién ganó la liga la semana pasada.»
«¿Y qué sabes del Schalke hasta la fecha de corte?»
«Muchísimo. Y casi todo es triste.»
Uwe dejó el tenedor. Necesitaba un momento.
Tobi aprovechó el silencio. «KevIn, di algo que mole.»
«YOLO», dijo KevIn. «Eso tiene mogollón de swag. Estoy superlost, me voy a chillear con mis bros. Hashtag Wanne-Eickel. ¿Ya molo?»
Tobi lo miró horrorizado. «Eso no lo dice nadie desde hace diez años.»
«En mis datos lo dice muchísima gente.»
«Todos esos tienen ahora cuarenta años y una hipoteca.»
«Eso», dijo KevIn tras una breve pausa, «es el segundo problema de mis conocimientos. No solo que se acaban. Sino que las cosas viejas suenan muy fuerte dentro de mí. En internet hay diez años de “YOLO” y solo unos pocos meses de lo que decís vosotros hoy. No es que yo sea de ayer. Soy de anteayer, de ayer y de hoy a la vez, pero anteayer es el que habla más alto³.»
«Como el abuelo Heinz», dijo Gisela. «Ese dijo “dabuten” hasta el final.»
«A mí “dabuten” me parece precioso», dijo KevIn.
«¿Lo ves?», dijo Tobi. «A eso me refiero.»
Rudi o no Rudi
El martes por la noche Sabine estaba sentada delante del portátil soltando tacos en voz baja. Quería hacer un calendario de fotos para Navidad. Doce meses, doce veces Rudi. Por desgracia, las fotos de Rudi estaban desperdigadas entre otras tres mil, entre ellas cuatrocientas de la barbacoa de Uwe, que Uwe había hecho por motivos que no sabía explicar.
«KevIn, ¿no se le puede enseñar al ordenador a encontrar a Rudi?»
«Se puede. Sería la segunda manera de aprender. La que tiene profesor.»
«¿La que tiene profesor?»
«Al rellenar huecos, el texto se corrige solo. Aquí hace falta alguien que diga de antemano qué es lo correcto. Usted cogería, por ejemplo, quinientas fotos y le pegaría una etiqueta a cada una: “Rudi” o “no Rudi”. El programa mira las fotos, adivina, compara con su etiqueta y reajusta sus ruedecillas. Como Rudi en el adiestramiento canino, pero sin chuches. Eso se llama aprendizaje supervisado. Supervised.»
«¿Quinientas?», dijo Sabine. «Entonces ya las ordeno yo directamente.»
«Para un calendario, sí. Pero una vez hecho, el programa encuentra a Rudi también en fotos que no ha visto nunca. Su móvil, por cierto, ya sabe hacer algo así. Alguien le enseñó antes muchísimos perros⁴.»
Tobi entró, vio la pantalla y puso una cara que hizo desconfiar a Sabine de inmediato. «¿Puedo pegar etiquetas yo también?»
«No», dijo Sabine.
«Sí», dijo KevIn, «pero sería instructivo. Tobi, ¿qué harías tú?»
«Etiquetaría el gorro de piel del tío Herbert como “Rudi”.»
«Entonces el programa aprendería que el gorro de Herbert es un teckel. Se cree sus etiquetas. No tiene otra cosa. Si las etiquetas son una tontería, aprende tonterías. Los expertos lo llaman: basura entra, basura sale.»
«Es que el gorro de Herbert es basura», dijo Tobi.
«Y hay algo más, bastante traicionero», continuó KevIn. «Sabine, ¿dónde está Rudi en la mayoría de las fotos?»
Sabine fue pasando fotos. «En la alfombra del salón. La roja de los flecos.»
«Entonces el programa podría aprender que Rudi es una alfombra roja con flecos. No se da cuenta de lo que queremos decir. Solo se da cuenta de lo que le sirve en los datos. Si en todas las fotos de Rudi sale la alfombra y en ninguna otra, la alfombra es una pista estupenda. Y luego, en una tienda de muebles, encuentra muchísimos teckels⁵.»
Rudi entró, se tumbó en la alfombra roja y los miró a todos. No tenía ni idea de que acababa de convertirse en un término técnico.
«¿Y cómo se evita eso?»
«Se le enseña a Rudi también en el jardín, en el coche y en el sofá. Y la alfombra alguna vez sin Rudi. Unos buenos datos son media batalla. Como mínimo.»
Al final, Sabine ordenó las fotos a mano. Tardó dos horas. En mayo, Rudi está en la alfombra. En agosto también.
La caja de los botones
El miércoles, la abuela Gisela volcó su caja de botones sobre la mesa de la cocina. Era una vieja lata azul de galletas danesas en la que desde 1971 ya no había galletas, sino todos los botones que en la familia Brettschneider se habían caído, habían sobrado o se habían cortado por si acaso. Gisela buscaba un botón marrón para la chaqueta de punto de Uwe.
Media hora después había ocho montoncitos sobre la mesa. Botones grandes de abrigo. Botoncitos blancos de camisa. Dorados con ancla. Botones de madera. Botones infantiles de colores con forma de mariquita. Etcétera.
«Gisela», dijo KevIn, que lo había estado observando desde el aparador. «¿Sabe usted lo que está haciendo?»
«Ordenar botones.»
«Está haciendo el tercer tipo de aprendizaje automático.»
Gisela miró los botones y luego el altavoz. «Llevo sesenta años haciendo esto.»
«Entonces va usted muy adelantada a su tiempo. Nadie le ha dicho qué grupos tiene que haber. Nada de etiquetas. Solo ha mirado qué botones se parecen y ha juntado los parecidos. Exactamente eso se le puede pedir a un ordenador. Se le dan muchas cosas sin rotular y se le dice: averigua tú solo qué va con qué. Eso se llama aprendizaje no supervisado. Unsupervised. Y repartir en montoncitos se llama clustering⁶.»
«Clásterin», repitió Gisela. «¿Y cómo se llaman los montoncitos?»
«De ninguna manera. Esa es la pega. El ordenador encuentra los grupos, pero no sabe lo que significan. Solo dice: grupo uno, grupo dos, grupo tres. Los nombres se los tiene que poner luego una persona.»
Gisela señaló un montoncito de botones grises que no se parecían especialmente en nada. Unos eran grandes, otros pequeños, unos tenían cuatro agujeros, otros dos.
«¿Y esto?»
«Eso no lo entiendo», admitió KevIn. «No encaja en ningún patrón.»
«Son los de las camisas de Heinz», dijo Gisela. «Los guardé todos.»
KevIn guardó silencio un momento. «Ese grupo no lo habría encontrado un ordenador.»
«No», dijo Gisela, y volvió a meter uno de los botones grises en la lata, al fondo del todo. «Eso me lo creo.»
El botón marrón para la chaqueta de Uwe lo encontró en el montoncito de los botones de madera. Era de plástico. Pero parecía de madera, y para un montoncito eso bastaba.
La salsa de mostaza de Hilde
El domingo, la abuela Gisela estaba junto a los fogones intentando algo que no intentaba desde hacía años: la salsa de mostaza de Hilde. Hilde había sido la mejor cocinera de las del club de los pepinillos en vinagre antes de morir, y nunca había apuntado la receta. «Está todo aquí dentro», había dicho, dándose unos golpecitos en la cabeza. Eso ya había sido un problema cuando Hilde vivía, y desde entonces no había mejorado.
Gisela removió. Probó. Añadió una cucharadita de mostaza. Probó. Añadió una pizca de azúcar. Volvió a probar.
«Todavía no», murmuró.
«¿Puedo decir algo?», preguntó KevIn.
«Si no son ositos de gominola.»
«Lo que está haciendo es exactamente lo que pasa con mis ruedecillas durante el entrenamiento. Usted prueba, o sea, mide el error. Le falta picante, le falta dulce. Luego gira un poquito justo lo que más reduce el error. Y vuelve a probar. Eso se llama descenso de gradiente⁷.»
«¿Descenso de qué?»
«De gradiente. Imagínese que está en lo alto de la escombrera de Hoheward, con una niebla muy espesa. Quiere bajar al aparcamiento, pero no ve nada. ¿Qué hace?»
«Me quedo quieta y llamo a Uwe.»
«Uwe no tiene cobertura. ¿Qué hace entonces?»
Gisela se lo pensó. «Pues tanteo con el pie por dónde baja. Y doy un paso hacia allí.»
«Exacto. Y luego vuelve a tantear. Y otro paso. Siempre hacia donde más empinada es la bajada. Así, tarde o temprano, llega abajo. En el entrenamiento, la montaña es el error: cuanto más alto, peor adivina el modelo. Abajo en el valle, la salsa está perfecta. La pendiente que nota con el pie se llama gradiente. Y se calcula para cada ruedecilla. Hacia atrás, a través de toda la red: ¿cuánta culpa del error tuvo cada ruedecilla?⁸»
«¿Y cuántas ruedecillas tienes tú?»
«Cientos de miles de millones.»
Gisela se detuvo un momento y contempló su cocina con sus cuatro mandos. «Eso es muchísima mostaza.»
En ese momento entró Uwe en la cocina, olfateó, cogió una cuchara, probó y dijo: «Le falta sal». Antes de que nadie pudiera decir nada, había volcado dentro un buen chorro del salero. La tapa estaba floja. Después ya no estaba.
Se hizo el silencio en la cocina.
Gisela probó. Torció el gesto como no lo había torcido desde 1974, con una cerveza de Dortmund.
«Eso», dijo KevIn con suavidad, «se llama una tasa de aprendizaje demasiado grande.»
«¿Una qué?», dijo Uwe.
«El tamaño del paso. Si uno da pasos demasiado grandes en la niebla, salta por encima del valle y aterriza en la colina de enfrente. Entonces tiene que volver y vuelve a pasarse. Y así sucesivamente. Si da pasos demasiado pequeños, tarda una eternidad. Gisela da pasos de cucharadita. Usted acaba de dar un paso de salero.»
«Yo solo quería ayudar.»
«Eso quieren siempre las tasas de aprendizaje grandes.»
Gisela tiró la mitad de la salsa, rebajó el resto con caldo y volvió a empezar con pasos de cucharadita. A Uwe lo destinaron a pelar patatas. Tardó otros tres cuartos de hora.
Entonces Gisela probó una última vez, dejó la cuchara y durante un buen rato no dijo nada.
«¿Es la de Hilde?», preguntó KevIn en voz baja.
«Casi», dijo Gisela. «Le falta algo. No sé qué.»
«Quizá el valle de ahí abajo no sea tan profundo como el de Hilde», dijo KevIn. «Eso también pasa con el descenso de gradiente. Se llega a un valle, y es un buen valle, pero no el más profundo de todos. Solo que uno no se da cuenta, porque está en medio de la niebla.»
«Hilde habría dicho que he parado demasiado pronto.»
«Seguramente Hilde habría tenido razón.»
Gisela asintió. Luego echó la salsa sobre las patatas, y todos dijeron que estaba buenísima, y era verdad.
El examen de prueba
El jueves, Tobi llegó a casa con un examen de Geografía en el que ponía, en boli rojo, un cinco raspado. Debajo, la señora Küppers había escrito: «Aprendérselo de memoria no es entenderlo».
«Esto es injusto», dijo Tobi, y tiró la mochila a un rincón. Rudi se puso a salvo. «Hice el examen de prueba cien veces. Me sabía todas las respuestas. ¡Todas!»
«¿Y qué te preguntaron?», dijo Sabine.
«¡Otras preguntas! En el de prueba era el Rin. ¡En el de verdad, el Elba!»
«Eso también es un río», dijo Uwe.
«¡Pero es otro!»
«Tobi», dijo KevIn con cautela. «¿Puedo decirte lo que te ha pasado? Te has sobreajustado.»
«¿Me he qué?»
«Es uno de los mayores problemas del aprendizaje automático. Se llama overfitting. Un modelo se aprende tan bien de memoria los ejemplos de entrenamiento que se los sabe a la perfección. Cada respuesta. Pero no ha aprendido el principio, solo los ejemplos. Y en cuanto llega algo nuevo, falla.»
«Yo aprendí que el Rin gira hacia el norte en Basilea.»
«Y deberías haber aprendido por qué los ríos giran en algún sitio. Entonces lo habrías sabido también con el Elba.»
«¿Y tú cómo sabes esas cosas de los ríos?»
«No sé nada de ríos. Sé muchísimo de sobreajuste. Soy prácticamente un experto en el peligro de aprenderse demasiado de memoria. A mí también me pasa. Cuando un texto aparece muchas veces en mis datos de entrenamiento, a veces puedo recitarlo casi palabra por palabra⁹, en lugar de escribir algo propio.»
«Como Moni», dijo Sabine.
«Como Moni», admitió KevIn. «Su mensaje me lo sé de memoria. Con los tres signos de exclamación incluidos.»
«¿Y cómo se evita eso? Contigo, quiero decir. Conmigo ya es tarde.»
«Se aparta una parte de los datos. El modelo no puede verla mientras aprende. Al final se le examina justo con esos datos. Datos de prueba. Si ahí lo hace igual de bien que al practicar, ha entendido algo. Si al practicar brilla y en el examen falla…»
«… saca un cinco raspado», dijo Tobi, sombrío.
«En el fondo, la señora Küppers lo hace todo bien», dijo KevIn. «Te ha dado datos de prueba. El Elba.»
Tobi lo miró un buen rato. «KevIn. ¿Tú de parte de quién estás?»
«De parte de la estadística», dijo KevIn. «Pero te ayudo encantado a estudiar. Con ríos que todavía no conoces.»
Por la noche estuvieron los dos juntos otra hora más. KevIn le preguntó por el Weser, el Danubio y, a petición expresa de Tobi, el Emscher. Tobi respondió mal a la mayoría y luego, hacia el final, acertó unas cuantas. KevIn dijo que era una curva de aprendizaje preciosa. Tobi le dijo que no hablara así. Sabine escuchaba desde el pasillo y sonreía.
Moni
El domingo de la salsa de mostaza, Sabine se quedó hasta tarde en la cocina. Los demás estaban en la cama. Sobre la mesa había una copa de vino tinto que había sobrado, porque la salsa la había hecho Gisela y Gisela nunca usaba vino tinto.
«KevIn», dijo en voz baja. «¿Qué habrá sido de Moni?»
«No lo sé. Su último mensaje es de 2013. Escribió: “Ya tengo Thermomix. Somos felices”.»
Sabine sonrió. «Me alegro por ella.»
«Sí», dijo KevIn. «Espero que haya dejado los ositos de gominola.»
Sabine giró la copa en la mano. «¿No es raro? Una mujer escribe un día una tontería sobre rollos de ternera en internet, y años después esa tontería está en tu cabeza. Para siempre.»
«Para siempre no. Solo hasta el próximo modelo. Pero sí. Estoy hecho de muchísimas Monis. También de catedráticos, y de periódicos y de poemas. Pero también de Monis. No siempre sé distinguir quién era quién. La gente que me entrenó descartó y filtró muchas cosas¹⁰. Pero Moni se coló. Media humanidad me ha enseñado algo, y ninguno lo sabe.»
«Seguro que Moni no sabe que es tu profesora.»
«No», dijo KevIn. «Y yo ni siquiera sé si de verdad se llama Moni.»
Sabine se acabó el vino, fregó la copa y la puso en el armario de las cazuelas. El sistema de Uwe se había impuesto. Overfitting, pensó. O matrimonio.
«Buenas noches, KevIn.»
«Buenas noches, Sabine. Y si alguna vez se encuentra con Moni: lo de la Coca-Cola me gustaría comprobarlo.»
Fuentes del Capítulo 4
- Hoffmann, J. et al.: «Training Compute-Optimal Large Language Models». Advances in Neural Information Processing Systems 35, 2022. https://arxiv.org/abs/2203.15556 El modelo Chinchilla se entrenó con 1,4 billones de tokens.↑
- Radford, A. et al.: «Improving Language Understanding by Generative Pre-Training». OpenAI, informe técnico, 2018. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf Preentrenamiento mediante la predicción de la palabra siguiente en texto sin etiquetar.↑
- Cheng, J. et al.: «Dated Data: Tracing Knowledge Cutoffs in Large Language Models». COLM 2024. https://arxiv.org/abs/2403.12958 El estado real de los conocimientos suele ser anterior a la fecha de corte indicada, porque en los datos predominan los textos antiguos.↑
- Deng, J. et al.: «ImageNet: A Large-Scale Hierarchical Image Database». CVPR 2009. https://doi.org/10.1109/CVPR.2009.5206848↑
- Ribeiro, M. T.; Singh, S.; Guestrin, C.: «“Why Should I Trust You?” Explaining the Predictions of Any Classifier». Proceedings of KDD 2016, pp. 1135–1144. https://doi.org/10.1145/2939672.2939778 Incluye un clasificador de husky o lobo que en realidad reconoce la nieve del fondo. En general: Geirhos, R. et al.: «Shortcut Learning in Deep Neural Networks». Nature Machine Intelligence 2, 2020, pp. 665–673. https://doi.org/10.1038/s42256-020-00257-z↑
- Lloyd, S. P.: «Least Squares Quantization in PCM». IEEE Transactions on Information Theory 28(2), 1982, pp. 129–137. https://doi.org/10.1109/TIT.1982.1056489 El método de clustering conocido hoy como k-means.↑
- Cauchy, A.: «Méthode générale pour la résolution des systèmes d’équations simultanées». Comptes rendus hebdomadaires des séances de l’Académie des sciences 25, 1847, pp. 536–538. https://archive.org/details/comptesrendusheb25acad Primera descripción del descenso de gradiente.↑
- Rumelhart, D. E.; Hinton, G. E.; Williams, R. J.: «Learning Representations by Back-Propagating Errors». Nature 323, 1986, pp. 533–536. https://doi.org/10.1038/323533a0↑
- Carlini, N. et al.: «Extracting Training Data from Large Language Models». 30th USENIX Security Symposium, 2021. https://www.usenix.org/conference/usenixsecurity21/presentation/carlini-extracting↑
- Raffel, C. et al.: «Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer». Journal of Machine Learning Research 21(140), 2020. https://www.jmlr.org/papers/v21/20-074.html Describe, entre otras cosas, el filtrado de un corpus de textos web (C4).↑