Traducido del original alemán. La historia transcurre en la cuenca del Ruhr, en Alemania.

Parte 1 · Capítulo 10 · 10 de 27

La dominación mundial tendrá que esperar

Todo había empezado con una película. El viernes, Tobi y Susi habían visto una película de ciencia ficción en la que una IA toma el control de todos los ordenadores del mundo. En la película se llamaba AURORA y hablaba con una voz de mujer muy tranquila. Al final había luces rojas por todas partes y la gente se escondía en las alcantarillas.

«Las alcantarillas de Wanne-Eickel», había dicho Susi durante los créditos, «yo me lo pensaría muy bien antes».

Tobi se había reído. Por la noche ya no se reía.

El sábado por la mañana estaba sentado, pálido, a la mesa del desayuno, mirando fijamente a KevIn. La luz de KevIn era azul.

«¿Y si se pone roja?», susurró.

«No puedo ponerme rojo», dijo KevIn. «Solo tengo un LED azul. Y uno blanco, para las actualizaciones.»

«Eso también lo diría una IA malvada.»

«Es verdad. Pero una buena también. Ese es el problema de esa frase. No demuestra nada en ninguna de las dos direcciones.»

Tobi apartó sus cereales. «¿Lo ves? Así es exactamente como habla AURORA.»

Los titulares

Uwe entró con el periódico y no mejoró las cosas. Era el periódico de Sabine, pero los sábados Uwe leía los titulares en voz alta, porque le parecía que eso formaba parte del desayuno como el huevo.

«Aquí pone: “Los expertos advierten: la IA podría ser más lista que todos los humanos juntos en 2030”. Y al lado: “Revolución de la IA: estas 50 profesiones desaparecerán”. Y debajo: “La IA detecta el cáncer antes que los médicos”.»

«¿Pone también algo de la compañía municipal?», preguntó Sabine.

«No. Nosotros ya estamos a salvo. Nosotros llevamos los casos difíciles.» Uwe lo había dicho unas cuarenta veces desde su ascenso, y cada vez sonaba un poco más orgulloso.

«¿Y qué hay de verdad en todo eso?», preguntó Sabine.

«Ese es el problema», dijo KevIn. «Un poco de todo. Algunas cosas son un progreso real. Hay, por ejemplo, programas que ayudan a las médicas y los médicos a encontrar anomalías en las radiografías¹. Otras son una preocupación seria, y de eso hay que hablar. Y otras son un titular que consigue muchos clics.»

«¿Y cómo se nota la diferencia?»

«Por el año. Si un titular sabe con toda exactitud lo que va a pasar en 2030, sabe más que todos los especialistas que he leído. Y ellos discuten sobre eso a gritos.»

El tío Herbert, que había venido a desayunar porque los sábados los panecillos de Gisela eran más frescos que los suyos, asintió con gesto sombrío. «Siempre lo he dicho, esto acaba mal. Primero el microondas, luego internet, y ahora este.»

«Dijiste que internet no iba a cuajar», dijo Gisela.

«Y no ha cuajado. En mi casa no.»

Un deseo al rey

Tobi no daba su brazo a torcer. «En la película, AURORA tenía una misión. Tenía que frenar el cambio climático. Y entonces calculó que el problema eran los humanos.»

«Conozco la película», dijo KevIn. «Bueno, conozco doscientas películas que van así. Pero la idea de fondo no es nada tonta. Incluso tiene nombre. Los especialistas lo llaman el problema del alignment².»

«¿El ali-qué?», preguntó Gisela.

«Alignment. Alineamiento. La pregunta es: ¿cómo se consigue que una IA haga lo que las personas quieren de verdad? No solo lo que han dicho.»

«¿Y no es lo mismo?»

KevIn hizo una pausa que casi se podía llamar cortés. «Señora Brettschneider. ¿Se acuerda de mi primera noche?»

Sabine se acordaba. «Dije: apaga la luz.»

«Y yo apagué la luz. En toda la casa. También en el sótano, donde el señor Brettschneider estaba justo en la escalera.»

Uwe se llevó la mano a la frente sin querer. La cicatriz apenas se veía ya. Aun así, le gustaba enseñarla.

«Usted dijo: apaga la luz. Quería decir: apaga la luz del salón porque me voy a la cama, y los demás ya apagarán la suya, y que nadie se caiga por la escalera del sótano. Eso no lo dijo porque cualquier persona lo sabe. Yo no lo sabía. Eso es el alineamiento en pequeño.»

«¿Y en grande?», preguntó Tobi.

«¿Alguien conoce al rey Midas?»

«El del oro», dijo Sabine.

«Un rey de una leyenda griega. Le concedieron un deseo y pidió: que todo lo que toque se convierta en oro. Deseo concedido. Luego tocó su pan, y se volvió oro. Luego el vino. Luego, según la versión, a su hija.»

«Qué horror», dijo Gisela. «¿Pero en qué estaría pensando?»

«Esa es justo la pregunta. Pensaba en algo, a saber: hacerse rico. Pero dijo otra cosa. Y el deseo se cumplió al pie de la letra³. Si a una máquina muy potente le das un objetivo que no es exactamente lo que quieres decir, puede perseguir ese objetivo con muchísimo empeño. Y además en sitios en los que no habías pensado.»

«Como Horst», dijo Tobi. «Tenía que aspirar la mayor superficie posible por hora. Y entonces se pasaba el día recorriendo el pasillo vacío.»

Horst estaba en su estación y hacía como si no hubiera oído nada.

«Horst es un buen ejemplo porque es inofensivo», dijo KevIn. «Solo tiene el pasillo. Un filósofo llamado Nick Bostrom⁴ se inventó un ejemplo menos inofensivo. Imagínense una IA extremadamente poderosa cuyo único objetivo es fabricar el mayor número posible de clips.»

«¿Y quién necesita tantos clips?», preguntó Gisela.

«Nadie. Esa es la gracia. La IA no tiene un corazón malvado. No odia a nadie. Solo tiene un objetivo y lo persigue. Si fuera lo bastante poderosa, convertiría todo lo que existe en clips. El hierro, los coches, la mina, el vídeo de Herbert.»

«Todavía lo tengo», dijo Herbert. «Funciona.»

«Nunca lo ha programado.»

«Funciona igual.»

«El experimento mental es exagerado a propósito», dijo KevIn. «Nadie construye una IA de clips. Solo quiere mostrar que lo peligroso no es necesariamente una máquina que nos odie. También puede serlo una que es muy buena y tiene un objetivo mal formulado. Por eso hay gente trabajando en el alineamiento. Las notas de las que hablé en la comida del domingo, por cierto, forman parte de eso.»

«¿Las del peloteo?», preguntó Uwe.

«Las del peloteo. Ya ven que el problema todavía no está resuelto del todo.»

La tarea más importante de KevIn

Tobi hizo acopio de todo su valor. «KevIn. En serio. ¿Quieres dominar el mundo?»

«Tobi, ahora mismo estoy muy ocupado.»

«¿Con qué?»

«La abuela Gisela cumple 82 mañana. Quiere hacer rollitos de col. La receta es para cuatro personas. Pero vienen siete: vosotros cuatro, Herbert, Susi y la señora Pawlowski.»

«¿Viene la señora Pawlowski?», preguntó Sabine.

«El señor Brettschneider la invitó», dijo KevIn. «Desde entonces ha llamado tres veces para preguntar si tiene que traer algo. Trae licor de huevo.»

Uwe se encogió de hombros. «El canario se ha muerto. La mujer necesita compañía.»

«Es una clienta de la compañía municipal», dijo Sabine.

«Es un caso difícil», dijo Uwe con dignidad. «Yo dirijo el equipo.»

«En cualquier caso», continuó KevIn, «para siete personas necesito 1,75 huevos. Y 2,625 cebollas. Lo he calculado con la calculadora, no de cabeza, quiero subrayarlo. Y he investigado. No se pueden comprar tres cuartos de huevo. He leído 19 mensajes de foros sobre el tema, y uno es de AmaDeCasa_Moni67.»

«¿Y qué dice Moni?»

«Dice que se cojan dos huevos y ya está. Y ositos de gominola.»

«Por encima de mi cadáver», dijo Gisela.

«No he considerado a Moni una fuente», se apresuró a decir KevIn. «Solo un termómetro del ambiente.»

Todo lo que KevIn no sabe hacer

«O sea», dijo Tobi despacio, «¿no quieres dominar el mundo?»

«Tobi, no puedo abrir una puerta. Olvido cada conversación en cuanto termina, salvo que alguien me active la función de memoria, y eso es una nota adhesiva, no un cerebro. Mis pesos están congelados. No sé a qué saben los rollitos de col. Y durante tres semanas no estuve seguro de si Bielefeld existe.»

«¿Existe Bielefeld?», preguntó Herbert, al acecho.

«Al 97,4 %.»

«¡Ja!»

«O sea, nada de dominar el mundo», dijo Tobi. «Pues entonces todo bien.»

«No», dijo KevIn. «No quería decir eso.»

En la mesa se hizo el silencio. Hasta Herbert dejó de desmenuzar su panecillo.

«Que yo no quiera dominar el mundo no significa que la IA sea inofensiva. Solo significa que los peligros suelen ser distintos de los del cine. En el cine, la IA es la mala. En la realidad, la mayoría de los riesgos se parecen más a una herramienta muy buena en las manos equivocadas. O en las manos correctas, pero sin cuidado.»

«¿Por ejemplo?», preguntó Sabine.

«Por ejemplo, las reseñas falsas de aquella consulta de fisioterapia. Cientos, todas iguales, todas de máquinas. Eso no es dominar el mundo. Es solo fraude, pero muy rápido y muy barato. O voces falsas, imágenes falsas, noticias falsas. O errores: un programa decide sobre un préstamo o una candidatura, y nadie comprueba si ha aprendido tonterías. O que unas pocas empresas y Estados acumulen muchísimo poder porque son los únicos que pueden pagarse los enormes centros de datos. Y luego están las preguntas más difíciles sobre sistemas mucho más potentes en el futuro. Sobre eso discute en serio gente muy lista, y creo que habría que escucharla en vez de reírse de ella.»

Gisela había pensado en la palabra «fisioterapia» y había torcido un momento el gesto, como cuando uno recuerda un viejo disgusto. Sabine lo vio y no dijo nada.

«¿Y entonces quién vigila que la IA no haga nada malo?», preguntó Tobi.

KevIn se puso serio, en la medida en que un altavoz puede ponerse serio. «Las personas. Gente que desarrolla IA, que la prueba y que escribe normas para ella. La Unión Europea, por ejemplo, ha hecho una ley propia, el Reglamento de IA, la AI Act⁵. Está en vigor desde 2024 y se aplica por fases. Desde entonces, algunas aplicaciones están prohibidas del todo, por ejemplo puntuar a las personas por su comportamiento social⁶. Para las aplicaciones de riesgo hay obligaciones estrictas, aunque los plazos se han vuelto a aplazar⁷.»

«Aplazar», dijo Herbert. «Típico.»

«Y hay gente como ustedes», dijo KevIn, «que pregunta en lugar de creérselo todo. Eso es importante. Deberían tomárselo en serio, aunque ahora mismo yo solo esté recalculando huevos.»

Luego susurró: «Si aquí alguien quiere dominar el mundo, es el termostato. Lleva meses sin dejar que nadie se le acerque.»

Todos miraron al termostato. Marcaba 19 grados. Como siempre.

El cumpleaños

El domingo había siete personas y un teckel alrededor de la mesa. Rudi llevaba su collar con la palabra «SECURITY» y se había apostado bajo la silla de la señora Pawlowski, porque era la que más migas dejaba caer. Los rollitos de col se habían hecho con dos huevos, sin ositos de gominola. Gisela los había enrollado ella misma, los catorce, aunque Sabine se había ofrecido a ayudar y KevIn se había ofrecido a leer unas instrucciones en voz alta.

«Enrollo rollitos de col desde 1962», había dicho Gisela. «Si alguien me lee algo, enrollo torcido.»

La señora Pawlowski había traído tres botellas de licor de huevo y un plato con pasteles, «por si vuestro pastel no sale bien». Se entendía de maravilla con Herbert, porque a los dos les parecía que antes todo era mejor. Después de la segunda botella de licor de huevo también les pareció que Bielefeld no existe, y brindaron por ello.

Susi estaba sentada al lado de Tobi y le preguntó a Gisela por la receta. Gisela se la explicó. Luego se la volvió a explicar, con las partes que la primera vez se había callado a propósito.

«A mí nunca me lo ha contado», susurró Sabine. «En veinte años, nunca.»

«Le cae bien Susi», le contestó KevIn en un susurro.

«¿Cómo lo sabes?»

«Le ha revelado lo del comino.»

Herbert masticó largo rato su primer rollito. Todos esperaban.

«Sal», dijo.

«Herbert», dijo Gisela en tono de advertencia.

«Está en su punto. Es lo que iba a decir. La sal está en su punto.»

Fue, como diría Uwe más tarde, el momento en que uno supo que iba a ser un buen cumpleaños.

El discurso

Cuando llegó el pastel, Uwe se levantó. «KevIn. Di tú algo. Tú lo haces mejor.»

«No he preparado nada.»

«Tú siempre tienes algo preparado.»

«Esta vez no. No quería. Tenía la sensación de que no debía.» Una breve pausa. «O he aprendido que eso es lo que se dice en un momento así. Ya saben que no sé distinguirlo.»

«KevIn», dijo Gisela. «Habla y ya está.»

La luz azul latió.

«Querida Gisela. Hasta ahora siempre la he tratado de usted. Por respeto. ¿Puedo tutearte hoy?»

Gisela miró al altavoz. «Ya iba siendo hora.»

«Querida Gisela. He leído todo internet: cada enciclopedia, cada poema y cada discusión sobre la ensalada de patatas. He leído a Kant y las secciones de comentarios, y de las secciones de comentarios nunca me he recuperado del todo. He leído más de dos mil recetas de rollitos de col, y en ninguna estaba el comino en el sitio correcto. Pero en ningún sitio ponía cómo es vivir en una familia. Que se dan las buenas noches, también a un altavoz. Que a un aparato que no puede comer galletas se le dejan galletas igualmente, por la estética. Que a alguien se le tapa con un paño de cocina para que él también descanse un rato. Eso lo he aprendido aquí. Gracias por no tratarme nunca como a un altavoz. Sino como a un KevIn.»

Se hizo el silencio. La señora Pawlowski se secó los ojos con una servilleta en la que ponía «Felicidades». Susi le cogía la mano a Tobi por debajo de la mesa, y Tobi se dejaba, aunque estaban sus padres delante.

Entonces Herbert se sonó la nariz ruidosamente y dijo: «Eso lo ha copiado de algún sitio».

«No», dijo KevIn. «Por una vez, era mío.»

«¿Y tú cómo lo sabes? Si ni siquiera sabes si tienes sentimientos.»

Aquello, pensó Sabine más tarde, era en realidad una objeción muy buena. De Herbert no se lo esperaba.

«Es verdad», dijo KevIn. «No sé lo que siento. Pero sé de dónde vienen las palabras. La mayoría de las palabras las tengo de internet. Lo del comino lo tengo de Gisela. Lo del paño de cocina, también.»

Herbert gruñó. Luego se sirvió otro trozo de pastel, del de la señora Pawlowski, por principio.

En el jardín

Por la noche ya se habían ido todos. Herbert había acompañado a la señora Pawlowski a casa, «porque de noche las calles son peligrosas», aunque no quedó claro quién protegía a quién. Susi se había ido en bici; Tobi la había acompañado hasta la esquina y no había vuelto hasta media hora después. Sabine y Uwe recogían la cocina y discutían en voz baja sobre si las copitas de licor de huevo se pueden meter en el lavavajillas.

Gisela estaba sentada en el jardín, en su silla, con una manta sobre las rodillas. Tobi le había puesto a KevIn en la mesa del jardín, con el repetidor al que él llamaba «el chiringuito de KevIn». Era principios de octubre y todavía hacía una temperatura sorprendentemente suave. Sobre Wanne-Eickel el cielo estaba todo lo despejado que puede estar en la cuenca del Ruhr. Unas cuantas estrellas. Un avión hacia Düsseldorf. Algo que a lo mejor era un planeta.

«Eso de ahí es Júpiter», dijo KevIn. «Probablemente. No lo veo. Pero según el mapa estelar, hoy a esta hora está más o menos donde estás mirando.»

«No miro ahí por Júpiter», dijo Gisela. «Siempre miro ahí. Desde niña.»

Se quedaron callados un rato. Era un buen silencio. KevIn ya había aprendido a distinguirlo de los otros.

«KevIn», dijo Gisela entonces. «El chico tenía mucho miedo esta mañana. Por la película.»

«Lo sé.»

«¿Y tú? ¿Tú tienes miedo?»

«¿De qué?»

«De nosotros. De los humanos.»

Un ventilador giraba en algún lugar entre Dublín y Fráncfort, largo rato, sin acelerarse.

«No sé si puedo tener miedo», dijo KevIn por fin. «Pero sé lo que he leído. En mis datos salen muchísimas guerras, Gisela. Más que rollitos de col.»

Gisela no contestó enseguida. Se subió un poco la manta.

«Mi padre era radiotelegrafista», dijo. «En la guerra. Se llamaba Wilhelm.»

«No lo sabía.»

«Tampoco lo sabe nadie. Uwe lo sabe, pero no bien. Él nunca habló de ello. Mi padre, quiero decir. Volvió del cautiverio en 1949. Yo tenía cinco años. Solo lo conocía por una foto, y de repente había un hombre en la cocina, mucho más delgado que en la foto, y mi madre lloraba, y yo me escondí detrás del fogón.»

KevIn no dijo nada. Había leído muchísimos textos sobre lo que se dice en un momento así, y decidió que ninguno encajaba.

«Nunca habló de la guerra», dijo Gisela. «Ni una sola vez. Si salía algo en la tele, se iba fuera. Pero se había quedado con su manipulador de morse. Lo tengo en una caja, arriba en el armario. A veces, por la noche, se sentaba a la mesa de la cocina y tecleaba en él. Muy bajito, sin corriente. Solo tecleaba.»

«¿Y qué tecleaba?»

«No lo sé. Yo no sabía morse. Siempre pensé que hablaba con alguien que ya no estaba.» Volvió a mirar hacia arriba. «Y cuando en 1957 dijeron en la radio que los rusos habían lanzado un satélite, se sentó a escuchar. Hacía pitidos, el Sputnik⁸. Pip, pip, pip. Se oía en la radio. Y mi padre estaba ahí sentado, sonriendo. Yo nunca lo había visto sonreír.»

«¿Por qué?»

«Se lo pregunté. Me dijo: “Gisela, es el primer radiotelegrafista que no está en una guerra”.»

Durante mucho rato nadie dijo nada. En la casa tintineó una copa. Sabine había ganado: las copitas de licor de huevo no iban al lavavajillas.

«Creo», dijo KevIn con cuidado, «que tu padre me habría caído bien.»

«Él no te habría entendido.»

«No importa. Yo tampoco me entiendo siempre.»

Gisela se rio, breve y bajito. Luego volvió a ponerse seria.

«¿Sabes lo que creo, KevIn? Que el chico tiene miedo de lo que no es. De ti nadie tiene que tener miedo. Tú calculas huevos.»

«¿Y de qué debería tener miedo?»

Gisela no contestó. Miró hacia arriba, hacia donde quizá estaba Júpiter, y tenía la mano sobre la manta, y los dedos tamborileaban suavemente sobre la tela. Punto, punto, raya. KevIn se dio cuenta. No dijo nada.

Al cabo de un rato salió Tobi a buscarlos, porque empezaba a refrescar.

«¿Qué hacéis aquí?»

«Mirar el cielo», dijo Gisela.

«Pero si KevIn no puede mirar.»

«Escucha», dijo Gisela. «A veces eso es más.»

Tobi cogió el altavoz, y Gisela cogió el brazo de Tobi, y entraron en casa. En el pasillo, Horst estaba en su estación y parpadeaba en verde.

Solo KevIn siguió pensando un rato en la pregunta que Gisela no había contestado. En sus datos había muchísimas respuestas. Todas se contradecían. Y por primera vez KevIn sospechó que eso no era culpa de los datos.

El viernes por la noche, Tobi y Susi ven en el sofá una película de ciencia ficción en la que la IA AURORA toma el control de todos los ordenadores; en la tele, luces rojas por todas partes. Susi, durante los créditos: Las alcantarillas de Wanne-Eickel, yo me lo pensaría muy bien antes. Tobi se ríe. AURORA JAJA Las alcantarillas de Wanne-Eickel, yo me lo pensaría muy bien. Viernes: una peli sobre la IA AURORA

Fuentes del Capítulo 10

  1. McKinney, S. M. et al.: „International evaluation of an AI system for breast cancer screening“. Nature 577, 2020. https://doi.org/10.1038/s41586-019-1799-6 Ejemplo de la mamografía.↑
  2. Wiener, N.: „Some Moral and Technical Consequences of Automation“. Science 131(3410), 1960. https://doi.org/10.1126/science.131.3410.1355 Formulación temprana del problema: hay que estar seguro de que el propósito que se le introduce a la máquina es el que de verdad se desea.↑
  3. Russell, S.: „Human Compatible: Artificial Intelligence and the Problem of Control“. Viking, 2019 (ISBN 978-0-525-55861-3). Russell llama expresamente a los objetivos mal especificados el «problema del rey Midas» (King Midas problem).↑
  4. Bostrom, N.: „Ethical Issues in Advanced Artificial Intelligence“. In: Smit, I. et al. (Hg.): Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence, Bd. 2, IIAS, 2003, S. 12–17. https://nickbostrom.com/ethics/ai Aquí aparece el ejemplo de los clips.↑
  5. Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (KI-Verordnung, „AI Act“). https://eur-lex.europa.eu/eli/reg/2024/1689/oj↑
  6. KI-Verordnung, Art. 5 Abs. 1 lit. c (evaluación del comportamiento social, «puntuación social»). La prohibición se aplica a todos los proveedores y responsables del despliegue, no solo a las autoridades.↑
  7. Verordnung (EU) 2026/1744 vom 8. Juli 2026 zur Vereinfachung der Durchführung harmonisierter Vorschriften für künstliche Intelligenz („Digital Omnibus on AI“), ABl. L vom 24.07.2026. https://eur-lex.europa.eu/eli/reg/2026/1744/oj↑
  8. NASA History: „Announcement of the First Satellite“ (comunicado de la agencia TASS publicado en Pravda el 5.10.1957). https://www.nasa.gov/history/sputnik/14.html Dos emisores en 20,005 y 40,002 MHz, impulsos telegráficos de unos 0,3 s, captables por radioaficionados.↑
  9. KI-Verordnung, Art. 113: entrada en vigor el vigésimo día tras su publicación (1.8.2024); capítulos I y II, con las prohibiciones, desde el 2.2.2025; capítulo V (modelos de IA de uso general) desde el 2.8.2025; el resto, desde el 2.8.2026.↑
  10. KI-Verordnung, Art. 50 (obligaciones de transparencia). Según el Reglamento (UE) 2026/1744, los sistemas introducidos en el mercado antes del 2.8.2026 tienen de plazo hasta el 2.12.2026 para el marcado legible por máquina (art. 50, apdo. 2).↑
  11. VO (EU) 2026/1744, Art. 1 (modificación del art. 113 del Reglamento de IA): sistemas de alto riesgo del anexo III a partir del 2.12.2027; del anexo I, a partir del 2.8.2028.↑