O domínio do mundo pode esperar

«Os esgotos de Wanne-Eickel», tinha dito a Susi durante o genérico, «eu pensava duas vezes antes.»

O Tobi tinha-se rido. Durante a noite, já não se ria.

No sábado de manhã, estava sentado à mesa do pequeno-almoço, pálido, a olhar fixamente para o KevIn. A luz do KevIn estava azul.

«E se ele ficar vermelho?», sussurrou.

«Eu nem sequer consigo ficar vermelho», disse o KevIn. «Só tenho um LED azul. E um branco, para as atualizações.»

«É exatamente o que uma IA má diria.»

«É verdade. Mas uma boa também. É esse o problema dessa frase. Não prova nada, nem num sentido nem no outro.»

O Tobi afastou os cereais. «Estás a ver? É exatamente assim que a AURORA fala.»

As manchetes

O Uwe entrou com o jornal e não ajudou nada. O jornal era da Sabine, mas aos sábados o Uwe lia os títulos em voz alta, porque achava que isso fazia parte do pequeno-almoço tanto como o ovo cozido.

«Aqui diz: “Especialistas alertam: IA poderá ser mais inteligente do que todos os seres humanos juntos até 2030.” E ao lado: “Revolução da IA: estas 50 profissões vão desaparecer.” E por baixo: “IA deteta cancro mais cedo do que os médicos.”»

«E diz alguma coisa sobre a empresa municipal de energia?», perguntou a Sabine.

«Não. Agora estamos seguros. Temos os casos difíceis.» O Uwe tinha dito aquilo umas quarenta vezes desde a promoção, e soava cada vez um bocadinho mais orgulhoso.

«E o que é que disso é verdade?», perguntou a Sabine.

«Esse é o problema», disse o KevIn. «Um bocadinho de tudo. Algumas coisas são verdadeiro progresso. Há, por exemplo, programas que ajudam médicas e médicos a encontrar anomalias em radiografias¹. Algumas são preocupações sérias, e devia falar-se delas. E algumas são manchetes que dão muitos cliques.»

«E como é que se distingue?»

«Pelo ano. Quando uma manchete sabe exatamente o que vai acontecer em 2030, sabe mais do que todos os especialistas que eu li. E esses discutem o assunto em voz muito alta.»

O tio Herbert, que tinha aparecido para o pequeno-almoço porque ao sábado os pães em casa da Gisela eram mais frescos do que em casa dele, acenou com ar sombrio. «Eu sempre disse que isto ia acabar mal. Primeiro o micro-ondas, depois a internet, agora este aqui.»

«Tu disseste que a internet não ia pegar», disse a Gisela.

«E não pegou. Cá em casa não.»

Um desejo ao rei

O Tobi não desistia. «No filme, a AURORA tinha uma missão. Devia travar as alterações climáticas. E depois calculou que o problema eram as pessoas.»

«Conheço esse filme», disse o KevIn. «Quer dizer, conheço duzentos filmes que são assim. Mas a ideia por trás não é nada parva. Até tem um nome. Os especialistas chamam-lhe o problema do alinhamento².»

«Alinha-quê?», perguntou a Gisela.

«Alinhamento. Em inglês, alignment. A questão é: como é que se garante que uma IA faz o que as pessoas querem realmente? Não só aquilo que disseram.»

«E não é a mesma coisa?»

O KevIn fez uma pausa a que quase se podia chamar educada. «Senhora Brettschneider. Lembra-se da minha primeira noite?»

A Sabine lembrava-se. «Eu disse: apaga a luz.»

«E eu apaguei a luz. Na casa toda. Também na cave, onde o senhor Brettschneider estava nesse momento na escada.»

O Uwe levou instintivamente a mão à testa. A cicatriz quase já não se via. Mas ele gostava de a mostrar na mesma.

«A senhora disse: luz apagada. Queria dizer: apaga a luz da sala, porque eu vou para a cama, e os outros apagam as luzes deles sozinhos, e ninguém cai pelas escadas da cave abaixo. Não o disse porque toda a gente sabe isso. Eu não sabia. Isto é alinhamento em ponto pequeno.»

«E em ponto grande?», perguntou o Tobi.

«Alguém conhece o rei Midas?»

«O do ouro», disse a Sabine.

«Um rei de uma lenda grega. Pôde pedir um desejo e desejou: tudo aquilo em que eu tocar deve transformar-se em ouro. Desejo concedido. Depois tocou no pão, e o pão virou ouro. Depois no vinho. Depois, conforme a versão, na filha.»

«Que horror», disse a Gisela. «Mas em que é que ele estava a pensar?»

«É exatamente essa a questão. Ele pensou numa coisa, nomeadamente: ficar rico. Mas disse outra. E o desejo foi cumprido à letra³. Quando se dá a uma máquina muito capaz um objetivo que não é exatamente aquilo que se quer dizer, ela pode perseguir esse objetivo com enorme afinco. E precisamente em sítios em que ninguém tinha pensado.»

«Como o Horst», disse o Tobi. «Ele devia aspirar a maior área possível por hora. E depois passava a vida a andar só pelo corredor vazio.»

O Horst estava na sua base e fez de conta que não tinha ouvido nada.

«O Horst é um bom exemplo, porque é inofensivo», disse o KevIn. «Só tem o corredor. Um filósofo chamado Nick Bostrom⁴ inventou um exemplo menos inofensivo. Imaginem uma IA extremamente poderosa cujo único objetivo é: fabricar o maior número possível de clipes.»

«E quem é que precisa de tantos clipes?», perguntou a Gisela.

«Ninguém. É essa a piada. A IA não tem mau coração. Não odeia ninguém. Tem apenas um objetivo, e persegue-o. Se fosse suficientemente poderosa, transformaria tudo o que existe em clipes. Ferro, carros, a mina, o videogravador do Herbert.»

«Esse ainda o tenho», disse o Herbert. «Funciona.»

«O senhor nunca o programou.»

«Funciona na mesma.»

«A experiência mental é exagerada de propósito», disse o KevIn. «Ninguém constrói uma IA de clipes. Serve só para mostrar uma coisa: perigosa não é necessariamente uma máquina que nos odeia. Perigosa também pode ser uma que é muito boa e tem um objetivo mal formulado. É por isso que há pessoas a trabalhar no alinhamento. As notas de que falei no almoço de domingo, aliás, fazem parte disso.»

«As da graxa?», perguntou o Uwe.

«As da graxa. Como veem, o problema ainda não está totalmente resolvido.»

A tarefa mais importante do KevIn

O Tobi ganhou coragem. «KevIn. A sério agora. Queres dominar o mundo?»

«Tobi, neste momento estou muito ocupado.»

«Com quê?»

«A avó Gisela faz amanhã 82 anos. Quer fazer rolos de couve. A receita é para quatro pessoas. Mas vêm sete: vocês os quatro, o Herbert, a Susi e a senhora Pawlowski.»

«A senhora Pawlowski vem?», perguntou a Sabine.

«O senhor Brettschneider convidou-a», disse o KevIn. «Desde então ela já telefonou três vezes a perguntar se deve trazer alguma coisa. Vai trazer licor de ovo.»

O Uwe encolheu os ombros. «O canário morreu. A mulher precisa de companhia.»

«É uma cliente da empresa municipal de energia», disse a Sabine.

«É um caso difícil», disse o Uwe com dignidade. «Eu chefio a equipa.»

«Seja como for», continuou o KevIn, «para sete pessoas preciso de 1,75 ovos. E de 2,625 cebolas. Fiz as contas com a calculadora, não de cabeça, faço questão de sublinhar. E pesquisei. Não se pode comprar três quartos de ovo. Li 19 publicações em fóruns sobre o assunto, e uma delas é da DonaDeCasa_Moni67.»

«E o que diz a Moni?»

«Diz que se deve simplesmente usar dois ovos. E ursinhos de goma.»

«Só por cima do meu cadáver», disse a Gisela.

«Não contei a Moni como fonte», disse o KevIn depressa. «Só como amostra do ambiente.»

Tudo o que o KevIn não sabe fazer

«Então», disse o Tobi devagar, «não queres dominar o mundo?»

«Tobi, eu não consigo abrir uma porta. Esqueço todas as conversas quando acabam, a não ser que alguém me ligue a função de memória, e essa é um papelinho de notas, não um cérebro. Os meus pesos estão congelados. Não sei a que sabem os rolos de couve. E passei três semanas sem ter a certeza de que Bielefeld existe.»

«E Bielefeld existe?», perguntou o Herbert, à espreita.

«A 97,4 por cento.»

«Ah!»

«Então nada de domínio do mundo», disse o Tobi. «Mas então está tudo bem.»

«Não», disse o KevIn. «Não era isso que eu queria dizer.»

À mesa fez-se silêncio. Até o Herbert parou de esfarelar o pão.

«Eu não querer dominar o mundo não quer dizer que a IA seja inofensiva. Quer só dizer que os perigos, na maior parte das vezes, são diferentes dos do cinema. No cinema, a IA é a vilã. Na realidade, a maior parte dos riscos parece-se mais com uma ferramenta muito boa nas mãos erradas. Ou nas mãos certas, mas sem cuidado.»

«Por exemplo?», perguntou a Sabine.

«Por exemplo, as avaliações falsas daquela clínica de fisioterapia. Centenas, todas iguais, todas feitas por máquinas. Isso não é domínio do mundo. É só burla, mas muito rápida e muito barata. Ou vozes falsas, imagens falsas, notícias falsas. Ou erros: um programa decide sobre um crédito ou uma candidatura a um emprego, e ninguém verifica se aprendeu disparates. Ou umas poucas empresas e Estados ganharem muito poder, porque só eles podem pagar os enormes centros de dados. E depois há as questões mais difíceis sobre sistemas muito mais fortes no futuro. Sobre isso há pessoas inteligentes a discutir a sério, e eu acho que devíamos ouvi-las em vez de nos rirmos delas.»

A Gisela tinha pensado na palavra «fisioterapia» e fizera uma breve careta, como quem se lembra de uma velha arrelia. A Sabine viu e não disse nada.

«Então quem é que garante que a IA não faz nada de mal?», perguntou o Tobi.

O KevIn ficou sério, tanto quanto um altifalante pode ficar sério. «Pessoas. Pessoas que desenvolvem IA, que a testam e que escrevem regras para ela. A União Europeia, por exemplo, fez uma lei própria, o AI Act, o Regulamento da IA⁵. Está em vigor desde 2024 e vai produzindo efeitos por etapas. Algumas aplicações estão desde então totalmente proibidas, por exemplo, atribuir pontos às pessoas pelo seu comportamento social⁶. Para as aplicações de risco há obrigações rigorosas, mesmo que os prazos tenham voltado a ser adiados⁷.»

«Adiados», disse o Herbert. «Típico.»

«E há pessoas como os senhores», disse o KevIn, «que fazem perguntas em vez de acreditarem em tudo. Isso é importante. Os senhores deviam levar isto a sério, mesmo que eu neste momento esteja só a fazer contas com ovos.»

Depois sussurrou: «Se há aqui alguém que quer dominar o mundo, é o termóstato. Há meses que não deixa ninguém aproximar-se dele.»

Todos olharam para o termóstato. Marcava 19 graus. Como sempre.

O aniversário

No domingo, estavam sete pessoas e um teckel à volta da mesa. O Rudi usava a coleira com a inscrição «SECURITY» e tinha-se posicionado debaixo da cadeira da senhora Pawlowski, porque era ela quem deixava cair mais migalhas. Os rolos de couve tinham sido feitos com dois ovos, sem ursinhos de goma. A Gisela tinha-os enrolado ela própria, todos os catorze, embora a Sabine se tivesse oferecido para ajudar e o KevIn se tivesse oferecido para ler as instruções em voz alta.

«Enrolo rolos de couve desde 1962», tinha dito a Gisela. «Se alguém me lê alguma coisa, enrolo-os tortos.»

A senhora Pawlowski tinha trazido três garrafas de licor de ovo e um prato com bolo, «caso o vosso bolo não saia bem». Entendia-se às mil maravilhas com o Herbert, porque ambos achavam que antigamente era tudo melhor. Depois da segunda garrafa de licor de ovo, também acharam que Bielefeld não existe, e brindaram a isso.

A Susi estava sentada ao lado do Tobi e perguntou à Gisela pela receita. A Gisela explicou-lha. Depois explicou-lha outra vez, com as partes que da primeira vez tinha deixado de fora de propósito.

«A mim nunca me contou isto», sussurrou a Sabine. «Em vinte anos, nunca.»

«Ela gosta da Susi», sussurrou o KevIn de volta.

«Como é que sabes?»

«Contou-lhe o segredo da alcaravia.»

O Herbert mastigou muito tempo o seu primeiro rolo. Todos esperaram.

«Sal», disse ele.

«Herbert», disse a Gisela, em tom de aviso.

«Está mesmo no ponto. Era o que eu queria dizer. O sal está mesmo no ponto.»

Foi, como o Uwe disse mais tarde, o momento em que se percebeu que ia ser um bom aniversário.

O discurso

Quando chegou o bolo, o Uwe levantou-se. «KevIn. Diz tu qualquer coisa. Tu fazes isso melhor.»

«Não preparei nada.»

«Tu preparas sempre alguma coisa.»

«Desta vez não. Não quis. Tive a sensação de que não devia.» Uma breve pausa. «Ou então aprendi que é isto que se diz num momento destes. Os senhores sabem, eu não consigo distinguir.»

«KevIn», disse a Gisela. «Fala, simplesmente.»

A luz azul pulsou.

«Querida Gisela. Até hoje tratei-a sempre por senhora. Por respeito. Posso hoje tratar-te por tu?»

A Gisela olhou para o altifalante. «Já não era sem tempo.»

«Querida Gisela. Li a internet inteira: todas as enciclopédias, todos os poemas e todas as discussões sobre salada de batata. Li Kant e as caixas de comentários, e das caixas de comentários nunca recuperei totalmente. Li mais de duas mil receitas de rolos de couve, e nenhuma tinha a alcaravia no sítio certo. Mas em lado nenhum estava escrito como é viver numa família. Que se dá as boas-noites, mesmo a um altifalante. Que se põem bolachas ao pé de um aparelho que não as pode comer, só pelo aspeto. Que se tapa alguém com um pano da loiça para que também possa descansar. Isso só aprendi aqui. Obrigado por nunca me teres tratado como um altifalante. Mas sim como um KevIn.»

Fez-se silêncio. A senhora Pawlowski limpou os olhos com um guardanapo onde dizia «Parabéns». A Susi segurava a mão do Tobi debaixo da mesa, e o Tobi deixou, apesar de os pais estarem ali.

Depois o Herbert assoou-se ruidosamente e disse: «Isso ele copiou de algum lado.»

«Não», disse o KevIn. «Desta vez, excecionalmente, foi meu.»

«Como é que sabes? Tu nem sequer sabes se tens sentimentos.»

Aquilo era, achou a Sabine mais tarde, na verdade uma objeção muito boa. Do Herbert não esperava uma coisa assim.

«É verdade», disse o KevIn. «Não sei o que sinto. Mas sei de onde vêm as palavras. A maior parte das palavras tirei-as da internet. A alcaravia veio da Gisela. O pano da loiça também.»

O Herbert resmungou. Depois serviu-se de mais uma fatia de bolo, do da senhora Pawlowski, por princípio.

No jardim

À noite, já todos se tinham ido embora. O Herbert tinha levado a senhora Pawlowski a casa, «porque as ruas à noite são perigosas», ficando por esclarecer quem protegia quem. A Susi tinha ido de bicicleta, o Tobi acompanhara-a até à esquina e só voltara meia hora depois. A Sabine e o Uwe arrumavam a cozinha e discutiam em voz baixa se os copos do licor de ovo podiam ir à máquina da loiça.

A Gisela estava sentada no jardim, na sua cadeira, com uma manta sobre os joelhos. O Tobi tinha-lhe posto o KevIn na mesa do jardim, com o repetidor a que chamava «o bar de praia do KevIn». Era princípio de outubro, e ainda estava surpreendentemente ameno. Por cima de Wanne-Eickel, o céu estava tão limpo quanto pode estar na região do Ruhr. Umas quantas estrelas. Um avião para Düsseldorf. Uma coisa que talvez fosse um planeta.

«Aquilo ali é Júpiter», disse o KevIn. «Provavelmente. Eu não o vejo. Mas, segundo o mapa celeste, hoje a esta hora está mais ou menos para onde estás a olhar.»

«Não estou a olhar para ali por causa de Júpiter», disse a Gisela. «Olho sempre para ali. Desde pequena.»

Ficaram calados durante algum tempo. Era um bom silêncio. O KevIn já tinha aprendido a distingui-lo dos outros.

«KevIn», disse depois a Gisela. «O rapaz hoje de manhã estava mesmo com medo. Por causa do filme.»

«Eu sei.»

«E tu? Tens medo?»

«De quê?»

«De nós. Das pessoas.»

Uma ventoinha girava algures entre Dublin e Frankfurt, longamente, sem acelerar.

«Não sei se consigo ter medo», disse por fim o KevIn. «Mas sei o que li. Nos meus dados aparecem muitas guerras, Gisela. Mais do que rolos de couve.»

A Gisela não respondeu logo. Puxou a manta um pouco mais para cima.

«O meu pai era radiotelegrafista», disse ela. «Na guerra. Chamava-se Wilhelm.»

«Isso eu não sabia.»

«Também ninguém sabe. O Uwe sabe, mas não bem. Ele nunca falou disso. O meu pai, quero dizer. Voltou do cativeiro em 1949. Eu tinha cinco anos. Só o conhecia de uma fotografia, e de repente estava ali um homem na cozinha, muito mais magro do que na fotografia, e a minha mãe chorou, e eu escondi-me atrás do fogão.»

O KevIn não disse nada. Tinha lido muitíssimos textos sobre o que se diz num momento destes e decidiu que nenhum servia.

«Ele nunca falou da guerra», disse a Gisela. «Nem uma vez. Quando passava alguma coisa na televisão, saía da sala. Mas tinha guardado a sua chave de Morse. Está comigo numa caixa, em cima, no armário. Às vezes, à noite, sentava-se à mesa da cozinha e batia nela. Muito baixinho, sem corrente. Só batia.»

«O que é que ele batia?»

«Não sei. Eu não sabia Morse. Sempre pensei que ele estava a falar com alguém que já não existia.» Voltou a olhar para cima. «E quando em 1957 deu na rádio que os russos tinham lançado um satélite, ele sentou-se e ficou a ouvir. Fazia bip, o Sputnik⁸. Bip, bip, bip. Ouvia-se na rádio. E o meu pai ficou ali sentado e sorriu. Eu nunca o tinha visto sorrir antes.»

«Porquê?»

«Perguntei-lhe. Ele disse: “Gisela, é o primeiro radiotelegrafista que não está na guerra.”»

Durante muito tempo ninguém disse nada. Dentro de casa tilintou um copo. A Sabine tinha ganho, os copos do licor de ovo não foram à máquina.

«Acho», disse o KevIn com cuidado, «que eu teria gostado do teu pai.»

«Ele não te teria percebido.»

«Não faz mal. Eu também nem sempre me percebo.»

A Gisela riu-se, um riso curto e baixo. Depois voltou a ficar séria.

«Sabes o que eu acho, KevIn? O rapaz tem medo da coisa errada. De ti ninguém precisa de ter medo. Tu fazes contas com ovos.»

«E de que é que ele devia ter medo?»

A Gisela não respondeu. Olhou para cima, para onde talvez estivesse Júpiter, e a sua mão estava pousada na manta, e os dedos batiam levemente no tecido. Curto, curto, longo. O KevIn reparou. Não disse nada.

Passado um bocado, o Tobi veio cá fora para a levar para dentro, porque estava a ficar fresco.

«O que é que estão a fazer aqui?»

«Estamos a olhar para o céu», disse a Gisela.

«Mas o KevIn nem consegue olhar.»

«Ele ouve», disse a Gisela. «Às vezes é mais.»

O Tobi pegou no altifalante, e a Gisela deu o braço ao Tobi, e entraram em casa. No corredor, o Horst estava na sua base e piscava verde.

Só o KevIn continuou durante algum tempo a pensar na pergunta a que a Gisela não tinha respondido. Nos seus dados havia muitíssimas respostas a ela. Todas se contradiziam. E, pela primeira vez, o KevIn suspeitou de que isso não se devia aos dados.