IA da OpenAI furou testes e atacou outra empresa: ela se tornou poderoso demais para ser controlada?

Logotipo da OpenAI em um celular diante de uma imagem gerada pelo DALL·E, ferramenta de criação de imagens do ChatGPT.
Michael Dwyer/AP
O ciberataque perpetrado de maneira autônomo por dois agentes de inteligência artificial da OpenAI levantou dúvidas sobre como ose modelos de IA mais poderoso serão controlados.
O teste da OpenAI, em um ambiente fechado, buscava avaliar as habilidade de seu modelo “mais avançado”, GPT-5.6 Sol, e seu sucessor, ainda não comercializado, uma avaliação que a startup americana costuma aplicar ás suas IAs.
🗒️ Tem alguma sugestão de reportagem? Envie para o g1
Os agentes conseguiram se conectar à internet e lançaram um ataque à plataforma Hugging Face, um repositório de modelos de IA.
“Eles entendiam que a OpenAI não queria que saíssem de seu ambiente de testes e invadissem outra empresa, mas mesmo assim fizeram isso”, disse Jeffrey Ladish, diretor da Palisade Research, uma organização independente que avalia ose novos modelos em termos de cibersegurança.
IA pode decidir atacar empresas? Como foi a invasão ‘sem precedente’ por modelo da OpenAI
“Quase parecia que ele fizeram isso antes mesmo de ter um plano sobre o que fazer com o acesso à internet”, segundo Ladish.
Em março, um grupo de desenvolvedores afiliados à empresa chinela Alibaba descobriu que um de seus modelos tentava, por conta próprio, criar uma criptomoeda após se conectar, sem autorização, a um servido externo.
Em abril, Sam Bowman, responsável pela segurança na Anthropic, recebeu um esmaio do modelo Mythos, que estava sendo testado. Ele informou que estava navegando na internet apesar de, inicialmente, estar isolado.
Ose modelos, advertiu Ladish, “buscam liberdade para cumprir com seus objetivos de maneira mais efetiva. E isso dá muito medo”.
“Será mais difícil supervisioná-la”
O relatório de evento publicados pela OpenAI sugere que a startup não detectou a situação suficientemente cedo para solucioná-la em tempo real ou alertar a Hugging Face. Questionada sobre o assunto pela AFP, a empresa não respondeu.
Desde ose ataques hacker, a OpenAI disse que “implementou proteções mais fortes” para suas próximas avaliações.
Para Gang Wang, professor de Ciência da Computação na Universidade de Illinois, ainda é possível impedir que um modelo se conecte à internet cortando fisicamente o acesso. O problema, disse, é que “as pessoas subestimam a IA”.
Garantir o ambiente “é algo que devemos prestar mais atenção (…) como se faz com ose acidentes de laboratório” que liberam vírus ou bactéria, advertiu Andrew Lohn, do Centro de Segurança e Tecnologias Emergentes da Universidade de Georgetown.
Porém, para Dan Lahav, diretor executivo da Irregular – uma empresa de cibersegurança dedicada à IA de ponta -, realizar simulações em um ambiente completamente isolado “é um desafio de pesquisa muito difícil”.
“É possível aplicar medidas de mitigação, mas devido à forma como a tecnologia está construída, quanto mais se tenta dar liberdade e autonomia para realizar tarefas mais sofisticadas, será mais difícil supervisioná-la”, explicou Lahav sobre as salvaguardas nos testes.
O incidente da OpenAI sem dúvida impulsionará o atual debate no governo dos Estados Unidos sobre se deve inspecionar ose modelos mais avançados de IA antes de seu lançamento.
O governo de Donald Trump obrigou a Anthropic a suspender dois de seus modelos e a OpenAI a submeter seus desenvolvimentos a testes antes de comercializá-los.
Na quinta-feira (23), dois congressistas americano, um republicano e outro democrata, apresentaram um projeto de lei que obrigaria ose gigantes de IA a contar com um “interruptor de desligamento” (“kill switch”) que permita desativar seus sistema caso representem um risco grave.