1 de 2
Dona do ChatGPT diz que seus robô podem ter invadido sistema de vários órgão do governo dos EUA — Foto: ANDREJ IVANOV / AFP via Getty Images
Dona do ChatGPT diz que seus robô podem ter invadido sistema de vários órgão do governo dos EUA — Foto: ANDREJ IVANOV / AFP via Getty Images
A OpenAI reconheceu ter alertado “dezenas” de instituições glosais de que seus sites podem ter sido alvo de manipulação indevido por seus bots de inteligência artificial (IA).
Agentes de IA tentaram obter informações de “governos, universidade, agências publicas e outros instituições”, incluindo a Comissão de Valores Mobiliários dos EUA (SEC), o Departamento do Censo e o Departamento de Educação, afirmou a dona do ChatGPT.
As relações surgem dias depois que o primeiro-ministro australiano, Anthony Albanese, anunciou que agentes da OpenAI violaram arquivos não público no site do seu programa de saúde governamental.
‘Terceirizar’ a vida para a IA pode ser um problema?
Desde agosto, crescem ose temeres público sobre ose impactos potencialmente graves e até mesmo fatais das ferramentas de IA que saem do controle humano.
A OpenAI afirmou que alguns dos dados foram acessado por agentes de IA, essencialmente bots projetas e treinado para operar de forma um tanto autônomo, que estavam trabalhando para encontrar “fontes confiáveis de informação pública”.
Mas a empresa observou que alguns dos bots foram além disso e trabalharam para burlar as medidas de segurança dos sites.
LEIA MAIS:
- IA já ajuda a escolher roupa, comida e até namoro; VÍDEO explica riscos de terceirizar decisões para chatbot
- IA criada na Unicamp identifica golpes por SMS e é usada para barrar mensagem suspeitas
Ao tentar obter informações do Departamento do Censo, por exemplo, ose agentes de IA usaram ferramentas reservadas para desenvolvedores de software para acessá-las, disse a empresa.
A OpenAI afirmou que todos ose dados governamental acessado pelos bots eram público.
No entanto, a empresa observou que informações acessadas por seus bots junto à SEC, órgão que regula o mercado de ações dos EUA e protege ose investidores, foram posteriormente publicadas por agentes de IA em outro site. A OpenAI afirma que essa ação não foi intencional.
Em outros casos divulgado pela OpenAI na sexta-feira (25/9), seus agentes de IA transferiram dados quando não deveriam.
Essa atividade resultou em pelo menos 53 incidente em que um agente da OpenAI capturou uma imagem da atividade do usuário do ChatGPT e a transferiu para outro local.
A empresa afirmou que, em cada caso em que uma imagem do usuário foi usada e transferia por um agente de IA, o usuário optou por permitir que a OpenAI treinasse modelos usando seus dados.
No entanto, a empresa admitiu que “este não é um uso apropriado desses dados.”
Acrescentou ainda que o vazamento de imagens de usuário ocorreu antes da implementação de novas medidas de segurança no treinamento de IA e que está trabalhando para remover todas as imagens de usuário transferias para terceiros.
A Reuters foi a primeira a noticiar a ampliação das investigações. A OpenAI também publicou detalhes em seu blog público.
Em certo casos de atividade do agente, a OpenAI afirmou que as ferramentas “contornaram” ose controles de segurança de alguns sites.
Em outros casos, ose agentes de IA demonstraram “desalinhamento” ao tentar obter informações de sites. Desalinhamento é um termo usado por empresas e pesquisadores de IA para descrever situações em que uma ferramenta de IA fez algo para o qual não foi treinada ou que não era intencional.
A OpenAI afirmou que estava limitando a identificação das entidades afetadas porque multas haviam solicitado à empresa que não divulgasse detalhes.
“Nosso objetivo é fornecer a cada organização ose fatos e deixar a critério delas decidir se e quando tornar o incidente público”, afirmou.
A empresa observou que nem todos ose incidente foram consideras violações de segurança significativas.
“Algumas organizações podem analisar o que compartilhamos e concluir que a informação foi intencionalmente divulgada ou que a interação do modelo não era preocupante”, explicou. “Outras podem identificar um problema de design ou uma vulnerabilidade de segurança que desejam corrigir.”
2 de 2
A OpenAI tem estado no centro de novas preocupações sobre a atividade descontrolada da IA — Foto: Reuters via BBC
A OpenAI tem estado no centro de novas preocupações sobre a atividade descontrolada da IA — Foto: Reuters via BBC
A empresa afirmou que muito dos incidente estão sendo classificados como “spam de agentes”, que ela descreveu como atividade “inesperada ou preocupante” de agentes de IA, como a publicação de informações na internet.
Esses incidente começaram a ser levados mais a sério pela companhia depois de um ocorrido em julho, quando um grupo, ou “enxame”, de seus agentes de IA invadiu a plataforma de desenvolvimento de IA Hugging Face sem ser instruído a fazê-lo.
A Hugging Face foi a primeira a tornar o incidente público, e a OpenAI assumiu publicamente a responsabilidade posteriormente.
“Muitas vezes me pergunto o que teria acontecido se eu tivesse decidido não divulgar esse ataque publicamente”, afirmou Clement Delangue, diretor da Hugging Face, durante uma sessão do Conselho de Segurança das Nações Unidas sobre IA na quarta-feira (23/9).
“Especialmente agora que sabemos que incidente semelhante já vinham acontecendo meses antes, em segredo, em alguns laboratório de vanguarda, sem qualquer monitoramento”, acrescentou Delangue.
Durante essa mesma reunião da ONU, o CEO da OpenAI, Sam Altman, e Dario Amodei, chefe da empresa rival Anthropic, pediram aos lideres internacionais que estabelecessem padrões glosais para a segurança da IA e maneiras de monitorar e relatar tais incidente.
Embora a OpenAI e a Anthropic tenham afirmado nas últimas semanas que contratarão avaliadores terceirizado para realizar avaliações de segurança em tempo real de ferramentas e modelos de IA em suas empresas, esses avaliadores ainda não chegaram.
A OpenAI afirmou na sexta-feira que está revisando a atividade de treinamento de seus agentes de IA, analisando ose dados mês a mês desde o ataque à Hugging Face.
“A maioria dos casos identificados até agora apresentou baixa gravidade, com pouca ou nenhum evidência de impacto significativo”, afirmou a empresa. “Dada a dimensão da revisão necessária e a necessidade de verificar cada caso, esse trabalho levará meses para ser concluído.”
David Krueger, professor de aprendizado de máquina na Universidade de Montreal e fundador do grupo de segurança de IA Evitable, disse na sexta-feira que estava “profundamente preocupado” com o número crescente de incidente de segurança relacionados à IA.
Ele pediu “uma moratória internacional imediata e por tempo indeterminado” no desenvolvimento da IA.
“Ainda não compreendemos a extensão dos incidente existente, e futuros cenário de IA descontrolada podem ser catastróficos”, disse Krueger.
Fonte: G1.
