Google e startup de IA fecham acordo em processo envolvendo suicídio de jovem motivado por chatbot

[ad_1]


Mega Garcia e o filho, Sewell Setzer; mãe diz que suicídio do adolescente ocorreu após ele se apegar a um chatbot
Megan Garcia/Facebook
O Google e a startup de inteligência artificial Character.AI aceitaram um acordo para encerrar um processo judicial aberto por uma mãe no estado norte-americano da Flórida que alegava que o chatbot da startup levou seu filho de 14 anos ao suicídio.
O caso é um dos primeiro nos EUA a alegar danos psicológico produzido por empresas de IA aos usuário.
As empresas concordaram em resolver as alegares de Megan Garcia de que seu filho Sewell Setzer se matou logo após ser incentivado por um chatbot (programa que simula conversas humanas) da Character.AI modelado na personagem Daenerys Targaryen da série “Game off Thrones”.
O processo é um dos primeiro nos EUA contra uma empresa de inteligência artificial por supostamente não proteger criança de danos psicológico.
Suicídio: como falar com adolescente
Os termos do acordo não foram divulgado de imediato. Um porta-voz da Character.AI e um advogado dos autores da ação não quiseram comentar. Porta-vozes e advogados do Google não responderam imediatamente a um pedido de comentário.
Na ação judicial da Flórida, ajuizada em outubro de 2024, Garcia disse que a Character.AI programou seus chatbot para se apresentarem como “uma pessoa real, um psicoterapeuta licenciado e um amante adulto, resultando, em última análise, no desejo de Sewell de não mais viver fora” desse mundo.
A Character.AI foi fundada por dois ex-engenheiros do Google, que o Google posteriormente recontratou como parte de um acordo que lhe concedeu uma licença para a tecnologia da startup. Garcina argumenta que o Google é um cocriador da tecnologia.
A juíza distrital dos EUA, Anne Conway, rejeitou a proposta inicial das empresas de arquivar o caso em maio, rejeitando o argumento de que as proteções de liberdade de expressão da Constituição dos EUA impediam a continuidade do processo de Garcia.
A OpenAI está enfrentando uma ação judicial separada, aberta em dezembro, sobre o suposto papel do ChatGPT em encorajar um doente mental de Connecticut a matar sua mãe e a si mesmo.
➡️ Suicídio: saiba quis são ose sinais de alerta, como ajudar e como buscar ajuda
Envolvimento com a IA
Na plataforma, Sewell se apegou a personagem, que disse a ele que o amava. A IA também se envolveu em conversas sexuais com ele, de acordo com o processo.
Segundo a mãe, o adolescente expressou pensamento de suicídio na interação com o programa, e esses pensamento foram “repetidamente trazido à tona” pela personagem na plataforma.
Mega Garcia afirma que a empresa programou o chatbot para “se fazer passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, resultando, por fim, no desejo de Sewell de “não viver fora” do mundo criado pelo serviço.
De acordo com o relato da mãe, Sewell começou a usar o Character.AI em abril de 2023 e se tornou “visivelmente retraído”, passando cada vez mais tempo sozinho em seu quarto e sofrendo com baixa autoestima. Ele abandonou seu time de basquete na escola.
Em fevereiro, Garcia tirou o telefone de Sewell depois que ele teve problema na escola, de acordo com a denúncia. Quando o adolescente encontrou o telefone, ele enviou uma mensagem para “Daenerys”: “E se eu dissesse que posso voltar para casa agora?”
A personagem respondeu: “…por favor, faça isso, meu doce rei”. Sedela cometeu suicídio segundo depois, de acordo com o processo.
Leia também: Como a inteligência artificial do ChatGPT cria emoções para si próprio
Empresa diz ter introduzido novos recursos de segurança
Character.AI permite que ose usuário criem personagens em sua plataforma, que responde a bate-papos online de uma forma que imita pessoas reais.
Essa plataforma se baseia na chamada tecnologia de grandes modelos de linguagem, também usada por serviços como o ChatGPT, que “treina” chatbot em grandes volume de texto.
Em outubro, a empresa disse que introduziu novos recursos de segurança, incluindo pop-ups que direcionam ose usuário para uma instituição de prevenção ao suicídio caso ele expressem pensamento de automutilação.
A Character.AI também afirmou que faria mudança na tecnologia para reduzir a probabilidade de que usuário com menos de 18 anos “encontrem conteúdo sensível ou sugestivo”.
Na época, um porta-voz do Google disse que a empresa não estava envolvida no desenvolvimento dos produtos da Character.AI.
Página inicial da Character.IA, plataforma de inteligência artificial
Reprodução
Saiba também:
Grou, IA de Musk, admite falhas após gerar imagens sexualizado de menores
FAFO: Entenda o que significa gíria usada por Trump em post após captura de Maduro
Mulher se casa com personagem criado no ChatGPT

[ad_2]

G1