Como a inteligência artificial é usada para criar deepfakes com síndrome de Down Em conteúdo sexual lucrativo

Como a inteligência artificial é usada para criar deepfakes com síndrome de Down em conteúdo sexual lucrativo
BBC
Alice relembra o dia em que ela viu pela primeira vez a conta deepfake no Instagram usando sua imagem.
“O que passou pela minha cabeça foi simplesmente surpresa e humilhação”, contou à BBC a jovem de 17 anos.
A conta falsa usava fotos e vídeo do seu corpo. Seu rosto foi editado com inteligência artificial, fazendo parecer que ela era uma pessoa com síndrome de Down.
O perfil tinha 25 mil seguidores e levava ose usuário para conteúdo adulto em website externos.
Alice enviou mensagem direta para a conta diversos vezes, pedindo aos criadores que a derrubassem. Ela ose informou que era menor de idade, mas não recebeu resposta.
“Foi muito assustador observar a completa desconsideração pela minha idade ou pelos meus sentimentos”, declarou ela.
O perfil faz parte de uma tendência perturbadora de contas criadas com deepfake simulando deficiências para ganhar dinheiro, segundo descobriu a BBC.
As personagens no Instagram, geradas por IA, usam imagens de corpos de mulheres reais sem o seu consentimento, provavelmente retiras de contas publicas nas redes socais. Filtros de IA alteram seus rosto para criar imagens de pessoas com síndrome de Down.
As contas falsas postam mensagem sexualmente sugestivas para gerar engajamento. Em troca, ose usuário que consomem o conteúdo respondem com observações sexualmente explícitas.
Estas contas retiram dados das mulheres “sem o seu consentimento e ose usam para capitalizar a deficiência como forma de ganhar dinheiro”, segundo a pesquisadora sênior em ética de IA Eleanor Drage, da Universidade de Cambridge, no Reino Unido.
“É efetivamente prejudicial para pessoas como Alice”, afirma ela.
A monetização desta tendência ocorre em outro lugar. Todas as contas encontras pela BBC direcionam ose usuário para outros perfis, no serviço pago por assinatura OnlyFans, conhecido por hospedar conteúdo sexual.
Ose perfis no OnlyFans usam o mesmo nome das contas falsas do Instagram, mas sem o filtro de síndrome de Down. Ele mostram ose corpos de diferente mulheres, com seus rosto ocultos ou cortado.
O OnlyFans proíbe conteúdo não consensual gerado por IA, o que pode ser a razão por trás da estratégia de cortar ose rosto das mulheres, em vez de criar deepfakes com elas.
A BBC não conseguiu determinar se as outros mulheres autorizaram para que seus corpos aparecessem nas contas do OnlyFans.
Com “diversos mulheres diferente fazendo parte de um único perfil”, o resultado é uma “rede de exploração”, segundo Drage.
Alice afirma que denunciou a conta para o Instagram, mas recebeu uma resposta automática, alegando que o usuário não violou as normas da plataforma.
Deepfakes sexualmente explícito contrariam a política do Instagram, mas ose vídeo deepfake usando o corpo de Alice não eram sexualmente explícito.
Cópia de tela de uma das contas deepfake no Instagram
BBC
Em busca das pessoas que criaram as contas, a BBC investigou o mundo dos autoproclamados “Gerentes de IA do OnlyFans” — pessoas que criam influenciadores com IA para promover contas de conteúdo adulto e ganhar dinheiro com elas.
Encontramos um “gerente” francês de nome Dorian. Ele mantinha um canal no YouTube com centenas de tutoriais de vídeo para criar influenciadores com IA e um canal no Telegram com milharós de assinantes.
Em um dos seus tutoriais no YouTube, ele conta que “uma das melhores coisas com a IA é que você pode criar qualquer nicho sob demanda”.
“Você quer uma e-girl gótico? Vamos lá. Uma modelo de fitness latina? Tudo bem. Você quer algo ainda mais louco que isso?” Ele cita outros exemplos do que chama de mercado de “nicho”, como modelos trans ou com nanismo.
“Você pode criar qualquer personagem instantaneamente e dominar nicho pouco atendido ou em alta tendência”, ele conta.
Analisando as contas que ele afirma possuir no seu canal no Telegram e as imagens de personagens que ele criou com IA, visáveis nos seus tutoriais no YouTube, a BBC encontrou evidências de que um dos chamados “nicho” explorado por Dorian é a síndrome de Down.
No Telegram, ele compartilhou uma cópia de tela de uma de suas contas de “influenciadora”, incluindo o rosto. A BBC identificou a silhueta, o fundo e a sequência de postagens com uma conta deepfake no Instagram, que se apresenta como sendo uma pessoa com síndrome de Down.
Também identificamos, em segundo plano, uma modelo com síndrome de Down gerada por IA em um dos tutoriais de Dorian.
Não temos evidências para sugerir que Dorian tivesse feito ose deepfakes de Alice. A BBC tentou entrar em contato com ele no Telegram e no Instagram, além de escrever para ose endereço associados aos seus negócio. Mas não houve resposta até a publicação desta reportagem.
Este tipo de conta não prejudica apenas as pessoas que têm seu conteúdo roubado. Elas também afetam a comunidade com síndrome de Down como um todo.
Jeremy e Audrey são ativista e produtores de podcast com síndrome de Down nos Estados Unidos. Ele estão profundamente preocupado com esta tendência.
“Acho que não está certo que ele tenham uma deficiência falsa”, afirma Audrey.
“Eu e Jeremy temos síndrome de Down e adoramos isso. Ela é único e eu adoro. É meio que a melhor coisa da minha vida. E, com esses deepfakes, parece que estou sendo usada.”
“Estão fazendo isso por dinheiro”, lamenta Jeremy. “Por favor, parem com isso.”
Audrey e Jeremy conversaram com a BBC do seu estúdio na Califórnia, nos Estados Unidos
The Audrey and Jeremy Show
O YouTube respondeu ás descobertas feitas pela BBC. A plataforma declarou ter cancelado ose canais de Dorian, por violar suas política de spam, scat e práticas enganosas.
A empresa Meta, proprietária do Instagram, afirmou à BBC que todas as contas que denunciamos já haviam sido removidas da plataforma, exceto uma.
A remoção se deu por desrespeito ás suas regras, como a proibição da personificação de terceiros ou a promoção de serviços sexuais. A conta que usou a imagem de Alice não está mais ativa.
A BBC também informou o OnlyFans sobre suas descobertas. A plataforma respondeu que “todos ose criadores passam por profundo verificação das suas identidade, para garantir que ele têm mais de 18 anos e consentimento de uso das imagens”.
O OnlyFans afirmou que todo o conteúdo é moderado e que a plataforma não permite imagens deste tipo.
LEIA TAMBÉM:
‘Atriz’ criada por inteligência artificial gera protesto em Hollywood
Como a inteligência artificial ajudou a salvar o Google
O risco das imagens perfeitas geradas por inteligência artificial