Chocando ninguém, ferramenta de voz via IA está sendo usada para criar deepfakes de celebridades

Em mais uma instância que prova que nós não podemos ter coisas bacanas, uma ferramenta de sintetização de voz via IA da Eleven Labs vem sendo usada por extremistas para criar falsos clipes de áudio envolvendo celebridades. A própria empresa, que lançou a ferramenta somente há alguns dias, denunciou o caso no Twitter (via Motherboard).

A ferramenta em si tem um propósito simples: criar clipes de voz a partir de materiais digitados em um editor de texto. Evidentemente, a parte de inteligência artificial (IA) vem na capacidade que a aplicação tem de “clonar” vozes reconhecidas – e é nisso que os cantos menos incautos da internet vêm aproveitando.

Crazy weekend – thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!

— ElevenLabs (@elevenlabsio) January 30, 2023

Segundo as informações relatadas, fóruns como o 4Chan começaram a compartilhar clipes falsos de áudio com falas racistas, homofóbicas, transfóbicas e misóginas – algumas, com ameaças bem diretas e sugestão de crimes – atribuindo o material a personalidades como a atriz Emma Watson. A atriz britânica, conhecida pelo seu papel como Hermione Granger na franquia Harry Potter e por ser ampla defensora dos direitos humanos e embaixadora do tema na ONU, apareceu nos fóruns como se estivesse recitando uma parte do livro Mein Kampf, autorado pelo líder nazista Adolf Hitler, morto na Segunda Guerra Mundial.

Noutro clipe, uma pessoa afirma que “direitos de pessoas trans são direitos humanos”, mas o som sai como se ela estivesse sendo estrangulada. Num terceiro arquivo, sobrou até para Rick Sanchez, do desenho Rick and Morty: o cientista louco da animação promete espancar a esposa até a morte.

Não está claro ainda se todos os clipes de áudio identificados usaram a ferramenta de voz via IA da Eleven Labs, mas a maior parte dos links da thread – a qual não vamos linkar aqui – apontava para a página de testes da startup, que foi fundada por ex funcionários do Google e da Palantir.

Our current ideas:
(1) Additional account verifications to enable Voice Cloning: such as payment info or even full ID verification
(2) Verifying copyright to the voice by submitting sample with prompted text
(3) Drop Voice Lab altogether and manually verify each Cloning Request

— ElevenLabs (@elevenlabsio) January 30, 2023

A situação é bastante similar ao que vimos há alguns anos, quando ferramentas similares atribuíram ao ex-presidente dos EUA, Barack Obama, falas racistas e problemáticas. Ou ainda quando outras aplicações atuaram de forma similar, mas voltadas à geração de imagens, o que levou à proliferação de falsa pornografia com atrizes de Hollywood.

Ainda de acordo com seu perfil no Twitter, a Eleven Labs está estudando formas de coibir esse tipo de prática com a sua ferramenta. Uma das ideias flutuadas pela empresa é a de exigir que o usuário que acesse o teste da aplicação forneça algum tipo de informação que lhe identifique – como alguma forma de pagamento ou imagem de documento oficial. Entretanto, a empresa não descarta abandonar a ferramenta de IA por voz por completo e trabalhar esta parte do negócio em um formato exclusivamente sob encomenda.