Em mais uma instância que prova que nós não podemos ter coisas bacanas, uma ferramenta de sintetização de voz via IA da Eleven Labs vem sendo usada por extremistas para criar falsos clipes de áudio envolvendo celebridades. A própria empresa, que lançou a ferramenta somente há alguns dias, denunciou o caso no Twitter (via Motherboard).

A ferramenta em si tem um propósito simples: criar clipes de voz a partir de materiais digitados em um editor de texto. Evidentemente, a parte de inteligência artificial (IA) vem na capacidade que a aplicação tem de “clonar” vozes reconhecidas – e é nisso que os cantos menos incautos da internet vêm aproveitando.

Segundo as informações relatadas, fóruns como o 4Chan começaram a compartilhar clipes falsos de áudio com falas racistas, homofóbicas, transfóbicas e misóginas – algumas, com ameaças bem diretas e sugestão de crimes – atribuindo o material a personalidades como a atriz Emma Watson. A atriz britânica, conhecida pelo seu papel como Hermione Granger na franquia Harry Potter e por ser ampla defensora dos direitos humanos e embaixadora do tema na ONU, apareceu nos fóruns como se estivesse recitando uma parte do livro Mein Kampf, autorado pelo líder nazista Adolf Hitler, morto na Segunda Guerra Mundial.

Noutro clipe, uma pessoa afirma que “direitos de pessoas trans são direitos humanos”, mas o som sai como se ela estivesse sendo estrangulada. Num terceiro arquivo, sobrou até para Rick Sanchez, do desenho Rick and Morty: o cientista louco da animação promete espancar a esposa até a morte.

Não está claro ainda se todos os clipes de áudio identificados usaram a ferramenta de voz via IA da Eleven Labs, mas a maior parte dos links da thread – a qual não vamos linkar aqui – apontava para a página de testes da startup, que foi fundada por ex funcionários do Google e da Palantir.

A situação é bastante similar ao que vimos há alguns anos, quando ferramentas similares atribuíram ao ex-presidente dos EUA, Barack Obama, falas racistas e problemáticas. Ou ainda quando outras aplicações atuaram de forma similar, mas voltadas à geração de imagens, o que levou à proliferação de falsa pornografia com atrizes de Hollywood.

Ainda de acordo com seu perfil no Twitter, a Eleven Labs está estudando formas de coibir esse tipo de prática com a sua ferramenta. Uma das ideias flutuadas pela empresa é a de exigir que o usuário que acesse o teste da aplicação forneça algum tipo de informação que lhe identifique – como alguma forma de pagamento ou imagem de documento oficial. Entretanto, a empresa não descarta abandonar a ferramenta de IA por voz por completo e trabalhar esta parte do negócio em um formato exclusivamente sob encomenda.

Comentários

0

Please give us your valuable comment

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Inscrever-se
Notificar de
0 Comentários
Feedbacks embutidos
Ver todos os comentários
plugins premium WordPress