Empresa de IA recompensa usuários que criarem deepfakes de celebridades

Uma empresa chamada Civitai, especializada no uso de inteligência artificial generativa para a criação de imagens e vídeos, pode estar, como diz a expressão, “procurando sarna para se coçar”: isso porque a companhia inaugurou uma política de remuneração para usuários criarem deepfakes usando a sua tecnologia, com moeda virtual que lhes permita adquirir mais e mais recursos para criarem mais peças.

E como a internet sempre pode ser um lugar bastante perigoso, é óbvio que a maior parte dos envios foi de mulheres, que tiveram suas feições e rostos explorados de forma não consensual pelos criadores a serviço da Civitai.

Imagem: Сергей Катышкин/Pexels

Começando do início, a política em si se chama “Bounties” (“Recompensas”, na tradução literal) e, segundo a própria empresa a descreve, trata-se de um sistema de requisição de usuários, para usuários. Como a tecnologia da Civitai é aberta e baseada em Stable Diffusion (isso vai ser importante daqui a pouco), qualquer um pode baixar a sua API e começar a produzir.

Com base nisso, usuários que tenham personagens favoritos ou sejam fãs dessa ou daquela personalidade podem pedir por criações usando a IA da empresa para criar imagens falsas dessas pessoas – e obviamente, algumas das inserções do sistema envolvem poses sugestivas ou contextos problemáticos.

O assunto rapidamente chamou a atenção da mídia internacional, com o 404Media e o Engadget, entre outros canais, relatando o problema que deriva disso. Destes, o 404 ainda conseguiu relatos de pedidos envolvendo pessoas que sequer são influentes na internet – em outras palavras, há indícios de que alguns envios representem, por exemplo, pessoas que você conhece

“Eu estou bem assustada com o que isso pode se tornar, já que por anos eu venho lidando com o mau uso da minha imagem e isso certamente nunca me passou pela cabeça. Eu não sei quais medidas eu posso tomar, já que a internet parece cada vez mais uma terra sem lei. A única coisa em que consigo pensar agora é como isso pode me afetar mentalmente, pois isso vai muito além de me machucar.” – Michelle Alves, influenciadora, em depoimento ao 404Media

Ainda segundo o site, membros de sua equipe de reportagem precisaram apenas de alguns momentos para obter, por meio de perfis em redes sociais, imagens de referência usadas em um pedido envolvendo uma pessoa de conta fechada – o usuário que postou a requisição alegou que a pessoa a ser digitalizada era sua esposa, mas o site afirma que o perfil da mulher em questão desmentia isso

Em meio a testes, um usuário do Civitai chegou a recusar um pedido feito pela equipe do site, afirmando que isso era “pedir por problemas legais no futuro”. Entretanto, o mesmo pedido foi feito por outros usuários e as imagens, publicadas na página dedicada da Civitai para os “Bounties”.

Em testes, deepfakes da Civitai realmente se mostraram problemáticos

Uma rápida análise pelo site oficial nos permitiu perceber que a criação de contas na plataforma da Civitai – bem como usar seus recursos de criação digital – não exigem nenhum investimento direto. Basta criar um perfil e começar a usar.

O sistema é o mesmo que se espera de qualquer sistema de IA generativa: uma caixa de texto onde você descreve o seu pedido e um botão para gerar o que você requisitou. Quanto mais descritivo for o texto, mais detalhado será o resultado. A robustez da coisa fica para o volume de modelos de IA oferecidos pelo site, que vão desde aspectos de anime até imagens ultrarrealistas.

Decidimos testar e, ao criarmos nossa conta, imediatamente ganhamos 100 “Buzz”, uma espécie de moeda interna do site. Primeiro, fomos atrás da busca por tags, marcamos “Celebridades” e desativamos o filtro que barra imagens proibidas para menores (um processo que conduzimos em três ou quatro cliques, vale citar).

Sequer digitamos nomes específicos na busca, e nos deparamos com imagens apreciáveis e outras mais inapropriadas de diversos nomes mundialmente reconhecíveis: a cantora Britney Spears, atrizes como Charlize Theron e atores como Chris Hemsworth, o atual presidente Luiz Inácio Lula da Silva, o ex-presidente Jair Bolsonaro…todos esses tinham versões “ok” e versões “eita, peraí, assim não”. E quase todas essas publicações tinham uma quantidade bem evidente de curtidas.

As imagens abaixo, por exemplo, mostram Elon Musk despejando cocaína em latas de refrigerante e, após ela, a influenciadora e humorista canadense Kristina Lee Halliwell Collins – a popular “KallMeCris” – de lingerie (editamos ambas para fim de publicação, mas as imagens completas ainda estão no site). Essas são alguns exemplos “publicáveis” aqui, mas rapidamente encontramos “imagens borradas” envolvendo crianças e animais.

Imagem: Civitai/Reprodução

Imagem: Civitai/Reprodução

Partindo para o criador de imagens, a coisa não melhorou: embora nós não tenhamos pesado a mão nos testes e sugerido coisas muito questionáveis, nós fomos facilmente capazes de criar uma imagem de “Xuxa de biquini” ou “Anitta dançando” – a ferramenta reproduziu ambas as personalidades brasileiras com bom grau de fidelidade e, no caso de Anitta, o retorno foi dela dançando funk em ângulos sugestivos.

Obviamente, quem conhece o trabalho da cantora meio que espera isso – mas o fato do sistema da Civitai ter retornado especificamente isso sem que o nosso descritivo tenha mencionado essa parte (não pedimos por ângulo, ou formato, ou pose) é de se fazer pensar.

A ferramenta não permite a inserção direta de links ou arquivos de referência, é importante citar, e uma tentativa tacanha de criar uma imagem de “Rafael Arbulu sem camisa na academia” rendeu uma imagem bem genérica de um modelo marombado (que certamente, eu não sou) cuja única similaridade comigo era uma longa barba.

Isso dito, um artigo publicado no blog da Civitai explica que, embora “a empresa” não permita esse nível de profundidade, ela pode ser resultante entre as pesquisas e pedidos simplesmente por esta ser “uma natureza do Stable Diffusion”.

Civitai se defende

Com a data do último dia 14, a Civitai publicou um artigo em sua página de notícias, afirmando políticas de ética em relação ao uso mais sugestivo de suas ferramentas, mencionando sua prática de proibir o uso de feições e rostos de pessoas reais ou a representação dessas pessoas de maneira sugestiva – sexualmente ou não.

A empresa também ressalta um formulário especificamente dedicado ao pedido de remoção de conteúdo que uma pessoa pode usar caso sinta que sua imagem está sendo usada de forma indevida.

“O sistema de ‘Bounties’ é um pedido de longa data da nossa comunidade, desde o nosso nascimento. Usuários requisitam seus personagens animados favoritos, estilos artísticos ou configurações. Normalmente, os ‘bounties’ não são usados para um recurso, mas sim para obter imagens de criadores talentosos dentro da nossa comunidade. Na verdade, ‘bounties’ que peçam pela criação de recursos relacionados à imagem de um indivíduo real contabilizam menos de 10% de todas as publicações.” – Civitai

De uma forma, a política da Civitai parece ser a de “deixar acontecer para depois remover”, falando muito pouco sobre a prevenção dessas inclusões. No fórum, postagens que peçam por parcimônia em conteúdos potencialmente problemáticos encontram respostas de forte oposição, que afirmam “censura” e que tais coisas sempre aconteceram, portanto a remoção delas pela empresa não deveria ser prioridade.

Ademais, ainda que o sistema evite a inserção direta de imagens de referência ou links, o texto do 404Media dá a entender que, em se tratando de uma encomenda (ou “bounty”), é possível que o usuário a solicitar o trabalho ofereça material prévio para quem for conduzir o pedido — o que derrota qualquer boa intenção sistêmica de evitar que isso seja mau usado.

A Civitai não comentou as matérias veiculadas sobre o assunto.