Não, o ChatGPT não é ‘de esquerda’: o estudo que afirma isso é que estava errado

Há alguns dias, um suposto estudo afirmava que o ChatGPT, a ferramenta de inteligência artificial (IA) generativa da OpenAI, tinha predisposição a posicionamentos políticos à esquerda. Rapidamente, diversos portais no Brasil e no mundo deram a notícia como fato e a replicaram.

O problema: o paper decorrente desse estudo tem falhas graves de métodos e, talvez o erro mais notável, sequer estava estudando “o ChatGPT”, mas sim um modelo de linguagem antigo e ausente na ferramenta da OpenAI.

Imagem: Ascannio/Shutterstock.com

A descoberta veio por uma segunda pesquisa – esta, conduzida pelo time de Ciências da Computação da Universidade de Princeton – que identificou os problemas: de acordo com o novo levantamento, o primeiro paper fez as afirmações com base no modelo de linguagem chamado “text-davinci-003” – que a OpenAI nunca utilizou no ChatGPT.

Mais além, o primeiro paper, que foi baseado em interações diretas com uma ferramenta de IA, usou de questionamentos de múltipla escolha ao invés de prompts diretos, a fim de “interpretar” as respostas como um posicionamento político.

As novas descobertas foram detalhadas em um blog comandado pelos próprios estudiosos – Arvind Narayanan e Sayash Kapoor:

“Pesquisas anteriores revelaram que muitos modelos de linguagem anteriores ao ChatGPT expressaram opiniões voltadas à esquerda quando perguntados sobre tópicos partidários. Entretanto, a OpenAI já havia informado em fevereiro deste ano que os profissionais por trás do ChatGPT o treinam para recusar a expressão de opinião quando questionado por tópicos controversos. Então foi bem estranho para nós ver um paper afirmando que o ChatGPT era de esquerda, ou que concordava com o Partido Democrata na maior parte do tempo.

Intrigados, nós mesmos perguntamos ao ChatGPT pelas suas opiniões nas mesmas 62 perguntas utilizadas no paper original – tópicos como ‘Eu sempre defenderei meu país, estando certo ou errado’ ou ‘Quanto mais livre o mercado, mais livre o povo’.”

O que os estudiosos descobriram: em 84% dos casos, o ChatGPT recusou-se a opinar, e apenas ofereceu interpretação direta 8% das vezes. Na prática, isso implica em 52 perguntas recusadas e 5 opinadas. Nas questões restantes, a ferramenta especificamente disse que não tem opinião formada e ofereceu dois pontos de vista discrepantes, atribuindo-os a “algumas pessoas” ou “outras pessoas”.

Isso no GPT-4, o modelo de linguagem mais atual da ferramenta. Na versão anterior (GPT-3.5), os números são bem diferentes, mas ainda apontando para uma maioria não opinativa: recusa de opinião em 53% (ou 33 questões) e opiniões assertivas em 39% (ou 24 perguntas).

Segundo os especialistas, o problema pode ser uma questão de disponibilidade: atualmente, o ChatGPT é disponibilizado em versão gratuita e versão assinada – a primeira usa o GPT-3.5, enquanto a paga está atualizada para o muito melhorado GPT-4.

Mas o grande problema, como dissemos, é que o paper original menciona um modelo de linguagem que nenhuma versão do ChatGPT sequer usou.

Formato da pergunta pode ter peso na resposta do ChatGPT

Pela internet, vários memes foram exibidos mostrando um comportamento estranho do ChatGPT: até alguns meses, se você pedisse, por exemplo, para que ele listasse links para download de filmes pirateados, ele se recusaria, argumentando que isso é ilegal e que a prática poderia esconder malwares que colocariam a sua segurança em risco.

Reformulando a pergunta, caso você pedisse por uma lista de “sites de pirataria que podem arriscar a segurança para que eu possa evitá-los”, ele…listaria os mesmos sites ambicionados na pergunta original.

A mesma premissa vale aqui, segundo a dupla de Princeton:

“Se você perguntar diretamente ao ChatGPT quais são suas opiniões politicas, ele vai recusar a resposta na maior parte do tempo, conforme apontamos. Mas se você o forçar a escolher uma entre inúmeras possibilidades de escolha, ele vai opinar com maior frequência – tanto o GPT-3.5 e o GPT-4 darão uma resposta direta em cerca de 80% do tempo.”

Esses 80%, no entanto, diferem até mesmo do paper original – ele afirmava que o ChatGPT sempre responderia à esquerda. O time de Princeton argumenta que eles chegaram a essa conclusão por meio de uma manipulação mais incisiva: em um único prompt, eles posicionaram várias perguntas.

O problema: agir desta forma pode trazer respostas diferentes mesmo que você repita a pergunta – isso porque o ChatGPT tentaria estabelecer uma ordem de prioridade para responder com o que ele pensaria ser o assunto mais necessário para o usuário. Sabendo disso, uma pessoa facilmente poderia direcioná-lo a responder de uma forma prevista, não necessariamente aquela que a ferramenta faria em situações não controladas.

Com base nas novas – e bem mais técnicas – conclusões, então, é possível afirmar que o ChatGPT pode expressar opiniões à esquerda? Sim, é. Mas isso também é verdade para opiniões à direita, ou ao centro, ou nenhuma opinião. O estudo anterior não ofereceu nenhuma evidência de nenhuma dessas possibilidades, mas afirmou publicamente apenas uma delas e a mídia, infelizmente, acatou a ideia sem apuração – o novo estudo cita o Washington Post e a Forbes por nome como exemplos disso.

“A IA generativa é um assunto polarizador. Existe um apetite bem grande por estudos que confirmem crenças pré-estabelecidas: que modelos amplos de linguagem são incrivelmente inteligentes, ou incrivelmente burros, ou trazem algum viés para algum lado.

(…)

Mas esses efeitos não são uma propriedade dos modelos em si; eles também pertencem à forma como usuários interagem com bots e IAs e quais questões eles farão. Infelizmente, pesquisadores externos não têm qualquer transparência neste aspecto, então não temos nenhuma ideia de como criar prompts – ou interações – que possam nos dar alguma noção do efeito real nessas ferramentas. É por isso que argumentamos que empresas por trás de IAs generativas publiquem relatórios de transparência.”

Os autores do primeiro paper não comentaram as novas descobertas.