O ChatGPT daria um bom universitário? Estudos dizem ‘mais ou menos’

Embora não seja mais o caso já que muitas escolas o estão proibindo, o ChatGPT conseguiria passar – apertado, diga-se – em provas de ingresso universitário (o popular “vestibular” em pelo menos quatro provas diferentes do curso de Direito.

É o que aponta um paper da Universidade de Minnesota, publicado no Social Science Research Network. Segundo o texto, professores do curso de Direito da instituição colocaram o ChatGPT para avaliação, enquanto outro estudo – este, da Escola de Negócios de Wharton – concluiu um desempenho similar para cursos de negócios, como Administração.

Imagem: Ascannio/Shutterstockstudo

O ChatGPT, para fins de conhecimento, é essencialmente um chatbot – ou seja, uma ferramenta digital que simula uma conversa humana e pode ser instalada em apps de mensagens próprios ou terceiros. A tecnologia em si não é nova e é facilmente encontrada na forma de “conversa com especialistas” em lojas online.

A diferença é que esta ferramenta criada pela OpenAI emprega vários conceitos de inteligência artificial (IA) para ampliar seus conhecimentos e aprender a interagir com humanos de forma cada vez mais aprofundada. Além disso, ela consegue varrer a própria base de dados em busca de informações para responder a questionamentos sobre…bem, sobre tudo o que você imaginar.

Os estudos mencionados buscaram, então, avaliar a capacidade do ChatGPT por meio de seu desempenho em testes de graduação, concluindo que, embora fosse aprovada, a ferramenta o seria por uma margem bem próxima do corte. Em outras palavras: não exatamente um aluno de primeira linha, mas nada que o levasse à reprovação.

De acordo com detalhes divulgados pelos estudos, o ChatGPT errou até mesmo “questões de matemática do nível do sexto ano” e, embora tenha uma excelência ímpar em questões de processos simples, materiais mais avançados o confundiram bastante. O time de Minnesota afirmou que o chatbot falhava em compreender questões legais mais básicas e tinha uma mania de “resumir erroneamente” pontos importantes a serem detalhados em algumas perguntas.

Por ser uma ferramenta baseada em inteligência artificial, o mais interessante desse chatbot é que, quanto mais você interage com ele, mais ele aprende e aplica esse conhecimento, então há, obviamente, espaço para que ele melhore. Eventualmente, é bem possível que os mesmos testes tragam um desempenho melhor.