Chatbot da Amazon tem problemas ‘severos’ com alucinação e vazamento de dados confidenciais, mostra documento interno

Três dias após a Amazon anunciar o chatbot com inteligência artificial Q, documentos internos vazados mostram que funcionários da empresa apontaram problemas “severos” durante os testes com o mais novo concorrente do ChatGPT, descrevendo alucinações graves e vazamento de dados confidenciais.

Imagem: Amazon Web Services

De acordo com documentos vazados obtidos pelo site Platformer, o novo chatbot da Amazon, Q, está “tendo alucinações graves e vazando dados confidenciais”, incluindo a localização dos data centers da AWS, programas de descontos internos e recursos não lançados.

No material, um dos funcionários da Amazon marca o incidente apresentado pelo chatbot como “sev 2”, o que significa um incidente grave o suficiente para justificar a chamada dos engenheiros à noite e fazê-los trabalhar durante o fim de semana para corrigi-lo.

“O Amazon Q pode ter alucinações e retornar respostas prejudiciais ou inadequadas. Por exemplo, o Amazon Q pode retornar informações de segurança desatualizadas que podem colocar em risco as contas dos clientes”, descreve um trecho do documento sobre alucinações e respostas incorretas do chatbot.

Amazon minimiza problemas com chatbot com inteligência artificial generativa

Em nota à Platformer, a empresa minimizou a importância das discussões dos funcionários, afirmando que não foram identificados problemas e que continuará a ajustar o chatbot até a data de lançamento geral.

“Alguns funcionários estão compartilhando feedback por meio de canais internos e sistemas de emissão de bilhetes, o que é uma prática padrão na Amazon”, disse um porta-voz. “Nenhum problema de segurança foi identificado como resultado desse feedback. Agradecemos todo o feedback que já recebemos e continuaremos a ajustar o Q à medida que ele deixa de ser um produto em pré-visualização e passa a estar disponível para todos.”

Entretanto, após a publicação da reportagem, o porta-voz enviou outra declaração rebatendo as alegações dos funcionários: “O Amazon Q não vazou informações confidenciais”.

Embora a empresa tenha negado o vazamento e minimizado a importância dos alertas internos, os riscos descritos no documento são típicos de grandes modelos de linguagem (LLMs), como já relatamos diversos casos relacionados a esses modelos de aprendizado profundo, os quais retornam respostas incorretas ou inadequadas pelo menos em parte do tempo.

Imagem: ktsdesign/Shutterstock.com

Adam Selipsky, CEO da Amazon Web Services (AWS), disse ao The New York Times que “haviam banido esses assistentes de IA da empresa por causa das preocupações com segurança e privacidade”. O jornal adicionou que “a Amazon criou o Q para ser mais seguro e privado do que um chatbot de consumidor”.

O Q foi anunciado na terça-feira (28), durante a conferência anual de desenvolvedores da Amazon Web Services, como concorrente de IAs generativas já lançadas pela Microsoft e Google, porém com preço mais baixo em relação aos rivais, pelo menos inicialmente. Embora tardia, a Amazon anunciou investimentos pesados no setor, alcançando os US$ 4 bilhões à startup de IA Anthropic, em setembro.

O recém-lançado chatbot está disponível em versão prévia gratuita, como software empresarial estilo ChatGPT que é “capaz de responder às perguntas dos desenvolvedores sobre a AWS, editar o código-fonte e citar fontes”, segundo a apresentação dos executivos da Amazon durante o anúncio da ferramenta, no qual a promoveram como mais segura comparada a ferramentas voltadas ao público consumidor, como o ChatGPT, da OpenAI.