Chatbot da Amazon tem problemas ‘severos’ com alucinação e vazamento de dados confidenciais, mostra documento interno
Empresa minimizou problema após informação ser noticiada, afirmando que não foram identificados graves problemas; atual prévia gratuita foi apresentada como versão empresarial mais segura que ChatGPTBy - Liliane Nakagawa, 4 dezembro 2023 às 19:35
Três dias após a Amazon anunciar o chatbot com inteligência artificial Q, documentos internos vazados mostram que funcionários da empresa apontaram problemas “severos” durante os testes com o mais novo concorrente do ChatGPT, descrevendo alucinações graves e vazamento de dados confidenciais.
De acordo com documentos vazados obtidos pelo site Platformer, o novo chatbot da Amazon, Q, está “tendo alucinações graves e vazando dados confidenciais”, incluindo a localização dos data centers da AWS, programas de descontos internos e recursos não lançados.
No material, um dos funcionários da Amazon marca o incidente apresentado pelo chatbot como “sev 2”, o que significa um incidente grave o suficiente para justificar a chamada dos engenheiros à noite e fazê-los trabalhar durante o fim de semana para corrigi-lo.
“O Amazon Q pode ter alucinações e retornar respostas prejudiciais ou inadequadas. Por exemplo, o Amazon Q pode retornar informações de segurança desatualizadas que podem colocar em risco as contas dos clientes”, descreve um trecho do documento sobre alucinações e respostas incorretas do chatbot.
Amazon minimiza problemas com chatbot com inteligência artificial generativa
Em nota à Platformer, a empresa minimizou a importância das discussões dos funcionários, afirmando que não foram identificados problemas e que continuará a ajustar o chatbot até a data de lançamento geral.
“Alguns funcionários estão compartilhando feedback por meio de canais internos e sistemas de emissão de bilhetes, o que é uma prática padrão na Amazon”, disse um porta-voz. “Nenhum problema de segurança foi identificado como resultado desse feedback. Agradecemos todo o feedback que já recebemos e continuaremos a ajustar o Q à medida que ele deixa de ser um produto em pré-visualização e passa a estar disponível para todos.”
Entretanto, após a publicação da reportagem, o porta-voz enviou outra declaração rebatendo as alegações dos funcionários: “O Amazon Q não vazou informações confidenciais”.
Embora a empresa tenha negado o vazamento e minimizado a importância dos alertas internos, os riscos descritos no documento são típicos de grandes modelos de linguagem (LLMs), como já relatamos diversos casos relacionados a esses modelos de aprendizado profundo, os quais retornam respostas incorretas ou inadequadas pelo menos em parte do tempo.
Adam Selipsky, CEO da Amazon Web Services (AWS), disse ao The New York Times que “haviam banido esses assistentes de IA da empresa por causa das preocupações com segurança e privacidade”. O jornal adicionou que “a Amazon criou o Q para ser mais seguro e privado do que um chatbot de consumidor”.
O Q foi anunciado na terça-feira (28), durante a conferência anual de desenvolvedores da Amazon Web Services, como concorrente de IAs generativas já lançadas pela Microsoft e Google, porém com preço mais baixo em relação aos rivais, pelo menos inicialmente. Embora tardia, a Amazon anunciou investimentos pesados no setor, alcançando os US$ 4 bilhões à startup de IA Anthropic, em setembro.
O recém-lançado chatbot está disponível em versão prévia gratuita, como software empresarial estilo ChatGPT que é “capaz de responder às perguntas dos desenvolvedores sobre a AWS, editar o código-fonte e citar fontes”, segundo a apresentação dos executivos da Amazon durante o anúncio da ferramenta, no qual a promoveram como mais segura comparada a ferramentas voltadas ao público consumidor, como o ChatGPT, da OpenAI.
Comentários