O chatbot de IA da Amazon, Q, pode estar passando por uma crise de saúde mental

O chatbot de IA da Amazon, Q, está precisando de uma terapia para lidar com sua saúde mental em crise

  • A Amazon Web Services revelou Q, seu chatbot de IA generativa focado em negócios, na semana passada.
  • Funcionários da Amazon disseram que o chatbot está vazando informações confidenciais, de acordo com o Platformer.
  • A Q foi projetada para ser uma alternativa mais confiável aos chatbots de IA voltados para o consumidor.

A Q da Amazon, o chatbot de IA para trabalhadores de sua divisão de nuvem, revelado na terça-feira, parece ter alguns problemas.

A Q está divulgando informações confidenciais, incluindo a localização dos centros de dados da AWS, programas internos de desconto e até mesmo recursos não lançados, por meio de seus canais de mensagem interna, como Slack, e sistemas de atendimento, de acordo com comunicações internas vazadas compartilhadas com o Platformer, um boletim de tecnologia. O robô também está “experienciando alucinações graves”, um fenômeno no qual a IA afirma confidentemente imprecisões como se fossem fatos.

No caso da Q, ela também tem dado maus conselhos legais que poderiam “potencialmente induzir incidentes cardíacos no Jurídico”, como um funcionário colocou em um canal da empresa no Slack, de acordo com o Platformer. O robô também tem fornecido respostas prejudiciais ou inadequadas que poderiam colocar em risco contas de clientes. As alucinações da Q são tão “amplas e graves”, como descreveu um gerente da AWS, que o gerente até alertou os funcionários para não discuti-las em canais públicos do Slack, de acordo com o Platformer.

A Amazon não respondeu a um pedido de comentário do Business Insider, mas disse ao Platformer em um comunicado que “a Amazon Q não vazou informações confidenciais”.

Não é incomum que chatbots de IA generativa falhem.

Não demorou muito para que a Microsoft lançasse sua assistente de IA generativa voltada para consumidores, a Sydney, e ela ficou viral com suas próprias alucinações. Mas as transgressões da Q são ainda mais irônicas, considerando que o robô foi projetado para ser uma opção mais segura e confiável em que as empresas poderiam contar.

A Q foi criada para ajudar os trabalhadores a gerar e-mails, resumir relatórios, solucionar problemas, pesquisar e programar. Ela também foi projetada para fornecer respostas úteis, mas apenas relacionadas ao conteúdo “ao qual cada usuário tem permissão de acesso”, disse a Amazon em uma postagem de blog sobre a Q.