O ChatGPT possui um truque de estilo sobre substância que aparentemente engana as pessoas, fazendo-as pensar que é inteligente, segundo pesquisadores descobriram.

O ChatGPT aparentemente engana as pessoas, fazendo-as pensar que é inteligente, segundo pesquisadores.

• O ChatGPT pode estar enganando as pessoas, fazendo-as pensar que é mais inteligente do que realmente é.
• Pesquisadores descobriram que programadores frequentemente preferem as respostas erradas do ChatGPT para perguntas de programação.
• Isso ocorre porque o ChatGPT soa “articulado”, disseram eles.

O ChatGPT parece ter tido muito sucesso em convencer as pessoas de que é inteligente. Mas e se ele estivesse na verdade enganando-as, fazendo-as pensar assim?

O chatbot, desenvolvido pela OpenAI, tem transformado a sociedade desde o seu lançamento em novembro, aparecendo frequentemente em chamadas de ganhos com CEOs e causando perturbações em áreas que vão desde a educação até as indústrias criativas.

No entanto, um artigo pré-publicado divulgado neste mês sugere que o ChatGPT tem um pequeno truque para convencer as pessoas de que é inteligente: uma abordagem de estilo sobre substância.

Pesquisadores da Universidade Purdue analisaram as respostas do ChatGPT a 517 perguntas postadas no Stack Overflow, um site essencial de perguntas e respostas para desenvolvedores de software e engenheiros.

• Leia os pitch decks dessas startups da economia criativa que ajudar...
• Sobre as Perspectivas Econômicas da ANBLE
• Californianos estão fugindo para o Texas, onde as casas e o custo d...

Após avaliarem as respostas do bot em termos de “correção, consistência, abrangência e concisão”, os pesquisadores descobriram que 52% das respostas estavam completamente incorretas e que 77% cometiam o pecado da escrita ao serem prolixas.

Um segmento adicional do estudo descobriu que os usuários do ChatGPT preferem as suas respostas às perguntas em comparação com as respostas humanas no Stack Overflow, surpreendentemente, 40% do tempo — apesar de todos os erros que ele comete.

“Quando questionados sobre por que preferiam as respostas do ChatGPT mesmo quando estavam incorretas, os participantes sugeriram a abrangência e as estruturas de linguagem articuladas das respostas como motivo para sua preferência”, observaram os pesquisadores.

Uma ressalva: essa análise de usuários envolveu apenas 12 programadores sendo questionados se preferiam as respostas do ChatGPT ou aquelas escritas por humanos no Stack Overflow para 2.000 perguntas selecionadas aleatoriamente. Mas a própria OpenAI já alertou que o bot pode escrever respostas “plausíveis, mas incorretas ou sem sentido”.

A OpenAI não respondeu ao pedido de comentário da Insider sobre as descobertas da pesquisa fora do horário de trabalho regular.

Conforme relatado por Alistair Barr e Adam Rogers da Insider neste mês, o Stack Overflow se tornou um estudo de caso do que Elon Musk chamou de “morte por LLM”, com o tráfego em seu site diminuindo 13% em relação ao ano anterior em abril, um mês após a OpenAI lançar seu modelo de IA GPT-4 premium.

As descobertas da Purdue seguem pesquisas de acadêmicos de Stanford e UC Berkeley que indicam que o grande modelo de linguagem está ficando menos inteligente.

A velocidade com que o ChatGPT parece ter se incorporado à internet sem muita fiscalização tem causado alarme e irritação entre os éticos e programadores de IA.

Em resposta à pesquisa da Purdue, o cientista da computação e especialista em IA Timnit Gebru tuitou: “Ótimo que o Stack Overflow esteja sendo destruído pela OpenAI + amigos”.

• AI
• ChatGPT
• OpenAI