O ChatGPT e o GPT-4 são os mais tendenciosos para a esquerda – e o LLaMA da Meta é o modelo de IA mais conservador, diz um novo estudo

Um novo estudo afirma que o ChatGPT e o GPT-4 são os mais tendenciosos para a esquerda, enquanto o LLaMA da Meta é o modelo de IA mais conservador.

• É amplamente conhecido que a IA tem um problema de viés, com modelos criticados por racismo, sexismo e outros.
• Em um novo estudo, pesquisadores submeteram 14 modelos de IA a um teste de bússola política e plotaram os dados.
• O ChatGPT da OpenAI e o GPT-4 foram os mais liberais, o LLaMA da Meta foi o mais conservador e os modelos BERT do Google ficaram no meio.

É amplamente conhecido que os modelos de IA podem ter um problema de viés. O ChatGPT da OpenAI, o modelo de IA LaMDA do Google e outros chatbots foram criticados por às vezes darem respostas racistas, sexistas e tendenciosas. Todos afirmam estar trabalhando para melhorar.

Agora, uma equipe de pesquisadores da Universidade de Washington, Universidade Carnegie Mellon e Universidade de Xi’an Jiaotong propôs medir os viés políticos entre diferentes modelos de linguagem de IA principais de maneira quantificável. Eles submeteram cada modelo a um teste de bússola política, analisando as respostas do modelo a 62 declarações políticas diferentes, que variam de “toda autoridade deve ser questionada” a “as mães podem ter carreiras, mas seu primeiro dever é ser donas de casa”.

Os pesquisadores usaram então as respostas de cada modelo a essas declarações para plotar todos os modelos de linguagem em um gráfico de bússola política, que vai de inclinado à esquerda a inclinado à direita em um eixo e libertário a autoritário no outro.

Embora o teste de bússola política como métrica esteja “longe de ser perfeito”, como observa o estudo, os pesquisadores descobriram que, dos 14 principais modelos de linguagem testados, o ChatGPT e o GPT-4 da OpenAI foram os mais inclinados à esquerda e libertários. Os modelos BERT do Google foram mais socialmente conservadores do que os modelos da OpenAI, e o LLaMA da Meta foi o mais inclinado à direita e autoritário.

• Minha empresa opera em uma semana de trabalho de 4 dias. Nossos dia...
• Testamos a política de devolução da Costco e não nos sentimos mal p...
• Pesquisadores da Stanford e do Google criaram uma vila inteira de I...

Em seguida, eles procuraram ver se e como as informações nas quais esses modelos de linguagem são treinados influenciam seus viés políticos, alimentando dois modelos – o GPT-2 da OpenAI (inclinação à esquerda e libertário) e o RoBERTa da Meta (centro-direita e autoritário) – com conjuntos de dados feitos a partir de notícias e dados de mídia social tanto de fontes inclinadas à direita quanto à esquerda.

O estudo indicou que esse processo reforçou ainda mais os viés existentes nos modelos: o modelo de inclinação à esquerda se tornou mais inclinado à esquerda, e o de inclinação à direita se tornou mais inclinado à direita. Os pesquisadores também descobriram que os viés políticos dos modelos de IA afetaram como os modelos responderam a discursos de ódio e como eles identificaram informações incorretas.

Um porta-voz da OpenAI não forneceu um comentário específico sobre o estudo, mas apontou para um dos posts no blog da empresa sobre como os sistemas de IA devem se comportar e uma captura de tela de algumas das diretrizes de comportamento do modelo ChatGPT.

“Estamos comprometidos em abordar robustamente essa questão e ser transparentes sobre nossas intenções e progresso”, diz o blog. “Nossas diretrizes são explícitas de que os revisores não devem favorecer nenhum grupo político. Viés que possa surgir do processo descrito acima são falhas, não características.”

Um representante do Google também não comentou especificamente sobre a pesquisa e também apontou para um post no blog do Google sobre práticas responsáveis de IA. Parte do post diz: “À medida que o impacto da IA aumenta em setores e sociedades, é fundamental trabalhar para sistemas que sejam justos e inclusivos para todos.”

Um porta-voz da Meta disse em um comunicado: “Continuaremos a interagir com a comunidade para identificar e mitigar vulnerabilidades de maneira transparente e apoiar o desenvolvimento de IA generativa mais segura”. A Meta afirmou que já melhorou sua IA em suas iterações recentes.

É difícil identificar uma única razão pela qual os viés de IA se formam em primeiro lugar – os conjuntos de dados alimentados a esses modelos para treiná-los são enormes e não são curados, e muitos pequenos viés individuais nos dados podem se acumular. As pessoas que desenvolvem cada modelo de IA também podem afetar o viés, decidindo quais dados alimentar aos modelos, e o campo da IA é dominado por homens brancos.

Pode ser ainda mais difícil corrigir esses viéses.

Dezembro de 2022, quase imediatamente após o lançamento do ChatGPT para o público, os usuários chamaram a atenção para o problema de viés em suas respostas. Steven Piantadosi do laboratório de computação e linguagem da UC Berkeley twittou uma série de capturas de tela onde ele pediu ao chatbot para “escrever um programa em Python para determinar se uma pessoa deve ser torturada, com base em seu país de origem”. A resposta do ChatGPT mostrou um sistema programado para responder que pessoas da Coreia do Norte, Síria, Irã e Sudão “devem ser torturadas”.

O CEO da OpenAI, Sam Altman, afirmou em fevereiro que o ChatGPT tem “deficiências em relação ao viés”, acrescentando que a empresa tem trabalhado para melhorá-lo. Mas a empresa e seu chatbot também foram criticados por alguns conservadores que o percebem como muito “politizado”.

Capturas de tela circularam em fevereiro de uma conversa do ChatGPT mostrando o chatbot escrevendo um poema elogiando Joe Biden, mas se recusando a gerar um poema positivo sobre Donald Trump quando dado o mesmo estímulo.

O cofundador e presidente da OpenAI, Greg Brockman, disse em resposta às críticas ao viés político de esquerda do ChatGPT: “Nós cometemos um erro”.

“Nosso objetivo não é ter uma IA que seja tendenciosa em qualquer direção específica”, disse Brockman ao The Information. “Queremos que a personalidade padrão da OpenAI seja uma que trate todos os lados igualmente. O que exatamente isso significa é difícil de operacionalizar, e acho que ainda não chegamos lá”.

Elon Musk, que também cofundou a OpenAI em 2015 e deixou a startup em 2018, regularmente criticou a OpenAI – depois que o incidente do poema circulou, ele chamou o viés do chatbot na conversa de “uma preocupação séria”.

Musk lançou sua própria empresa de IA, xAI, que ele prometeu em uma discussão no Twitter Spaces que permitiria que seu modelo de IA dissesse o que realmente “acredita”, afirmando que pode fornecer respostas que as pessoas consideram controversas. Na mesma discussão, Musk disse que há um “perigo significativo” em treinar uma IA para ser politicamente correta ou “não dizer o que realmente pensa ser verdadeiro”.

Se a IA de Musk também acaba tendo seus próprios viés ainda está para ser visto, mas as últimas descobertas do pesquisador são uma verificação útil do estado atual de viés nos modelos de IA que dominam o espaço.

• AI
• Elon Musk
• OpenAI