Inteligência artificial engana mais de 50% dos participantes em teste de Turing, revela estudo

Pesquisadores conduziram um experimento para verificar se a inteligência artificial (IA) pode ser indistinguível de um ser humano, um conceito conhecido como “teste de Turing”.

De acordo com uma reportagem da Live Science, o estudo contou com a participação de 500 pessoas que conversaram com quatro agentes diferentes: um humano, o programa de IA dos anos 1960 ELIZA, e os modelos de linguagem GPT-3.5 e GPT-4, que alimenta o ChatGPT. As conversas duraram cinco minutos, após os quais os participantes tinham que dizer se acreditavam ter falado com um humano ou com uma IA.

Os resultados mostraram que o GPT-4 foi considerado humano em 54% das vezes, enquanto o GPT-3.5 atingiu 50%, e o humano real foi identificado corretamente 67% das vezes. O ELIZA, por sua vez, enganou apenas 22% dos participantes. O estudo foi publicado em 9 de maio no servidor de pré-impressão arXiv.

Nell Watson, pesquisadora de IA no Instituto de Engenheiros Elétricos e Eletrônicos (IEEE), destacou que “as máquinas podem confabular, juntando justificativas plausíveis pós-fato, assim como os humanos. Elas podem ser sujeitas a vieses cognitivos, enganadas e manipuladas, e estão se tornando cada vez mais enganosas. Todos esses elementos significam que as falhas e peculiaridades humanas estão sendo expressas nos sistemas de IA, o que os torna mais semelhantes aos humanos do que abordagens anteriores que tinham pouco mais do que uma lista de respostas predefinidas.”

O estudo ressaltou preocupações comuns de que os sistemas de IA considerados humanos terão “consequências sociais e econômicas generalizadas”. Os cientistas também argumentaram que há críticas válidas ao teste de Turing ser muito simplista em sua abordagem, afirmando que “fatores estilísticos e socioemocionais desempenham um papel maior na passagem do teste de Turing do que as noções tradicionais de inteligência.” Isso sugere que estamos procurando a inteligência das máquinas no lugar errado.

“Inteligência bruta só vai até certo ponto. O que realmente importa é ser suficientemente inteligente para entender uma situação, as habilidades dos outros e ter a empatia para conectar esses elementos. Capacidades são apenas uma pequena parte do valor da IA — a capacidade de entender os valores, preferências e limites dos outros também é essencial. São essas qualidades que permitirão que a IA sirva como um concierge fiel e confiável para nossas vidas”, disse Watson.

Ela também acrescentou que o estudo representa um desafio para a interação futura entre humanos e máquinas e que nos tornaremos cada vez mais paranoicos sobre a verdadeira natureza das interações, especialmente em assuntos sensíveis. Watson destacou como a IA evoluiu na era do GPT. “ELIZA era limitada a respostas predefinidas, o que restringia muito suas capacidades.

Ela poderia enganar alguém por cinco minutos, mas logo as limitações ficariam claras,” disse ela. “Os modelos de linguagem são extremamente flexíveis, capazes de sintetizar respostas para uma ampla gama de tópicos, falar em línguas ou socioletos específicos e se retratar com personalidade e valores orientados por personagens. É um enorme avanço em relação a algo programado manualmente por um ser humano, não importa quão habilidosamente e cuidadosamente feito.”