Posts in category: chatbot

Vamos supor que você esteja conversando com uma pessoa desconhecida por mensagem. Você conseguiria dizer se ela é um ser humano real ou uma inteligência artificial treinada para agir como um?

Um estudo da Universidade da Califórnia em San Diego (UCSD), nos Estados Unidos, fez o experimento baseado no Teste de Turing e revelou que o GPT-4.5 consegue muito bem se passar por humanos – e até melhor do que outros humanos.

Pesquisa conduziu o Teste de Turing com IAs

O estudo, divulgado no servidor pré-impressão arXiv, envolveu 300 pessoas em um experimento com a mesma proposta do Teste de Turing (que avalia se uma máquina é capaz de pensar como um ser humano). No trabalho, elas interagiram por texto com duas personas: um ser humano real e um bot. O interrogador deveria identificar qual dos dois era a IA.

A pesquisa usou os modelos de linguagem GPT-4.5 e 4.0, que alimentam o ChatGPT; o Llama-3.1, da Meta; e o Eliza, o primeiro chatbot do mundo, de 1966.

Veja como funcionou:

• A pesquisa usou variações de treinamento para as IAs. Durante o experimento, o GPT-4.5 e o Llama-3.1 foram instruídos a adotar duas abordagens: uma “com persona” e outra “sem persona”;
• Na versão “com persona”, o modelo era orientado a adotar uma identidade falsa para convencer o interrogador. Por exemplo, de um jovem com muitos conhecimentos sobre internet;
• Na abordagem “sem persona”, o chatbot poderia adotar uma abordagem mais genérica, mas ainda precisava convencer o interrogador;
• Os modelos GPT-4o e Eliza foram testados somente no treinamento “sem persona”.

ChatGPT passou no Teste de Turing

O GPT-4.5 teve um desempenho impressionante: ele conseguiu enganar 73% dos interrogadores quando instruído a adotar uma persona (versão “com persona”). Como lembrou o estudo, o resultado é bem maior do que a probabilidade aleatória de 50% de acertar ou errar.

O estudo concluiu que o ChatGPT se mostrou “mais humano que os humanos”. E claro, passou no Teste de Turing. O Llama-3.1 “com persona” também teve um resultado maior que 50%.

Já quando os modelos Llama e GPT-4.5 eram instruídos no treinamento “sem persona”, o desempenho caiu para cerca de 36%. Eliza e GPT-4o tiveram o menor desempenho: 23% e 21%, respectivamente (sim, o primeiro chatbot do mundo se saiu melhor do que o ChatGPT no modelo 4o).

Leia mais:

• IA dos anos 1960 supera ChatGPT em Teste de Turing
• ChatGPT humano? Chatbot pode ter passado no teste de Turing
• Descubra o que as pessoas mais pedem para um chatbot

O que isso significa para nós, humanos?

Cameron Jones, pesquisador do Laboratório de Linguagem e Cognição da UCSD e autor principal do artigo, acredita que os resultados mostram que os modelos de IA podem substituir humanos em interações curtas com sucesso. Afinal, a maior parte das pessoas sequer percebeu se tratar de um bot.

No X, ele escreveu que isso poderia levar à automação de empregos, mas também a “ataques aprimorados de engenharia social e uma ruptura social mais geral”.

No entanto, James crê que, se as pessoas se familiarizarem mais com as conversas dos bots, pode ficar mais difícil ser enganado por eles.

O post Teste de Turing revelou: ChatGPT é mais humano que muitos humanos apareceu primeiro em Olhar Digital.