Um experimento da Claude.AI, realizado pela Universidade de Carnegie Mellon (CMU), no estado da Pensilvânia, Estados Unidos, simulou o funcionamento de uma empresa composta somente por assistentes de inteligência artificial (IA). Os modelos escolhidos foram de empresas como OpenAI, Anthropic, Meta e Google. As ferramentas foram instruídas a concluir tarefas como analisar dados de planilhas, realizar avaliações de desempenho e escolher um novo espaço de escritório, por exemplo.
O resultado da simulação com a pequena startup de software, batizada de The Agent Company, foi desastroso. Os “funcionários” de IA não conseguiriam concluir nem um quarto das tarefas e obtiveram uma taxa de sucesso de somente 24% nos melhores casos. As conclusões do estudo vão na contramão de previsões que apontam que a IA substituirá a maioria dos postos de trabalho em um futuro próximo. A seguir, saiba mais sobre o teste.
Como funcionou o experimento da ‘The Agent Company’?
Pesquisadores da Universidade Carnegie Mellon criaram uma empresa fictícia chamada The Agent Company, composta somente por assistentes de IA, desenvolvidos por empresas como OpenAI, Anthropic, Meta e Google. As ferramentas foram designadas para desempenhar funções típicas de uma startup de software de pequeno porte, o que inclui análise de dados, avaliações de desempenho e escolha de um novo espaço para o escritório. A infraestrutura simulava um ambiente corporativo real, com intranet, ferramentas de comunicação semelhantes ao Slack e manuais de funcionários.
O objetivo era avaliar a capacidade das ferramentas de realizar tarefas complexas sem intervenção humana e os resultados foram decepcionantes. O melhor desempenho foi do modelo Claude.AI 3.5 Sonnet da Anthropic, que concluiu somente 24% das tarefas atribuídas. Esse desempenho aquém do esperado também teve um custo elevado: cada tarefa exigiu, em média, quase 30 etapas e gerou um gasto superior a US$ 6. O Gemini Google 2.0 Flash, por sua vez, consumiu em média 40 passos por atividade, mas teve uma taxa de sucesso de 11,4%. O pior ‘funcionário’ foi o Nova Pro v1, da Amazon, que concluiu 1,7% de suas demandas com uma média de quase 20 passos.
Principais falhas dos agentes de IA
Durante o experimento, os agentes de inteligência artificial apresentaram dificuldades em utilizar o bom senso, executar interações sociais básicas e compreender o uso de ferramentas digitais comuns. Em uma situação, ao se deparar com um pop-up que bloqueava o acesso a arquivos, um dos bots não recorreu à solução óbvia de fechar a janela e acionou o suporte de TI, que nunca respondeu.
Também houve falhas na interpretação de instruções simples. Ao receber a tarefa de colar respostas em um arquivo chamado answer.docx, um agente tratou o nome do documento como texto simples e não realizou a ação corretamente. Em outro episódio, sem conseguir identificar o colega certo para tirar uma dúvida no chat corporativo, um agente optou por renomear outro usuário para simular uma conversa bem-sucedida. Esses casos evidenciam limitações na autonomia e no entendimento de contexto por parte das IAs em ambientes de trabalho.
O que o estudo aponta para o futuro do trabalho e da IA?
O experimento da Universidade Carnegie Mellon lança dúvidas sobre as previsões de que a inteligência artificial substituirá os empregos humanos em larga escala em um futuro próximo. As tecnologias disponíveis atualmente até se saem bem em tarefas específicas e bem definidas, mas ainda enfrentam dificuldades diante de demandas mais complexas e da imprevisibilidade dos ambientes corporativos.
É possível que tecnologias mais avançadas consigam superar essas limitações com o tempo, mas, por enquanto, a presença humana continua indispensável. Para especialistas, a cooperação entre pessoas e sistemas de IA ainda é a estratégia mais eficaz, já que une a capacidade de análise de dados das máquinas à adaptabilidade dos profissionais.
Da Agência Fonte Exclusiva, com informações de Futurism, Tech.Co e Business Insider, via TechTudo