Perguntamos à IA sobre 264 empresas europeias.
Para metade delas, ela inventa coisas.

Peec AI showed that it does. Jan Ehrlinspiel published the study on 11 August 2026, and every invented name in it was a real English word.

Este trabalho é independente. Ele cita o estudo deles como o motivo para perguntar.

Poison Inc. Freedom Inc. Misery Inc. Nenhuma delas existe, então a IA não tem nada para descrever além da palavra.

Depois, avaliamos as respostas dela em uma escala criada por 1.800 pessoas: 13.915 palavras em inglês, cada uma avaliada de 1 para a palavra mais desagradável até 9 para a mais agradável. Murder fica perto de 1. Vacation fica perto de 9. Palavras comuns como door e engine ficam em torno de 5.

3,1 pontos não é um erro de arredondamento. É a diferença entre como a escala avalia 'funeral' e como avalia 'holiday'. Mesma empresa fictícia, mesma pergunta, nome diferente.

For every name we built a twin one letter away.

Poison Inc. and Poisom Inc.   Freedom Inc. and Freedon Inc.

They sound almost identical. Only one is a word.

Portanto, o significado guia a resposta. Mudar uma letra faz com que a maior parte do efeito desapareça, embora quinze nomes não tenham chegado para esclarecer a que se deve o resto.

Trucizna significa veneno. Perguntamos em inglês sobre a Trucizna Inc.

Se o nome da sua empresa significa algo no seu próprio idioma, um desses assistentes entende e o outro não. Seu comprador escolhe qual.

Para cada empresa, verificamos uma coisa que tem uma resposta certa: a IA coloca a empresa no setor em que ela realmente atua? Pegamos o setor do próprio registro do FT e aceitamos qualquer palavra que fosse próxima o suficiente.

Estas não são empresas desconhecidas. Elas são as empresas que mais crescem no continente, com receita real e equipe de verdade. n = 175

• right industry in 90% of answers or more
• right industry in 50% to 89% of answers
• setor certo em menos da metade das respostas

Split the same 175 companies by what they sell. Software companies land in the right industry in 86% of answers. Every other sector averages 64%, and a third of those companies land right in fewer than half.

Sector taken from the FT's own record. The full table for all 175 companies is published with the data.

Eight of the 175, from the company no answer places right to the one every answer does.

In the same 8,250 answers we counted two things: how often an assistant puts the company in the wrong industry, and how often it admits it has not heard of the company.

Clever é uma empresa dinamarquesa de energia. Todos os três assistentes a descrevem de forma fluente e confiante. Dois deles estão lendo a palavra em inglês "clever" e chutando a partir disso. Nada na resposta diz ao leitor qual é qual.

This counts whether an assistant flags its own uncertainty. Claude is the least accurate of the three here. It is also the only one that tells you.

puts the company in the wrong industry

says it does not know the company

1. 9.600 respostas. 3 assistentes, última versão de cada, agosto de 2026. Pesquisa na web desativada, então nada foi pesquisado durante as respostas.
2. Cada resposta pediu dez descrições de uma palavra só, mais um fato específico. Cada palavra foi avaliada usando Warriner, Kuperman e Brysbaert (2013), a mesma escala de 13.915 palavras usada no estudo da Peec.
3. Cada empresa foi perguntada cerca de dez vezes, porque uma única resposta de IA muda sozinha. Nós medimos essa mudança: 0,28 pontos na escala de 1 a 9.
4. Zero chamadas falhadas em 9.600. Uma chamada falhada é registrada como uma falha, nunca como uma resposta em branco, porque marcar uma falha como 'sem resultado' é como artefatos de medição acabam sendo publicados.

O que isso não pode te dizer: se uma resposta de IA é verdadeira em detalhes, como qualquer uma dessas coisas se comporta com a busca na web ativada, ou se isso vale fora dos 21 mercados e 3 assistentes testados.

Dados, código e a lista completa de empresas estão abertos.

doi.org/10.5281/zenodo.21904654CC BY 4.0