arXiv:2610.19608 · oktober 2026
Holder dagens synlighed stadig næste måned?
En forhåndsregistreret test tjekkede prognoser 20,3 dage senere med én Gemini-version, tolv brands og tre sprog. Den seneste omtalehistorik pr. spørgsmål var fortsat nyttig i den test.
Sådan bruger du detGem historikken for hvert spørgsmål og hver modelversion. Sammenlign den næste måling med dette udgangspunkt.
Artiklens titel og versioner
Twenty Days Later: A Pre-Registered Test of History-Based Forecasts of Brand Mentions in Gemini Answers
Forfattere: Dmitrij Żatuchin
arXiv:2609.04047 · september 2026 · Revideret 14. oktober 2026 (v2)
Hvor mange gange skal du spørge?
Med udgangspunkt i fem tidligere studier viser denne protokol, hvorfor ét antal gentagelser ikke passer til alle spørgsmål. Stikprøven afhænger af, hvor meget svarene varierer, og hvor stor en ændring du skal kunne opdage.
Sådan bruger du detStart med en lille prøvekørsel. Brug variationen til at planlægge nok gentagelser til din beslutning.
Artiklens titel og versioner
The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations
Forfattere: Dmitrij Żatuchin
Erstatter: Research Square rs-8980233, Research Square rs-9496731
arXiv:2609.05059 · september 2026 · Revideret 23. september 2026 (v2)
Har du fundet de fleste navne i din stikprøve?
En audit af 4.500 svar på 50 købsspørgsmål viser, at skøn over fundne navne afhænger af udtræksreglerne, udvalget af spørgsmål og det afgrænsede sæt, der sammenlignes med.
Sådan bruger du detTjek, hvordan navnene trækkes ud, og om endnu en kørsel stadig tilføjer nye brands eller kilder.
Artiklens titel og versioner
Measuring Brand and Source Discovery under Repeated LLM Queries: A Finite-Sample Audit
Forfattere: Dmitrij Żatuchin
arXiv:2610.00253 · september 2026
Kan ét AI-benchmark erstatte et andet?
I dette korpus bar de enkelte svar stærke fingeraftryk fra hvert system. Samlede brandmønstre overførtes ikke pålideligt mellem forskellige spørgsmålsemner.
Sådan bruger du detHold resultaterne adskilt efter system og spørgsmålssæt. Test igen, før du bruger et benchmark i en ny kategori.
Artiklens titel og versioner
System Attribution in LLM Brand Recommendations: Single Responses Identify the System, Aggregated Brand Profiles Do Not Transfer
Forfattere: Dmitrij Żatuchin
arXiv:2607.13304 · juli 2026 · Revideret 1. november 2026 (v2)
Blev svarene dårligere, eller ændrede scoren sig?
Studiet undersøger variation i automatiske sentimentscorer på tværs af sprog, modeller og prompts. Scorerne er ikke valideret som mål for brandomdømme på de sprog, studiet dækker.
Sådan bruger du detLæs svarene bag en faldende score, og valider scoringsmetoden på hvert sprog, før du ændrer din marketing.
Artiklens titel og versioner
Query Language Sensitivity in Automated Sentiment Scores of LLM Responses
Forfattere: Dmitrij Żatuchin
arXiv:2610.00052 · september 2026
Kan skiftende svar stadig gentage de samme valg?
På tværs af 1.184 gyldige output med seks tal gav seks konfigurationer langt mindre variation end uafhængig, ligefordelt udtrækning. Eksperimentet testede tal. Brandanbefalinger indgik ikke i testen.
Sådan bruger du detSom auditspørgsmål: Tjek både hvor mange forskellige svar der dukker op, og hvor ofte de førende valg vender tilbage.
Artiklens titel og versioner
Ask a Language Model for Lottery Numbers: Concentration in Repeated Six-of-49 Outputs
Forfattere: Dmitrij Żatuchin