arXiv:2610.19608 · oktober 2026
Håller dagens synlighet i sig nästa månad?
Ett förregistrerat test kontrollerade prognoser 20,3 dagar senare med en enda Gemini-version, tolv varumärken och tre språk. Historik över de senaste omnämnandena per fråga var fortfarande användbar i det testet.
Så använder du denSpara historiken för varje fråga och modellversion. Jämför nästa mätning med den baslinjen.
Artikelns titel och versioner
Twenty Days Later: A Pre-Registered Test of History-Based Forecasts of Brand Mentions in Gemini Answers
Författare: Dmitrij Żatuchin
arXiv:2609.04047 · september 2026 · Reviderad 14 oktober 2026 (v2)
Hur många gånger ska du fråga?
Protokollet bygger på fem tidigare studier och visar varför ett och samma antal upprepningar inte passar alla frågor. Urvalets storlek beror på hur mycket svaren varierar och hur stor förändring du behöver kunna upptäcka.
Så använder du denKör en liten testomgång först. Använd variationen för att planera tillräckligt många upprepningar för ditt beslut.
Artikelns titel och versioner
The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations
Författare: Dmitrij Żatuchin
Ersätter: Research Square rs-8980233, Research Square rs-9496731
arXiv:2609.05059 · september 2026 · Reviderad 23 september 2026 (v2)
Har du hittat de flesta namnen i ditt urval?
En granskning av 4 500 svar på 50 köparfrågor visar att skattningar av upptäckta namn beror på extraktionsregler, frågeurval och den ändliga mängd som används för jämförelse.
Så använder du denKontrollera hur namnen extraheras och om ytterligare en körning fortfarande ger nya varumärken eller källor.
Artikelns titel och versioner
Measuring Brand and Source Discovery under Repeated LLM Queries: A Finite-Sample Audit
Författare: Dmitrij Żatuchin
arXiv:2610.00253 · september 2026
Kan en AI-benchmark ersätta en annan?
Enskilda svar bar tydliga avtryck av sitt system i den här korpusen. Aggregerade varumärkesmönster gick inte att överföra tillförlitligt mellan olika frågeämnen.
Så använder du denHåll resultaten åtskilda per system och frågeuppsättning. Testa igen innan du använder en benchmark i en ny kategori.
Artikelns titel och versioner
System Attribution in LLM Brand Recommendations: Single Responses Identify the System, Aggregated Brand Profiles Do Not Transfer
Författare: Dmitrij Żatuchin
arXiv:2607.13304 · juli 2026 · Reviderad 1 november 2026 (v2)
Blev svaren sämre, eller ändrades poängen?
Studien undersöker hur automatiska sentimentpoäng varierar mellan språk, modeller och promptar. Poängen har inte validerats som mått på varumärkets rykte i studiens språk.
Så använder du denLäs svaren bakom en sjunkande poäng och validera poängsättningen på varje språk innan du ändrar din marknadsföring.
Artikelns titel och versioner
Query Language Sensitivity in Automated Sentiment Scores of LLM Responses
Författare: Dmitrij Żatuchin
arXiv:2610.00052 · september 2026
Kan svar som ändras ändå upprepa samma val?
I 1 184 giltiga utfall med sex tal vardera gav sex konfigurationer mycket mindre variation än oberoende likformig sampling. Experimentet testade tal. Varumärkesrekommendationer ingick inte i testet.
Så använder du denSom granskningsfråga: kontrollera både hur många olika svar som dyker upp och hur ofta de ledande valen återkommer.
Artikelns titel och versioner
Ask a Language Model for Lottery Numbers: Concentration in Repeated Six-of-49 Outputs
Författare: Dmitrij Żatuchin