arXiv:2610.19608 · lokakuu 2026
Pysyykö tämän päivän näkyvyys vielä ensi kuussa?
Ennalta rekisteröity testi tarkisti ennusteet 20,3 päivää myöhemmin. Testissä käytettiin yhtä Gemini-versiota, kahtatoista brändiä ja kolmea kieltä. Tuoreesta kysymyskohtaisesta mainintahistoriasta oli siinä testissä edelleen hyötyä.
Käytä näinSäilytä historia jokaisesta kysymyksestä ja malliversiosta. Vertaa seuraavaa mittausta tähän lähtötasoon.
Artikkelin nimi ja versiot
Twenty Days Later: A Pre-Registered Test of History-Based Forecasts of Brand Mentions in Gemini Answers
Tekijät: Dmitrij Żatuchin
arXiv:2609.04047 · syyskuu 2026 · Päivitetty 14. lokakuuta 2026 (v2)
Kuinka monta kertaa kannattaa kysyä?
Tämä protokolla nojaa viiteen aiempaan tutkimukseen ja näyttää, miksi yksi toistomäärä ei sovi jokaiseen kysymykseen. Otoksen koko riippuu siitä, kuinka paljon vastaukset vaihtelevat ja kuinka suuri muutos sinun pitää pystyä havaitsemaan.
Käytä näinTee ensin pieni kokeilu. Suunnittele vaihtelun perusteella riittävä määrä toistoja päätöstäsi varten.
Artikkelin nimi ja versiot
The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations
Tekijät: Dmitrij Żatuchin
Korvaa: Research Square rs-8980233, Research Square rs-9496731
arXiv:2609.05059 · syyskuu 2026 · Päivitetty 23. syyskuuta 2026 (v2)
Oletko löytänyt suurimman osan otoksesi nimistä?
Auditointi, jossa tutkittiin 4 500 vastausta 50 ostokysymykseen, havaitsee, että arviot löydettyjen nimien osuudesta riippuvat nimien poimintasäännöistä, kysymysten valinnasta ja vertailuun käytetystä rajallisesta joukosta.
Käytä näinTarkista, miten nimet poimitaan ja tuoko uusi toistokerta vielä uusia brändejä tai lähteitä.
Artikkelin nimi ja versiot
Measuring Brand and Source Discovery under Repeated LLM Queries: A Finite-Sample Audit
Tekijät: Dmitrij Żatuchin
arXiv:2610.00253 · syyskuu 2026
Voiko yksi AI-vertailutesti korvata toisen?
Tässä aineistossa yksittäisissä vastauksissa näkyi vahva järjestelmäkohtainen sormenjälki. Yhdistetyt brändikuviot eivät siirtyneet luotettavasti kysymysaiheesta toiseen.
Käytä näinPidä tulokset erillään järjestelmän ja kysymysjoukon mukaan. Testaa uudelleen, ennen kuin käytät vertailutestiä uudessa kategoriassa.
Artikkelin nimi ja versiot
System Attribution in LLM Brand Recommendations: Single Responses Identify the System, Aggregated Brand Profiles Do Not Transfer
Tekijät: Dmitrij Żatuchin
arXiv:2607.13304 · heinäkuu 2026 · Päivitetty 1. marraskuuta 2026 (v2)
Huononivatko vastaukset vai muuttuiko pisteytys?
Tutkimus tarkastelee automaattisten sentimenttipisteiden vaihtelua kielten, mallien ja kehotteiden välillä. Pisteitä ei ole validoitu brändin maineen mittariksi tutkimuksen kielillä.
Käytä näinLue laskevan pistemäärän takana olevat vastaukset ja validoi pisteytysmenetelmä jokaisella kielellä, ennen kuin muutat markkinointiasi.
Artikkelin nimi ja versiot
Query Language Sensitivity in Automated Sentiment Scores of LLM Responses
Tekijät: Dmitrij Żatuchin
arXiv:2610.00052 · syyskuu 2026
Voivatko muuttuvat vastaukset silti toistaa samoja valintoja?
Kuusi konfiguraatiota tuotti 1 184 kelvollisessa kuuden luvun tulosteessa paljon vähemmän monimuotoisuutta kuin riippumaton tasainen otanta. Koe testasi lukuja. Brändisuositukset eivät olleet osa koetta.
Käytä näinSelvitä auditoinnissa kaksi asiaa: kuinka monta erilaista vastausta tulee esiin ja kuinka usein kärkivalinnat palaavat.
Artikkelin nimi ja versiot
Ask a Language Model for Lottery Numbers: Concentration in Repeated Six-of-49 Outputs
Tekijät: Dmitrij Żatuchin