arXiv:2610.19608 · październik 2026
Czy dzisiejsza widoczność utrzyma się w przyszłym miesiącu?
Test zarejestrowany z wyprzedzeniem sprawdził prognozy po 20,3 dnia. Objął jedną wersję Gemini, dwanaście marek i trzy języki. W tym teście niedawna historia wzmianek dla poszczególnych pytań nadal była przydatna.
Jak to wykorzystaćProwadź historię dla każdego pytania i wersji modelu. Porównuj kolejny pomiar z tym punktem odniesienia.
Tytuł pracy i wersje
Twenty Days Later: A Pre-Registered Test of History-Based Forecasts of Brand Mentions in Gemini Answers
Autorzy: Dmitrij Żatuchin
arXiv:2609.04047 · wrzesień 2026 · Wersja poprawiona z 14 października 2026 (v2)
Ile razy zadawać pytanie?
Ten protokół, oparty na pięciu wcześniejszych badaniach, pokazuje, dlaczego jedna liczba powtórzeń nie pasuje do każdego pytania. Wielkość próby zależy od tego, jak bardzo różnią się odpowiedzi i jak dużą zmianę chcesz wykryć.
Jak to wykorzystaćNajpierw zrób mały test próbny. Na podstawie zmienności zaplanuj tyle powtórzeń, ile wymaga Twoja decyzja.
Tytuł pracy i wersje
The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations
Autorzy: Dmitrij Żatuchin
Zastępuje: Research Square rs-8980233, Research Square rs-9496731
arXiv:2609.05059 · wrzesień 2026 · Wersja poprawiona z 23 września 2026 (v2)
Czy Twoja próba obejmuje już większość nazw?
Audyt 4500 odpowiedzi na 50 pytań zakupowych pokazuje, że oszacowanie tego, jaką część nazw już znaleziono, zależy od reguł ich wyodrębniania, doboru pytań i skończonego zbioru użytego do porównania.
Jak to wykorzystaćSprawdź, jak wyodrębniane są nazwy i czy kolejne powtórzenie wciąż dodaje nowe marki lub źródła.
Tytuł pracy i wersje
Measuring Brand and Source Discovery under Repeated LLM Queries: A Finite-Sample Audit
Autorzy: Dmitrij Żatuchin
arXiv:2610.00253 · wrzesień 2026
Czy jeden benchmark AI może zastąpić inny?
W tym korpusie pojedyncze odpowiedzi nosiły wyraźny ślad systemu, który je wygenerował. Łączne wzorce dla marek nie przenosiły się wiarygodnie między różnymi tematami pytań.
Jak to wykorzystaćTrzymaj wyniki osobno dla każdego systemu i zestawu pytań. Zanim użyjesz benchmarku w nowej kategorii, przetestuj go ponownie.
Tytuł pracy i wersje
System Attribution in LLM Brand Recommendations: Single Responses Identify the System, Aggregated Brand Profiles Do Not Transfer
Autorzy: Dmitrij Żatuchin
arXiv:2607.13304 · lipiec 2026 · Wersja poprawiona z 1 listopada 2026 (v2)
Czy odpowiedzi się pogorszyły, czy zmienił się wynik oceny?
Badanie analizuje zmienność automatycznych ocen sentymentu w zależności od języka, modelu i promptu. Te oceny nie zostały zweryfikowane jako miara reputacji marki w językach objętych badaniem.
Jak to wykorzystaćPrzeczytaj odpowiedzi stojące za spadkiem oceny i zweryfikuj metodę oceniania w każdym języku, zanim zmienisz marketing.
Tytuł pracy i wersje
Query Language Sensitivity in Automated Sentiment Scores of LLM Responses
Autorzy: Dmitrij Żatuchin
arXiv:2610.00052 · wrzesień 2026
Czy zmienne odpowiedzi mogą wciąż powtarzać te same wybory?
W 1184 poprawnych wynikach, złożonych z sześciu liczb, sześć konfiguracji dało znacznie mniejszą różnorodność niż niezależne losowanie jednostajne. Eksperyment testował liczby. Rekomendacje marek nie były częścią testu.
Jak to wykorzystaćW audycie sprawdź dwie rzeczy: ile pojawia się różnych odpowiedzi i jak często wracają czołowe wybory.
Tytuł pracy i wersje
Ask a Language Model for Lottery Numbers: Concentration in Repeated Six-of-49 Outputs
Autorzy: Dmitrij Żatuchin