Hook: Gooi één kopersvraag tien keer en geef finance daarna de stabiliteits-PDF. Die ene vraag met de hand tellen kost EUR 135 tot EUR 270 aan analistentijd.
Wat je hierna kunt
- Eén kopersvraag tien keer gooien tegen één model en de tien antwoorden naast elkaar lezen
- Elk merk dat het model noemde in vier banden sorteren op basis van hoeveel worpen het noemden, en dat verschil op één slide zetten
- De zinnen waar het model in elke worp op terugkwam scheiden van de zinnen die het één keer zei
- Alle tien de antwoorden volledig lezen, plus de pagina's die elk gegrond antwoord citeerde
- Het rapport exporteren als
dice-roller-report-<timestamp>.pdfof.mdvoor de budgetvergadering
Speelduur: 4:44 | Moeilijkheidsgraad: Geavanceerd
Je vraagt budget aan om zichtbaar te zijn in AI-antwoorden, en de leiding hoort die vraag en ziet een zoekpositie voor zich: één vaste lijst die blijft staan tot iemand hem verandert. De aanvraag sterft in de vergadering waar een collega ChatGPT op een telefoon opent, jullie categorievraag één keer intypt, je merk in het antwoord ziet en besluit dat het hele probleem verzonnen is. Eén worp bewijst in geen van beide richtingen iets. Tien worpen van dezelfde vraag tegen hetzelfde model geven tien verschillende lijsten, en de vorm van die variatie is het argument. Je concurrent houdt het antwoord vast wat de formulering ook is; jij verschijnt in zes worpen en verdwijnt uit vier. Dat verschil is een getal zodra iemand het telt.
Wat het vandaag kost
Uitgangspunt: een analist à EUR 90 per uur. Tien verse chats, dezelfde vraag tien keer geplakt, tien antwoorden bewaard, en daarna een telling van wie genoemd werd en waar.
| Klus, met de hand | Tijd | Kosten à EUR 90/u |
|---|---|---|
| Eén vraag, tien worpen | 1,5 tot 3 u | EUR 135 tot EUR 270 |
| Een set van tien vragen | 15 tot 30 u | EUR 1,350 tot EUR 2,700 |
De methode schuift bovendien. De volgende analist telt zinsherhaling anders, dus deze audit en de vorige zijn twee metingen met hetzelfde etiket.
Die tabel rekent het vragen en het tellen door, het werk dat een team ook echt doet. De stap die eruit valt is precies de stap die het getal oplevert. Tien antwoorden bevatten tientallen losse beweringen, en de vraag die geld waard is, is welke daarvan het model in elke worp herhaalt en welke het één keer zegt. Met de hand kun je alleen formuleringen matchen, dus "wij zijn het goedkoopst" en "niemand zit onder ons" belanden in twee verschillende regels. Rankfor.AI vergelijkt de beweringen op betekenis, zet de beweringen die hetzelfde zeggen in één regel, en splitst die regels daarna op hoeveel worpen elk overleefde. Er staat geen uurtarief tegenover die regel, want vrijwel niemand boekt de dag die ervoor nodig is.
Dice Roller zit op Strategist à EUR 496 per maand. Bij EUR 270 per vraag is het abonnement bij de tweede vraag gedekt (2 x 270 = 540). Bij EUR 135 per vraag zijn er vier nodig (4 x 135 = 540).
Wat de video laat zien
- Dice Roller opent onder Tools op de instelling Stability roll. Eén kaart bevat de hele run: de vraag, je merknaam, en een schuif voor hoe vaak er gevraagd wordt.
- De opzet gaat erin. Typ de vraag van de koper zoals een klant hem zou typen, voeg je merknaam toe zodat elke vermelding meegeteld wordt, sleep de schuif van 3 naar 10, kies Search mode en draai hem.
- Drie kaarten openen de resultatenpagina: consistency score, semantic overlap, aantal worpen, met daaronder de sentimentverdeling over alle tien de antwoorden.
- Het merkenpaneel sorteert elke naam waar het model naar greep in vier banden op basis van hoeveel van de tien worpen hem noemden: Always bij 80% van de worpen en hoger, Frequent vanaf 50, Occasional vanaf 20, Rare daaronder.
- Zet dat paneel op Table en de hele lijst verschijnt met tellingen ernaast. Een concurrent in Always tegenover je eigen naam in Occasional, dat is de slide.
- Message Stability splitst de zinnen: de zinnen die het model elke keer zegt, de zinnen die het varieert, de zinnen die één keer voorkwamen. Regels worden op betekenis gegroepeerd, dus een punt dat op drie manieren gemaakt is landt in één regel.
- Responses bevat alle tien de antwoorden volledig, niets weggevat, met merknamen in de tekst gemarkeerd in de kleur van hun band.
- Sources toont elke geciteerde pagina, hoeveel worpen hij voedde, en één klik terug naar het antwoord dat hij opleverde. Dit tabblad bestaat omdat de run Search mode gebruikte.
- Export schrijft de PDF, en het slotbeeld legt hem voor finance neer.
Wat je nodig hebt
- Strategist, EUR 496 per maand, of Enterprise.
- Een project met een afgeronde scan. Zonder scan verstuurt de runknop niets.
- Het model ingesteld op Gemini, ChatGPT of Grok voordat je begint. Halverwege wisselen wist het formulier.
- Search mode voor de bronnenlijst. Memory mode heeft helemaal geen Sources-tabblad.
- Tijd. Tien worpen is het trage eind van de schuif, dus start de run de dag voordat je het antwoord nodig hebt.
- Eén Dice Roller-run tegelijk per scan.
Vragen die mensen stellen
Hoeveel worpen kan ik vragen? Tien. De schuif stopt daar, dus dit meet herhaling over tien antwoorden en beweert niets daarbuiten.
Welke AI antwoordt? Gemini, ChatGPT of Grok. Eén run bevraagt één model, het model dat op je project staat, dus een beeld over drie modellen betekent drie runs.
Is de consistency score statistisch significant? Nee. Beide scores op die pagina zijn gewogen samenstellingen tussen 0 en 1, getoond als percentage. Het argument dat je meeneemt naar de directie is het verschil tussen de banden en de tien antwoorden die eronder liggen.
Blijft het de vraag voor mij volgen? Nee. Elke run is een handmatige klik. Er is geen planning en geen alert, dus een maandelijks ritme zet je in je eigen agenda.
Gooi de vraag die je directie zou typen, en zet daarna de vier banden op één slide.