Wie wir messen — vollständig, inklusive der Grenzen
Diese Seite existiert, weil eine Messung, die man nicht nachprüfen kann, keine Messung ist. Sie beschreibt, worüber wir messen, wie wir zählen, wie genau das Ergebnis ist und was wir ausdrücklich nicht messen.
1. Worüber gemessen wird
Über die dokumentierten Programmierschnittstellen der Anbieter mit aktivierter Websuche — nicht über die Endkunden-Apps.
| Anbieter | Oberfläche und Zitationsstruktur |
|---|---|
| OpenAI | Responses API mit dem Websuche-Werkzeug. Ausgewertet wird die vollständige Liste konsultierter Quellen, nicht nur die Inline-Zitate — Inline-Zitate zeigen nur die relevantesten. Der geografische Kontext wird über einen Standortparameter fest gesetzt. |
| Anthropic Claude | Messages API mit dem serverseitigen Web-Search-Werkzeug (web_search_20260209). Die Antwort enthält die vollständige Liste der konsultierten Quellen und zusätzlich Inline-Zitate mit dem zitierten Textausschnitt; ausgewertet wird die vollständige Liste. Der geografische Kontext wird über einen Standortparameter (Stadt, Region, Land, Zeitzone) fest gesetzt. Gemessen wird ausschließlich über die API — Claude Code ist ein Entwicklerwerkzeug und kein Messkanal. |
| Google Gemini | Gemini API mit Google-Search-Grounding. Liefert als einzige Engine offen, welche Suchanfragen tatsächlich abgesetzt wurden, dazu die verwendeten Quellen und die Zuordnung von Textstellen zu Quellen. Ein eigener Standortparameter existiert hier nicht; der geografische Kontext steckt in der Frage selbst. |
| Perplexity | Sonar API. Von den vier Engines diejenige mit dem geringsten Abstand zum Endkundenprodukt, weil dieselbe Such- und Antwortmaschine dahintersteht. Standort wird über Land, Region und Stadt fest gesetzt. |
Diese Schnittstellen greifen auf dieselben Suchsysteme zu wie die jeweiligen Endkundenprodukte, sind aber nicht mit ihnen identisch. Es gibt kein Nutzerkonto, keinen Gesprächsverlauf, kein Gedächtnis, keine gespeicherten Anweisungen und keine Gerätesignale. Genau das macht die Werte zwischen Anbietern vergleichbar und über die Zeit nachprüfbar.
2. Welche Fragen gestellt werden
30 bis 50 kaufnahe Fragen je Kategorie, formuliert wie ein Interessent sie stellt — nicht wie ein Fachartikel sie stellen würde. Jede Frage gehört einer Familie an und wird nach Kaufnähe gewichtet:
- Empfehlung und Shortlist — „Welchen Anbieter empfiehlst du…", „Welche drei sollte ich mir ansehen…" — volle Gewichtung.
- Vergleich — „Vergleiche die führenden Anbieter…" — hohe Gewichtung.
- Problem- und lösungsgeführt — „Wir haben folgendes Problem, an wen wenden wir uns?" — mittlere Gewichtung. Diese Fragen nennen die Kategorie bewusst nicht, weil echte Käufer den Fachbegriff oft nicht kennen.
- Kategorie- und ortsbezogen — geringere Gewichtung.
Der Fragensatz wird nicht mit allgemeinen Wissensfragen aufgefüllt, um die Stichprobe größer aussehen zu lassen. Eine Frage, bei der niemand eine Kaufentscheidung trifft, verwässert das Ergebnis.
3. Wie gezählt wird
Durch deterministischen Namensabgleich im Antworttext, nicht durch ein Modellurteil. Ein Modell, das beurteilt, ob ein Modell jemanden genannt hat, wäre selbst probabilistisch — und damit nicht nachprüfbar.
Der ausgewiesene Wert ist der Anteil der Antworten, in denen ein Anbieter genannt wurde. Zusätzlich erfassen wir Position im Antworttext und die zitierten Quellen.
Die wichtigste bekannte Fehlerquelle
Abkürzungen, alternative Schreibweisen und Markennamen ohne Rechtsform müssen je Unternehmen als Varianten hinterlegt sein. Fehlt eine Variante, wird eine Nennung übersehen. Deshalb fragen wir beim Intake ausdrücklich danach — es ist die Frage, bei der ein Fehler am teuersten wäre.
4. Wie oft, und wie genau das Ergebnis ist
Jede Frage läuft in mehreren Durchgängen über mehrere Engines. KI-Antworten sind probabilistisch: Dieselbe Frage kann zweimal unterschiedlich beantwortet werden. Wer nur einmal misst, misst Zufall.
Zu jedem Wert weisen wir ein 95-%-Intervall aus. Weil Wiederholungen derselben Frage nicht unabhängig voneinander sind, korrigieren wir es mit einem Design-Effekt von 2,0. Dieser Faktor ist konservativ gesetzt, nicht empirisch bestimmt — und wird nachjustiert, sobald genug echte Wiederholungsdaten vorliegen.
| Stichprobe | 95-%-Intervall (halbe Breite) |
|---|---|
| 20 Fragen × 3 Durchgänge × 2 Engines | ± 12,7 Prozentpunkte |
| 30 Fragen × 3 Durchgänge × 4 Engines | ± 7,3 Prozentpunkte |
| 50 Fragen × 3 Durchgänge × 4 Engines | ± 5,7 Prozentpunkte |
Deshalb liegt die Mindestgröße einer veröffentlichten Index-Ausgabe bei 30 Fragen und nicht bei 20: Bei 20 Fragen wäre die Unschärfe größer als der Abstand zwischen den Einordnungsstufen.
Reproduzierbarkeit als Abbruchkriterium. Weicht der Wert eines Anbieters zwischen den Durchgängen um mehr als 20 Prozentpunkte ab, gilt er als nicht belastbar. Dann steht das im Bericht — und eine Index-Ausgabe mit einem solchen Wert wird gar nicht erst veröffentlicht. Diese Schwelle ist eine bewusst konservative Heuristik, keine abgeleitete Größe.
5. Was wir ausdrücklich nicht messen
- Die personalisierte Antwort eines konkreten Nutzers in der jeweiligen App — mit dessen Konto, Gedächtnis, Verlauf und Standort. Sie wäre auch nicht reproduzierbar und als Kennzahl damit wertlos.
- Googles KI-Übersichten und AI Mode in den Suchergebnissen. Das sind eigene Oberflächen mit eigenem Retrieval. Ein Ergebnis bei Gemini ist keine Aussage darüber.
- Wie häufig eine Frage tatsächlich gestellt wird. Wir messen Sichtbarkeit, kein Suchvolumen.
- Ob eine Nennung zu einer Anfrage führt. Der Zusammenhang ist plausibel, aber von uns nicht gemessen.
- Ursachen. Zusammenhänge zwischen Website-Signalen und Nennungen sind Korrelationen. Im Bericht ist jede Feststellung als beobachtet, wahrscheinlich oder Hypothese gekennzeichnet.
6. Was Sie mitgeliefert bekommen
Die getesteten Fragen, die einzelnen Läufe, die gezählten Nennungen und die erfassten Quellen sind Bestandteil der Lieferung. Sie sollen nachrechnen können — sonst ist die Zahl nur eine Behauptung mit Nachkommastelle.