- einschätzen, wann ein A/B-Test möglich ist
- Verhaltensdaten richtig lesen
- den Unterschied zwischen Was und Warum erkennen
- Datenschutz bei der Messung beachten
Usability-Tests beantworten, warum etwas nicht funktioniert. Verhaltensdaten beantworten, wie häufig etwas passiert. Beide sind nötig, und beide werden regelmäßig für die jeweils andere Frage eingesetzt – mit entsprechend unbrauchbaren Ergebnissen.
1. Wann ein A/B-Test möglich ist
Ergebnis
Unterschied belastbar
Der Unterschied von 6 Prozentpunkten ist bei dieser Menge nicht mehr mit Zufall erklärbar.
Verschieben Sie die Besucherzahl nach unten – bei den Größenordnungen einer mittelständischen Website wird schnell sichtbar, dass viele Tests schlicht nicht auswertbar sind. Eine Seite mit 500 Besuchern im Monat kann kleine Unterschiede nicht nachweisen, und ein Test über neun Monate ist praktisch sinnlos, weil sich in der Zwischenzeit zu viel anderes ändert.
2. Was Verhaltensdaten zeigen
| Kennzahl | Was sie zeigt | Häufige Fehldeutung |
|---|---|---|
| Absprungrate | Anteil der Besuche mit nur einer Seite | Hohe Rate ist nicht schlecht – auf einer Kontaktseite ist sie ein gutes Zeichen |
| Verweildauer | Zeit auf der Seite | Lange Dauer kann Interesse oder Verwirrung bedeuten – allein nicht deutbar |
| Ausstiegsseiten | Wo Besuche enden | Irgendwo enden alle Besuche; entscheidend ist, ob es die falsche Stelle ist |
| Abschlussquote | Anteil, der das Ziel erreicht | Die einzige, die für sich genommen aussagekräftig ist – wenn das Ziel stimmt |
Die zweite Zeile erklärt das Grundproblem: Verhaltensdaten zeigen, was passiert ist, nie warum. Wenn siebzig Prozent das Formular abbrechen, wissen Sie, dass etwas nicht stimmt – aber nicht, ob es am Telefonfeld, an fehlendem Vertrauen oder an einem technischen Fehler liegt. Diese Frage beantwortet nur ein Test mit Menschen.
3. Die Kombination
Der wirksame Ablauf verbindet beides. Die Verhaltensdaten zeigen, wo es klemmt: Welche Seite hat die schlechteste Abschlussquote, an welchem Formularschritt brechen die meisten ab. Danach beobachten Sie fünf Menschen genau an dieser Stelle und erfahren den Grund. Anschließend messen Sie erneut, ob die Änderung gewirkt hat.
Diese Reihenfolge – messen, beobachten, ändern, messen – ist die Grundlage jeder Verbesserung, die über Vermutungen hinausgeht. Sie ist zugleich der Grund, warum die Ziele aus Modul 1 am Anfang stehen: Ohne festgelegtes Ziel gibt es keine Abschlussquote, die sich messen ließe.
4. Aufzeichnungen und Heatmaps
Werkzeuge, die Sitzungen aufzeichnen oder Klicks als Farbkarte darstellen, liegen zwischen beiden Welten. Sie zeigen mehr als reine Zahlen und weniger als ein Gespräch, weil die Gedanken fehlen. Nützlich sind sie vor allem für eine Frage: Wird überhaupt bis dorthin gescrollt, wo die wichtige Information steht?
Datenschutzrechtlich sind sie heikel. Aufzeichnungen einzelner Sitzungen erfassen Verhalten und oft auch Eingaben – das braucht eine Einwilligung, die vor der Aufzeichnung eingeholt wird, und die Felder mit personenbezogenen Daten müssen ausgeschlossen sein.
5. Datenschutz bei der Messung
Für jede Messung gilt: Was über das technisch Notwendige hinausgeht, braucht eine Einwilligung, die vor dem Setzen von Cookies und vergleichbaren Techniken eingeholt wird. Ein Banner, das nur informiert, genügt nicht, und eine vorausgewählte Zustimmung ist unwirksam. Wer darauf verzichten möchte, kann auf Messverfahren ohne Wiedererkennung ausweichen; die Zahlen sind dann gröber und für die meisten Fragen ausreichend.
Prüfen Sie außerdem, wohin die Daten fließen. Bei Anbietern außerhalb der EU sind die Voraussetzungen für die Übermittlung zu klären und im Verzeichnis der Verarbeitungstätigkeiten festzuhalten.
6. Häufige Fragen
Wie lange läuft ein A/B-Test mindestens? Zwei volle Wochen, damit alle Wochentage enthalten sind – auch wenn die nötige Besucherzahl früher erreicht ist. Frühes Abbrechen beim ersten guten Zwischenstand ist der häufigste Auswertungsfehler.
Was, wenn wir zu wenig Verkehr haben? Dann testen Sie mit Menschen statt mit Zahlen. Fünf Beobachtungen sind bei kleinen Websites deutlich aussagekräftiger als ein Test, der nie auswertbar wird.
Kann man mehrere Dinge gleichzeitig testen? Nur mit entsprechend mehr Verkehr. Bei zwei gleichzeitigen Änderungen ist sonst nicht feststellbar, welche gewirkt hat.
7. Übung zum Selbermachen
Sehen Sie in Ihrer Webanalyse nach, wie viele Besucher die wichtigste Seite im Monat hat. Tragen Sie die Zahl oben in den Rechner ein und probieren Sie, welchen Unterschied Sie damit überhaupt nachweisen könnten. Wenn es mehr als fünf Prozentpunkte sind, wissen Sie: A/B-Tests sind für Sie kein Werkzeug – und Sie sparen sich die Diskussion darüber dauerhaft.
- [1]Kohavi, R. / Tang, D. / Xu, Y. (2020): Trustworthy Online Controlled Experiments. Cambridge University Press.
- [2]Nielsen Norman Group (2025): Quantitative vs. Qualitative UX Research.
- [3]§ 25 TDDDG und DSGVO – Einwilligung bei Messverfahren.
Stand: September 2026. Kursmaterial der Klarwerk Akademie. Methoden und Werkzeuge der Konzeption entwickeln sich weiter – die Grundprinzipien nutzerzentrierter Gestaltung bleiben.