Website Testing: Warum du zu keinem Testergebnis kommst

Grün oder nicht grün. Fragestellungen im Website Testing?

Während man bei qualitativen Tests mit Probanden bereits mit ca. 5 Personen 83% der Probleme lösen kann*, sieht es beim Website Testing in der quantitativen Dimension schon ganz anders aus. Wir verraten dir, wie viel User du brauchst, um Website Testing sauber zu betreiben und was man sonst so beachten sollte.

Testplanung: Wo sind die großen Sprünge möglich?

In unserem Beitrag zum Hypothesensteckbrief haben wir bereits über die Wichtigkeit einer Testplanung gesprochen. Neben klassischen Testrahmendaten sollten auch die Stichprobengröße und die Dauer des Tests in die Planung einfließen. Schlussendlich sind die heißen Plätze für Tests (jene Stellen an denen wirklich ein Uplift möglich ist) begrenzt. Auch wenn viele Toolanbieter die Einfachheit von Testing im Stil von: „Click and Play“ oder „CRO-Malen nach Zahlen“ darstellen, eine gute Planung ist das A und O des Website Testings. Einfach mal die Farbe eines Buttons ändern ist zwar eine Möglichkeit, der Erfolg wird aber auf sich warten lassen. Daher sollte man sich möglichst vor dem Test Gedanken über den Traffic auf der jeweiligen Seite und die potenziell zu erwartenden Erfolge machen.

Stichprobengröße, Impact, Testlaufzeit

Nehmen wir an, wir haben durch die Kombination von Nutzerinterviews und Analytics Kennzahlen die Painpoints unserer Nutzer in unterschiedlichen Stadien identifiziert (Customer Journey Mapping) und wissen nun, wo die Hebel im Website Testing sind und welche Themen wir an den verschiedenen Stellen gerne testen würden. Angenommen wir haben eine Seite, die für unsere Conversion relevant ist und dort 3.000 Nutzer pro Tag. Davon fordern 3% unser Infopaket an. Diese Seite würden wir nun gerne optimieren. Wir nehmen im ersten Schritt einen Lift von 20% an. Das bedeutet wir haben in Zukunft eine Conversion Rate von 3,6% oder 18 Anfragen mehr pro Tag. Macht 6.570 zusätzliche Anfragen im Jahr. So der Plan.

Packen wir die Daten mal in den Test Calculator von Adobe.

Website Testing: Ermittlung der Testlaufzeit mit dem Adobe Test Calclulator.

Ermittlung der Testlaufzeit mit dem Adobe Test Calclulator.

Angenommen der Website Test hat wirklich den von uns erwarteten Impact, dann sind wir in gut 10 Tagen mit diesem Test durch und können das Ergebnis statistisch sauber belegen. 3.000 Nutzer pro Tag, wird sich der eine oder andere jetzt denken. So viel Traffic habe ich nicht auf allzu vielen Seiten meiner Website. Kann ich dann gar kein Testing auf meiner Seite betreiben? Don’t panic, Hilfe naht.

Website Testing: Micro Steps Optimierung

Auch bei wenig Traffic gibt es natürlich Möglichkeiten, auf deren Gefahren aber hingewiesen werden soll. Neben starken Tests, die sich unmittelbar auf das finale Conversion Ziel (Lead, Kauf) auswirken (Infos zur Conversion Rate Berechnung und deren Bestandteilen), gibt es natürlich die Möglichkeit, einzelne Abschnitte im Conversion Funnel zu betrachten und dort zu optimieren. Nehmen wir an von den 3.000 Nutzern, die unsere Seite besuchen, nutzen ca. 30% ein Tool zur Berechnung der zu erwartenden Kosten für ein Angebot. Diesen Abschnitt der User Journey würden wir nun gerne optimieren.

Achtung: Optimiert man in einzelnen Abschnitten, kann es dazu führen, dass am Ende trotzdem weniger Leute kaufen. Bspw. wenn ich den User mit falschen Versprechen oder Erwartungshaltungen auf einen nächsten Schritt schicke: „In nur 3 Schritten …“ etwa. Am Ende landet der User aber auf einem ewig langen Formular. Klar, sowas machst du natürlich nicht und klar, du hast natürlich das Website Testing Tool und Analytics vernetzt, um die finale Conversion im Auge zu behalten. Wir wollten es nur mal erwähnt haben.


Bitte gib eine gültige Mailadresse an.

Die Conversion Rate als „Hebel“ im A/B-Website-Testing

Von 3.000 Leuten nutzen also 30% unseren Rechner. Das macht 900 Nutzer. Diesen Anteil würden wir gerne verdoppeln. Die Ansätze dafür können vielfältig sein:

  • Weniger komplexe Optionen
  • Vorauswahl
  • schnelles Ergebnis
  • klare Aufforderung
  • … u name it 😉

Ziel sollte natürlich auch hier eine absolute Steigerung der Leads sein, im Test betrachten wir an dieser Stelle nur den Teilabschnitt, der hier optimiert werden soll und das macht den Test um einiges kürzer:

Conversion Optimierung auf Basis von Micro-Steps.

Conversion Optimierung auf Basis von Micro-Steps.

Die theoretisch berechnete Testlaufzeit ist hier ein Tag. Um User in unterschiedlichen Stadien abzuholen, sollte man aber mindestens eine Woche verstreichen lassen, um User in allen typischen Nutzungsmodi zu erwischen und später in Analytics zu sehen, ob sich zeitlich bedingte Unterschiede ergeben und woran diese liegen könnten.

Fazit zum Website Testing:

Analytics und Website Testing Tools sollten in jedem Fall sauber zusammenspielen. Bei der Erstanalyse und bei der späteren Interpretation von Änderungen im Conversion Funnel ist es extrem wichtig, auf zuverlässige Daten zurückgreifen zu können. Die wichtigsten Schritte sind daher:

  • Sicherstellung eines sauberen Trackings
  • Kombination von qualitativen und quantiativen Daten
  • Erarbeitung einer Testing Roadmap
  • Teststeckbriefe inkl. Beantwortung der Frage: Was soll der Test beantworten? (Folglich: Welche Ziele sind für mich wichtig?)
  • Statistisch saubere Durchführung des Tests und Ableitung von weiteren Tests auf Basis der Ergebnisse und Haupt-Painpoints.

Du hast Lust, mehr zu den Testingmöglichkeiten auf deiner Website zu erfahren?

*Für Freaks & Leute die sich gerne Formeln auf T-Shirts drucken: N(1-(1-L)n  (N = die Gesamtzahl der Problemstellungen, L = Prozentzahl der Problemstellungen, die man durch einen einzigen Nutzer entdeckt. Diese liegt gemäß Jakob Nielson bei ca. 31%, 

Rate this post
Roland Lindner
Roland Lindner ist als Digital Consultant mit für den Auf- und Ausbau der Online-Marketing-Strategien (Conversion Optimierung, Analytics, Content Marketing) innerhalb der mediaworx berlin AG verantwortlich. Neben Online Marketing ist seine Leidenschaft die Fotografie. (Mail)

Deine Meinung ist gefragt

Deine Meinung*

Dein Name*
Deine Seite