Was ist A/B-Testing?

A/B-Testing - 2 Versionen gegeneinander testen

Zu den wohl bekanntesten Testmethoden gehört das A/B-Testing. Nicht nur, weil es einfach umzusetzen ist, sondern auch, weil diese Testing-Methode für Marketer sehr einfach greifbar ist. Zur klassischen Umsetzung eines A/B-Tests gehört, neben der Original-Version einer Seite, nur noch (mindestens) eine weitere sogenannte B-Variante.

Auf diese beiden Varianten wird innerhalb eines bestimmten Zeitraums möglichst homogener Traffic geleitet. Ziel des Testings ist es, die Version ausfindig zu machen, die qualifizierten Traffic dazu bringt, das Ziel der Seite zu erreichen. Wann eine Version als Gewinner ausgelobt wird, hängt mit statistischen Methoden zur Signifikanzberechnung zusammen, mit denen wir euch hier aber nicht quälen wollen.

Test-Vorgang in Kurzform

  1. Seite mit Abschlussmöglichkeit für den Nutzer auswählen (A)
  2. Zu testende Variante erstellen (B)
  3. Traffic verteilen lassen (Tool einsetzen, siehe unten)

Ganz so einfach ist das A/B-Testing dann leider doch nicht. Denn auf dem Weg zu validen, haltbaren Ergebnissen lauern viele Fallstricke.

Was wird getestet?

Die Änderung der Button-Farbe, um die Konversionsrate einer Landingpage zu steigern, birgt nicht unendlich viel Potential und man erzielt nicht in jedem Fall die gewünschten Uplifts. Daher ist eine intensive Auseinandersetzung mit der Customer Journey unerlässlich für den Erfolg einer dauerhaft ausgelegten Testing-Strategie.

Einerseits ist das Mindset, in dem sich ein Nutzer befindet, von zentraler Bedeutung für positive Ergebnisse. Dazu gehört auch, sich bewusst zu machen in welcher Phase sich ein Nutzer befindet. Möchte er sich informieren oder etwas kaufen, hat er einen Entschluss gefasst oder wägt er noch ab. Diese und andere Zustände des Nutzers zu kennen bzw. zu antizipieren, trägt zum Erfolg eines A/B-Testing-Prozesses bei.

mögliche Customer Journeys

Beispiele möglicher Customer Journeys

Zum anderen ist es wichtig psychologische Parameter zu kennen und zu nutzen. Wenn man versteht wie sich Farben und Formen auf Nutzer auswirken oder welche Elemente die bevorzugte Zielgruppe ansprechen, kann dies in die Nutzerführung der Testing-Variante(n) einfließen. Ein einfaches Modell für diese Ausrichtung bietet die Limbic Map.

Was braucht man zum A/B-Testing?

Analysen fahren – Am Anfang benötigt man Erkenntnisse über Conversion-Schwachstellen deiner Seite. Also solche Bereiche, an denen die Nutzerführung nicht konkret genug ist, um die Ziele der Website zu erreichen. Das können kanalspezifische Landingpages sein oder auch die „gewöhnlichen“ Seiten der Website. Die Insights generiert man durch Nutzerbefragungen, Web-Analyse-Tools oder über erweiterte Methoden, wie Heatmap- und Mouse-Tracking-Werkzeuge. Die Rolle eines Digital Analysts ist für die Vorbereitung also unerlässlich.

Kreativ sein – Aus den gewonnenen Daten wird eine Hypothese erstellt. Für diese benötigt man einen kreativen Kopf, der aus den Daten eine neue, verbesserte Umsetzung generieren kann. Die erstellte Variante wird dann gegen das Original getestet.

Laufzeit – Hat man diese Vorabreit geleistet, geht es darum die Dauer eines Tests zu bestimmen. Diese ist abhängig von folgenden Parametern:

  • Anzahl Besucher der zu testenden Seite
  • Derzeitige Conversion Rate
  • Erwarteter Uplift
  • Signifikanz-Level
  • Anzahl der Varianten (siehe unten A/B/n-Tests)

Eine Einschätzung für die Dauer liefern A/B-Testing Laufzeitrechner.

Für die Umsetzung greift man auf ein Testing-Tool zurück.


Bitte gib eine gültige Mailadresse an.

A/B-Testing Tools

Der Kern eines jeden Optimierungsprozesses bildet das Testing-Tool. Es viele Anbieter, die sich in Funktionsumfang und Preis unterscheiden. In einem Tool-Vergleich haben wir Gemeinsamkeiten und Unterschiede gegenübergestellt. Relevant für den Einsatz ist daneben aber auch die Umsetzungsmechanik:

WYSIWYG-Editoren

Optimierungs-Tools mit einer WYSIWYG-Oberfläche bieten den Komfort, dass fast jeder Änderungen an einer Seite vornehmen kann. Per drag&drop Mechanik oder hinzufügen/ausblenden können Inhalte nach Belieben, oder besser nach fundiertem Konzept, angepasst werden.

Der Nachteil: Da die entsprechende Software interpretieren muss, welche Änderungen stattfinden sollen, kann es im Hintergrund zu einem Code-Overhead kommen, der die Website langsamer macht. Und das kann sich wiederum auf die Conversion Rate auswirken.

Dennoch bieten die einschlägigen Tools wie Optimizely, VWO oder Adobe Target einen WYSIWYG-Editor an, um den Einstieg in das Thema A/B-Testing zu erleichtern.

Implementierung per Coding

Eine Methodik bei dem ein sogenannter Conversion-Engineer benötigt wird ist die Implementierung der B-Variante über eine Scriptsprache (meist jQuery oder andere JavaScript-Bibliotheken). Diese Methode liefert bei korrektem Coding eine saubere Einbindung und gewährleistet effizientes Laden der Seite.

Der Nachteil: Da hier Coding-Skills erforderlich sind, ist diese Testing-Umsetzung nicht unbedingt für Anfänger geeignet.

Auch diese Möglichkeit der Umsetzung bieten die einschlägigen Tools von Optimizely, Adobe oder auch AB Tasty an.

Eigenständige Lösungen

Unter der Palette an A/B-Testing Tools gibt es viele stand-alone Lösungen. Diese haben vermutlich das Thema Conversion Rate Optimierung groß gemacht. Sie fokussieren sich inhaltlich und in ihrem Funktionsumfang auf das Testen von Websites. Einige haben jedoch Schnittstellen zu Web-Analyse-Systemen, um beim Ausspielen der Tests eine möglichst spezifische Möglichkeit der Aussteuerung zu bieten.

Zu diesen Eigenständigen Lösungen zählen bspw.:

  • Optimizely
  • VWO
  • BlackTri
  • AB Tasty

Integrierte Lösungen

Einige Anbieter von Web-Analyse Tools bieten ein, in ihr System integriertes, A/B-Testing Tool an. Dass die Analytics-Daten nicht gesondert per API eingebunden werden müssen, ist ein wesentlicher Vorteil dieser Möglichkeit. Allerdings stehen so auch nur die Traackingdaten des jeweiligen Anbieters zur Verfügung. Besitzt dieser ein spezielles Feature nicht, kann es auch nicht für die Ausspielung der Test-Varianten genutzt werden.

Beispiele für integrierte Lösungen sind:

  • Webtrekk
  • etracker
  • Google Analytics Content Tests

Umsetzung von A/B-Tests

Für die Umsetzung von A/B-Tests ist ein geordneter Prozess hilfreich, in dem mindestens die 4 im Folgenden vorgestellten Schritte beachtet werden.

Ziele

Optimieren ohne zu wissen, was man eigentlich verbessern will, hilft in den seltensten Fällen die besten Ergebnisse zu erzielen. Die Definition der Ziele einer jeden Seite oder besser noch eines jeden Seitenbereiches ist essentiell für die Bewertung des ganzen Prozesses.

Alle Maßnahmen, die im A/B-Testing angestoßen werden, müssen sich an den festgelegten Zielen orientieren.

Daten

Das Sammeln und Auswerten von Daten bildet die Grundlage für Änderungsvorschläge und hilft ebenso zu priorisieren, welche Bereiche wie viel Aufmerksamkeit zum Testen bekommen.

Der größte Feind ist die Missinterpretation von Daten

Nur durch korrekte Interpretation der Daten können Tests entwickelt werden, die wirklich positive Ergebnisse erzeugen. Daher ist es wichtig so viele Daten wie möglich einfließen zu lassen, um nicht aus einer Missinterpretation falsche Schlüsse zu ziehen und somit in eine falsche Richtung zu oiptimieren.

Hypothese

Ziel des ganzen Prozesses ist es nicht das lokale, sondern das globale Maximum an Conversion Rate zu ermitteln. Die Entwicklung von Hypothesen erfolgt ausschließlich aus den gewonnenen Daten.
Innerhalb eines Prozesses werden mehrere Hypothesen entwickelt, die priorisiert werden müssen. Dafür hat sich eine Bewertung hinsichtlich des PIE-Modells als nützlich erwiesen.

Damit die Lösungen und Ideen auch später noch nachvollzogen werden und in weitere Optimierungsprozesse einfließen können, empfiehlt sich die Arbeit mit einem Hypothesensteckbrief.

Implementierung

Für die Integration der, aus der Hypothese abgeleiteten, Anpassungen wird entweder, wie o.g., ein WYSIWYG-Editor genutzt oder auf eine saubere Implementierungslösung per Coding gesetzt. Vor allem, wenn die Variante auf nachgelagerte Prozesse Einfluss hat, ist ein Conversion-Engineer unerlässlich, um Auswirkungen von Frontend-Anpassungen auch in die unternehmenseigenen Systeme zu transferieren.

A/B/n-Tests – Eine Erweiterung

Die klassische Anwendung von A/B-Tests bezieht sich immer auf 1 Original-Version, die gegen 1 Variante getestet wird. Daneben kann es Sinn machen weitere Varianten zu testen, die das gleiche Ziel bei der Nutzerführung verfolgen. Dazu werden weitere Varianten erstellt und simultan getestet. So basiert ein A/B/C/D-Test auf einem Original und 3 Varianten, auf die der Traffic verteilt wird.

Mehrere Varianten gleichzeitig zu testen, ist ein Vorteil dieser Methode. So erhält man in relativ kurzer Zeit einen Überblick über mehrere Lösungswege. Wobei der Faktor Zeit ebenso ein Nachteil verkörpert. Denn durch mehr Testing-Varianten muss auch mehr Traffic verteilt werden, um signifikante Ergebnisse zu erhalten.

Rate this post
Danny Behne
Danny Behne (Google+) ist als Digital Consultant für den Auf- und Ausbau der SEO- & Online-Marketing-Strategien für Kunden der mediaworx berlin AG verantwortlich. Zudem baut Danny als Analytics- und CRO-Consultant die Performance der Kunden aus. (Mail schreiben)
1 Kommentar
  • […] die Usability, Conversion etc. zu erfahren – heute habe ich einen Artikel gefunden, der das A/B-Testing zunächst definiert und im Anschluss hilfreiche Tipps für die Umsetzung eines solchen Testings […]

Deine Meinung ist gefragt

Deine Meinung*

Dein Name*
Deine Seite