Mit Optimizely eine Website optimieren – Fallbeispiel

A/B-Testing einer Affiliate-Website

Unser Testing-Tutorial zeigt Schritt für Schritt, wie man durch gezielte Landingpage-Optimierung mit Optimizely eine stärkere Nutzerführung etabliert und die monetären Website-Ziele damit um über 200% stärken kann.

Projektvorstellung und Ausgangssituation

Unser A/B-Testing-Kandidat: Eine Website zu Kinderschuhen

Unser A/B-Testing-Kandidat: Eine Website zu Kinderschuhen

Die zu optimierende Website „kinderschuhe-finden.de“ informiert rund um das Thema Kinderschuhe. Für Nicht-Eltern: Kinderschuhe sind wirklich ein Thema für gestresste Eltern. Sie sind teuer (40-60€), halten nicht lange (höchstens 6 Monate), und das Thema ist aufgeladen: Schadstoffe, Haltungsschäden, Öko-Materialien vs. Blinkschuhe etc. um nur mal einige Schlagwörter zu nennen. Wichtig aber: Eltern haben wenig Zeit, die Schuhsuche sollte also schnell von Statten gehen.
Es wird deutlich, dass Eltern von einer guten, hilfreichen Website erwarten, dass die Infos klar und deutlich präsentiert werden anstatt dass man sich diese selbst erarbeiten muss. Die bisherige Textgestaltung war durch einen SEO-Fokus eher auf Vollständigkeit der Infos ausgerichtet, um von Suchmaschinen besser erfasst zu werden. Eine Conversion-starke Website hat jedoch die Aufgabe, die Nutzerbedürfnisse zu verstehen und diese mit den Website-Zielen in Einklang zu bringen. Dies bedeutet meist, dass man sein Produkt überzeugend präsentiert und die Nutzer leitet und dabei unterstützt, sich für ein Produkt zu entscheiden.

Vorgehensweise beim A/B-Testing

Damit Conversion-Optimierung mit A/B-Testing erfolgreich sein kann, ist es wichtig, hier strukturiert vorzugehen. Dies ist nicht zu unterschätzen, da man ja Ursachen und Wirkungen messen möchte. Man geht also nach der bekannten Devise vor: „Nur was man kontrollieren kann, kann man auch messen“. Unser Testing-Vorgehen besteht aus diesen Schritten:

  1. Ziele festlegen
  2. Tests planen
  3. Test und Varianten einrichten
  4. Test durchführen
  5. Test auswerten

1. Ziele festlegen

Damit das Testing mit Optimizely nicht ausufert, sollte man die Ziele seiner Website gut kennen und den Umfang der geplanten Optimierungen klar begrenzen. Für unsere Zielfindung unterscheiden wir zwischen Website-Zielen und Optimierungs-Zielen.

Website-Ziele – Ankerpunkt aller Optimierungen

Um eine Optimierung durch A/B-Testing zu planen, legt man sich gleich zu Beginn auf ein für die Website essentielles Ziel fest. Oft sind diese Ziele leider nicht klar irgendwo notiert, so dass man diese erstmal aufschreiben sollte. Bei größeren Websites haben die beteiligten Mitarbeiter oder Abteilungen oft stark unterschiedliche Zielvorstellungen – ein gemeinsames Zielbild ist hier ratsam für ein schnelles Vorankommen. Für unsere Kinderschuhe-Website oder ähnliche Affiliate-Websites ist es einfacher.

Website-Ziele von kinderschuhe-finden.de

  • Ziel 1: Eltern informieren
  • Ziel 2: Reichweite gewinnen
  • Ziel 3: Website monetarisieren

Nun legt man sich auf ein strategisch wichtiges Ziel fest, das man optimieren will. Meiner Erfahrung nach muss man sich nicht streng für ein einziges Website-Ziel entscheiden. Eine gute Optimierungsidee kann mehrere Ziele gleichzeitig angehen und bringt sowohl Nutzerziele als auch Business-Ziele in Einklang.
Meist lässt sich für jedes Website-Ziel mindestens ein bestehendes Problem identifizieren. Dies ist ein guter Ansatzpunkt um nicht blind irgendetwas zu optimieren. Oft hört man z.B. von Affiliate-Website-Betreibern folgendes Problem: „Es kommt zu wenig Geld durch die Website rein“. Hierbei gilt es, diese offensichtlich nur sehr grob umrissene Problembeschreibung genauer zu verstehen bzw. einzukreisen und dadurch greifbar (sprich: optimierbar) zu machen. Hierbei hilft eine genauere Analyse.

Web-Analyse: Probleme erkennen und verstehen

Google-Analytics als Vorbereitung für das A/B-Testing.

Der Verhaltensfluss-Report in Google Analytics deckt auf wie die Nutzer auf der Seite navigieren. Dies gibt Anhaltspunkte, wie man die Nutzerführung ausbauen kann.

Ein guter erster Start um Probleme systematisch anzugehen ist, einen Blick in seine Web-Analytics-Daten zu werfen. Dies haben wir für unser Projekt natürlich gemacht, und stellen folgendes fest:

  • Absprünge: Auf unserer Landingpage zum Thema „Schuhgrößentipps“ kommen zwar genügend Besucher rein. Jedoch springen einige Nutzer direkt ab, ohne eine weitere Seite anzusehen. Dies belegt die auffallend hohe Absprung-Rate von über 70% in Kombination mit der kurzen Aufenthaltsdauer von unter 15 Sekunden.
  • Schwache Nutzerführung: Die verbleibenden Nutzer interessieren sich für die Infos auf der Landingpage, aber suchen gezielt eine bestimmte Information (Schuhgrößentabelle), die sich auf einer nur unscheinbar verlinkten Seite befindet. Dies belegt die Seitenpfadanalyse in Google Analytics, auf der die häufigsten Wege zwischen den Seiten übersichtlich dargestellt werden.

Optimierungsziele / Optimierungs-Scope

Überblick: Von Website-Zielen zu Hypothesen und Varianten

Überblick: Von Website-Zielen zu Hypothesen und Varianten

Die Optimierungsziele legen fest, welche Bereiche man für die Optimierung der ausgewählten Website-Ziele anvisiert. Dies könnte z.B. sein: Registrierungsformular, Landingpage X, Layout aller Produktseiten etc. Wichtig ist hierbei, zu verstehen, dass man mit dieser Festlegung den Lösungsraum schon eingrenzt. Man entscheidet sich also schon grob für für eine Richtung in die man denkt. Darum sollte diese Auswahl vernünftig erfolgen und auf begründeten Erkenntnissen aufsetzen. In der vorangegangenen Problemanalyse haben wir bereits mögliche „Verdächtige“ (Landingpage, Nutzerführung) gefunden, so dass damit unsere Optimierungs-Ziele schon gut eingegrenzt haben.
Wir schreiben diese Optimierungsziele wieder auf (wirklich stark empfohlen) und verweisen dabei auf die Website-Ziele. Dies verschafft uns eine konsequente Argumentationskette, auf die wir uns immer berufen können.
In unserem Fall wollen wir die Nutzer von der Landing-Page schneller zu den gewünschten Informationen bringen sowie unsere Website durch mehr Affiliate-Clickouts stärker monetarisieren. Dies ist im Prinzip für viele Projekte dieser Art die Quintessenz in der Conversion-Optimierung.

Optimierungsziele von kinderschuhe-finden.de

  • Website-Ziel 1: Eltern informieren > Optimierungsziel: Landingpage verbessern
  • Website-Ziel 3: Website monetarisieren > Optimierungsziel: Clickouts erhöhen

Damit ist nun der Umfang („Scope“) des Optimierungs-Projekts festgelegt und man kann die Feinheiten der Tests planen. Dies sollte man bei jeder gesunden Projektplanung gleich zu Beginn berücksichtigen, um nicht vom Kurs abzukommen.

2. Testplanung – Hypothesen und Priorisierung

Jedes Optimierungsprojekt braucht Hypothesen, die man beweisen oder eben auch widerlegen möchte. Die Test-Hypothese wird wieder ausformuliert und niedergeschrieben und bildet das Testkonzept, das es dann noch gestalterisch und technisch auszuarbeiten gilt.

Wie schreibt man eine gute Hypothese?

Hypothesen zu schreiben ist keine Wortdreherei sondern eine notwendige Arbeitsgrundlage in der Conversion-Optimierung. Darum macht es Sinn, sich hier etwas Mühe zu geben und das richtige Maß an Genauigkeit und Abstraktion in seine Hypothese einfließen zu lassen. Eine gute Hypothese umfasst dabei immer folgende Bestandteile:

  • Problem: Was ist das zu lösende Problem? (auch implizit möglich)
  • Lösungsansatz: Was löst das Problem? (Nicht zu detailliert („Buttonfarbe“), sondern eher strukturell)
  • Ergebnis: Was ist das erwartete Ergebnis?

Unsere Hypothese für den Website-Testcase auf kinderschuhe-finden.de:

Test-Hypothese:

„Wenn wir auf der Landingpage eine stärkere Nutzerführung einsetzen, bringen wir mehr Nutzer auf die Abschlussseite und erreichen so mehr Affiliate-Clickouts“.

Umgang mit mehreren Test-Ideen und Hypothesen

Zu Beginn ist empfohlen, mit einem einzigen, ausgewählten Optimierungsziel + Hypothese loszulegen, denn nichts kann die eigenen Erfahrungen bei der Conversion-Optimierung ersetzen. Wer sich dann weiter verbessern will sammelt und bewertet seine Optimierungsideen in einer Optimierungsliste, z.B. nach den von WiderFunnel vorgeschlagenen Kriterien: Potenzial (P), Importance (I) und Ease of Implementation (E). Durch Anwenden einer einfachen Formel erhält man für jede Testidee in der Liste einen Score, der hilft sich für eine Optimierungsidee zu entscheiden.
Weil es so wichtig ist: Hier ein paar Link-Empfehlungen zu den Themen Ideenfindung, Hypothesenformulierung, Test-Priorisierung und Test-Management:


3. Test und Varianten einrichten

Wir haben nun eine Hypothese gefunden, die wir mittels A/B-Testing verifizieren wollen. Wir legen darum nun den Testaufbau fest, wählen ein geeignetes Testing-Tool aus und erstellen Varianten eines möglichen Lösungsansatzes.

Testaufbau

Um die Hypothese als A/B-Test umzusetzen, brauchen wir nun konkrete Lösungsideen. Wir beschließen, die Nutzerführung der Landingpage zu verstärken, indem wir einen prominenten Teaser optimieren. Der konzeptuelle Testaufbau sieht also wie folgt aus:

A/B-Testing-Aufbau für die Optimierung des Landingpage-Teasers auf kinderschuhe-finden.de

A/B-Testing-Aufbau für die Optimierung des Landingpage-Teasers auf kinderschuhe-finden.de

Testing-Tool

optimizely-logo
Nachdem wir nun unsere Testanforderungen kennen, können wir ein geeignetes Tool auswählen. Ein Website-Optimierungs-Tool hat die Kernaufgabe, Benutzer auf die Varianten zu verteilen und Messungen zu ermöglichen. Für jede Projektgröße sind dafür mehr oder weniger mächtige Website-Testing-Tools verfügbar. Einsteiger oder Mid-Level-Tools setzen ihren Fokus eher auf ein rundes Gesamt-Feature-Set und gute Usability. Enterprise-Tools decken spezielle oder High-End-Testing-Optionen ab wie z.B. gezieltes Targeting der Nutzergruppen, transparente Proxy-Lösungen, Ecommerce-Testing von Preisvarianten etc.
Wir setzen hier auf das etablierte Website-Testing-Tool Optimizely, da es einen guten Feature-Umfang, Preis-Leistungs-Verhältnis, hohe Verbreitung sowie erstklassige Usability bietet.

Die Testvarianten

Wie im Testaufbau beschrieben wollen wir die Nutzerführung durch Ausbau eines prominenten Teasers verstärken und so unsere Hypothese belegen. Hier das Original und die optimierte Variante unseres Teasers:

[tabs]

Die Original-Variante

Original: Der Teaser zeigt auf eine für die Monetarisierung unwichtige Seite. Vorteilsargumentation ist vorhanden, aber insgesamt wirkt alles doch noch etwas überladen und ggf. zu werblich.


Die optimierte Variante

Der optimierte Teaser bietet nun auch die Wahl an, zur Abschlusseite „Grössentabelle“ zu gehen, von der der monetarisierte Clickout möglich ist. Vorteile jeder Option wurden auf’s Wesentliche zusammengefasst und gegenübergestellt.


[/tabs]

Technische Einrichtung von Optimizely

Wir haben bisher unsere Varianten vollkommen technologiefrei designed. Nun kommt Optimizely ins Spiel in dem wir den Test für den Live-Einsatz auf unserer Website einrichten.
[tabs]

Wie jedes Tool muss auch Optimizely erstmal auf Seitenebene intergriert werden. Dazu wird in Optimizely ein Code-Snippet für den Test generiert und über unser Template eingebaut. Ein Versuch, das Snippet über den Google Tag Manager zu integrieren scheiterte leider, aber dies wird sicher irgendwann möglich sein.

Einbindung von Optimizely im Head jeder Seite

Einbindung von Optimizely im Head jeder Seite



Optimizely ermöglicht uns in der Gold-Version, auch mehrseitige A/B-Tests umzusetzen, was wir für unsere Hypothese brauchen: In unserem Test-Case passen wir damit sowohl die Landingpage als auch die Abschluss-Seite an, woebei letztere Optimierung aus Gründen der besseren Veranschaulichkeit nicht detailliert gezeigt wird. Wir legen auch weitere Einstellungen wie zu verwendenden Test-Traffic (100%) und Targeting (z.B. nur Traffic über Kanal X) fest.

Multi-Page-Test in Optimizely

Da wir im Test 2 Seiten individuell optimieren, brauchen wir das von Optimizely in der Gold-Version angebotene Feature „Multi-Page-Test“.



Das Anlegen der Varianten in Optimizely erfolgt mittels WYSIWYG-Editor, der nach Erlernen der Konzepte alle Möglichkeiten bietet die wir brauchen. Beim Anlegen des Tests sind HTML/CSS-Skills hilfreich, wenn man komplexere Dinge vorhat. Für ein einfaches Testing von verschiedenen Überschriften oder Formatierungen kommt man auch ohne aus.

Der WYSIWYG-Editor von Optimizely

Der WYSIWYG-Editor von Optimizely im Einsatz: Ein neuer Teaser entsteht.



Optimizely und jedes andere Tool auch benötigt das Einstellen von Zielen, die im Test gemessen werden sollen. Wir richten zum einen das Makroziel „Clickout auf der Abschlussseite“ ein. Zusätzlich messen wir, wie die einzelnen Teaser-Optionen geklickt werden. Zum technischen Erfassen der Clickouts verwenden wir sogenannte Custom Events. Hierfür schreiben wir uns ein Javascript, dass ein OnClick-Event an die Button-Elemente anhängt, indem im DOM nach bestimmten CSS-Klassen gesucht wird. Das Javascript binden wir via Optimizely als „globales Javascript“ ein.

Die zu messenden Test-Ziele in Optimizely

Die zu messenden Test-Ziele in Optimizely


[/tabs]



Bitte gib eine gültige Mailadresse an.

4. Test-Durchführung

Während eines Website-Tests ist die schwierigste Aufgabe: Ruhe bewahren. Zu Beginn wechselt die von Optimizely angezeigte Conversion-Rate bei unserem Projekt wild hin und her. Dies erklärt sich durch den vergleichsweise geringen Website-Traffic, wobei dann jede Conversion einen rasanten Anstieg der Conversion-Rate für die jeweilige Variante bewirkt. Mit der Zeit stabilisiert sich die Conversion-Rate jedoch und man kann einen Gewinner ausmachen.

Wie lange dauert ein A/B-Test?
Die Bestimmung eines Gewinners im A/B-Testing basiert auf statistischen Messkriterien, die mit einer rechnerischen Wahrscheinlichkeit arbeiten. Meist wird hier ein sog. Konfidenzintervall herangezogen. Bei Optimizely wird die Erfolgssicherheit einer Variante durch die Metrik „Chance to beat Baseline“ (auch: Chance to beat original, CTBO“) festgelegt. Unser Test war nach ca. 2 Wochen stabil, sicherheitshalber haben wir aber noch eine Woche drangehängt.
Wer noch mehr über Testdauer und die richtige Interpretation erfahren will (und das sollte man für eine fundierte Optimierung):

5. Test auswerten

Es ist soweit, Optimizely signalisiert durch den „Chance-To-Beat-Baseline“-Wert von 100% bereits tagelang, dass alle Test-Ziele erfolgreich sind. Vor allem sieht der Verlauf der Conversion-Rate stabil aus, so dass wir den Test für beendet erklären.

Optimizely gibt uns folgende Test-Ergebnisse:

Die A/B-Test-Ergebnisansicht in Optimizely

Die Ergebnisse des A/B-Tests: 240% Uplift für die optimierte Teaser-Variante

Ergebnisse

Wir sehen, dass unser Primärziel durch die optimierte Teaser-Variante (+ ein paar Anpassungen auf der Clickout-Seite) für deutliche Verbesserungen der Clickouts sorgt. Ebenso bewirkt der überarbeitete Teaser, dass beide dort angeboteten Optionen stärker geklickt werden.
Eine mögliche Interpretation wäre: Die freie Auswahlmöglichkeit im optimierten Teaser führt dazu, dass beide Optionen insgesamt besser angenommen werden. Ebenso könnte es aber auch an wahrnehmungspsychologischen Aspekten („weisser Tabellenhintergrund“) etc. liegen, hier habe ich mit meiner Kollegin (Psychologin aus dem Lager „Psychodynamik“) bereits eifrig diskutiert 🙂

Wir sind mit unseren Testergebnissen sehr zufrieden und bauen die Variante fest in den Auftritt ein. Nun bleibt nur noch, zu beobachten (Web-Analytics), wie die Variante dauerhaft performt. Ein erfolgreicher A/B-Test öffnet dabei oft Türen für weitere Optimierungsrunden, also: auf ein Neues!

Schnelle Conversion vs. Nachhaltigkeit

Fantastisch, wir haben die Clickout-Conversion-Rate von 3% auf über 10% erhöht! Das sind tolle Ergebnisse, aber ein paar kritische Worte zum Abschluss sind an dieser Stelle noch angebracht. Pragmatisch gesehen klingt die Conversion-Steigerung natürlich sehr erfolgreich, aber es soll noch einmal deutlich gesagt werden: Fachgerechte Conversion-Optimierung ist mehr, als nur ein Tool zu integrieren und herum zu probieren bis sich der Erfolg einstellt. Nicht zu unterschätzen ist, dass man – besonders in größeren Projekten als dem hier gezeigten Fall – durch genaue Messungen sauber berücksichtigen sollte, ob eine Optimierung unerwünschte Nebeneffekte wie den im Folgenden beschriebenen auslösen kann.
Der Haken ist folgender: Unser Test misst reine Clickouts für einem Besucherstrom von immer wieder neuen Nutzern. Schicke ich meine Nutzer über einen Affiliate-Clickout sehr schnell von meiner Informations-Website weg, so ist das prinzipiell zwar erstmal gut für die Monetarisierung (zumindest bei einer Pay-Per-Click-Vergütung). Jedoch haben die Nutzer sich noch gar nicht mit meinen Website-Inhalten befasst und können ggf. auch kein positives Bild von Website oder dem Brand aufbauen. Es bleibt zu untersuchen, wie sich dies auf die direkte Conversion und auf die Wiederkehrer auswirkt. Darum also besser abwägen: Schnelles Geld oder nachhaltiger Kundenstamm.

Fazit: A/B-Testing bringt schnell messbare Erfolge

A/B-Testing ist eine auf tatsächlichem Nutzerverhalten basierte Methode, um Website-Ziele zu stärken und Websites zu verbessern. Ich hoffe, dass dieses einfache, aber bewusst detaillierte Praxisbeispiel dabei hilft, einen guten Eindruck davon zu bekommen, wie A/B-Testing prinzipiell funktioniert und auch, wo aufgepasst werden muss.

Wir konnten durch eine einfache Optimierung eine fantastische Conversion-Rate erreichen – man vergleiche mit unserem Artikel zu typischen Conversion-Rates.

Ich freue mich über eure Kommentare, Kritik und Erfahrungen mit A/B-Testing, gerne hier oder natürlich auch im direkten Austausch. Viel Erfolg bei der Optimierung!

Rate this post
Ralf Schukay
Ralf Schukay ist Senior Digital Marketing Consultant bei der mediaworx berlin AG. Er hilft Unternehmen dabei, ihre digitalen Services vertrieblich erfolgreich zu machen, natürlich immer auf Basis messbarerer KPIs und mit Nutzerbedürfnissen im Mittelpunkt. Seine Kern-Disziplinen sind: Digital Analytics, SEO, UX, Conversion-Optimierung und Marketing Automation. Er kocht und isst gerne Low-Carb und joggt durch Berlins grüne Stadtnatur. (E-Mail schreiben)
3 Kommentare
  • […] in der Targeting Suite eine integrierte Möglichkeit bestimmte Elemente auf der Webseite zu testen (Methodik: A/B-Testing). Werden die dadurch gewonnenen Erkenntnisse bereits in der Konzeption von Web-Angeboten beachtet, […]

  • Thomas
    27 Mai 2014 at 09:45

    Schönes Tutorial, vielen Dank dafür. Könnt ihr aber vielleicht noch einen Schritt vorher anfangen? Nämlich Zielgruppenanalyse und Zielgruppendefinition. Ich arbeite im Bereich Lotterie – und Geld will ja jeder. Wir kommen nicht so recht auf einen grünen Zweig, wie wir hier segmentieren können.

    Weiter so!

    • Ralf Schukay
      27 Mai 2014 at 12:40

      Hallo Thomas,

      danke für Dein Feedback und es freut mich, dass Dir der zugegeben recht lang geratene (aber dafür ja detaillierte) Artikel gefällt.
      Sehr löblicher Ansatz, mit der Zielgruppe zu beginnen. Für die Zielgruppen-Definition kenne ich zahlreiche mehr oder weniger praktikable Methoden. Für den Lotteriebereich war ich noch nicht tätig, aber man bekommt da gleich eine Vorstellung, die man natürlich aber nochmal durch Daten absichern sollte. Hier ein paar spontane Einfälle dazu:
      – Demografische Daten überprüfen (siehe unser Artikel zu Universal Analytics). Ist eure Zielgruppe eher jung?
      – Personas mal selbst erstellen. Dafür alles auswerten, was ihr an Daten bekommen könnt: z.B. Online-Befragung (z.B. mit Qualaroo etc.) durchführen, (Online-)Casino-Besucher befragen etc.
      – Interessierte Website-Besucher auswerten: z.B. in Web-Analytics sauber erfassen, wenn jemand ein Online-Spiel spielt (Goal einrichten, Custom Dimension setzen) und nach diesen Nutzern getrennt segmentieren. Wo kommen diese her? Was unterscheidet diese Nutzer?

      Fallen noch jemandem Ideen ein?
      Beste Grüße!

Deine Meinung ist gefragt

Deine Meinung*

Dein Name*
Deine Seite