Nachdem du diesen Artikel gelesen hast, wirst du in der Lage sein Experimente im Marketing zu planen und umzusetzen. Dadurch wirst du zum konstanten Wachstum deines Unternehmens beitragen können. Zunächst erkläre ich alle wichtigen Konzepte. Sobald wir diese verstanden haben, werde ich Schritt für Schritt erklären, wie man ein Experiment durchführt.
Was sind Kontrollgruppen?
Wenn man einen kausalen Zusammenhang zwischen einer veränderten Variable und einem Effekt nachweisen möchte, so verändert man diese Variable in einer Testgruppe, lässt diese Variable aber bei der sogenannten Kontrollgruppe unverändert.
In der Testgruppe könnte man z.B. eine E-Mail mit Headerbild verwenden und in der Kontrollgruppe eine E-Mail ohne Headerbild.
In der Testgruppe oder den Testgruppen wird also eine Anpassung gemacht und in der Kontrollgruppe nicht. Es ist äusserst wichtig, nur eine einzige Variable (z.B. das Headerbild) zu ändern, um das Testdesign und die benötigten statistischen Analysen so einfach wie möglich zu halten.
Die Ergebnisse der Testgruppen und der Kontrollgruppe werden dann auf Unterschiede hin untersucht. Hierbei ist es wichtig, die richtigen KPIs für Growth Hacking zu untersuchen. Dies könnte z.B. die Conversion Rate der E-Mails sein.
Quantitative wissenschaftliche Forschungsmethoden
Man untersucht durch statistische Berechnungen, wie hoch die Wahrscheinlichkeit ist, dass in einem Experiment beobachtete Unterschiede durch Zufall zustande gekommen sind. Ist die Wahrscheinlichkeit, dass diese Unterschiede durch Zufall zustande kommen sehr gering, so geht man davon aus, dass ein Effekt vorliegt.
In unserem Beispiel würde man sich also fragen: Ist die Conversion Rate von der E-Mail mit Headerbild unterschiedlich zur Conversion Rate der E-Mail ohne Headerbild? Und kam diese Abweichung durch Zufall zustande oder nicht?
Dies formuliert man als Hypothesen. Allgemein kann man die zu formulierenden Hypothesen so beschreiben:
Nullhypothese: Die beiden Gruppen sind gleich
Alternativhypothese: Die beiden Gruppen sind unterschiedlich
Induktion ist eine Methode der wissenschaftlichen Forschung, bei der von einer Beobachtung (einem Experiment) auf Wahrheiten oder Erkenntnisse über die Realität geschlossen wird. In unserem Beispiel wollen wir herausfinden, ob das Headerbild die Conversion Rate erhöht.
Dazu formulieren wir zwei konkrete Hypothesen:
Nullhypothese: Die Conversion Rates der beiden Gruppen sind gleich
Alternativhypothese: Die Conversion Rates der beiden Gruppen sind unterschiedlich
Um die Nullhypothese zu testen, führen wir ein Experiment durch. Auf Basis der im Experiment gesammelten Daten, berechnen wir die Wahrscheinlichkeit der Nullhypothese. Ist diese Wahrscheinlichkeit extrem niedrig (z. B. unter 5 %), können wir die Nullhypothese ablehnen und schliessen darauf, dass die Alternativhypothese wahr ist. In diesem Fall hätten wir also eine Erkenntnis über die Realität gewonnen: Das Headerbild erhöht die Conversion Rate.
Der Grenzwert, ab dem man die Nullhypothese zugunsten der Alternativhypothese ablehnt, liegt bei 95% Konfidenz. Das bedeutet, dass die Wahrscheinlichkeit, dass die Nullhypothese verworfen wird, obwohl diese eigentlich wahr wäre, höchstens 5% betragen darf.
Man könnte dies auch folgendermassen formulieren: Mit 95%iger Sicherheit können wir sagen, dass die Beobachtung (z.B. „das Headerbild erhöht die Conversion Rate“) tatsächlich zutrifft.
Wenn wir einen statistisch signifikanten Effekt gefunden haben, so können wir den Uplift messen, den dieser Effekt erzeugt.
Was bedeutet Uplift?
Wenn unsere Testgruppe und die Kontrollgruppe in der zu betrachtenden KPI unterschiedlich hoch sind und wir einen statistisch signifikanten Effekt durch unseren Hypothesentest nachweisen können, so macht es Sinn die Höhen der KPIs zu vergleichen.
Um auf unser Beispiel zurückzukommen: Sagen wir, die E-Mail mit Headerbild zeigte eine Conversion Rate von 1.5% und die E-Mail ohne Headerbild eine Conversion Rate von 1.0%. Somit hat die E-Mail mit Conversion Rate einen Uplift von 50% in der Conversion Rate gegenüber der E-Mail ohne Headerbild verursacht.
Es geht bei Uplift also darum, wie viel höher die Performance der Testvariante im Vergleich zur Kontrollgruppe ist.
Messen von Uplift
Man kann den Uplift von einer Nachricht A gegenüber einer Nachricht B messen, um Nachrichten zu optimieren. Man kann den Uplift von einer Customer Journey A gegenüber einer Customer Journey B berechnen und die Erkenntnisse nutzen, um die bessere Customer Journey weiterlaufen zu lassen. Auch im Performance Marketing kann man den Uplift einer Kampagne A gegenüber einer Performance Marketing Kampagne B berechnen.
Den Uplift als Kriterium zur Optimierung unseres Marketings zu verwenden macht aber nur dann Sinn, wenn wir mit ausreichender Sicherheit sagen können, dass der Effekt nicht durch Zufall zustande gekommen ist. Dies stellen wir durch das Berechnen von statistischer Signifikanz sicher. Wir lassen uns bei der Optimierung durch unsere Daten führen.
Step-by-step Anleitung
Ein Experiment wird in vier Schritten durchgeführt.
- Schritt: Testplanung
- Schritt: Testgruppen durch Random Sampling bilden
- Schritt: Daten sammeln
- Schritt: Ergebnisse analysieren
1. Testplanung
Zunächst müssen wir planen, was wir testen möchten und in welchem Kundensegment wir den Test durchführen wollen. Es gibt viele verschiedene Testvariablen für Growth Hacking. Haben wir uns für die zu testende Variable entschieden, so erstellen wir nun die Kommunikationsmittel, die an unsere Testgruppen versendet werden sollen.
Sobald die Kommunikationsmittel fertig erstellt wurden, können wir diese in unser Marketing Automation Tool oder unser Performance Marketing Tool einpflegen.
2. Testgruppen durch Zufallsziehung bilden
Die Testgruppen müssen durch Zufall gezogen werden. Dies bedeutet, wir brauchen einen Zufallsgenerator, der unsere User in die Testgruppen zuteilt. Es ist eine Grundvoraussetzung für diese Art von Experimenten, dass wir in jeder Testgruppe ein repräsentatives Sample der Grundgesamtheit unserer User haben.
Wir müssen sicherstellen, dass wir das Sample durch die Ziehungsmethode nicht verzerren, damit die gewonnenen Erkenntnisse valide sind. Eine Verzerrung würde z.B. dadurch zustande kommen, dass wir in einer Testgruppe alle User über 50 Jahren selektieren und die restlichen User der Kontrollgruppe zuweisen. Durch eine Zufallsziehung stellen wir sicher, dass in jeder Testgruppe gleich viele User mit denselben Eigenschaften vorkommen.
3. Daten sammeln
Als nächstes starten wir unser Experiment. Nun wurden unsere User in die Testgruppen zugewiesen und erhalten unterschiedliche Kommunikationen ausgespielt. Habe Geduld und ziehe keine vorschnellen Schlüsse. Es ist durchaus normal, dass die Performance zwischen den Testgruppen hin und her schwankt, bis eine ausreichende Datenmenge gesammelt wurde.
Umso grösser unsere gesammelte Datenmenge ist, umso näher kommen wir dem tatsächlichen Durchschnitt der Performance unserer Testgruppe.
4. Ergebnisse analysieren
Wann eine ausreichende Samplegrösse erreicht ist, also wann genügend Daten für die Analyse der Ergebnisse gesammelt wurden, ist im Voraus schwer zu berechnen. Dies ist nämlich auch abhängig von der nachzuweisenden Effektstärke, die vor dem Experiment nicht bekannt ist.
Statistische Signifikanz ist von zwei Faktoren abhängig. Der Grösse des Effektes, also des Uplifts im Vergleich zur Kontrollgruppe, sowie der Grösse des Samples. Hätten wir ein Sample mit Millionen von Usern, so können wir selbst kleinste Effekte nachweisen. Meistens arbeiten wir im Marketing, aber eher mit tausenden bis hunderttausenden von Usern.
Für die Berechnung der Samplegrösse können wir von einer Mindestgrösse des Effekts ausgehen. Beispielsweise bei Experimenten, die die Conversion Rate beeinflussen sollen, könnten wir davon ausgehen, dass unser Experiment zu einem Uplift von mindestens 25% im Vergleich zur Kontrollgruppe führen sollte. Das Experiment soll ja möglichst starke Effekte finden, die unser Marketing optimieren.
Haben wir nun unsere gewünschte Datenmenge oder die vorgegebene Deadline erreicht, so lesen wir die Daten aus unserem Marketing Automation Tool oder unserer Datenbank aus. Hierbei interessieren uns jeweils nur die für unser Experiment relevanten KPIs.
Nun müssen wir die korrekte Analysemethode auswählen. Liegen nominale Daten vor, so ist der Chi-Square-Test die korrekte Analysemethode. Wurden nur zwei Testgruppen (Kontrollgruppe und Testgruppe A) gebildet, so verwendet man den two-sample chi-square test zur Analyse der Daten. Wurden mehr als zwei Testgruppen gebildet, so verwendet man den K-Sample Chi-Square-Test. Bei mehr als zwei Testgruppen ist ausserdem ein Post-Hoc-Test mit einer Anpassung (z.B. bonferroni correction) notwendig, um für Rechenfehler aufgrund der grösseren Anzahl der Testgruppen nachzukorrigieren.
Liegen metrische Daten vor, so ist bei zwei Testgruppen ein Two-Sample-T-Test oder Z-Test anzuwenden. Bei mehr als zwei Testgruppen ist die One-Way-ANOVA die zu wählende Analysemethode.
Ab einer gewissen Samplegrösse, ist es nicht mehr möglich, diese Berechnungen von Hand durchzuführen, da dies viel zu lange dauern würde. Es gibt verschiedene Tools mit einem graphischen User Interface, um diese Berechnungen durchzuführen (wie z.B. SPSS).
Aus eigener Erfahrung rate ich jedoch dazu, die Programmiersprache Python zu lernen und mit den dort zur Verfügung stehenden Code-Bibliotheken (z.B. scipy) zu arbeiten. Man muss sich erstmal in Python einarbeiten, aber sobald man lernt mit der Sprache umzugehen, kann man deutlich schneller und flexibler Daten analysieren als mit einem grafischen User Interface.
Fazit
Experimente zu planen und durchzuführen ist sehr einfach. Erst bei der statistischen Analyse der Ergebnisse wird sehr spezielles Fachwissen benötigt. Dieses kann entweder selbst erlernt oder durch einen Data Scientist gestellt werden.
Um Ergebnisse zu erzielen und durch Experimente kontinuierliches Wachstum zu schaffen, ist ein strukturiertes Vorgehen ratsam. Growth Hacking ist ein kontinuierlicher Prozess, um Experimente zu planen und durchzuführen. Kundenerlebnisse sind komplexe Kommunikationskonstrukte, insbesondere da sich die Kunden selbst und die Welt, in der wir leben, ständig verändern. Unternehmen, die regelmässig mit Experimenten arbeiten, können schnell auf sich verändernde Kundenbedürfnisse reagieren und von Veränderungen profitieren, anstatt diese zu fürchten.
