Growth Experimente Velocity erhöhen mit System

Einer der großen Hebel im Growth Marketing ist Anzahl der durchgeführten Growth Experimente pro Zeitraum (eng. „Growth Experiment Velocity“).
Wer schnell viele mögliche Wachstumspotentiale testen kann, hat eine bessere Chance die relevanten Stellschrauben zu identifizieren und schneller zu wachsen, als die Mitbewerber.

Schnell wachsende Unternehmen wie Airbnb, Uber, Booking, Amazon oder Facebook testen mit sehr hoher Frequenz. Lindsay Pettingill, Data Scientist bei Airbnb, berichtet hier darüber, wie die Testfrequenz bei Airbnb innerhalb von zwei Jahren von unter 100 auf über 700 Experimente pro Woche erhöht wurde.

Auch Jeff Bezos von Amazon misst der Growth Experiment Velocity höchste Bedeutung bei:

Facebook handelte in seinen frühen Jahren ebenso nach einem wachstumsorientierten Credo:

Growth Experiment Velocity erhöhen – Was bedeutet das für „normale“ Unternehmen?

Auch wenn dem eigenen Unternehmen nicht die Ressourcen der Big Player zur Verfügung stehen, so ist es doch sinnvoll an der Experiment Velocity zu arbeiten.

Allerdings – und das ist wirklich ein ganz entscheidendes allerdings – darf eine Erhöhung der Anzahl der durchgeführten Growth Experimente nicht auf Kosten der Qualität von Hypothesen, Testing und Analyse gehen.

Wer dünne Hypothesen, schlampig testet und oberflächlich auswertet, dabei aber sehr schnell ist, hat leider nichts gewonnen.

Ein sauberes Setup der Prozesse unter Einsatz geeigneter Tools, erlaubt hingegen die Experiment Velocity zu erhöhen und im Verlauf der Zeit sogar die Qualität der Hypothesen zu erhöhen.

Wie man sich ein solches „Growth Experiment Management System“ selbst aufsetzen kann, beschreibe ich beispielhaft im Folgenden.
Wenn man bereits Workflow-Management-Software, wie z.B. Jira einsetzt, kann es evtl. ratsam sein, sich dort vergleichbare Funktionalität zu schaffen, anstatt weitere Tools einzuführen.

Anforderungen an ein Growth Experiment Management System

Die Gestaltung eines solchen Systems richtet sich stark nach Struktur und Arbeitsweise eines Unternehmens.

Für das hier beispielhaft beschriebene System gelten folgende Grundanforderungen:

Schnelligkeit – Mehr Growth Experimente in kürzerer Zeit

Das System soll schnelle Workflows bei einer steigenden Anzahl von Experimenten unterstützen. Lösungen wie Excel oder Google Sheets sind zu unflexibel und erzeugen einen unnötigen Overhead an administrativen Tasks. Eine Umsetzung in großen Workflow-Management-Suiten wie Jira ist oftmals aufwändig und schwer im Unternehmen durchzusetzen. Eine Lösung mit überschaubarem Funktionsumfang (Konfiguration, Einarbeitung), die ohne die Hilfe von Administratoren und Entwicklern implementiert werden kann, bietet sich hier an.

Zusammenarbeit – Bessere Hypothesen, weniger Friction

Das System soll die Zusammenarbeit aller beteiligten Stakeholder und Teams unterstützen. Insbesondere soll die Beteiligung möglichst vieler Mitarbeiter an Growth Experimenten begünstigt werden. Jedes Team, jeder Mitarbeiter hat Expertise in seinem Fachgebiet und eine individuelle Perspektive.
Eine Idee für ein Experiment soll daher von jedem Mitarbeiter so reibungsarm wie möglich in das System eingespeist werden können, um das „versteckte“ Wissen des Unternehmens möglichst intensiv zu nutzen.

Reporting – Optimierung des Growth-Experiment-Prozesses 

Nur wenn man relevante Performance Indikatoren über Zeit aufzeichnet und auswertbar macht, hat man die Chance zur Verbesserung. Wir wollen die Qualität unserer Hypothesen und vor allem die Qualität der Bewertung und Priorisierung unserer Hypothesen verbessern. Außerdem wollen wir unsere Workflows so reibungsarm wie möglich gestalten und sicherstellen, dass jede Experimentphase angemessene Aufmerksamkeit erfährt.
Das Growth Experiment Management System muss also einen analysierbaren Datenoutput erzeugen, damit Flaschenhälse und Qualitätsprobleme schnell und zuverlässig erkannt werden können.

Preis – Geringer Budget-Einsatz

Es gibt Experimentation Management Tools als SAAS. In der Regel werden dafür dreistellige Beträge monatlich aufgerufen. Das kann eine durchaus sinnvolle Investition sein, wenn man seine Experiment-Frequenz bereits signifikant erhöht hat und/oder sehr viele Mitarbeiter in die Growth Experimente eingebunden sind.
Gleiches gilt für professionelle Workflow-Management-Tools wie Jira. In vielen Unternehmen ist es jedoch so, dass wenig Ressourcen und Budget für die Anschaffung und/oder Modifikation solcher Software zur Verfügung stehen und es entsprechend schwierig ist, ein optimales Experiment Management aufzusetzen.
In diesem Beispiel zeige ich daher eine Lösung, die man für kleines Geld und ohne großen Ressourcenbedarf realisieren kann.

Schritt 1: Konstruktion einer Experiment Pipeline

Wir benötigen dazu ein Kanban-artiges Board-System, wie man es vielleicht aus Jira, Trello oder diversen Sales Pipeline Tools kennt, in welchem wir einen Workflow abbilden können, indem wir Karten von Spalte zu Spalte verschieben. Trello ist grundsätzlich ein tolles Tool, jedoch in diesem Fall leider etwas zu unflexibel für unsere Zwecke.

Pipefy kann alles, was wir brauchen und ist ähnlich wie Trello in der – für unsere Zwecke erst mal ausreichenden Grundversion – kostenlos. Wer mehr als 10 User Accounts oder 5 Pipelines benötigt, kann für relativ kleines Geld upgraden.
Der ausschlaggebende Vorteil von Pipefy gegenüber Trello ist, dass man Formularfelder in Karten frei definieren kann und diese je nach Spalte auch unterschiedlich sein können, was uns erlaubt für jede Pipeline-Phase spezifische Informationen in den Karten abzufragen, abzulegen und anzuzeigen.

In Pipefy gibt es bereits ein Template für eine Growth Experiments Pipeline, das wir einfach unseren Bedürfnissen anpassen können.

Unsere Growth Experiments Pipeline bildet folgende Phasen ab:

1. Brainstorm
2. Queue
3. Ready to run
4. Test läuft
5. Analyse
6. Winners
7. Losers
8. Archiv

Brainstorm – Ideen für Growth Experimente

Ideen für Experimente fließen in diese Spalte. Um es Mitarbeitern so einfach wie möglich zu machen, Ideen in die Experiment Pipeline zu befördern, sind hier verschiedene Schnittstellen angebunden: ein Webformular, Slack und Email. Die einzige Anforderung zum Einbringen einer Idee  ist zunächst lediglich ein Titel für die Karte.

Queue – Ziele, Hypothesen und Priorisierung

Von hier an übernimmt das Growth Team die Kontrolle über weitere Bewegungen der Karten in der Pipeline. In Zusammenarbeit mit dem Mitarbeiter oder Team, das die Experiment Idee eingebracht hat, füllt das Growth Team eine Reihe von Feldern in der entsprechenden Karte:

• Ziel des Experiments
• Tracking Metriken
• Hypothese über Wirkmechanismen und erwartetes Resultat
• Zu Grunde liegende Daten und Analysen
• Einordnung in den Funnel
• Schätzung der möglichen Verbesserung
• Einschätzung der Wahrscheinlichkeit einer Verbesserung
• Einschätzung der Einfachheit der Umsetzung

Die Einordnung in die Funnel-Phasen, wie Acquisition, Conversion oder Referral hilft uns in der Performance-Analyse unseres Workflows Segmente zu bilden und zu bewerten bzw. Muster zu erkennen.

Zusätzlich wird hier das ICE Framework (Impact, Confidence, Ease) als Methode zur Priorisierung der Experimente eingesetzt.

Nach der Hypothesenentwicklung und Priorisierung kann die Karte von „Brainstorm“ in die „Queue“ verschoben werden. Die Karten sind hier nach ihrer Priorisierung sortiert. Mitarbeiter, die für die Umsetzung von zu testenden Varianten zuständig sind (Entwickler, Redakteure, Grafiker etc.) arbeiten die Karten von oben nach unten ab.

Ready to run – Growth Experimente, die gestartet werden können

Nachdem ein Experiment fertig entwickelt ist, wird es in diese Phase verschoben. Dies kann z.B. im Rahmen eines wöchentlichen Meetings geschehen. Spätestens jetzt muss der Experimentzeitraum sowie weitere Faktoren, wie z.B. die exakte Segmentierung, benötigte Anzahl von Varianten-Visits etc. finalisiert werden.

Test läuft – Laufende Growth Experimente 

Gestartete Experimente werden hier hin verschoben. Links zum Reporting laufender Experimente, Anhänge, Beobachtungen und Aufgaben werden hier angehängt.

Analyse – Auswertung der Growth Experimente

Nach Ende des Experiments wird es durch das Growth Team bzw. dessen Data Analyst ausgewertet.
Das Ergebnis wird mit der ursprünglichen Hypothese und Schätzung verglichen. Beobachtungen, Über-/Unter-Performance und neue Erkenntnisse werden in der Karte aufgezeichnet. Es wird bestimmt, ob ein Experiment ein Winner oder ein Loser ist. Ein Winner ist es, wenn es grundsätzlich eine signifikante positive Entwicklung gemäß der Hypothese erzeugen konnte. Auch wenn dabei die Schätzung der Intensität der Auswirkung nicht erreicht wird.
Beispiel: In einem Conversion Experiment wird ein relativer Uplift von +10% Conversion Rate erwartet. Die Variante erreicht einen Uplift von lediglich +5%. Dieses Experiment erhält eine Klassifizierung als Winner, jedoch auch als Under-Performer. Dies sind häufig Kandidaten für ein Refinement in Form weiterer Experimente.

Winners – Erfolgreiche Growth Experimente

Hierhin werden alle als Winner klassifizierten Experimente verschoben. Neue Karten für eventuelle Folge-Experimente können mittels Pipefys „Connection“-Funktion direkt aus der Karte erzeugt werden. Die so erzeugten Karten bleiben mit der ursprünglichen Karte verbunden, so dass sich die Historie einer Experiment Idee oder Hypothese bei Bedarf einfach zurückverfolgen lässt.

Losers – Erfolglose Growth Experimente

Nicht erfolgreiche Experimente landen in dieser Spalte. Auch hier können direkt Karten für Folge-Experimente erstellt werden.

Archive – Vergangene Growth Experimente

In regelmäßigen Abständen werden Winners und Losers in das Archiv verschoben, um die Pipeline übersichtlich zu halten. Außerdem landen hier verworfene Ideen aus „Brainstorm“ und alle Experimente, die aus irgendeinem Grund in irgendeiner Phase abgebrochen wurden. Die Gründe für eine Verwerfung oder einen Abbruch sollten in der Karte verzeichnet werden. Manche Ideen treten in Unternehmen zyklisch immer wieder auf, z.B., wenn neue Mitarbeiter hinzukommen, können aber nicht umgesetzt werden. Für das Growth Team kann es dann sehr praktisch sein, die Historie der Idee zur Hand zu haben.

Schritt 2: Priorisierung und Performance-Analyse aufsetzen

Ein großer Vorteil einer sequentiellen Pipeline ist die Vereinfachung von Analyse und Reporting.
In jeder Phase werden den Karten spezifische Informationen und Timestamps hinzugefügt, die wir mit Pipefy-eigenen und externen Tools auswerten können. Pipefy erlaubt das Sortieren und Filtern aller Daten in einem internen Tabellen-Tool und bietet einen entsprechenden Export als Excel-File an. Diese Daten können dann leicht in anderen Tools verwertet werden. Die gefilterten Tabellen können als Template in Pipefy gespeichert werden, so dass man nicht jedes Mal wieder die gleichen Arbeitsschritte durchlaufen muss.

Priorisierung der Growth Experimente mit ICE

Dieser Report zieht die ICE Scores aller Karten aus der „Queue“ und sortiert sie in absteigender Reihenfolge. Die Karten in der Pipeline muss man dann zwar doch händisch in die entsprechende Reihenfolge bringen, aber das ist kein großer Aufwand.

Performance-Analyse des Growth-Experiment-Prozesses

Wenn man die Frequenz der durchgeführten Growth Experimente ohne Qualitätsverluste hochfahren will, sollte man sehr genau auswerten, wo mögliche Flaschenhälse den Prozess bremsen und welche Faktoren die Qualität der Hypothesen, Schätzungen und Tests negativ beeinflussen können.

In der kostenpflichtigen Variante bietet Pipefy zwar einige Analysetools, allerdings sind diese zu simpel und unflexibel, um sie für diese Zwecke wirklich sinnvoll zu nutzen. Da wir nur relativ große Reportingintervalle von einer Woche oder länger benötigen, ist es kein zu großer Aufwand, die Daten aus Pipefy zu exportieren und manuell in ein System zu importieren, dass diese Daten verarbeitet. Das dauert in der Regel nur wenige Minuten.

In unserem Beispiel-Setup hier erstellen wir ein Template in Pipefy, das alle benötigten Daten enthält und speichern dieses. Damit stellen wir sicher, dass unser Export immer die gleiche Struktur hat. Anschließend wird der Excel-Export aus Pipefy in Google Sheets – Googles kostenlosem Cloud-Tabellen-Tool – hochgeladen .
Nun können wir (das ebenfalls kostenlose) Google Data Studio verwenden, um uns beliebige Auswertungen unserer Experiment-Performance-Daten zu bauen und in einem oder mehreren Dashboards anzuzeigen. Alternativ kann man aus dem Excel- auch ein CSV-File erzeugen und direkt in Data Studio hochladen. Der Zwischenschritt über Sheets vereinfacht aber die Verwendung der Daten in weiteren Kontexten.

Idealerweise sollten die wichtigsten Auswertungen der Growth Experiment Performance allen Mitarbeitern des Unternehmens in Form eines Dashboards zur Verfügung stehen.
Im Laufe der Zeit wird man so nach und nach Muster erkennen und kann entsprechend handeln.

Beispiel
In der Retrospektive wird deutlich, dass in den Experimenten zur Optimierung der Conversion häufig der Impact (ICE Priorisierung) zu hoch bewertet wurde. Der erwartete Uplift wurde in der Regel überschätzt. Der Impact von Experimenten zur Acquisition wurde gleichzeitig regelmäßig unterschätzt, so dass sich im Sinne der gesamten „Growth Velocity“ eine ungünstige Priorisierung ergab. Das Growth Team wird diese Erkenntnis in den Priorisierungsprozess übernehmen und kann so künftig die „Winner Velocity“ erhöhen.

Schritt 3: Automatisierung und Integrationen

Pipefy bietet über Zapier – ein in der Grundversion ebenfalls kostenloser Cloud Service, der als eine Art Middleware die API-Schnittstellen vieler Tools und Services miteinander verbindet – ein nahezu unbegrenztes Potential zu Integration und Automatisierung. Die Einrichtung der so genannten „Zaps“, der Verknüpfung zweier Apps ist in der Regel sehr einfach und ohne Programmierkenntnisse zu bewerkstelligen.

Beispiele

Slack: Wenn in Slack in einem Post das Hashtag #experiment benutzt wird, wird aus dem Post eine Karte in „Brainstorm“ erzeugt. Ein Slackbot antwortet mit der URL der erzeugten Karte. So können Experimente auf dem kürzesten Weg angestoßen werden, da Slack intensiv von allen Mitarbeitern genutzt wird.

Formular: Ein allen Mitarbeitern zugängliches Web-Formular, dass vielerorts in den internen Systemen verlinkt ist, erzeugt eine neue Karte in „Brainstorm“. So benötigt nicht jeder Mitarbeiter einen eigenen Pipefy-Account.

Email: Eine Nachricht an eine bestimmte Email-Adresse stößt die Erstellung einer Karte in „Brainstorm“ an. Der Inhalt der Email wird zum Titel der Karte.

Jira: Das Verschieben einer Karte von „Brainstorm“ zu „Queue“ stößt die Erstellung eines Tickets in Jira an.

Die Benachrichtigung per Email über Statusänderung von Karten oder z.B. auch die Erstellung neuer Karten kann mit Pipefy Boardmitteln automatisiert werden. Pipefy bietet hier recht umfangreiche Funktionen zur Erstellung von Email Templates und entsprechenden Triggern. Antworten auf diese Benachrichtigungsemails werden von Pipefy als Kommentare in den entsprechenden Karten angelegt.

Bau Dein eigenes Growth Experiment Management System

Das hier beschriebene Growth Experiment Management System stellt nur ein mögliches Setup dar.

Selbst innerhalb dieses Setups gibt es viele Möglichkeiten zur Anpassung. Wie viele Spalten/Phasen man zum Beispiel benötigt, hängt maßgeblich von den existierenden Prozessen und parallel verwendeten Systemen ab.

Eventuell eignen sich auch andere Tools besser, um Growth Experiment Prozesse im eigenen Unternehmen abzubilden.
Der grundsätzliche Aufbau, hat sich jedoch vielfach bewährt und dabei geholfen die Schlagzahl und oft auch gleichzeitig die Qualität der Experimente deutlich zu erhöhen.

Hier noch einmal in Kurzform die Charakteristika eines guten Growth Experiment Management Systems:

• Ermöglicht hindernisfreies Einbringen von Ideen für Experimente durch alle Mitarbeiter.
• Verringert Reibung im Workflow, schafft Transparenz.
• Begünstigt das Einhalten des definierten Prozesses (Pipeline) und das saubere Setup eines Experiments (Formularfelder).
• Beinhaltet eine Methode der Priorisierung (ICE, PIE, PXL) die zum Unternehmen und seiner Arbeitsweise passt.
• Vereinfacht das Setup von Folge-Experimenten und die Betrachtung der Historie eines Growth Experiments.
• Erlaubt die Vereinfachung von Kommunikation und Organisation durch Automatisierung und Integration in andere Systeme.
• Liefert Daten, die die Analyse und Optimierung der Performance des Growth-Experimentation-Prozesses ermöglichen.

Ich wünsche Dir viel Erfolg beim Aufsetzen und vor allem beim Betrieb Deines eigenen Systems. Wenn Du Fragen zum Artikel hast, Kritik oder Lob loswerden oder von dem System berichten möchtest, das in Deinem Unternehmen verwendet wird, kannst Du das gerne weiter unten in den Kommentaren tun.