Dieser Product Strategy Lead von Xing Events erklärt euch, wie ihr mit dem Experiment Tracker schnell kritische Annahmen testet

Als Product Innovation Consultant hat Thomas Gläser in den vergangenen Jahren die Arbeitsweisen und Prozesse vieler Unternehmen erlebt und gestaltet. Unter anderem war er bei Arduino, Innogy und Mozilla an der Schnittstelle von Produktentwicklung und Produktdesign tätig. Inzwischen arbeitet Thomas als Product Innovation & Growth Lead bei Xing Events in München.

Ein Problem ist ihm in seiner Laufbahn immer wieder begegnet. Viele Teams tun sich schwer damit, strukturiert und validiert ihre Annahmen über die Kunden zu testen. Um das zu lösen, setzt Thomas gerne auf den Experiment Tracker.

Das Framework wurde ursprünglich von Ralf Westbrock und Thomas Hartmann während ihrer gemeinsamen Zeit bei Str84wd entwickelt. Es gibt Produktteams eine klare Struktur für das Testen von Business-Ideen vor. Wir haben Thomas zum Ablauf und den Stärken des Experiment Trackers befragt.

Hallo Thomas, erkläre uns bitte in wenigen Worten: Was ist der Experiment Tracker?

Mit dem Experiment Tracker habe ich ein einfaches Tool an der Hand, mit dem ich kritische Annahmen zunächst strukturiere und dann mit konkreten Tests validiere oder invalidiere. Ziel ist es, auf effiziente Art von der kritischen Annahme möglichst schnell zur Entscheidung zu kommen, was wir umsetzen und entwickeln müssen.

Wie genau läuft dieser Prozess ab?

Es ist ein einfacher fünfstufiger Prozess beginnend mit der Identifizierung der kritischsten Annahme, der Definition des Experimentes, dem Festlegen von Kennzahlen und Zielen sowie der anschließenden Synthese des Gelernten und final mit einer Entscheidung, wie wir weitermachen.

Schritt Eins ist: Identifizieren vonAnnahmen. Dafür kannst Du  verschiedene Methoden nutzen. Ich setze gerne den Value Proposition Canvas in Kombination mit einer User Story Map ein. Anschließend werden die  Annahmen, also alle Informationen, die nicht belegt werden können, mit Post-its markiert.

In der Regel hat man danach eine Reihe von Annahmen dazu, wie die Nutzer ein Produkt oder Feature wohl einsetzen werden. Die musst du jetzt testen. Aber in welcher Reihenfolge? Das ist Teilschritt Zwei: Die Priorisierung der kritischsten Annahme.

Wie kann man da vorgehen?

Dafür kannst Du als Inspiration ein Tool wie die Assumption Juice Press einsetzen. Das hilft Dir besser einzuschätzen, mit welchen Annahmen ein Produkt wirklich steht und fällt. Haben wir genug Anhaltspunkte?

Einfach gesprochen bauen die kritischen Annahmen nacheinander auf:

1. Kunden
Existiert dieses Kundensegment mit den dazugehörigen Charakteristiken, Jobs und Problemen?

2. Angebot
Ist unsere Lösung wirklich die richtige Lösung für deren konkrete Probleme, und wie stark ist unser Wertversprechen verglichen zum Markt?

3. Preis 
Werden unsere Kunden dafür Geld zahlen, und welche Preispunkte sind realistisch?

4. Kommunikation
Erreichen wir die Leute auch dort am Besten, wo wir glauben und kommunizieren wir unsere Lösung auch klar genug?

Daraus kann man eine Art Bedürfnispyramide beziehungsweise eine Heuristik ableiten. So ergibt es keinen Sinn sich Gedanken um den Preis zu machen, während noch nicht klar ist, ob es das Kundensegment überhaupt gibt. Ein weiterer Klassiker ist, dass bereits das Angebot als validiert gilt, aber Du eigentlich noch gar nicht die unterliegenden Kundensegmente und -probleme verstanden hast.

In Schritt zwei fragst Du dich: Wie können wir das testen? Reichen Nutzer-Interviews oder müssen wir einen Prototypen bauen? Wenn ja, wie ausgefeilt muss der sein: Reicht ein Klick-Dummy oder müssen wir einen Live-Prototypen bauen? Außerdem musst Du die Kriterien für einen erfolgreichen Test definieren.

Wenn das Experiment steht, ist die Frage: Welche Metriken will ich beeinflussen? Geht es darum Interesse zu messen oder einen gewissen Preispunkt festzulegen?

Zum Thema Interesse achte ich auf die sogenannte “Currency”. Dabei geht es darum, nicht unbedingt Geld als Währung zu erhalten, sondern auch nach der persönlichen Zeit, Daten wie Email-Adressen oder auch dem Social-Proof zu fragen als Zeichen dafür, dass unsere Lösung wertvoll erscheint.

Wenn das alles getan ist, kommt die Execution, also die eigentliche Testphase, in der das Experiment durchgeführt. Danach folgt als letzter Schritt die Auswertung. Meistens läuft es dabei auf eins von drei möglichen Ergebnissen raus.

Welche sind das?

Am seltensten ist es der Fall, den man sich immer wünscht. Nämlich, dass alles genauso ist, wie man es sich vorgestellt hat und man wie geplant weitermachen kann. Das wäre die Option “Persevere”, also “Fortführen”.

Zu selten landet landet man bei der Variante “Kill”. Leider wird ein kritisches Kriterium erfüllt und das Produkt wird nicht funktionieren. Das bedeutet nicht immer, man startet wieder bei Null. Sondern man fokussiert sich auf die anderen, vielversprechenderen Möglichkeiten. Bei IKEA gibt es eine schöne Benchmark, dass bei unter 40 Prozent an ernsthaftem Produktinteresse, die Idee gekillt wird. Da musst Dustreng sein, denn lieber frühzeitig stoppen, als zu lange an einer Idee festzuhalten und Ressourcen zu versenken. Das ist eines der Ziele eines “Lean Experiments”.

Oder, und das ist häufig der Fall zu Beginn, Du landest bei einem “Pivot”, also einem Umschwenken der Strategie. Mit leichten Modifikationen kann das Produkt funktionieren. Im Grunde wiederholst Du damit den Kreislauf jetzt wieder von vorne mit der nächsten kritischen Annahme.

In welchen Situationen bietet sich der Experiment Tracker an?

Der große Vorteil dieses Frameworks ist, dass es nicht zu komplex ist. Erfahrene Produktentwickler kennen diese Abläufe natürlich. Aber in funktionsübergreifenden Teams, in denen auch Leute vom Kundensupport, vom Marketing oder aus Sales dabei sind, hilft das sehr, diese Denke zu vermitteln.

Genauso hilft er jungen oder neuen Teams, die diese Art zu arbeiten noch nicht verinnerlicht haben. In Discovery Sprints ist es gut, wenn Du dich an einer Struktur festhalten kannst. Der Experiment Tracker kann als Canvas ausgedruckt und mit Post-Its versehen werden, oder Du kannst das Ganze in ein Miro- oder Trello-Board übersetzen.

Experiment-Tracker hier als PDF auf deutsch oder englisch downloaden!

Worauf sollten Teams achten, wenn sie den Experiment Tracker einsetzen?

Der häufigste Anfängerfehler ist, zu viele Baustellen auf einmal zu haben. Du testest nicht die kritischste Annahme, sondern gleich zwei oder drei andere mit, weil es auch Zeit spart. Erfahrene und gut organisierte Teams können vielleicht zwei oder drei Annahmen parallel testen. Aber für die meisten Teams ist das frisch und neu. Sie lernen schon bei einer Annahme sehr viel über Kunden, das Produkt und die Methodik. Deswegen sollte man das nicht überfrachten.

Außerdem wird oft vorausgesetzt, dass Kunden und das Problem bereits validiert wurden. Und Teams fangen gleich an den Preis zu validieren und wundern sich dann, warum keiner Zahlen möchte. Ich sehe das allerdings als Chance zum Lernen und beginne gerne auch ein paar Schritte später. In den Gesprächen über die Lösungen können wir auch viel über die Kunden und Probleme lernen. Im Zweifelsfall können wir immer wieder einen Schritt zurück gehen. Das gehört zum Prozess dazu.

Der große Stolperstein ist, die aktuell wirklich kritischsten Annahme zu definieren. Du testet zum Beispiel gleich die Lösung ab. Dabei ist die Value Proposition noch gar nicht klar. Das kann auch erfahrenen Teams leicht passieren. Darum sollten sich Teams immer wieder fragen: “Haben wir das schon gelernt, ist das irgendwo festgehalten?”

Was sind die konkreten Vorteile eines funktionierenden Experiment-Tracker-Prozesses?

Der größte Vorteil für mich ist, dass eine Organisation unglaublich schnell lernt, eigene Entscheidungen zu treffen und diesen zu vertrauen. Das kann man auch messen.

Nach dem dritten Sprint mit dieser Methode lag die Zuversicht, das Richtige zu bauen in einem meiner Teams bei acht von zehn Punkten. Vorher waren wir bei fünf.

Außerdem hilft es, mehrere Stakeholder hinter einem Experiment zu vereinen. Das Tool ist einfach aufgesetzt und schnell erklärt. Die Beteiligten werden quasi gefördert, sich darüber einig zu werden, was jetzt eigentlich Annahmen sind und welche unserer Produktidee jetzt schon gefährlich werden können.

Die Zuversichts-Matrix ist ein Tool, welches Team-Leads hilft sich bewusst damit auseinanderzusetzen, welche Annahme tatsächlich bewiesen ist und gleichzeitig aufzeigt, welche Komplexität des Experimentes Sinn macht.

Außerdem werden wir dazu angehalten, uns vorab auf Zielmetriken festzulegen. In den meisten Teams, die ich kennenlernen durfte, passiert das erst im Nachgang. Dadurch hast du eben eine unklare Ausgangsposition, wenn es dann darum geht, eine Entscheidung zu treffen wie: Sollen wir die Idee töten oder noch einmal eine andere Richtung einschlagen? Auf welcher Ausgangsbasis oder Metrik soll das entschieden werden? Im Endeffekt: Was ist denn nun eigentlich unsere Definition von Erfolg?

Thomas, vielen Dank für das Interview.

In diesem Video erklärt Thomas die Methode noch mal Schritt für Schritt.

Thomas auf LinkedIn

Thomas auf Xing

Fotos: Anna McMaster

Als nächstes lesen: Wie Atlassian mit „Goals, Signals, Metrics“ arbeitet.