Een experiment canvas is een 1-pagina methode waar je jouw belangrijkste hypothese of aanname gaat onderzoeken door middel van een experiment.
De grondlegger van het experiment canvas is Ash Maurya, Ash heeft veel publicaties op zijn naam staan en wordt regelmatig geciteerd in artikelen van agile goeroes.
Ash Maurya stelt dat de meeste start-ups falen. Niet omdat het product slecht is, maar veelal omdat (een onderdeel van) het businessmodel niet goed is. Het business model canvas van Alex Osterwalder helpt je om een goed beeld van het business model te krijgen, maar Maurya meende dat er een specifieke aanvulling nodig was.
Het experiment canvas is afgeleid van het business model canvas, maar dient dus een ander heel belangrijk doel. Het experiment canvas heeft als doel het voorkomen van verkeerde aannames of hypotheses, waarbij men de ‘verkeerde oplossing’ voor de klant als uitgangspunt blijft nemen.
Een experiment canvas is dus een geschikt hulpmiddel om op voorhand te onderzoeken of je wel het juiste voor ogen hebt en daartoe een experiment op het juiste moment inzet en daarbij het juiste gesprek voert.
Dat doe je in het experiment canvas door de hypothese om te draaien, wat is jouw meest risicovolste aanname, ook wel riskantste aanname? In het Engels noemt men dit falsifiable hypotheses.
In dit artikel wordt het experiment canvas van Ash Maurya beschreven.
De valkuil van aannames
Je weet het zeker, dit is het beste idee wat we ooit hebben gehad! Dat voel je, je weet het echt de volle 100% zeker, want je barst van de energie. Dit kan niet mislukken en we moeten vandaag nog aan de slag we hebben geen tijd te verliezen! Heerlijk om direct deze uitdaging aan te gaan. Toch?
Maar wat als jouw belangrijkste aanname de verkeerde is en als daar je pas na geruime tijd achter komt? Naast de frustratie die dan later ontstaat is de kans is zeer groot dat je niet succesvol zal zijn. Dit geldt zeker voor een start-up, maar hetzelfde geldt natuurlijk ook voor reguliere agile werkomgevingen.
Het experiment canvas gaat uit van de wetenschappelijke benadering dat iets pas ‘’waar’ is als ook de ‘onwaar’ kan worden bewezen. De meeste experimenten starten met een hypothese die volgens de inbrenger als ‘waar’ wordt gezien. Dat levert direct al ruis op. Men gaat immers op zoek, naar datgene wat men bevestigd wilt zien.
Stel je nou eens voor dat je een nieuw fantastisch productidee hebt.
Makkelijk voorbeeld, want je bent ondernemend. Een fantastisch idee, want je hebt geloof in jezelf en weet je zeker dat jouw aanname klopt. Maar heb je dat ook onderzocht op de juiste wijze? Of blijft het bij gevoel? Stel je nu eens voor dat de belangrijkste aanname die je doet niet correct is? Durf jij het aan om samen met het team de (klant)vragen te stellen?
Want één ding is slechts zeker: als je pas na verloop van tijd ontdekt dat het idee gebaseerd is op een verkeerde aanname er veel tijd en energie verloren is gegaan.
Om dit te voorkomen gebruik je het experiment canvas. Met behulp van het experiment canvas valideer je de meest risicovolle aanname snel en goedkoop.
Een experiment canvas hanteert feiten!
De uitdagingen van een canvas
Canvassen zijn bedoeld om snel inzichten te creëren, canvassen dwingen je om concreet te worden en je te baseren op feiten!
Op 1 pagina een totaalbeeld, wie wilt dat nu niet? Helemaal niemand heeft zin om een dik rapport te lezen, waar zeer uitgebreid een business idee, experiment of wat dan ook wordt uitgelegd. Vaak wordt het idee daardoor zelfs diffuus.
Dat feiten ‘lastig’ kunnen zijn weten we allemaal. Dus voordat het experiment canvas inhoudelijk wordt toegelicht, volgen eerst 4 belangrijke uitdagingen: de HiPPO, succesverhalen, agile values en wetenschap.
Alle voorgenoemde uitdagingen zijn bepalend voor het slagen van de experiment canvas en vrijwel alle andere canvassen.
Pas op voor de HiPPO!
Het grootste gevaar van het opstellen van een canvas is dat het team op zoek gaat naar consensus, wat tot groepsdenken kan leiden. Dit zou vooral kunnen plaatsvinden als er een HiPPO aanwezig of bij betrokken is.
Het begrip ‘HiPPO’ is een bekend begrip en wordt gehanteerd bij Amazon, het staat voor Highest Paid Person’s Opinion.
Zodra de HiPPO in de ruimte is, bestaat het risico dat de te verwachten uitkomst van het expriment is beïnvloed door de HiPPO.
Het canvas is echter een hulpmiddel om lekker stevig met elkaar de discussie aan te gaan. Later in dit artikel wordt een teamaanpak beschreven.
Pas op voor succesverhalen!
Iets wat we allemaal herkennen is dat succesverhalen achteraf zeer uitgebreid worden beschreven, wat de aannames waren tot en met de huidige succesvolle posities.
Ondernemers zijn namelijk heel goed in staat om datgene wat succesvol is geweest haarfijn uit te kunnen leggen. Maar, waar en wanneer hoor je over het idee dat hopeloos is misgegaan. Wanneer hoor je dat het fantastische idee gekaapt is door anderen, omdat het idee zo gemakkelijk te kopiëren was?
Eerder gemaakte canvassen worden veelal niet getoond, een recente canvas waar alles lekker ‘past’ zie je wel voorbij komen. Soms zijn deze canvassen zelfs achteraf gemaakt door derden, die het succes in een ‘eigen’ canvas plaatsen.
Kortom, neem het initiatief en zorg ervoor dat het jouw (team) canvas is. Een canvas voor jouw idee of het teamidee waarbij je bewust op zoek gaat of de aanname ook fout kan zijn.
Agile Values
Bij experimenteren gaat het eigenlijk over het hanteren van een wetenschappelijke methode en agile values! In deze paragraaf de agile values, in de volgende paragraaf de wetenschappelijke methode.
Een canvas invullen lijkt zo gemakkelijk, het invullen van de woordjes in een schema kunnen we allemaal. Het gaat echter om het juiste diepgaande gesprek, de durf om elkaar te ‘challengen’. Gebaseerd op feiten!
Het experiment canvas gaat het specifiek om het opzetten van een experiment. Experimenteren met je belangrijkste hypothese vraagt om lef.
Nogmaals: LEF! Het antwoord van de klant zo je wel eens niet kunnen bevallen. Maar wees eens eerlijk. De belangrijkste beperking die je hebt is tijd. Jazeker: tijd en in tegenstelling tot wat de meesten denken niet om geld.
Investeerders kijken immers vooral naar het idee en de persoon met het idee. Bedenk eens waarom de volgende vraag van een investeerder soms zo slecht beantwoord wordt: wat maakt jou idee uniek? Ook investeerders kijken naar het risico en de verrichte onderzoeken. Het op voorhand toetsen van de falsifiable hypotheses toont kracht.
Canvassen zijn ook heel agile, het vraagt om de agile values toe te passen. Denk nog even aan: commitment, courage, focus, openess en respect! Ook een goed experiment canvas komt alleen met de juiste agile mindset komt tot stand.
Wetenschappelijke methode
Uit de wetenschappelijke methode weten we dat experimenten gefalsificeerd moeten kunnen worden (geschreven als verklaringen waarvan duidelijk kan worden aangetoond dat ze fout zijn) om ze duidelijk gevalideerd of ongeldig verklaard te kunnen worden. Ze moeten ook in een tijdskader worden geplaatst.
Volg de 6 stappen:
- Bepaal een hypothese
- Ontwikkel een testomgeving voor de hypothese.
- Voer het experiment gedurende een bepaalde tijd uit.
- Meet en verzamel de gegevens van de lopende tests
- Leer door de gegevens te interpreteren
- Herformuleer de hypothese en start een nieuw experiment, indien nodig.
Met de kennis over de 4 uitdagingen behorend bij een canvas ben je al een flinke eind op weg. De volgende vraag is dan hoe gebruik je het experiment canvas?
Hoe kwam het experiment canvas tot stand?
In onderstaande afbeeldingen zie je in hoofdlijnen hoe het experiment canvas tot stand is gekomen. Dit van belang om de waarde van het experiment canvas goed te kunnen inschatten.
Als eerste zie je de business canvas van Alex Osterwalder. Zie voor de volledige toelichting van dit canvas het artikel: business model canvas.
De eerste variant om te komen tot het experiment canvas was een aanpassing op bovenstaand model.
De aanpassing van het business model canvas door Ash Maurya heeft mede geleid tot het Lean canvas, welke op korte termijn door mij beschreven zal worden. Maar was ook een tussenstap naar het experiment canvas.
In bovenstaand model bleek namelijk de Unfair Advantage (het oneerlijke verdedigbare voordeel op de concurrentie) lastig te bewijzen en te definiëren te zijn. Daartoe bedacht Ash Maura het volgende concept.
In bovenstaand concept zie je direct dat het unfair advantage vervangen is door Falsifiable Hypotheses. Dit concept heeft geleid tot het volgend model.
Hoe gebruik je het Experiment canvas?
Je gebruikt daarbij bovenstaande afbeelding. Daarbij start je met de meest risicovolle aanname. De nummers in de afbeelding komen overeen met onderstaande paragrafen.
1. Meest risicovolle aanname
De ‘riskiest assumption’ is terug te brengen tot 2 hoofdvragen:
- Wat is de meest risicovolle aanname die je wilt valideren?
- Waarom is dit zo belangrijk?
Dit vraagt dus om lef, wat is jouw grootste zorg? Dit is echter ook het moment voor het team!
Challenge everything!
Deze uitdaging is namelijk idealiter een teamsport: met elkaar de aannames doorlichten. Het helpt om daarbij de meest verschrikkelijke uitdaging of bedreiging te bedenken van het voorliggende idee. Doe geen aanname, ook al lijkt wellicht het aangereikte inderdaad de ‘meest risicovolle aanname’, waarom zou je dit aannemen?
Ga samen op zoek naar de aanname die het meest risicovol is. Bijvoorbeeld door te brainstormen en door te vragen met behulp van de 5x waarom methode.
2. Falsifiable Hypothesis
Falsifieerbaarheid of falsificeerbaarheid is een eigenschap van een wetenschappelijke of andere theorie, indien er criteria kunnen worden aangegeven op grond waarvan de theorie zou moeten worden verworpen. Bron: wikipedia.
Jouw hypothese is een stelling die volgens jou (on)waar is over je meest risicovolle aanname. Het bekendste voorbeeld is: ‘Alle zwanen zijn wit’. Dit is een bewering die niet alleen falsifieerbaar is, maar ook daadwerkelijk onjuist is, omdat het bestaan van zwarte zwanen (de antithese) kan worden bewezen.
Beschrijf de verwachte resultaten vooraf, dus voordat je met het onderzoek start. Hanteer hiervoor een goede inschatting, ga niet proberen de werkelijkheid te definiëren. In het boek: ‘The Lean Startup’ beschrijft Eric Ries wat er dan gebeurt:
Als je gewoon van plan bent om te zien wat er gebeurt, zul je altijd slagen in het zien van wat er gebeurt, omdat er gegarandeerd iets gebeurt.
Eric Ries, The Lean Startup
Als je deze stap samen doet met teamleden in een agile team, dan is het beste om de leden eerst de individuele inschatting te laten maken. Daarna de inschattingen met elkaar te vergelijken en het juiste gesprek er over te hebben. Steekwoorden: post-its, brown paper of remote en agile werken.
Een fun element wat kan bijdragen aan een ontspannen sfeer is een kleine prijs (zak snoep/wortels o.i.d.) in het vooruitzicht te stellen voor de schatting die, na het experiment, het dichtste bij het gemeten resultaat lag.
Dit fun element is tegelijkertijd een leerelement, want een team zal daardoor reflecteren op de eerder gemaakte inschattingen.
Waarom is de hypothese vaststellen zo lastig?
Bij het vaststellen van deze hypothese laat je dus zeker niet beïnvloeden door de HiPPO of andere stakeholders. Maar er zijn andere redenen die eigenlijk veel meer impact kunnen maken.
Bespreek met het team dat er 2 diepgewortelde beweegredenen zijn om een gewenste uitkomst niet van te voren te beschrijven:
- Deelnemers zullen altijd vinden dat ze niet genoeg informatie hebben.
- Wie wil nu ongelijk krijgen?
En helemaal niet als bewezen wordt dat het glorieuze doel of idee dat men wilt realiseren mankementen vertoond. De kracht van het uitvoeren van een experiment is juist dat de inbrenger van het idee zich kwetsbaar opstelt.
You need to accept the fact that you will never have perfect information AND that you need to make these kinds of predictions any way.
Ash Maurya
Dit kan pijn doen! Schets dan maar eens hoeveel pijn het zou kunnen doen als men na een aantal maanden pas tot de ontdekking komt dat al het werk voor niets is gedaan!
Waarom zou je dan toch jouw idee willen inbrengen? Omdat de beloning van het gelijk krijgen na een bewezen experiment je wellicht een geweldige voldoening geeft. Maar eigenlijk, omdat je de organisatie enorm veel tijd en geld hebt bespaard door niet als een Don Quichot te gedragen.
Voorbeeldzin voor hypothese
De allergrootste uitdaging is dus om de falsifiable hypotheses uit de ‘geloofsovertuiging’ te krijgen. De meeste teams die deze exercitie voor de eerste keer doen, vinden het een enorme uitdaging om een vage theorie of overtuiging te laten valideren op het mogelijke antwoord: fout!
Een goede methode hiervoor is de volgende zin:
‘If we do X, we expect the result Y having the impact Z’
Een betere benadering is de voorbeeld formule bestaande uit 3 delen:
- de (specifieke testbare actie)
- realiseert een (specifieke meetbare uitkomst)
- binnen (bepaalde tijdsduur).
Een simpel voorbeeld: (Ik geloof dat) het schrijven van dit artikel, resulteert in meer dan 10 reacties, binnen een week.
3. Experiment setup
Om te kunnen zien of een experiment werkt, moet je het idealiter kunnen benchmarken met een eerder vastgesteld gegeven, een controlegroep of indien mogelijk gebruik te maken van een ABC-test. Kijk goed welke data al beschikbaar is en wat je daarmee kunt.
Het begint met het team de volgende vragen te laten beantwoorden:
- Wat is het prototype of testmethode waarmee jullie willen gaan testen?
- Wat zijn de belangrijkste variabelen en metrics die gehanteerd gaan worden?
- Is het een kwalitatief of kwantitatief experiment?
Vanzelfsprekend dient het experiment goed te worden opgezet, voor dit artikel ligt de focus op het beschrijven van het experiment canvas en niet of de wetenschappelijke experiment methode correct word toegepast.
Als je twijfelt (als team) of het experiment goed wordt opgezet, laat je dan begeleiden.
4. Resultaten – Results
Dit lijkt vaak een gemakkelijke stap, men verwerkt de kwantitatieve en/of kwalitatieve data die uit het experiment komen.
Als je dit door één persoon laat voorbereiden let dan wel een beetje op of alle resultaten objectief en inhoudelijk goed verwerkt en geregistreerd worden. Het is namelijk het bronbestand voor een interessante discussie.
Idealiter vlieg je het wat meer agile aan, je laat de teamleden eerst de bevindingen vanuit zichzelf delen (bijv. post-its) om daarna de gezamenlijke discussie te voeren over de resultaten.
Ook hier moet je goed opletten of er geen stokpaardjes als resultaat worden ingebracht. Hou het team bij de geconstateerde resultaten uit het experiment.
5. Conclusie – conclusion
Vat de bevindingen samen.
Let ook hier weer op de HiPPO of anderen die zich niet bevestigd zien in hun aannames. Blijf dicht bij de concrete resultaten en focus je op het wetenschappelijk uitgangspunt. Je hebt 3 mogelijkheden:
- Is er sprake van validatie of
- Verwerping van de hypothese of
- Niet in staat om op basis van de resultaten een conclusie te trekken.
Ga niet voor ’tussen’-varianten en let op dat er niet gekozen wordt voor ‘geen conclusie’, omdat het geconstateerde resultaat als antwoord niet bevalt.
6. Next steps
In de next steps bespreek je met het team: wat te doen en daarin heb je wederom 3 keuzes:
- Gaat men door?
- Wordt de aanname bijgesteld en/of
- Doe je het experiment opnieuw?
Het experiment canvas stelt dat je keuze baseert op feiten uit het experiment.
Canvas ingevuld!
Als het volledige canvas is ingevuld, wat overigens dus enige tijd kan duren, omdat je data gaat ophalen. Heb je een goed beeld of het idee realistisch haalbaar is of nog aanpassingen behoeft. Het is immers gefundeerd door feiten.
Tot slot
Tijdens het schrijven van dit artikel kwam ik een mooie variant van dit canvas tegen. Deze variant richt zich met name op het vinden en uitwerken van de risicovolle aanname. Hiertoe zal op korte termijn een ander artikel verschijnen. Dan vind je hier een link naar dat artikel.