Pilot - Productontwikkeling

Wat is een pilot?

In Agile, Basics by Peter

Leestijd: 7 min.

Een pilot is een kleinschalige implementatie van het product, concept of idee om de levensvatbaarheid aan te tonen.

Het doel is om te beoordelen of het geteste succesvol zou kunnen zijn bij een grootschalige implementatie of productlancering. Tevens wordt het idee getest of de geboden oplossing(en) daadwerkelijk als een verbetering wordt gezien. Mogelijke tekortkomingen worden tijdens de pilot geïdentificeerd en vervolgens kan daar actie op worden ondernomen.

Een pilot is een methode die wordt toegepast binnen het proces van productontwikkeling. Een goed uitgevoerde pilot geeft veel inzichten en maakt de kans op succes bij een eventuele uitrol groter. En dat ook nog tegen lagere kosten. De pilot verricht je met name om risico’s te verkleinen.

Een pilot behoort SMART te zijn. Of te wel: Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdsgebonden.

De pilot is een onderdeel van het productontwikkelingsproces en wordt in dit artikel verder toegelicht.

Waarom een Pilot?

Een pilot doe je eigenlijk vanuit een heel eenvoudige gedachte. Je kunt van alles (be)denken, maar de stap naar iets geschikt of bruikbaar maken voor menselijke zintuigen en –handelingen geeft inzichten. Je ontdekt dan van alles, er is daar een mooi spreekwoord voor: “the proof of a pudding, is in the eating”

Wat men onder een pilot verstaat verschilt per organisatie en bedrijfstak. Een (werk)woord wat regelmatig gebruikt wordt is piloting. Zo zijn er pilots die zich richten op het testen van: een fysiek product, bepaalde producteigenschappen, gebruiksgemak, beheersbaarheid interne organisatie en nog veel meer. Een aantal voorbeelden:

Voorbeelden pilots

De mens is al geruime tijd ‘op de planeet Mars’, in gedachten dan. Er zijn al scenario’s om met mensen naar Mars toe te gaan en hoe het er dan uit dient te zien. Maar dat begint toch echt met een ruimtevoertuig te ontwikkelen waar mensen maanden in kunnen verblijven. Ik kan mij voorstellen dat je als astronaut graag ziet dat een idee eerst is uitgeprobeerd en getest.

Een ‘dichter bij huis’ voorbeeld is IKEA. Vermoedelijk is iedereen op de hoogte van producttesten door IKEA. Een voorbeeld hiervan is een keukenlade die 200.000 maal geopend en gesloten wordt, met een gestandaardiseerd gewicht. Voordat het product in de winkel verschijnt. Hoewel dit voorbeeld betrekking heeft op een specifieke functie, weet men ook dat de klant deze vraag nooit op deze manier zal stellen. Een klant vindt het vanzelfsprekend dat een lade blijft functioneren.

Een ander voorbeeld is automatiseringsvraagstuk. Is datgene wat je hebt bedacht ook logisch voor de gebruiker? Begrijpt die wat er van hem gevraagd wordt en als je het concept nu echt toepast als test in de praktijk. Wat vindt de gebruiker er dan van? Is het werkbaar en levert het nu echt de beoogde tijdwinst of de serviceverbetering voor de klant.

Een ander mooi voorbeeld komt uit de voedingsindustrie. Na het bedenken van een mogelijke oplossing voor een specifieke klantvraag. Bijvoorbeeld een nieuw ijsje. Dan zou je meerdere pilots kunnen bedenken. Bijvoorbeeld een smaaktest in de fabriek, een ‘life’ test in een aantal winkels, een schap positie effect, testen met verpakkingen, aankoopbereidheid, een onderzoek naar resultaten bij de kopers etc.

De echte uitdaging van een pilot

Een pilot verricht je primair om (financiële) risico’s te verkleinen. Is de investering van een mogelijk uitrol gering en kan het product geen afbreuk doen aan de beleving van het merk of risico opleveren? Vraag je dan eens af of een pilot wel zinvol is. In de meeste gevallen loont het om de uitdaging van een pilot aan te gaan.

Zoals we allemaal zullen herkennen zal bij grote transformatie of ontwikkel activiteiten een sterke behoefte zijn om ‘ervoor te gaan’.

Een bijzonder fenomeen is dat als er (te)veel management aandacht is voor de pilot, één pilot eerder succesvol is. Vooral als er ego’s gestreeld kunnen worden of men indruk wilt maken. Daar zijn vanzelfsprekend risico’s aan verbonden.

Als de risico’s groter zijn dan is het dringende advies om je niet te richten op één allesbepalende pilot. Hanteer meerdere pilots die zich richten op specifieke onderdelen van de probleemoplossing.

Meerdere pilots of een eerdere uitgevoerde proof of concept maakt al veel duidelijk. Bijzondere aandacht dient uit te gaan naar de dialoog met de managers of stakeholders die bij de pilot betrokken zijn. Want zij dienen actief problemen op te lossen en zorg te dragen voor het delen van verkregen inzichten.  Immers zou je na de pilot tot een grootschalige investering en lancering willen overgaan.

Een pilot die voor de tweede keer wordt uitgevoerd behoort consistent te zijn met de eerste m.u.v. eventuele bewust gewijzigde onderdelen.

Vraag je altijd af of het juiste wel in de pilot is opgenomen, wat er daadwerkelijk is gepilot? En wat de resultaten zijn. Start nooit met een pilot als je op voorhand geen goede metrics hebt afgesproken!

Het nemen van voldoende tijd en meerdere testen verbetert de succesratio enorm. Het bekende ‘slicen’ van implementaties, zoals gebruikelijk binnen agile werken, verkleind het risico in hoge mate.

Denk vooraf inhoudelijk eens goed na over de methode, locatie, cultuur, metrics en de ‘verbeter’ mogelijkheden. Deze worden hierna verder beschreven.

Een pilot als stap in het productontwikkelingsproces

In onderstaande afbeelding staat de pilot als derde stap in een productontwikkelingsproces. Deze volgt op een Proof of Concept (POC) en een prototype en wordt opgevolgd door een MVP. Vanzelfsprekend zijn deze niet verplicht, maar wel handig.

Pilot - productontwikkeling

Wat je regelmatig waarneemt is dat een Minimum Viable Product vaak de eerdere stappen heeft geïntegreerd. In dit artikel zijn bewust de diverse traditionele stappen uit elkaar getrokken, omdat het dan mogelijk is om een beter inzicht te verstrekken.

Dus voordat je start met een pilot is het raadzaam om de eerdere stappen doorlopen te hebben.

5 stappen in een pilot

De vijf stappen zijn: 5W2H, een plan, uitvoering, evaluatie en de beslissing. Deze stappen worden nu beschreven:

1. De 5W2H methode

De 5W2H staat voor Wie, Wat, Waarom, Wanneer en Waar. De 2H’s staan voor hoe en hoeveel (geld).  In het artikel Wat is de 5W2H-methode? kan je alles over deze methode lezen.

De kern voor het uitvoeren van een pilot is dat je nadenkt is hoe de pilot geborgd wordt in de organisatie. Dit gaat dus zeker over mogelijke impact, sponsors, doelgroepen, technische vereisten etc.

2. Maak een plan en hanteer metrics

Pilots richten zich op innovatie. De onderwerpen kunnen zoals in de voorbeelden al aangegeven enorm verschillen, er is dus geen one-size-fits-all mogelijk.

Voor het plan kunnen per organisatie allerlei verschillende vereisten zijn. In hoofdlijnen is het echter altijd hetzelfde, het plan geeft antwoorden op de volgende vragen: inhoud, planning en uitwerking. Om je op weg te helpen een aantal standaardvragen:

  • Wat is het doel van de pilot?
  • Waar komt het idee vandaan?
  • Wat test je wel?
  • Wat test je niet?
  • Wie zijn de stakeholders?
  • Wat levert het de organisatie op?
  • Levert de pilot voldoende inzichten?
  • Waarom wil je dit?
  • Wat levert het op?
  • Waarom is het belangrijk?
  • Wat gaat je doen in de pilot?
  • Wat heb je nodig van anderen?
  • Welke metrics hanteer je?
  • Welke teams leveren een bijdrage?
  • Wat hebben die teams te leveren?
  • Welke klanten of gebruikers betrek je?
  • Wat is het eindproduct?
  • Welke tijdsperiode?
  • Aan wie presenteren we het resultaat?

Het spreekt voor zich dat je het visueel maakt, zeker bij agile werken. Het is echt niet de bedoeling dat je een dik rapport maakt. Je wilt mensen graag meenemen in jouw verhaal.

Welke wijze van beschrijving je ook kiest: maak het leesbaar en overzichtelijk. Gebruik bij voorkeur geen jargon, hoe helderder de beschrijving is hoe minder onduidelijkheden en misverstanden. 

Een belangrijke voorwaarde is dat als je beslist wat je wel test, ook heel duidelijke keuzes maakt in wat je niet test. Dit is een veel gemaakte fout, het niet aangeven van grenzen zorgt ervoor dat een pilot uiteindelijk afgesloten wordt met een vergaarbak met niet sluitende of elkaar tegensprekende data.

Wellicht ten overvloede: een pilot zonder vooraf gedefinieerde metrics is zinloos. Het team creëert een dashboard waarmee ze de voortgang kunnen monitoren en delen!

Tot slot, maak het geheel SMART! Dit begrip is zo bekend dat deze alleen voor de volledigheid nog even zal worden herhaald: Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdsgebonden.

3. Uitvoering

Vanzelfsprekend richt je je op de klant of gebruiker, dat is een no-brainer. Interessanter zijn echter de volgende tips:

  • Hou je aan de scope! Verander gemaakte afspraken of doelstellingen tussentijds niet. Je hebt gedefinieerd wat je test, verander de definities niet. Ga de pilot inhoudelijk dus niet enorm veranderen!
  • De traditionele methode verbiedt zelfs tussentijdse veranderingen, een agile methode kiest echter voor tussentijdse aanpassingen. 
  • Het advies is om goed na te denken of je niet veel beter een pilot kunt beëindigen en een nieuwe opstarten dan wijzigingen doorvoeren waardoor de meetbaarheid verdwijnt.
  • In geen enkel geval mag het doel van de pilot wijzigen, start dan een nieuwe pilot met de daarbij bijbehorende metrics. 
  • Hanteer een dashboard. Blijf je focussen op de juiste metrics, die er echt toe doen.
  • Creëer een feedbackloop, wat werkt wel en wat werkt niet.
  • Hanteer geen aannames en hou het beschikbare budget in scope.

Neem de tijd, zorg ervoor dat de doorlooptijd niet te kort is om de juiste inzichten te verstrekken. Maar hanteer ook een einddatum, anders blijft een pilot veel te lang voortbestaan. Zijn in jouw organisatie ‘pilots’ die heel lang doorlopen en niet meer gaan stoppen? Het niet meer kunnen stoppen is vaak een voorbeeld van energie- en geldverspilling in een organisatie. 

4. Evalueer de resultaten

En dan ga je evalueren. Als het goed is beschik je over heel veel data, maar dat dient informatie te worden. Welke inzichten heb je? Wat heeft gewerkt, wat niet? Welke informatie uit andere pilots komen overeen of spreken elkaar juist tegen.

Een evaluatie doe je samen met de betrokkenen. Vraag eens goed door, lees voordat je gaat evalueren nogmaals bovenstaande ‘echte’ uitdaging van de pilot door.

5. Beslissing

En dan is het tijd voor de beslissing. Accepteer dat de resultaten van de pilot zeer teleurstellend kunnen zijn. Het is een feit dat de meeste pilots niet succesvol zijn.

Door het uitvoeren van de pilot heb je echter veel geleerd. De kennis is gedeeld en goed bruikbaar voor een volgend idee of pilot. Een organisatie toont zijn kracht als een mislukte pilot niet leidt tot het zoeken van een zondebok, maar de organisatie er alles aan doet om juist het geleerde te waarderen en teams blijvend uit te nodigen om te innoveren. 

In een beperkt aantal cases blijkt dat de pilot zo succesvol is dat zonder verder aanpassingen de volgende stap mogelijk is. Dan onderzoek je deze mogelijke vervolgstappen. Ontbreekt er nog informatie, wat ga je dan doen?

Kan de organisatie al worden ‘ingericht’ om de lancering mogelijk te maken? Of kiest men toch liever voor een Minimum Viable Product? methodiek.

Tot slot

Een pilot zet je in om te leren in de praktijk! Je neemt de bevindingen uit deze stap mee naar een mogelijke vervolgstap.

Er zijn heel veel verschillende pilots, de overeenkomst is dat ze allen in de praktijk getoetst worden. Waarbij feedback de belangrijkste opbrengst is.

Het uitvoeren van een goede pilot is iets heel anders dan het verkrijgen van een goed resultaat. De focus dient derhalve te liggen op het hebben van een zuivere pilot, waarvan de resultaten gebruikt kunnen worden en geschikt zijn voor de te nemen beslissing.

Nog even een overzicht van methodes voor productontwikkeling:

  • Een Proof of Concept laat zien dat het gemaakt kan worden.
  • Een prototype laat zien hoe het gemaakt  is.
  • De pilot is een kleinschalige  implementatie van het product, concept of idee om de levensvatbaarheid aan te tonen.
  • Een MVP vraagt aan potentiële gebruikers of ze jouw productidee nodig hebben of niet. En daarbij onderzoek je tegelijkertijd of je de juiste kernwaarden aanbiedt.

In een complexe omgeving is het overigens de vraag of een pilot op traditionele wijze wel kan worden uitgevoerd. De omstandigheden veranderen daar te vaak en te snel om een zuiver beeld te krijgen. Daar krijgen agile methodieken als Design Thinking, Lean Coffee en Minimum Viable Product vaak de voorkeur.