Resultaten meten

Afgelopen week had ik een bespreking over een wereldwijd trainingsprogramma waarin onder andere gevraagd werd over het meten van de effectiviteit van training. Achteraf gezien heb ik voor mijn gevoel in dat gesprek teveel gesproken over hoe lastig dit kan zijn en te weinig over wat wel allemaal mogelijk is. Dat het lastig is komt omdat er binnen bedrijven niet veel met gedetailleerde prestatie metingen gewerkt wordt.

Het meten van het effect van een trainingsprogramma is sterk afhankelijk van de omgeving. De alom bekende "happy sheets" (officieel heten ze evaluatieformulieren) die aan het einde van een programma ingevuld worden geven vaak alleen feedback over hoe de training door de participanten ervaren werd maar zegt niets over het uiteindelijke effect in het dagelijkse werk.

Om het effect in het werk te meten is het nodig om met objectief meetbare gegevens (KPI's) te werken. Voor het trainingsprogramma zelf is dat vaak goed te doen. Uit de prestatie kloof analyse blijkt duidelijk wat de huidige en de gewenste situatie is. Door de gewenste situatie in duidelijk observeerbare termen te beschrijven kun je het programma heel concreet maken. Je kunt, aan de hand van die observeerbare termen, aan het einde van de training vaststellen of de participanten de kennis en vaardigheden hebben. Of dit in de praktijk tot de gewenste resultaten leidt is een andere vraag.

De praktijk

Er zijn andere factoren die de uiteindelijke prestaties beïnvloeden. Hier zijn er een paar:

• Heeft de manager met de medewerkers gesproken over het doel van de training? Is dit doel geplaatst in het grotere kader van het doel van de gehele organisatie? Zijn de medewerkers "gestuurd" of zijn ze intern gemotiveerd om iets te leren? Weten ze wat de manager van ze verwacht na afloop van de training?
• "What's in it for me?" Is de medewerker overtuigd van het doel van de nieuwe manier van werken? Wat is het "verhaal" achter de training?
• Is het nieuwe proces medewerker "vriendelijk". Is er een goede balans tussen het theoretisch optimale proces en de dagelijkse praktijk? Zijn de stappen logisch?
• Hebben de (ervaren) medewerkers invloed gehad op het nieuwe proces?
• Zijn er "incentives" zoals verkoop commissie of tijdsdruk die het nieuwe proces tegen werken?
• Welke escalatie procedures zijn gedefiniëerd. Weet de medewerker hoe en vooral wanneer om te gaan met een probleem of onverwachte situatie? Weet de medewerker wat het domino effect kan zijn in de de rest van de organisatie als het nieuwe proces niet juist gevolgd wordt?
• Hoe worden fouten of problemen terug gekoppeld naar de medewerkers? In een project, een paar jaar geleden, bleek dat een andere afdeling de gemaakte fouten corrigeerde. De afdeling waar de fouten gemaakt werden was zich van geen kwaad bewust.
• Zijn er duidelijke prestatie meetpunten (KPI's) vooraf vastgesteld en hoe worden die gedurende en na de omstelling gemeten? Dit is vaak de beste methode om de resultaten te meten en om als doel van de meting te definiëren. Bijvoorbeeld hoe lang duurde iets vroeger en hoe lang nu. Kan de kwaliteit van het werk objectief gemeten worden? Zijn de escalaties of klachten afgenomen en zijn er geen onbedoelde oorzaken dat ze zijn afgenomen b.v. minder klachten omdat de klant gewoon afhaakt en ergens anders heen gaat?
• Komt de medewerker, terug op de werkplek, meteen in de nieuwe situatie of is de training te vroeg gegeven? Indien de medewerker pas maanden na de training voor het eerst geconfronteerd wordt met de nieuwe manier van werken zal het meeste al weer zijn vergeten.
• Hoe wordt de medewerker na afloop van de training begeleidt? Zijn er wekelijkse één op één gesprekken waarin gesproken wordt over de nieuwe situatie en hoe de manager kan helpen bij de transitie.
• Hoe kunnen de medewerkers ervaringen en feedback met elkaar en de projectmanager delen? Is er b.v. een wiki of een MS SharePoint domein waar suggesties, ideeën, problemen en oplossingen met elkaar gedeeld kunnen worden?
• Het objectief meten van prestaties van medewerkers gebeurt lang niet op alle afdelingen. In dat geval kun je na 1 tot 3 maanden met een feedback formulier (niveau twee uit de vier niveau's van Kirkpatrick) de "resultaten bepalen". In de praktijk is het aantal feedback formulieren dat ingevuld wordt vaak bedroevend laag waardoor de resultaten niet statistisch significant zijn. In dat geval gebruik ik de subjectieve ervaringen en feedback van de managers tijdens de training teleconferenties of in evaluatie gesprekken.