De meerwaarde van een uitgebreide training analyse

De training analyse is nog vaak een ondergeschoven kindje en veelal blijft de analyse beperkt tot een gap-analyse. Bij de Gap-analyse wordt gekeken naar de kloof die er is tussen de huidige kennis en vaardigheden en wat er aan kennis en vaardigheden nodig is voor het correct uitvoeren van een taak.

Als je echter met een performance perspectief naar het geheel kijkt dan blijkt al snel dat deze beperkte training analyse weliswaar precies de juiste informatie geeft voor het ontwikkelen van een trainingsprogramma, maar dat daarmee niet altijd de juiste oplossing naar voren komt.
Er kan zo een situatie ontstaan waarbij training juist bijdraagt aan het in stand houden van een onderliggend probleem. Door het natuurlijke verloop van medewerkers of het verslappen van de aandacht, moeten dan steeds weer opnieuw trainingen en opfris cursussen georganiseerd worden.

Als voorbeeld geef ik hier een situatie van enkele jaren geleden. Het bedrijf ontwikkelde zelf software voor de financiële markt. Bij de ontwikkeling van de software was veel aandacht besteed aan de gebruikersfunctionaliteit, maar relatief weinig aan aan het installatie en configuratie gedeelte van het pakket.

In het test-lab, werd de installatie, configuratie en algemene werking van de software getest op geprepareerde computers. Hier draaide alléén deze software en er waren geen problemen.
In de praktijk waren er echter legio installatie problemen omdat de software nu op bestaande computers bij klanten moest draaien. De installaties bij klanten waren een ramp. Het lukte slechts enkele top-engineers, met veel experimenteren, om de software goed te installeren/configureren. De begrootte installatietijd werd vaak met een factor van 400 à 500% overschreden om maar niet te spreken over de indruk die de klanten kregen, de vertragingen, specialisten die overuren moesten draaien en de reputatieschade.

Tijd om training erbij te roepen! De opdracht leek duidelijk. Zo snel mogelijk een expert-cursus opzetten voor ongeveer 50 engineers om de problemen het hoofd te bieden. Dit probleem deed zich echter niet allen bij ons voor, maar over de hele wereld, en wereldwijd moesten ongeveer 1500 engineers getraind worden.

Indien elke training manager in zijn/haar land alleen de Gap-analyse gebruikt, krijg je een situatie waarbij er in al deze landen gelijkwaardige trainingsprogramma's ontwikkeld en uitgerold worden voor in het totaal ongeveer 1500 medewerkers. Samenwerking tussen de landen kan al een enorme winst opleveren omdat het trainingsprogramma dan maar één keer ontwikkeld hoeft te worden. Per land kan men dan nog kiezen om het generieke trainingsprogramma te vertalen naar de lokale taal.

Kijken we naar het onderliggende probleem, dan blijkt dat er nu in de laatste én duurste fase van het project naar een oplossing gezocht wordt. Het rapport van IBM & Bender (pagina 24) laat helder zien hoe de kosten per fout oplopen naarmate men verder in het project gevorderd is.

Op dit moment moet er iets gedaan worden en mogelijk in de vorm van een training. De training zou echter heel kort en bondig moeten zijn zodat men in het veld vooruit kan, maar je kan ook denken aan het goed documenteren van een tijdelijke work-around, het maken van een installatie shell/script om de diverse installatie parameters goed te berekenen en in te voeren. Met andere woorden, de oplossing hoeft niet per se een cursus te zijn.

Wel moet meteen een terugkoppeling plaatsvinden naar het design en coding team met een berekening van de extra kosten die bij alle Business Units ontstaan zijn als gevolg van deze ontwerp fout. Hiermee krijgt de manager van het design en coding team de informatie die nodig is om een goede kosten/baten analyse voor te leggen en (tijdelijk) resources vrij te maken voor het, aan de bron, oplossen van het probleem.

Heeft Kirkpatrick een aanvulling nodig?

Management samenvatting.

Meer dan 50 jaar geleden publiceerde Donald L. Kirkpatrick, Professor Emeritus aan de Universiteit van Wisconsin, zijn 4 evaluatie niveaus met het doel trainingen te verbeteren en inzicht te krijgen in de effecten van training op de organisatie. Deze methode verzamelt gegevens aan de hand van evaluatieformulieren. Nadelen van deze methode zijn de zelfrapportage, de administratieve rompslomp en de terugkoppelvertraging die tussen de 6 en 12 maanden kan liggen.

De tijd die medewerkers besteden aan het zoeken naar informatie en oplossingen zonder een goed kennismanagement platform ligt gemiddeld tussen de 15% en 25% van de effectieve werktijd. Een actief intern vraag en antwoord platform helpt medewerkers sneller de juiste informatie te vinden en oplossingen voor problemen waar zij tegenaan lopen. Hierdoor wordt de oplossingstijd sterk gereduceerd en worden de oplossingen iteratief van een hoger kwaliteitsniveau.

Een veelal onbenut aspect van een actief vraag en antwoord platform zijn de statistische gegevens. Deze gegevens kunnen een schat aan informatie opleveren over knelpunten in de organisatie en kennisrisico's. Deze methode is radicaal anders dan de door D. Kirkpatrick gebruikte evaluaties, maar de doelstellingen zijn hetzelfde. Het grote voordeel van deze methode is dat er geen zelfrapportage is en dat de signalen voor het bijsturen van de strategie, processen, work-flow, ICT en trainingsprogramma's in real-time zijn.

Kirkpatrick

Even een kort overzicht van de tot nu toe veel gebruikte Kirkpatrick evaluatie niveaus.

• De directe reactie, meteen na de training (ook wel happy sheet genoemd)
• Wat er geleerd is. Meestal een paar maanden na de training.
• Welke verandering (in gedrag) is er. Hierbij kan b.v. een 360° evaluatie gebruikt worden.
• Het effect op de organisatie. Hiervoor kan b.v. een performance rapportage gebruikt worden.

In de praktijk vergt deze evaluatie methode veel administratief werk en lopen de gegevens achter.

Kennismanagement

Kennismanagement houdt zich bezig met het organiseren en beschikbaar stellen van de kennis binnen een organisatie en/of aan klanten. Men kan kennismanagement grofweg in twee categorieën splitsen. Het “aanbod” gestuurde model en het veel minder gebruikte “vraag” gestuurde model.

Bij het traditionele “aanbod” gestuurde model wordt eerst een kennisinventarisatie gemaakt en krijgen geselecteerde medewerkers de opdracht hun kennis in een systeem op te slaan. Om deze kennis actueel te houden wordt de kennisinventarisatie regelmatig herhaald en is er behoorlijk wat managementsturing en overreding nodig.

Bij het “vraag” gestuurde model voor interne medewerkers bestaat nog steeds de mogelijkheid om bepaalde kennisdomeinen op basis van een inventarisatie te vullen, maar de focus komt te liggen op vragen uit de praktijk van alle dag.

Bij een extern “vraag” gestuurd kennismanagement platform voor klanten zitten veel raakvlakken met Social Media. Het is een belangrijke bron voor het continu verbeteren van de producten en services. Een goede controle over de inhoud, redactie en kwaliteit is hierbij van groot belang.

Vraaggestuurd kennismanagement

Hier kunnen medewerkers zoeken naar informatie of een antwoord, op een vraag die zij hebben. Als het antwoord er niet bij staat kunnen ze zelf een vraag stellen. Collega's kunnen daarop reageren. Doordat medewerkers kunnen reageren op elkaars antwoorden ontstaan vaak nieuwe ideeën en oplossingen en worden bestaande oplossingen iteratief beter.

Voordelen:

• Er komen vragen en antwoorden waarvan je van te voren nooit gedacht was dat deze zouden leven.
• Antwoorden is vaak eenvoudiger en sneller dan het schrijven van een nieuw kennisartikel.
• De beste oplossingen komen naar voren.
• Iemand die een vraag beantwoordt leert vaak zelf ook weer van andere antwoorden.
• Experts op een bepaald gebied worden zichtbaar op basis van hun antwoorden.
• Vragen en antwoorden leiden vaak tot nieuwe ideeën en innovaties.
• Het sluit goed aan bij de huidige flexibele manieren van werken.
• Het bevordert samenwerking over afdelingsgrenzen heen.
• De interne helpdesks hoeven algemene vragen maar één keer goed te beantwoorden.

Verborgen voordelen:

De werkelijke voordelen van een vraag gestuurd kennismanagement platform komen uit de statistische gegevens. Door het clusteren van gegevens in b.v. “heat maps”, worden trends en risico's inzichtelijk. Deze signalen kunnen we gebruiken om o.a. trainingsprogramma's aan te passen en strategische, organisatorische of procedurele aanpassingen door te voeren.

Een voorbeeld van enkele type clusters:

• Clusters met veel vragen rondom één thema. Waarom zoveel vragen?
• Clusters met specifieke geografisch gebonden vragen. Afdeling, bedrijfslocatie of land.
• Antwoorden die keer op keer door medewerkers bezocht worden. Waarom blijft dit niet hangen?
• Clusters met vragen die maar door één persoon beantwoord kunnen worden. Kennis risico.
• Clusters met relevante vragen die niet beantwoord worden. Geen expertise in huis.
• Geeft inzicht in de “verborgen” bijdragen van medewerkers. Talent management.

Nadelen:

Natuurlijk heeft deze vraaggestuurde aanpak ook enkele nadelen, die kunnen echter met een goede planning en anticipatie opgevangen worden en staan in geen verhouding tot de nadelen die het “aanbod” gestuurde model heeft.

Slotwoord:

Kirkpatrick heeft met zijn 4 evaluatie niveaus ruim 50 jaar geleden een stap gezet in de gestructureerde registratie en toepassing van deze signalen. De signalen uit de Kirkpatrick evaluaties hebben een vervelende tijdsvertraging en geven wél aan dát er een probleem is, maar niet precies wát er aan gedaan kan worden.

Het gebruik van de statistische gegevens uit een actief vraag & antwoord platform levert signalen die meteen aangeven wát het probleem is. Deze signalen hebben als voordeel dat er geen tijdsvertraging is waardoor de organisatie sneller kan reageren en bijsturen. Natuurlijk zijn er talloze andere signalen binnen een organisatie die gebruikt kunnen worden voor “continuous improvement”, een voorbeeld daarvan heb ik in 2009 beschreven in het artikel “De helpdesk alsradar”.

Taalgebruik binnen automatisering

En de klant moet het allemaal maar begrijpen....Het is jammer om te zien hoe het is gesteld met het taalgebruik in automatiseringsprojecten. Een tijd geleden kreeg ik een anonieme OV Chip kaart omdat ik ook af en toe met de trein en bus reis. De kaart werkte prima toen ik met de bus wilde reizen. Omdat het saldo wat laag werd heb ik de kaart op het treinstation met €30 opgewaardeerd. Dit ging prima. Toen ik wilde inchecken werd de kaart evenwel niet geaccepteerd en omdat er bijna geen tijd meer was heb ik toen maar een papieren retourje gekocht.Thuisgekomen even geGoogled om erachter te komen dat je de kaart eerst moet activeren. Hu? Dat activeren hoefde niet toen ik er geld op wilde storten. Blijkbaar is er geen koppeling tussen het opladen van een kaart en het reis registratiesysteem, dus lossen we dit technische probleem op door de klant een extra handeling te laten verrichten.Ik heb geen zin om dit via de PC doen, want dan moet je blijkbaar voor je anonieme kaart toch even wat prive gegevens achter laten bij de NS. Het alternatief is dat je de kaart met het nieuwe saldo op het station activeert.Als je de kaart voor de lezer van de automaat houdt krijg je een scherm vol met mogelijkheden.De NS weet dat het saldo op de kaart niet geactiveerd is want ergens op het scherm, tussen al die andere mogelijkheden, vertellen ze je dat. Als je echter niet de tijd neemt alles te lezen zie je dat snel over het hoofd. Wat blijkt, je moet gebruik maken van de optie "De bestelling ophalen". Achteraf kijkend begrijp ik wel hoe deze term ontstaan is want puur technisch gezien moet het OV reis registratiesysteem de eerder op de kaart geplaatste storting ophalen en in het eigen reis registratiesysteem bijschrijven. Als gebruiker ben ik niet blij met dit soort cryptische omschrijvingen.Hoe het ook zou kunnenOptie 1: Je boekt een nieuw saldo over "op" je OV chip kaart en achter de schermen wordt het nieuwe saldo aan het reis registratiesysteem toegevoegd. De reiziger gaat naar een poortje en kan meteen inchecken. Bijna Walhalla, hoewel dit echt niet het enige probleem is bij de OV chipkaart.Optie 2: Stel, want het is toch wel heel moeilijk om zo'n directe koppeling te maken tussen twee IT systemen  ;-(  dat de klant toch nog het op de kaart geboekte saldo moet activeren. Dan zou je bij het inchecken kunnen melden dat "De kaart nog geactiveerd moet worden" i.p.v. een algemene melding waarbij aangegeven wordt dat de kaart niet werkt.En als je dan met je niet geactiveerde saldo bij de automaat staat zou het handig zijn als er i.p.v. de 15 opties, nu maximaal twee opties gepresenteerd worden:A. "Wilt u het nieuwe saldo activeren?"B. "Uw huidige saldo is (te)laag, wilt u het saldo eerst opwaarderen?" Natuurlijk moet er op de achtergrond nog steeds een saldoboeking opgehaald worden en in het reis registratiesysteem bijgeschreven worden, maar termen als "Product ophalen" moet je voor de klant niet te gebruiken!