Wat een certificaat bewijst

Wat er in de examens wordt gevraagd

Het lesmateriaal waar deze kennisbank op steunt beschrijft van een reeks certificeringen de examenvorm, telkens met de slaaggrens erbij. Die beschrijvingen staan verspreid over vijf cursussen en ze lijken sterk op elkaar.

In de SAFe-lijn telt het examen voor SAFe Agilist 45 vragen in 90 minuten, met 80 procent om te slagen. SAFe Practitioner heeft eveneens 45 vragen in 90 minuten, met een drempel die het materiaal tussen 73 en 77 procent legt en die je bij inschrijving hoort te controleren. Release Train Engineer telt 60 vragen in 120 minuten, met 82 procent. Alle drie zijn meerkeuze en scenario-gebaseerd: er wordt een situatie geschetst en je kiest de beste volgende stap.

Buiten die lijn ziet het er hetzelfde uit. Het CPRE Foundation-examen telt ongeveer 45 vragen in 75 minuten, met 70 procent van de te behalen punten; er zijn geen toelatingseisen en het certificaat is levenslang geldig. Elke Advanced-module van IREB kent daarna een eigen Practitioner-examen met diezelfde opzet. PRINCE2 Foundation is zestig meerkeuzevragen in zestig minuten met een grens van 60 procent, zonder boek erbij. MSP Practitioner is een open-boekexamen van 70 scenariovragen in 150 minuten, met dezelfde grens.

Eén soort voorwaarde komt in de hele SAFe-lijn niet voor: een ervaringseis. Wie het examen voor SAFe Agilist wil afleggen, hoeft niet aan te tonen dat hij ooit in een Agile Release Train heeft gewerkt. De zwaarste toegangsvoorwaarde die dat materiaal noemt hoort bij SAFe Practice Consultant, en dat is een verplichte vierdaagse cursus van de uitgever: een cursusverplichting en geen ervaringsverplichting.

Wat zo'n examen vaststelt

Over die vorm doet het materiaal op één plaats een uitspraak die verder gaat dan beschrijven. De cursus project- en programmamanagement zet er in niveau 3 een eigen paragraaf voor in, onder de kop "Twee fundamenteel verschillende beoordelingsvormen": MSP Practitioner beoordeelt of je een methode correct kunt toepassen op een fictieve situatie.

Het woord fictief draagt die zin. Het scenario is verzonnen, de kandidaat komt er zelf niet in voor, en de vraag is of hij het juiste thema, proces of principe op die beschrijving weet te leggen. Over wat diezelfde kandidaat in een echte opdracht heeft gedaan, is daarmee niets vastgesteld; die vraag komt in deze vorm niet voor.

Wat er wel uit komt, staat elders in hetzelfde materiaal. De PM-cursus neemt PMI op als vergelijkingskader en geeft daar één reden voor: zodat je een PMP- of PgMP-gecertificeerde collega of opdrachtgever kunt begrijpen. Dat is een reële opbrengst. Een gedeelde woordenschat scheelt uren in elke sessie waarin vier mensen hetzelfde bedoelen en drie verschillende woorden gebruiken, en die woordenschat is precies wat een kennisexamen overdraagt. Wie zegt dat een certificaat niets waard is, slaat dat over.

Waar hetzelfde vak van vorm wisselt

Drie certificeringslijnen buiten agile stappen op seniorniveau over op een andere beoordeling. Ze horen bij drie verschillende beroepsgroepen en ze verwijzen in dit materiaal nergens naar elkaar.

IPMA hanteert voor het B-niveau het 8-5-3-principe: in de afgelopen acht jaar vijf jaar ervaring, waarvan drie op het eigen niveau. De aanmelding bestaat uit een referentiedocument met een zelfassessment op alle competenties, en uit een projectrapport over één afgerond project waarvan de kandidaat van begin tot eind de projectmanager was. Daarna volgt een gesprek van circa twee uur met twee assessoren, die toetsen aan de hand van die stukken, met aanvullend bewijsmateriaal op tafel. Over de voorbereiding schrijft de cursus dat het gaat om per competentie een concreet, navertelbaar voorbeeld: een situatie, wat er gevraagd werd, welke actie volgde, en wat het resultaat was. De reden voor die wissel staat een niveau lager, bij IPMA-C. Macht en politiek laten zich niet volledig vangen in een theoretisch model, en die lijn erkent dat door ervaring uitdrukkelijk te toetsen.

iSAQB kent voor het Advanced-traject helemaal geen examen. Een kandidaat verzamelt credit points in drie competentiegebieden en sluit af met een certificeringsopdracht over een systeem waaraan hij als architect heeft gewerkt, gevolgd door een interview met twee onafhankelijke examinatoren. De cursus softwarearchitectuur vat samen wat daar wordt getoetst: of je architectuurbeslissingen kunt nemen, verantwoorden en erover kunt spreken met mensen die je niet kennen. De kwaliteit van het systeem zelf valt buiten die beoordeling. Als harde eis geldt dat je de beslissingen zelf hebt genomen of aantoonbaar mede bepaald; over een kandidaat die wel meebouwde maar niet meebesliste schrijft dat deel dat het in het interview binnen tien minuten blijkt. Diezelfde cursus raadt aan om voor de opdracht niet het best gelukte systeem te kiezen, omdat daar weinig afwegingen te bespreken vallen.

IIBA stelt voor CBAP een toelatingseis in uren: 7.500 uur business-analysewerk in de afgelopen tien jaar, waarvan minstens 900 uur in elk van vier van de zes kennisgebieden, daarnaast 35 uur professionele ontwikkeling in de laatste vier jaar, en twee referenties. Het examen zelf blijft casusgedreven meerkeuze; de weging zit in de toelating. De cursus businessanalyse legt daarbij de nadruk op de referent, die ondertekent omdat hij het werk van de kandidaat kan onderschrijven, en het toelatingsdossier laat de kandidaat vooraf opschrijven welke referent op dit moment nog zou twijfelen.

Wat deze cursussen er zelf naast zetten

Er is een tweede aanwijzing, en die zit in de manier waarop deze cursussen zichzelf afsluiten.

Vier cursusfamilies zetten naast de examentraining een capstone met een mondelinge verdediging. In de PM-cursus stelt een groep een Project Initiation Document op en verdedigt dat voor een gespeelde stuurgroep in de rollen Executive, Senior User en Senior Supplier. In de architectuurcursus verdedigt de deelnemer zijn architectuurschets voor een panel van vier rollen, vijf minuten presentatie en vijftien minuten vragen, waarbij het panel met opzet vraagt naar wat niet is voorbereid. In de requirementscursus wordt het opgeleverde pakket bevraagd door vier rollen, elk vanuit een eigen, legitiem belang. In de SAFe-cursus schrijft de deelnemer een adviesmemo van maximaal twee A4 en verdedigt die vijf minuten voor medecursisten die vanuit hun rol in de simulatie tegenvragen stellen; op het volgende niveau is het een portfolioadvies voor een gespeelde raad van bestuur.

Twee van die vier zeggen erbij waarom die verdediging er staat. De requirementscursus schrijft dat de capstone de synthese over de hele casus toetst, "iets wat geen los examen dekt, maar wat in de praktijk wél het werk van een requirements engineer is", en herhaalt dat in de samenvatting van hetzelfde deel. De architectuurcursus zet het in niveau 1 in één zin: "Een architectuur die u niet kunt uitleggen, is geen architectuur maar een voorkeur." Diezelfde cursus meldt een niveau later dat het Advanced-traject waar zij naartoe werkt geen enkel examen kent.

Bij deze sectie hoort een melding. Ik verzorg zelf opleidingen in dit vak, en het materiaal dat hierboven wordt aangehaald is het lesmateriaal van die opleidingen. Dat levert twee belangen op: een belang bij deelnemers die een examen willen halen, en een belang bij de gedachte dat er naast dat examen nog iets nodig is. Beide wijzen dezelfde kant op als de conclusie hieronder. De aangehaalde passages staan hierboven met cursus en deel erbij, zodat wie dat wil het gewicht ervan zelf kan wegen.

Wat het gilde dan vraagt

De toelatingsnorm van dit gilde vraagt tien jaar ervaring in het vak en eigen werk: je haalt je opdrachten zelf binnen, of je kunt aantonen dat opdrachtgevers je zoeken. Er staat een ondergrens aan het dagtarief naast; die telt in dit artikel niet mee, want ze gaat over het verdienmodel. Een certificaat staat er in geen enkele vorm bij.

Wat er in de plaats van komt is stap 3 van het verloop. Je krijgt één opgave voorgelegd, je schrijft op hoe je die zou leveren, en je zet erbij op welke aanname je advies rust. Het oordeel dat op de vakpagina staat mag je in datzelfde gesprek aanvallen, met dezelfde eis dat je opschrijft waar je aanname zit.

Dat is de tweede beoordelingsvorm uit de PM-cursus, in dezelfde opzet als de drie lijnen hierboven: eigen werk, op papier gezet, bevraagd door mensen die de kandidaat niet kennen. Wat dit gilde daarmee kiest is dus geen positie tegen certificaten. Het is de vorm die IPMA, iSAQB en IIBA op seniorniveau zelf hanteren, toegepast op een vak waarvan de bekendste certificeringslijn die eis nergens stelt.

Voor een deel van de lezers is dat een afwijzing, en die valt niet zachter te formuleren. Wie korter dan tien jaar in het vak zit, met de certificaten die opdrachtgevers uitvragen, voldoet hier niet, terwijl diezelfde papieren bij een bureau of een inkoopafdeling wel de deur opendoen. De norm doet geen uitspraak over wat zo iemand kan. Hij bepaalt wie er aan die ene opgave toekomt, en dat is een keuze van dit gilde.

Wat hier open blijft

Eén vraag blijft hier onbeantwoord: wat een assessment waard is wanneer de beoordelaars uit dezelfde kring komen als de kandidaat.

Bij de drie lijnen hierboven zit onafhankelijkheid in de vorm ingebouwd. IPMA zet er twee assessoren op, iSAQB spreekt van twee onafhankelijke examinatoren, en bij IIBA komt het oordeel van de certificeerder, terwijl de referenten daarbuiten staan.

Bij een gilde ligt dat anders. De leden beoordelen zelf wie erbij komt, en na toelating delen zij met die kandidaat in dezelfde opbrengst. Dat werkt twee kanten op: een extra lid kan werk aanbrengen, en een extra lid kan ook meedelen in wat er al is.

Wat dat met het oordeel doet, staat in geen van deze cursussen; ze beschrijven alle drie een vorm waarin die onafhankelijkheid al geregeld is. Een antwoord dat hier zou staan, zou dus alleen rusten op wat aannemelijk klinkt. Het onderwerp bij dit artikel staat er open voor.