Peer review in hbo

Spanning op beoordelen en ontwikkelen vanuit het stelsel

Utrecht, donderdag 8 februari 2018: opnieuw een drukbezochte bijeenkomst van het HBO Platform van het NNK. Onderwerp is de ‘peer review als kwaliteitsinstrument in het hbo’ met bijdragen van Peter Noordhoek (adviesbureau Northedge) en Lieve Desplenter (Nederlands-Vlaamse Accreditatieorganisatie)1. 

Kwaliteitszorg in het hoger onderwijs: wettelijke basis

De kwaliteitszorg in het hoger onderwijs is wettelijk geregeld in de Wet op het hoger onderwijs en wetenschappelijk onderzoek (WHW). De wet is van toepassing op alle hbo-instellingen en universiteiten – zowel overheidsbekostigde als particuliere, commerciële instellingen. In Vlaanderen bestaat een soortgelijke situatie.

Voor de uitvoering van de landelijke wetgevingen is de ‘binationale’ Nederlands-Vlaamse Accreditatieorganisatie (NVAO) in het leven geroepen. Die draagt zorg voor de officiële overheidserkenning van alle bachelor-, master en associate-degree opleidingen. Die erkenning is voor de instellingen noodzakelijk om erkende diploma’s te kunnen afgeven, bekostiging te ontvangen (voor de bekostigde instellingen) en studenten de mogelijkheid te geven studiefinanciering aan te vragen. Alle opleidingen worden eens in de zes jaar beoordeeld. In een periode van zes jaar komen dus alle opleidingen van hbo en universiteiten aan bod. In de zes jaar van 2012 tot en met 2017 waren dat in Nederland 2.863 opleidingen2. Deze beoordelingen betreffen dus de kwaliteit van het onderwijs. De kwaliteitszorg onderzoek bij hbo en universiteiten is afzonderlijk geregeld. De Inspectie van het onderwijs ziet bij het hoger onderwijs voornamelijk toe op het functioneren van het stelsel.

Open standaarden: ruimte voor eigen uitwerking

De NVAO baseert haar accreditatiebesluit in Nederland op een auditrapportage waarvoor een beoordelingskader wordt gehanteerd3. Het kader geeft open standaarden waaraan opleidingen moeten voldoen en schrijft ook de te volgen procesgang voor.

De meeste overheidsbekostigde instellingen in Nederland hebben ervoor gekozen een instellingstoets kwaliteitszorg af te leggen. Daardoor kan bij deze opleidingen worden volstaan met een beperkte beoordeling op vier in plaats van elf standaarden (zie kader). De audits in Nederland zijn zo gepland dat dezelfde opleidingen van verschillende instellingen in eenzelfde ronde worden beoordeeld; dit maakt het mogelijk vergelijkingen te maken – al gebeurt dat niet altijd. Veel instellingen huren voor de audits een door de NVAO erkend evaluatiebureau in.

De opleiding schrijft voor de audit een zelfevaluatierapport dat aan het panel ter beschikking wordt gesteld, voorzien van een (soms groot) aantal bijlagen. Er vinden gesprekken plaats met o.a. management, docenten, studenten, examencommissieleden, interne en externe deskundigen en alumni. Ook wordt er een steekproef van afstudeerwerken genomen waarbij het auditpanel nagaat of deze van voldoende niveau zijn.

Het auditpanel stelt een adviesrapport op dat aan de NVAO ter beschikking wordt gesteld. Elke standaard wordt beoordeeld op een schaal onvoldoende-voldoende-goed-excellent; via een beslisregel wordt daar ook het eindoordeel van afgeleid op dezelfde schaal. Als de opleiding van onvoldoende kwaliteit is, wordt de accreditatie ingetrokken (dit komt bij 1% van de beoordelingen voor).

Met ingang van 2013 werd de mogelijkheid geïntroduceerd een zogenaamde herstelperiode te geven. In de eerste jaren kwam dit bij zo’n 10% van de beoordelingen voor. In 2016 en 2017 was dat nog maar 2%. De meeste instellingen organiseren halverwege de accreditatieperiode van zes jaar een interne audit om ook tussentijds een beeld te krijgen van de accreditatiewaardigheid.

In Vlaanderen is de afgelopen periode voor een andere weg gekozen: daar vindt een instellingsreview plaats – met een waarderende auditmethodiek – die bij een positief resultaat voldoende is voor de accreditatie van alle opleidingen van de betreffende instelling. De instelling toont dan aan dat de eigen kwaliteitszorg de kwaliteit van de opleidingen voldoende waarborgt.

Stelsel werkt, met last

Alles overziend is het beeld dat het kwaliteitsstelsel voor hoger onderwijs goed werkt4. Het overgrote deel van de opleidingen wordt positief beoordeeld. Feitelijk zijn alle opleidingen van voldoende niveau. Tussentijdse wijzigingen in de afgelopen tien jaar hebben daar zeker aan bijgedragen. Het werken met een herstelperiode maakte het voor auditpanels gemakkelijker een negatief oordeel te geven zonder de vergaande consequentie van het verlies van accreditatie. Toen in 2010 vooral één hogeschool in het nieuws kwam omdat het gerealiseerde niveau bij afstuderen twijfelachting was, heeft de hele sector daar adequaat op gereageerd. Bij audits werden nu steekproeven genomen van eindwerken, de positie van examencommissies en opleidingscommissies werd versterkt, docenten kregen scholing op het gebied van examinering, bij beoordelingen werd het vierogenbeleid (twee examinatoren) ingevoerd, procedures en beoordelingscriteria werden aangescherpt, in het hbo werden lectoren en kenniscentra voor praktijkgericht meer betrokken bij afstuderen, en docententeams organiseerden bijeenkomsten voor normvinding bij beoordelingen.

Afstuderen is lastiger geworden en dat wordt soms ook zichtbaar in een langere studieduur. Over het algemeen wordt de administratieve verantwoordingslast van audits wel als hoog ervaren en wordt bepleit meer uit te gaan van ‘verdiend vertrouwen’. Ook zou de ontwikkelfunctie meer aandacht kunnen krijgen, bijvoorbeeld met een aanpak van waarderend auditen.

Spanningsveld: beoordelen en ontwikkelen

Het stelsel kent een zekere tweeslachtigheid. Aan de ene kant is de doelstelling de basiskwaliteit te garanderen; aan de andere kant wordt er ook veel nadruk gelegd op de ontwikkelfunctie. In de nieuwste versie van het beoordelingsprotocol is er een scheiding aangebracht tussen de beoordeling en ontwikkelmogelijkheden. In de formele rapportage wordt alleen de beoordeling met argumentatie weergegeven. In een aanvullend ‘ontwikkelgesprek’ gaat (een selectie van) het panel met de opleiding na waar verbetermogelijkheden liggen. De instelling dient de uitkomsten en opvolging van dat ontwikkelgesprek zelf te publiceren.

Kenmerkend in dit spanningsveld is ook het voornemen het gedifferentieerd beoordelen – onvoldoende, voldoende, goed, excellent – af te schaffen. De reden hiervoor is dat opleidingen zich soms nogal concentreren op het behalen van een goede of excellente score en dat het bovendien lastig te definiëren is wat nu het onderscheid is tussen die verschillende oordelen5. Bovendien zou het gedifferentieerd beoordelen niet goed passen bij de peer review die als de basis voor het stelsel wordt gezien.

Peer review: collegiale toetsing

In het beoordelingskader van de NVAO lezen we in de inleiding: “Het kader blijft onverminderd uitgaan van ‘peer review’ als de beste methode om de kwaliteit vast te stellen. De beoordelingen worden uitgevoerd vanuit een werkwijze en houding die past bij collegiale toetsing. Het panel van onafhankelijke en gezaghebbende experts gaat een open dialoog aan over de kwaliteit met de instelling.”

Over het algemeen wordt onder een peer review een vorm collegiale toetsing verstaan, zoals we die ook kennen bij het beoordelen van artikelen in ‘peer reviewed’ tijdschriften6. Peer reviews kenmerken zich door een kritische, collegiale en waarderende discussie7. De Inspectie (hoger onderwijs) schrijft in een van haar rapporten8: “Microbiologen weten als geen ander aan welke eisen een opleiding microbiologie moet voldoen. Zoals je architecten nodig hebt om een bouwkundestudie adequaat te kunnen beoordelen, en bijvoorbeeld arbeidsdeskundigen om te bepalen of HRM-studenten straks wel voldoen aan de standaarden die juist in dát vakgebied gelden. Een solide oordeel door vakgenoten, uitgesproken na een zowel kritisch als stimulerend toetsingsproces – zulke peerreview is de basis van het accreditatiestelsel in het Nederlandse hoger onderwijs.”

Dat laatste roept wel de vraag op wie die peers nu eigenlijk zijn. Ontegenzeggelijk hebben inhoudelijke vakprofessionals toegevoegde waarde in een auditpanel. Zij kunnen immers als geen ander bepalen of de opleidingsinhoud ‘state of the art’ is – net zoals de inspectie dat aangeeft. Auditors zonder inhoudelijke vakkennis kunnen in feite alleen nagaan of een opleiding haar inhoudelijke doelstellingen met enige regelmaat bijstelt en consistent uitwerkt naar het onderwijs voor studenten.

Toch garandeert kennis van de vakinhoud nog niet een competentie om adequaat feedback te geven op de kwaliteit van het onderwijskundig ontwerp, de (toetstechnische) kwaliteit van examens en een kwaliteitscultuur waarbij iedere professional zijn rol pakt9. Ongetwijfeld zijn er voldoende docenten en opleidingsmanagers die van al deze markten thuis zijn en de rol van peer reviewer goed kunnen vervullen. De betrokken peers dienen uiteraard ook te voldoen aan competenties als een kritisch-waarderende grondhouding, onpartijdigheid en onafhankelijkheid, onderzoeks- en communicatievaardigheden.

Ook op de bijeenkomst van het HBO Platform in februari kwam bij het afsluitende gesprek het spanningsveld tussen beoordelen (de klassieke audit) en leren/ontwikkelen (waarderende peer review) naar voren. Opleidingen willen slagen voor hun accreditatietoets en dat wordt nog eens extra aangezet door het gedifferentieerd beoordelen (onvoldoende tot excellent) zoals dat tot nu toe wordt toegepast. Met die mindset ben je – heel begrijpelijk – minder geneigd een auditcommissie te voeden met problemen en dilemma’s. Terwijl die juist zo belangrijk zijn om te leren en te ontwikkelen. Peers kunnen zowel bij beoordelen als leren/ontwikkelen een prima rol vervullen – maar niet tegelijkertijd in hetzelfde proces graag.

Noten

Dit artikel verscheen eerder in Synaps 40.

Drs. ing. Ouke J. Pijl

Teamleider kwaliteitszorg Hogeschool Utrecht, auditor en zelfstandig adviseur bij 2Reflect