Het aantonen van doeltreffendheid van beleid speelt een steeds grotere rol in het beleidsproces. De kans is daarom groot dat je als beleidsmaker aan de slag gaat met beleidsevaluatie. Bijvoorbeeld vanwege een toezegging aan de Tweede Kamer, omdat de organisatie streeft naar evidence-based beleid of gewoonweg omdat regelgeving dit vereist, zoals in het geval van een beleidsdoorlichting. Wat je reden ook is, het voorbereiden en uitvoeren van een goede beleidsevaluatie is vaak makkelijker gezegd dan gedaan. Om te polsen of je op de goede weg bent, vind je hieronder 4 checks voor jouw beleidsevaluatie.
Elk goed onderzoek begint bij een goede onderzoeksvraag: wat ga je precies meten? Richt je je op de resultaten (output) of de effecten (outcome) van beleid? Het lijkt misschien een semantisch verschil, maar dat is het zeker niet. Kijk voor inspiratie eens naar de beleidstheorie van Hoogerwerf, die onder andere door de Rijksoverheid gehanteerd wordt. Meet je alleen resultaat, dan kijk je naar wat je bereikt hebt met je ondernomen activiteiten. Bijvoorbeeld meer bewustwording over ondermijning onder burgers. Wil je (ook) vaststellen wat daarmee bereikt is? Dan richt je je op effectmeting. Zeker bij het uitvoeren van een beleidsdoorlichting waar de Regeling Periodiek Evaluatieonderzoek (RPE) de richtlijn is, is dit verschil van belang. De keuze voor resultaat- en/of effectmeting, en daarmee voor je onderzoeksvraag, bepaalt de rest van je onderzoek; hierop stem je de aanpak en welke bronnen je gaat raadplegen af.
De basis voor beleidsevaluaties wordt gevormd door inventarisatie van al uitgevoerde analyses, zoals tussentijdse reviews, MKBA’s en pilots. Vergeet echter niet betrokken beleidsmakers en stakeholders te spreken. Er is altijd een delta tussen de papieren werkelijkheid en de praktijk. Door betrokkenen te spreken krijg je meer inzicht; niet alleen in de uitkomsten van beleid, maar ook de aannames die eraan ten grondslag liggen - en die zijn nou juist het interessantst om te toetsen!
Bij effectmetingen wordt vooral gekeken of je beleid effectief (doeltreffend) is geweest. Veel beleidsterreinen hebben echter te maken met aanzienlijke externe invloeden. Denk bijvoorbeeld aan veiligheid in een winkelgebied: dit kan verbeteren door specifieke interventies van de politie, maar ook doordat winkeliers inzetten op pinbetalingen. Een ‘controlegroep’ om te onderscheiden welke effecten door het beleid en welke door externe factoren komen is bij beleidsprocessen meestal niet aanwezig. Conclusies over effectiviteit worden daarmee een stuk moeilijker. Is dit bij jou het geval? Overweeg dan om je te richten op plausibiliteit: in welke mate is het plausibel dat het beleid heeft bijgedragen aan het bereiken van het doel?In een beleidsdoorlichting kan dit bijvoorbeeld door per schakel van de beleidstheorie te onderzoeken in hoeverre hierover uitspraken gedaan kunnen worden. Zodoende kun je nog steeds gefundeerde uitspraken doen over werking en de meerwaarde van ingezet beleid.
Tot slot een belangrijke gewetensvraag: waarom evalueer je? Voer je de evaluatie simpelweg uit omdat het moet of zie je dit als kans om het lopende beleid naar een hoger plan te tillen? Als je met de laatste bril naar je evaluatie kijkt, wordt het een stuk makkelijker om te weten wat je echt wilt meten! En haal je het maximale uit je beleidsevaluatie.
Deze 4 checks kunnen je helpen bij het structureren en uitvoeren van je beleidsevaluatie.
Meer weten? Neem een kijkje in het themadossier: klik op de tabs boven het artikel.
