Preview document (🔗 origineel)

---

Tweede Kamer der Staten-Generaal	2
Vergaderjaar 2018-2019

31 865 Verbetering verantwoording en begroting

Nr. 153 BRIEF VAN DE MINISTER VAN VOLKSGEZONDHEID, WELZIJN EN SPORT

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 10 september 2019

Hierbij informeer ik u, mede namens de Minister voor Medische Zorg en Sport en de Staatssecretaris van Volksgezondheid, Welzijn en Sport, over de voortgang van de pilot Lerend evalueren. Dit in vervolg op de stand van zakenbrief zoals deze op verzoek van de vaste commissie voor VWS afgelopen mei naar uw Kamer is gestuurd.¹ Zoals bekend maakt de pilot onderdeel uit van de Rijksbrede Operatie Inzicht in Kwaliteit met als doel meer inzicht krijgen in de resultaten van beleid en daar naar handelen om de maatschappelijke toegevoegde waarde van beleid te vergroten.²

De pilot Lerend evalueren is inmiddels goed op gang gekomen en de eerste (tussen)resultaten zijn beschikbaar. In de uitvoering van de pilot wordt de praktijk zoals de uitvoerende instanties en de burgers nadrukkelijk betrokken, wordt het beleid ook ex ante en ex durante geëvalueerd en worden vernieuwende onderzoeksmethodieken toegepast. In deze brief geef ik een update van het meerjarenprogramma en ga nader in op algemene lessen die wij trekken uit de negen afgeronde evaluaties. In de bijlage bij deze brief worden de uitkomsten van deze afgeronde evaluaties specifiek besproken³. Tevens stuur ik twee taakopdrachten van evaluatieonderzoeken die de komende periode gaan starten.

Het evaluatieprogramma van VWS

De pilot Lerend evalueren bevat een meerjarenprogramma van de evaluaties voor de periode 2018–2022. De evaluatieonderzoeken hebben betrekking op beleidsvraagstukken op het brede beleidsterrein van VWS. Hierbij staat de inhoud centraal. De reikwijdte van de evaluatieonderzoeken wordt niet begrensd door de begrotingsindeling. In de evaluatieonderzoeken worden alle relevante uitgaven betrokken, zowel de begrotingsuitgaven van VWS als de uitgaven die vallen onder het Uitgavenplafond Zorg. Bij de totstandkoming van het meerjarenprogramma zijn verschillende criteria gehanteerd zoals de maatschappelijke urgentie, het handelingsperspectief van VWS en de budgettaire omvang.

In het meerjarenprogramma heb ik één aanpassing doorgevoerd. Voor de evaluatie Samenhang Wpg, Jeugdwet en Wmo zal ik meer tijd nemen voor de vormgeving van de taakopdracht. Hierdoor wordt overlap met andere evaluaties voorkomen. Ik voeg de invoering van de maatschappelijke diensttijd (MDT) toe aan het evaluatieprogramma van de pilot. Ik vind dit nuttig omdat VWS in dit traject een aantal van de principes van lerend evalueren (zoals het uitnodigen tot kennisontwikkeling, kennisdeling en kennistoepassing) in praktijk probeert te brengen. Het is verstandig om deze werkwijze tegen het licht te houden en daar lessen uit te trekken.

Het meerjarenprogramma met de evaluaties van VWS voor de periode 2018–2022 ziet er daarmee als volgt uit.

Zoals u in bovenstaande tabel kunt zien staan er veel verwijzingen naar (tussen)evaluaties die inmiddels naar uw Kamer zijn gezonden. Deze rapportages gaan zowel in op het inzicht in de effecten van het beleid uit de praktijk als op de leerlessen als onderdeel van de pilot. In de bijlage worden de afgeronde individuele evaluaties nader besproken.

Voor 2020 worden drie nieuwe evaluatieonderzoeken gestart. Hieronder worden deze kort toegelicht. De taakopdrachten van twee onderzoeken zijn in de bijlage bij deze brief opgenomen.

Evaluatie «De juiste zorg op de juiste plek» (nr. 07)

In 2019 t/m 2022 zal voor de evaluatie «De juiste zorg op de juiste plek» (JZOJP) een ex durante evaluatie plaatsvinden en in 2022 de ex post evaluatie. Het doel van de evaluatie is om de voortgang en de transformatie naar de JZOJP zo goed mogelijk inzichtelijk te maken op regionaal niveau, zodat mensen gaan ervaren dat de zorg en ondersteuning beter aansluit op hun behoefte. Maar ook om inzicht te krijgen van de ontwikkelingen op landelijk niveau, om zo nodig het beleid tussentijds bij te sturen.

Evaluatie Arbeidsmarkt en opleiden (nr. 17)

In 2018 is het Actieprogramma Werken in de Zorg uitgebracht met als doel nu en in de toekomst goede zorg en welzijn te kunnen blijven bieden. De ambitie is om het arbeidstekort in 2022 zo ver mogelijk teruggebracht te hebben. Het gaat daarbij niet alleen om voldoende mensen, maar ook meer tevreden en beter toegeruste medewerkers. Om het effect van de inspanningen van het actieprogramma inzichtelijk te maken wordt een ex durante evaluatie in 2020 opgestart welke doorloopt door tot en met 2021. In de uitvoering wordt een lerend perspectief gehanteerd. De evaluatie kijkt naar de mate van voortgang, verbetering en innovatie van het Actieprogramma Werken in de Zorg. Centraal staat de vraag hoe het doeltreffender en doelmatiger kan.

Evaluatie Goed bestuur (nr. 16)

De evaluatie Goed bestuur is voorzien in 2020. De taakopdracht over de aanpak van dit evaluatieonderzoek ontvangt u voor het einde van dit jaar.

VWS als lerende organisatie; de eerste algemene bevindingen

Evaluatieonderzoek is vaak complex en vereist expertise en maatwerk, vooral door de combinatie van de twee hoofddoelen van evaluatieonderzoek: verantwoorden én leren. Met de pilot is VWS een leertraject gestart en ik vind het belangrijk om onze eerste ervaringen met uw Kamer te delen.

Verschuiven aandacht voor evalueren richting beleidsontwikkeling

Een belangrijk doel van de pilot is om al werkende het inzicht in de doeltreffendheid en doelmatigheid van het beleid te vergroten en om op basis daarvan het beleid te verbeteren. De ervaring leert dat door deze pilot de aandacht voor evalueren steeds eerder in het beleidsproces van VWS komt te liggen. Dit blijkt onder andere uit het verschillende ex ante onderzoeken uit het meerjarenprogramma, bijvoorbeeld Uitkomstgerichte zorg (nr. 12) en Langer thuis (nr. 14). De uitdaging is om deze verschuiving de komende periode ook breder binnen VWS door te zetten. Een belangrijk aandachtspunt hierbij is het vooraf vaststellen van de beleidstheorie. Dit helpt bij het verderop in het onderzoekstraject beter kunnen onderzoeken van de mate van doeltreffendheid en doelmatigheid van het gevoerde beleid. Goede voorbeelden hiervan zijn de evaluatie Gezond, veilig en kansrijk opgroeien (nr. 03d) en de startevaluatie van de pilot Lerend evalueren (nr. 20) waarin de beleidstheorie van de pilot nader is geëxpliciteerd.⁴

Borgen van onafhankelijkheid

Voor goed evaluatieonderzoek is de betrokkenheid van onafhankelijke deskundigen om de kwaliteit en onafhankelijkheid van beleidsevaluaties te waarborgen belangrijk. In verschillende evaluatieonderzoeken van de pilot wordt met begeleidingscommissies onder leiding van externe voorzitters gewerkt. Er zijn ook uitzonderingsgevallen. Zo is voor de evaluatie Subsidies (nr. 19). gekozen om de evaluatie door VWS zelf uit te voeren en zo voldoende medewerkers van VWS te betrekken om de impact van deze evaluatie te vergroten. Om de onafhankelijkheid van het onderzoek zo veel mogelijk te borgen is externe deskundigheid betrokken, heeft het Ministerie van Financiën deelgenomen in de begeleidingscommissie en is een review uitgevoerd door de externe leden van het Audit Committee van VWS.

Voor het borgen van de onafhankelijkheid is daarnaast door VWS in 2018 een Review Board ingesteld met externe en interne deskundigen. De Review Board VWS reflecteert op en geeft gevraagd en ongevraagd advies over de afzonderlijke onderzoeksopzetten, de lopende evaluaties en concept-eindrapportages uit het Meerjarenprogramma 2018–2022. De Review Board beziet daarbij of de praktijk (zoals ervaringen en inzichten van burgers en professionals) wordt betrokken bij de evaluaties, waar mogelijk de internationale context wordt meegenomen en waar vernieuwende onderzoeksmethodieken kunnen worden toegepast. Tevens heeft de Review Board de functie van het signaleren van trends, reflecteren op de opvolging van aanbevelingen en het leggen van verbanden tussen de verschillende evaluaties. In het eerste jaar heeft de Board het accent gelegd op de onderzoeksopzetten. De komende periode zal de focus verschuiven naar de uitvoering van de lopende evaluaties en welke lessen VWS hieruit kan leren.

Onderzoeken van complexe maatschappelijke vraagstukken

Het meerjarenprogramma bevat diverse complexe maatschappelijk vraagstukken die betrekking hebben op de houdbaarheid van de zorg voor nu en in de toekomst. Deze evaluaties zijn cruciaal om over passende beleidsopties te kunnen beschikken. Kortom dit zijn vraagstukken die niet alleen mij bezighouden maar in feite alle mensen die de zorg een warm hart toe dragen. Een samenhangend beleidsonderwerp – ongeacht financieringsbron en begrotingsartikel – zorgt voor meer integraal evaluatieonderzoek. Dat kan de bruikbaarheid van de resultaten van de evaluatie vergroten. Voorbeelden van domein-overstijgende onderzoeken zijn de evaluaties Cliëntondersteuning (nr. 13) en Langer thuis (nr. 14) die zowel delen van de Wmo, Zvw als Wlz onderzoeken als ook het functioneren op »de koppelvlakken» tussen deze stelselwetten.

Een andere manier om antwoorden op complexe beleidsvraagstukken te krijgen is door te werken met pilotprojecten. Voor het ingewikkelde vraagstuk rondom Persoonsvolgende zorg (nr. 15) is gekozen om twee regio´s in Nederland experimenteerruimte te geven. Dit met de verwachting dat deze opgedane leerlessen vervolgens regionaal dan wel landelijk onder voorwaarden kunnen worden toegepast. De lessen die uit de evaluatie van de Transitie Autoriteit Jeugd (TAJ) (nr. 05) kunnen worden geleerd, zouden eveneens vertaald kunnen worden naar andere onderdelen van het zorgstelsel of zelfs Rijksbreed met de focus op de leervraag of een transitieautoriteit bij een stelselaanpassing «werkt».

Ervaring opdoen met nieuwe manieren van onderzoek

Binnen de pilot Lerend evalueren is ruimte om te experimenteren met voor VWS nieuwe onderzoeksmethoden. Veranderen en vernieuwen is geen gemakkelijke opgave en daarom is een toolbox »Leren door evalueren» ter ondersteuning bij de opzet van de onderzoeken ontwikkeld. Het op een andere manier bekijken van het vraagstuk Langer thuis heeft geleid tot een explorerend vooronderzoek (ex-ante) om inzicht te krijgen in de situatie van langer thuiswonende ouderen (nr. 14). De focus lag hierbij op het gecombineerde zorggebruik van deze ouderen uit de verschillende domeinen (Wlz, Zvw en Wmo), hoe de zorg aansluit op de zorgbehoefte en hoe doelmatig deze wordt geleverd. Het op deze wijze in beeld brengen van de doelgroep is een nieuwe werkwijze voor VWS. Daarbij kan de opgedane kennis en expertise zorgbreed door VWS worden ingezet in zijn rol als opdrachtgever bij het formuleren van vragen en het maken van data-analyses.

Andere voorbeelden van onderzoeksvormen waarmee de komende periode ervaring wordt opgedaan zijn de methoden van actieleren voor de uitwerking van de maatschappelijke diensttijd (nr. 01) en de Community of Practices voor de evaluatie van de Buurtsport coaches (nr. 03c). Actieleren is een continu proces van leren door ervaren, reflecteren, verdiepen, doelgericht experimenteren met als doel samen oplossingen en verbeteringen te ontdekken. Een community of practice is een groep van leerpartners die zelfgestuurd van en met elkaar leren om beter te worden in een gedeelde uitdaging.

Ontwikkelen en betrekken van nieuwe kennis en vaardigheden

Zoals ook door de 15^e Studiegroep Begrotingsruimte aangestipt; evalueren is moeilijk en een vak apart.⁵ Daarom vind ik het belangrijk dat in de aanpak van de pilot gewerkt wordt met een uitdagend, praktijkgericht en interactief ondersteuningsprogramma voor de betrokken beleidsmedewerkers en onderzoekers. Door lerend te evalueren blijkt dat de rol van de evaluator ook aan verandering onderhevig is. Was dat eerder meer een controllersfunctie (verantwoorden), inmiddels ontwikkelt dat zich naar meer een samenspeler en soms zelfs richting verandermanager om samen met de geëvalueerde tot betekenisvolle inzichten te komen (leren). Om deze rol goed te kunnen vervullen is voor de evaluatie van de Geneesmiddelenvisie (nr. 09) gewerkt met een duoschap voor de externe begeleiding. Het ene adviesbureau was vertrouwd met de beleidsinhoud en de andere gericht op samenwerken.

Doordat nu de eerste evaluatieonderzoeken zijn afgerond zie ik dat een voorzichtige vliegwielwerking binnen de VWS-organisatie in werking treedt doordat de opgedane kennis en ervaringen actief worden doorgegeven aan de komende en lopende onderzoeken. Het begeleidingsprogramma van VWS faciliteert deze kruisbestuiving bijvoorbeeld door het organiseren van Meetups en werkbezoeken, het onderling in contact brengen van trekkers en onderling feedback laten geven op elkaars trajecten. Ook de kennisactiviteiten vanuit de Operatie Inzicht in Kwaliteit zijn hier behulpzaam bij. Voor goed beleid en goede uitvoering van beleid is kennis nodig. Interessant in deze is de evaluatie van de VWS kennisfunctie als onderdeel van het meerjarenprogramma. De resultaten van dit onderzoek zal ik in 2020 aan uw Kamer aanbieden (nr. 02).

Samen werken aan een evaluatiecultuur

De 15^e Studiegroep Begrotingsruimte noemt het belang van de juiste prikkels om beleid kritisch te evalueren. De Rijksbrede Operatie Inzicht in Kwaliteit, waarvan de pilot onderdeel uitmaakt, geeft hier invulling aan. Met de pilot Lerend evalueren streeft VWS ernaar om transparant te zijn over de effecten van beleid en daarvan te leren. Overigens vind ik inzicht in de effecten van beleid in algemene zin van groot belang. Ik besteed daarom ook veel aandacht aan het opnemen van indicatoren in de verschillende beleidsprogramma´s en in de komende beleidsagenda als onderdeel van VWS begroting 2020. Voorbeelden van beleidsonderwerpen die zowel in de VWS-beleidsagenda als deze pilot centraal staan zijn Jeugdpreventie, Sport en bewegen, Waardig ouder worden en Werken in de zorg.

Evalueren als kort cyclisch proces

Een ander gevolg van de pilot is de versterkte aandacht voor het kort cyclisch evalueren. Bij de evaluatie van de Geneesmiddelenvisie (nr. 09) zijn bij de beleidsuitvoering de effecten gemonitord. Door sessies met het veld en betrokken overheidsinstanties en bijeenkomsten met alleen beleidsmedewerkers, ontstonden er cycli van ophalen van en reflecteren op effecten en ervaringen en het in beeld brengen van verbeterpunten. Naast de zo verkregen inhoudelijke aanbevelingen, zie ik ook opbrengsten in betrokkenheid en draagvlak in het veld en betrokken overheidsinstanties. Zo is «hands on» en met de praktijk meer zicht gekregen in de effecten van beleid en zijn aanbevelingen gedaan het beleid waar nuttig en nodig bij te sturen.

Betrekken van de praktijk

De zorg is van allemaal en voor ons allemaal. Ik vind het daarom belangrijk om in de evaluaties die uitgevoerd worden de leerlessen op een begrijpelijke wijze te communiceren door «te tellen en te vertellen». Door het betrekken van de praktijk kunnen ervaringen van mensen («leefwereld») gekoppeld worden aan de regelgeving van het zorgstelsel («systeemwereld»). Uitdaging daarbij is om te zoeken naar «het goede verhaal» dat representatief is voor een grote groep zorggebruikers.

In de uitvoering van de evaluaties is daarom veel aandacht voor alle betrokken stakeholders, met nadrukkelijk ook aandacht voor degene die een andere mening zijn toegedaan. De twee evaluaties op het gebied van jeugdpreventie (nrs. 03b,d) zijn hier goede voorbeelden van. Door met elkaar in gesprek te gaan komen we te weten wat er goed gaat en wat (nog) niet, en wat in dit geval gemeenten en uitvoeringspartijen nodig hebben om het (nog) beter te doen voor de organiseerbaarheid van de zorg voor de jeugd.

De evaluatie pgb-Zvw (nr. 10) is een ander voorbeeld van een evaluatie waarbij de praktijk actief heeft geparticipeerd. In de aanpak waren alle relevante veldpartijen van meet af aan betrokken. Zo zijn diepte-interviews gehouden met budgethouders, zorgverzekeraars, wijkverpleegkundigen en beroeps-, branche- en belangenorganisaties. Ook is kwantitatief en financieel onderzoek gedaan op basis van gegevens van alle zorgverzekeraars, Vektis en de Stichting Klachten en Geschillen Zorgverzekeringen (SKGZ). Met de uitkomsten van de evaluatie is VWS direct met partijen om de tafel gegaan om tot nieuwe bestuurlijke afspraken te komen. Deze afspraken zijn inmiddels gemaakt en geland in de zorgverzekeringspolissen van 2019.

Verstevigen evaluatieprogramma’s in beleidscyclus

Tijdens het Wetgevingsoverleg Jaarverslag 2018⁶ hebben wij gesproken over de presentatie van het meerjarenprogramma dat naar zorgdomein is geordend. De suggestie is gedaan of een andere indeling, bijvoorbeeld op basis van de levensloop zoals in de Staat van Volksgezondheid en Zorg, de presentatie van het meerjarenprogramma zou kunnen verduidelijken. Ik heb daar naar gekeken en dat blijkt niet het geval te zijn. Het blijkt vooral lastig om zorgbrede thema’s in te delen in de ordening van de Staat van Volksgezondheid en Zorg. Ook zijn sommige onderwerpen niet specifiek te relateren aan een bepaalde levensfase. Ik zie dan ook geen aanleiding om de presentatie van het meerjarenprogramma aan te passen. Wel biedt de opzet van de pilot ruimte om alternatieve beleidsthema’s op te nemen. Mocht u voor de programmering 2021–2022 suggesties hebben, dan ben ik graag bereid daarover met u van gedachten te wisselen.

Zoals ik ook al eerder aan uw Kamer heb aangegeven, heeft een aantal van de evaluaties in de opstartfase meer tijd nodig gehad dan vooraf voorzien. In de praktijk blijkt dat bij de start van evaluaties tijd nodig is om te komen tot goede onderzoeksvragen, in te zetten vernieuwende onderzoeksmethodieken en een aanpak om de uitvoeringspraktijk actief te betrekken. Deze intensieve voorbereidingsfase komt de aanpak van de evaluatie ten goede en zorgt voor meer bekendheid bij alle betrokkenen. Dit geldt bijvoorbeeld voor de in de bijlage opgenomen taakopdracht van de evaluatie «De juiste zorg op de juiste plek» (nr. 07) en de taakopdracht Goed bestuur (nr. 16) die later dit jaar naar uw Kamer zullen worden verzonden.

Naast de planning van de beleidsevaluaties is VWS verantwoordelijk voor de uitvoering van diverse evaluaties op het gebied van wetten, subsidieregelingen, ZBO’s en interdepartementale (beleids)onderzoeken. Gezien het streven van de Operatie Inzicht in Kwaliteit om de maatschappelijke impact te vergroten lijkt het interessant om te onderzoeken hoe deze strategische evaluatieagenda’s al dan niet met elkaar «mee-ademen» dan wel elkaar kunnen ondersteunen ook in relatie tot de vigerende beleidscyclus.

Transparant zijn over geleerde lessen

Met deze pilot wil ik op een passende wijze invulling geven aan de motie-Harbers c.s.⁷ om de Kamer meer te betrekken bij het evalueren van beleid. Naast het vooraf aanbieden van de taakopdrachten van de komende evaluatieonderzoeken, vind ik het belangrijk om na afronding ook duidelijkheid te geven over de bereikte resultaten van de evaluaties als onderdeel van de pilot Lerend evalueren. Daarom wordt als vast onderdeel in de kabinetsreactie op een afgerond evaluatieonderzoek in een aparte passage ingegaan op de geleerde lessen. Ik zal vervolgens toezien op de opvolging van de aanbevelingen.

Het vervolg

Voor de komende periode staan de rapportages van de evaluaties Wanbetalers Zvw-premie (nr. 11) (eind 2019) en Eenzaamheid (nr. 18) (voorjaar 2020) gepland. Ook de komende periode blijf ik volle aandacht geven aan evaluatieonderzoeken in het kader van de pilot Lerend evalueren. Ik beschouw deze onderzoeken als belangrijke handvatten om samen met alle betrokkenen te kunnen reflecteren op het VWS-beleid en waar mogelijk te verbeteren.

De Minister van Volksgezondheid, Welzijn en Sport,
H.M. de Jonge

---

1. Kamerstuk 31 865, nr. 144, Reactie op verzoek commissie over stand van zakenbrief van alle onderzoeken die er in het kader van de VWS pilot «Lerend evalueren» zijn of worden uitgevoerd.↩︎

2. Kamerstuk 31 865, nr. 126, Voortgangsrapportage Operatie Inzicht in Kwaliteit.↩︎

3. Raadpleegbaar via www.tweedekamer.nl.↩︎

4. Dit ook ter ondersteuning van de inbedding van Artikel 3.1 van de Comptabiliteitswet (CW3.1) binnen de VWS-organisatie. Deze is sinds januari 2018 in werking en vraagt om betere verantwoording en evalueerbaarheid van beleidsvoorstellen.↩︎

5. Kamerstuk 34 300 nr. 74, Van saldosturing naar stabilisatie, Vijftiende Rapport Studiegroep Begrotingsruimte, p. 48–53.↩︎

6. Wetgevingsoverleg Jaarverslag en Slotwet Ministerie van Volksgezondheid, Welzijn en Sport 2018, 18 juni 2019, Kamerstuk 35 200 XVI, nr. 18.↩︎

7. Motie Harbers c.s., Kamerstuk 34 000, nr. 36, 25 september 2014.↩︎