Preview document (🔗 origineel)

---

NWO-PROGRAMMA ONDERWIJSONDERZOEK, EVALUATIE 1997-2009

   -   samenvatting rapport d.d. 29 april 2009 -

1. Vooraf

Het ministerie van OCW heeft de Programmaraad Onderwijsonderzoek van de
Nederlandse Organisatie voor Wetenschappelijk Onderzoek (verder
NWO/PROO) gevraagd om niet alleen de gebruikelijke laatste
programmaperiode te evalueren, maar de complete twaalf jaar van zijn
bestaan onder de loep te nemen.  

Voor een goed begrip: tot 1997 waren verschillende typen
onderwijsonderzoek ondergebracht bij één organisatie, de Stichting
voor Onderzoek van het Onderwijs. Daarna is e.e.a. gesplitst en op
verschillende manieren georganiseerd. Kortlopend vraagonderzoek is aan
de Landelijke Pedagogische Centra opgedragen. De evaluatie van grote
veranderingstrajecten en onderwijsachterstandsbeleid in primair
onderwijs is ondergebracht bij BOPO, Programmacommissie Beleidsgericht
Onderzoek Primair Onderwijs. Aan NWO werd bij convenant  opgedragen
vierjaarlijks een programma op te stellen voor onderwijsonderzoek,
waaronder ook het cohortonderzoek en internationaal vergelijkend
onderzoek. Daarvoor is een programmaraad ingesteld, die is ondergebracht
bij het NWO-gebied Maatschappij- en Geesteswetenschappen. De opdracht
van de programmaraad omvat feitelijk dus alleen het
fundamenteel-strategisch onderzoek dat het eerste-geldstroom onderzoek
moet versterken. Naast het opstellen van de vierjaarlijkse programma's
zijn er de volgende taken: het beoordelen van onderzoeksaanvragen
volgens NWO-criteria, het  bewaken van gehonoreerd onderzoek, het 
dissemineren van onderzoeksresultaten en het evalueren van het geheel.

Het evaluatieverslag 1997-2009 bestaat uit twee delen:

- een programmaverslag waarin uitgangspunten, beleid en output feitelijk
worden beschreven

- en een zelfevaluatie waarin wordt teruggekeken en vooruitgeblikt. 

2. Het programmaverslag

Het verslag gaat over beleid en beheer.

Beleid betekent het kiezen en hanteren van instrumenten (grote
projecten, reviewstudies, bijdragen aan internationale
onderzoeksconferenties als AERA, EARLI en ORD, de website, eigen
workshops e.d.), waarbij het vierjaarlijks vaststellen van een
onderzoeksprogramma de meeste impact heeft. Beheer betekent vooral het
managen en beoordelen van een grote hoeveelheid onderzoeksaanvragen die
altijd de toekenningsmogelijkheden overtreffen, en het  monitoren van de
toegekende projecten. Daarnaast zijn er de hiervoor genoemde andere
verplichte taken. 

In de periode 1996-2001 was de oriëntatie voornamelijk
wetenschapsgedreven: programma en onderzoek richtten zich vooral op
wetenschappelijke vooruitgang. In de jaren erna is het accent verlegd:
het  fundamenteel onderzoek moet zich, gegeven de kennisbehoefte van het
onderwijs, óók laten leiden door vraagstukken uit het onderwijs, wordt
ook maatschappijgedreven. Daartoe werden meer dan voorheen directe
contacten onderhouden met de onderwijspraktijk. Dat is te zien in de
samenstelling van de programmaraad, waar de praktijk betrokken is bij de
programmering, en in de grotere aandacht voor disseminatie. Naar nieuwe
ontwikkelingen in de wetenschap werd ook gekeken; voorbeeld daarvan is
de review naar relevantie van hersen- en cognitiewetenschappen voor het
onderwijs(onderzoek). Met het fundamenteel-strategisch 

karakter van het onderzoek blijft PROO-onderzoek zich onderscheiden van
het kortlopend LPC-onderzoek, het beleidsgericht BOPO-onderzoek en TIER,
dat zich richt op kosteneffectieve interventies.

Het cohortonderzoek is sterk verbeterd door de oorspronkelijke twee
cohorten (PRIMA en VOCL) samen te brengen in een nieuw integraal cohort
COOL 5-18, waarin ook het mbo wordt meegenomen. Op verzoek van OCW wordt
daar de groep van 2-5 jaar nog aan toegevoegd. Naast het budget voor de
dataverzameling als zodanig wordt verdiepend onderzoek geprogrammeerd. 

Het internationaal vergelijkend onderzoek omvatte oorspronkelijk alleen
TIMSS. Op verzoek van OCW programmeert de PROO nu ook de Nederlandse
deelname aan PIRLS.

Om beter aan de kennisbehoefte van beleid en praktijk tegemoet te komen,
zijn er de laatste jaren meer reviewstudies geprogrammeerd.

In de loop der jaren zijn er in totaal 210 projecten uitgevoerd,
waaronder 126 promotieplaatsen. Ruim de helft van de projecten maakt
deel uit van multidisciplinaire samenwerkingsprogramma’s van vier à
vijf onderzoekers. De projecten leverden gemiddeld negen publicaties op.
Deze prestaties van PROO-onderzoek liggen daarmee boven de door NWO-MaGW
gehanteerde benchmarks. Daarnaast hebben het cohortonderzoek en
internationaal vergelijkend onderzoek tot vele projecten geleid: (voor
iedere onderzoeker toegankelijke) databestanden, wetenschappelijke
publikaties en relevante beleidsinformatie. 

Meer onderzoeksinstituten en disciplines dan voorheen onder SVO hebben
van de PROO-subsidies geprofiteerd, terwijl de kwaliteitsselectie
volgens NWO-criteria streng en transparant is. Daardoor is, conform de
doelstelling, de capaciteit van het universitair onderwijsonderzoek uit
de eerste-geldstroom kwantitatief en kwalitatief inderdaad versterkt. En
omdat het internationale aspect mainstream is geworden, is het
PROO-onderzoek meer geïnternationaliseerd geworden. Beoordeling vindt
structureel plaats door middel van peer review door binnen- en
buitenlandse onderzoekers, PROO-onderzoekers hebben belangrijke inbreng
bij internationale congressen en publiceren internationaal, en er worden
onderzoeksvoorstellen gezamenlijk met buitenlandse collega-instituten
gehonoreerd.

3. Zelfevaluatie

Terugblik

PROO heeft de opdracht van OCW consequent uitgevoerd en is daarin
succesvol geweest. Onderbrenging bij NWO met zijn normen voor kwaliteit,
onafhankelijkheid en transparantie, heeft daarbij geholpen, zij het dat
rekening is gehouden met eigenheden van onderwijsonderzoek. In de
SVO-tijd behoorden veel publikaties tot de 'grijze' literatuur; nu
worden er veel meer wetenschappelijke publikaties in binnen- en
buitenlandse gerefereerde tijdschriften geproduceerd. PROO-subsidies
hebben voor een nieuwe generatie onderzoekers gezorgd. Ook aan de
opdracht tot kennisoverdracht is voldaan: enerzijds draagt
PROO-onderzoek bij aan wetenschap en theorievorming, anderzijds aan de
onderwijspraktijk. Dat laatste gebeurt direct (onderwijsmateriaal,
conferentiebijdragen, praktijkgerichte publikaties e.d.), dan wel
indirect via SLO/CITO/LPC schoolbegeleidingsdiensten, lerarenopleidingen
en Onderwijsraad.

Bij het programmeren vragen vier aspecten permanent aandacht:

a) verhouding tussen evenwichtig/breed en effectief/gefocust programma;

b) onderzoekslijnen die niet van de grond komen (pedagogische functie,
beroepsonderwijs);

c) afstemming tussen partijen nu fundamenteel-strategisch,
beleidsgericht en praktijkgericht onderzoek gescheiden zijn;

d) in de relaties met OCW en de praktijk is meer nabijheid gewenst.

Daarnaast worden verbeteringen voorgesteld bij het beoordelen, het
monitoren, de cohorten (waar medewerking van scholen afneemt) en het
overdragen van kennis.

Vooruitblik

Het stand-alone model heeft zijn nut bewezen en de goede elementen ervan
(met name de onderbrenging bij NWO en het overnemen van de betreffende
procedures) moeten gewaarborgd worden. Er zijn vier soorten suggesties
voor verbetering.

1. Suggesties voor verbetering binnen het bestaande convenant:

a) versterken van de relatie met OCW;

b) rationaliseren van het programmaoverleg tussen PROO, BOPO,
LPC/kortlopend praktijkonderzoek en OCW;

c) verbeteren beheersprocedures, i.c. volgen onderzoeksprojecten na
afronding;

d) instellen van gebruikerspanel.

2. Suggesties voor aanpassing van het convenant om bestaande functies
aan te zetten:

a) meer expliciet benoemen van de functie van fundamenteel-strategisch
onderzoek voor beleid en praktijk;

b) scherper formuleren van de kennisoverdrachtstaak.

3. Suggesties voor aanpassing van het convenant om nieuwe functies
mogelijk te maken:

a) de professionele beoordelingsstructuur van NWO/PROO inzetten voor
ander onderzoek dat OCW bekostigt (bijv. Onderwijsbewijs, PISA e.d.) om
bij te dragen aan kwaliteitsverbetering en transparantie en om
efficiënter te beoordelen;

b) een rol spelen bij invulling fundamentele onderzoekscomponent
FES-trajecten om binnen die trajecten op toepassing gericht onderzoek en
innovatie te koppelen aan fundamenteel-strategisch onderzoek;

c) gericht kunnen stimuleren om onderzoek van de grond te tillen waaraan
grote behoefte bestaat (bijv. pedagogische functie, beroepsonderwijs);

d) samenbrengen van PROO en BOPO in één organisatorisch verband om
binnen NWO beter af te stemmen, beheerslast te beperken met behoud van
de wezenlijke elementen van beide;

e) uitbreiden van programmatisch overleg naar andere door OCW
gefinancierde initiatieven;

f) voorzieningen creëren om de kennisketen beter te laten sluiten:
enerzijds om resultaten van fundamenteel onderzoek uit te ontwikkelen en
in innovatietrajecten te brengen; anderzijds om resultaten van meer
toegepast onderzoek in te brengen bij de programmering van
fundamenteel-strategisch onderzoek.

4. Suggestie is om, in het verlengde van het laatstgenoemde voorstel,
samen met anderen te onderzoeken of een model als ZonMw voor het
onderwijsonderzoek meerwaarde oplevert. In dit model zijn verschillende,
voorheen afzonderlijke fondsen van een enkel departement, binnen NWO
organisatorisch zo ingekaderd dat de elementen van de kennisketen beter
op elkaar worden betrokken.

Tot slot wordt opgemerkt dat de voorgestelde verbeteringen als fasen in
een proces worden gezien. Sommige voorstellen kan de PROO op basis van
het convenant direct doorvoeren; vervolgens wordt in samenspraak met OCW
het convenant aangepast en uitgebreid om andere verbeteringen mogelijk
te maken. Op de langere termijn zou in overleg met meerdere partijen een
nieuwe organisatorische figuur voor het onderwijsonderzoek kunnen worden
gerealiseerd. De PROO wil graag blijven meedenken over verdere
optimalisering van de kennisinfrastructuur voor het onderwijsonderzoek. 

 

 PAGE    

 PAGE   1