Preview document (🔗 origineel)

---

VAN OVERKANT TOT OVERKANT

Onderzoek naar aard en aanpak van de IOB-evaluatie 

van het Nederlands Afrikabeleid Bilateraal 1998-2006

Prof. Dr. Mr. Bas de Gaay Fortman en Prof. Dr. Arie de Ruijter

VAN OVERKANT TOT OVERKANT

Onderzoek naar aard en aanpak van de IOB-evaluatie van het Nederlands
Afrikabeleid Bilateraal 1998-2006

Those engaged in decision-making and policy formulation increasingly
face situations where assumptions about the way the world works, such as
about cause-effect, rational choice and intentional actions, are not
valid, yet their tools and procedures assume their assumptions hold
true. 

1: Inleiding

1. De Afrika evaluatie wordt door de Inspectie Ontwikkelingssamenwerking
en Beleidsevaluatie (IOB) beschouwd als ‘vlaggenschip’ van een
overheidsdienst, een vlaggenschip dat uitmunt in grondigheid,
zorgvuldige onderbouwing en representativiteit van de bevindingen. De
neerslag van deze mega-evaluatie werd dan ook “met enige trots” aan
het publiek voorgelegd. Niet verwonderlijk is dat een met zoveel verve
gepresenteerd stuk ook kritiek uitlokt. De evaluatie die wij op verzoek
van de Directeur Generaal Internationale Samenwerking van het Ministerie
van Buitenlandse Zaken hebben verricht, heeft de kritiekpunten
vanzelfsprekend nagegaan. In dit verband mag niet worden vergeten dat de
Afrika evaluatie van IOB ook veel lof heeft geoogst. Bovendien is deze
zeker geslaagd in het op gang brengen van discussie. Daarmee heeft IOB
de betrokkenheid bij het Nederlandse bilaterale beleid in Afrika
vergroot. 

2. Kritiek is geuit van binnen en van buiten het departement. Een
terugkerend element in de externe kritiek op de evaluatie is dat het
beleid zelf nogal instrumentalistisch is (zie in dit verband het motto
boven dit rapport). Doordat IOB vanuit dat beleid naar de werkelijkheid
pleegt te gaan -en dus niet omgekeerd: van werkelijkheid naar beleid -
krijgt ook de IOB methodologie een instrumentalistisch uitgangspunt.

3. De Afrika evaluatie is aanleiding geweest tot een eerste verzoek van
DGIS om een IOB evaluatie extern te doen evalueren. Vanzelfsprekend
confronteerde deze opdracht ons met de wijze van evalueren door IOB in
het algemeen. Veelal moet het navolgende commentaar op de Afrika
evaluatie dan ook in een breder kader worden verstaan. Dit klemt temeer
nu in de Afrika evaluatie van vele eerdere IOB studies gebruik is
gemaakt. 

4. Onze opdracht was vanzelfsprekend niet de IOB Afrika evaluatie ‘in
hoger beroep’ te nemen maar deze uitsluitend te beoordelen op
methodologie en organisatie met het doel hiervan te leren door het
verschaffen van inzicht in de aard en de aanpak van de IOB-evaluatie. 

5. Bij IOB troffen wij een buitengewoon evaluatievriendelijke omgeving.
Alle gesprekspartners waren open, gingen geen enkele vraag uit de weg en
toonden zich uitermate behulpzaam in het opsporen en ter beschikking
stellen van welk document dan ook. Wij hebben deze blijken van grote
professionaliteit zeer gewaardeerd. 

6. Wat ons bij bestudering van de documentatie bovenal treft, bij zowel
politici als beleidsmakers en als reflectie daarvan ook bij de ‘aan de
overkant’ zetelende IOB, is inderdaad een geloof in het kunnen kennen,
sturen, ontwerpen en ‘maken’ van uiterst complexe verschijnselen,
processen en structuren. Hierbij lijkt er een voorkeur te bestaan voor
grand design, c.q. grand strategy denken: beleid is een samenhangend
geëxpliciteerd stelsel van uitgangspunten, overwegingen, maatregelen,
procedures en praktijken; vandaar de nadruk op integratie en coherentie.
De werkelijkheid daarentegen is weerbarstig, gefragmenteerd, turbulent,
met onbedoelde, onverwachte en ongewenste effecten bij gepland
ingrijpen, hetgeen in plaats van bescheidenheid voortdurend leidt tot
nieuwe ingrepen: afnemende beleidseffectiviteit gaat gepaard met
toenemende beleidsinspanningen. Het is nog maar de vraag of een
omvattend,  geëxpliciteerd, geïntegreerd, coherent model -te
definiëren als een geformaliseerde calculus met het daarbij behorende
grand design/grand strategy denken en handelen- te verkiezen valt boven
het garbage can model dat uitgaat van een moeilijk te organiseren
chaotische werkelijkheid. Moet het beleid niet meevibreren met die
turbulentie? Moet het beleid niet altijd meer opportunity snatching zijn
vanuit een beperkt aantal doelstellingen met op de concrete situatie
toegesneden werkwijzen en daarbij behorende overdracht van
uitvoeringsbevoegdheden naar de lokale context (discretionaire ruimte
van de basis)? Vanuit een dergelijke optiek wordt veel meer de
politieke, de momentane, de contextuele dimensie van beleidsvorming en
beleidsuitvoering erkend (“Policy is embedded in politics”, Joseph
Schumpeter) dan in het meer bureacratisch-technocratische beleidsdenken
en een daarop gebaseerde evaluatiemethodologie. Een meer discretionaire
beleidsopvatting gebaseerd op normatieve uitgangspunten en processen van
globale aard in plaats van minutieus uitgewerkte doelstellingen en
gedragsregels sluit dan ook goed aan bij de wens van elk nieuw kabinet
een eigen stempel op beleid te drukken. Bovendien verhoudt zich dit
beter tot de partnership/ownership ideologie. Een vanzelfsprekend
bezwaar is dat een dergelijk perspectief transparantie, verantwoording
en meetbaarheid van effecten sterk bemoeilijkt en niet goed past in een
sfeer van ‘georganiseerd wantrouwen’ . 

7. Vanuit een instrumentalistische visie op beleid is ook een
monitoring- en evaluatiemethodologie ontwikkeld, de zgn.
evidence-oriented evaluation. Dit heeft direct implicaties voor de wijze
waarop IOB de totstandkoming van beleid benadert. IOB maakt een
rationele reconstructie van dit proces en gaat daarna het gerealiseerde
beleid in de uitvoering evalueren. Een consequentie hiervan is dat
kritische reflectie op de gemaakte beleidskeuzen beperkt blijft. IOB
heeft in feite via logframe analyse een interventielogica 
gereconstrueerd (reconstructed logic). Vanuit deze reconstructie komt
men tot het definiëren van het materiaal dat nodig is voor opstellen
van de Terms of Reference (ToR). Men zoekt vervolgens een wijze van
monitoring die is gebaseerd op een lineaire logica in termen van
oorzaak-gevolg ketens, al dan niet in de vorm van stochastische
processen en pad-analyses. Maar doet een dergelijke monitoring- en
evaluatiemethodologie wel recht aan de complexiteit van
ontwikkelingsprocessen met messy partnerships, strategische allianties,
uitdijende netwerken en coalities met wisselende knooppunten? Kan vanuit
het logframe denken wel voldoende aandacht worden besteed aan opkomende
en wisselende machtsverhoudingen? Wordt hiermee wel een adequate basis
geleverd voor zich ontwikkelende (beleids)dialogen  (i.p.v. simpele
monoloog) en daarmee gepaard gaand ownership in het ontvangende land?  

8. Bij zowel IOB als de beleidsafdelingen confronteerde het onderzoek
ons met vooroordelen aangaande ‘de overkant’. In dat licht rijst de
vraag of bij de huisvesting van IOB in een apart gebouw het
‘overkant’ aspect wel is meegewogen. Hoe dat ook zij, de
positionering van IOB als onafhankelijke dienst binnen Buitenlandse
Zaken maakt een geïntegreerde beleving van de bedrijfscultuur gewenst,
zo niet noodzakelijk.

 

2: Aanzet, aanpak en uitvoering 

2.1 De Terms of Reference (ToR)

9.  Inzake de Afrika evaluatie heerst het misverstand dat deze
voortkwam uit een verzoek van de Tweede Kamer. De Afrika evaluatie stond
echter al in de zogeheten voortrollende programmering van 2000-2001;
toen werd er gesproken over “Geïntegreerd Afrikabeleid”. In de IOB
programmering 2003-2007 kwam –onder invloed van de eerdere coherentie
brieven van minister Herfkens– de term coherentie naar voren
(“Coherentie Afrikabeleid”). Met deze reeds bestaande programmering
als uitgangspunt is door de Kamer gevraagd om een prioritering van dit
onderdeel van het werkprogramma. Uit het verslag van het Algemeen
Overleg waarin dit aan de orde kwam, blijkt dat de Kamer doelde op een
evaluatie van “het coherente Afrikabeleid”. Hierbij had men in het
bijzonder het oog op de effecten van integratie van de sectoren
Ontwikkelingssamenwerking (OS) en Buitenlandse Zaken algemeen (BZ),
zoals beoogd in de herijkingsoperatie en op de coherentie met beleid
gevoerd vanuit andere departementen zoals Landbouw, Economische Zaken en
Financiën. Op 8 december 2004 zegde de minister voor
ontwikkelingssamenwerking toe in 2005 de nodige voorbereidingen te
treffen “om in 2006 de uitvoering daadwerkelijk ter hand te nemen.”

10. Uit het verslag van het Algemeen Overleg van 8 december 2004 blijkt
dat de Kamer vooral benieuwd was naar een beoordeling van de
veranderingen in de organisatie van de beleidsuitvoering, allereerst
intradepartementaal, maar daarnaast ook interdepartementaal. IOB heeft
vervolgens deze vraag uitgebreid naar het beleid als zodanig en
toegespitst op het bilaterale kanaal met zeer grote nadruk op de OS
sector. In de loop van het proces van verder beperken van wat in
empirisch opzicht als een immense opdracht werd gezien heeft het
“doorsnijdend thematisch” perspectief van “coherent beleid”
sterk aan betekenis verloren. 

11. Een Afrikabeleid in de zin van een op Sub Sahara Afrika gerichte
contextuele analyse van belemmeringen en mogelijkheden voor
armoedebestrijding, vrede en veiligheid en duurzame ontwikkeling,
gevolgd door een daarop gebaseerde keuze van doelstellingen en
beleidsinstrumenten was er overigens niet. Het Afrikabeleid als zodanig
evalueren is dan ook ondoenlijk. Zonder thematisch perspectief moest wel
worden afgebakend. Dat bleek moeilijk vanwege de geografische en
financiële omvattendheid van het object van onderzoek, de geringe
sturing van bovenaf en de eigen dynamiek van het ministerie. Zo was er
in de te onderzoeken periode een overgang gemaakt van project- en
programmahulp naar algemene begrotingssteun (ABS) waarvoor echter geen
op Afrika gerichte beleidskaders bestonden. Op wezenlijke punten ontbrak
het bovendien aan een eenduidig beleid, hetwelk –paradoxaal– blijkt
uit het feit dat er 84 beleidsnota’s in de evaluatieperiode zijn
verschenen. Kortom, weinig concrete noties en weinig sturing. 

12. Er is dan ook al vrij snel besloten een “capita selecta”
indeling te kiezen. Hierbij is niet primair de ministeriele
organisatiestructuur maar de toewijzing van gelden als criterium
gehanteerd (“follow the money”). Hiernaast is deels ook de concrete
uitvoering onderzocht. Beleid bestaat immers niet alleen uit notities,
maar ook uit praktijken. Er valt wellicht te concluderen dat juist de
capita selecta benadering het ultieme bewijs vormt dat er geen eenduidig
coherent beleid was.  Bij de capita selecta aanpak is men in
belangrijke mate gebonden aan reeds afgeronde IOB studies. Zo loopt men
noodgedwongen -gegeven randvoorwaarden van tijd en geld– tegen eigen
beperkingen aan.

13. In dit verband valt nog op te merken dat in het cruciale proces van
totstandkoming van de ToR de betrokkenheid vanuit DGIS niet optimaal is
geweest en dat de referentiegroep pas ging vergaderen nadat de ToR waren
vastgesteld. In de IOB praktijk is dat laatste ongebruikelijk.

14. In de ToR worden drie hoofdonderwerpen geformuleerd:
beleidsontwikkeling, beleidsuitvoering en beleidsresultaten. Ter zake
van een evaluatie van de uitvoering van beleid blijkt het om vier
kernvragen te gaan: 

(1) is beleid daadwerkelijk uitgevoerd, blijkend onder meer uit
bestedingen?

(2) had de beleidsimplementatie een integraal karakter?

(3) speelden beleid en wensen van het ontvangende land een rol?

(4) zijn aantoonbaar maatregelen getroffen om coherentie te bevorderen? 

15. Noodgedwongen heeft IOB zich bij de selectie van onderwerpen vooral
moeten laten leiden door de beschikbaarheid van bestaand materiaal.
Slechts in beperkte mate was het mogelijk nieuwe evaluaties uit te
voeren.

16. Uiteindelijk blijkt de evaluatie vooral in te gaan op het
uitgavenpatroon. Uiteraard heeft dit consequenties voor de mate waarin
gangbare IOB criteria (te weten: relevantie, doeltreffendheid en
doelmatigheid) kunnen worden gehanteerd. Het beantwoorden van de vraag
hoe OS-gelden zijn uitgegeven is uiteraard wat anders dan de vraag naar
een evaluatie van het Afrikabeleid. Wel moet worden opgemerkt dat in een
aantal hoofdstukken de outcome in kaart wordt gebracht, zoals bij
algemene begrotingssteun, humanitaire hulp, onderwijs en water. Tot op
zekere hoogte is dit ook het geval bij stedelijke armoedebestrijding en
bevordering van de rechtstaat. Bij HIV/Aids is hiertoe ook een poging
ondernomen, maar dat was moeilijker omdat Nederland qua beleid een
bescheidener donor is. 

17. Bij vaststelling van de ToR is meermalen gependeld tussen de vraag
naar consistentie en die naar coherentie van beleid, maar dan bezien
door Nederlandse bril. Ook in de evaluatie context is nauwelijks sprake
van ownership en/of partnership met de objecten van evaluatie: de
Afrikaanse actoren. De ToR zijn vastgesteld binnen ‘Haagse’ kaders
door ‘Haagse’ partijen. Een typerend gevolg daarvan is dat bij deze
evaluatie Afrikaanse consultants nauwelijks waren betrokken.

18. Het vaststellen van de ToR heeft meer dan een vol jaar in beslag
genomen (dec. 2004 - maart 2006). In de Tweede Kamer was de lange
‘incubatieperiode’ door de minister voor ontwikkelingssamenwerking
reeds aangekondigd. De redenen daartoe zijn niet geheel duidelijk; de
Kamer ging er niet op in. 

19. De afbakening is totstandgekomen via interne en externe
brainstormsessies. De lange periode die deze fase in beslag nam kan
wellicht ten dele verklaard worden uit het verzoenen van (a) wensen en
verwachtingen van de Tweede Kamer met (b) opvattingen en belangen van de
diverse beleidsafdelingen op het ministerie, alsmede (c) reële
uitvoeringsmogelijkheden. Hierbij moesten vele beleidsnotities
geanalyseerd worden, cijfers worden verzameld en mogelijke keuzes worden
besproken in het licht van praktische beperkingen van tijd en geld.
Gezien de opdracht coherentie een plaats te geven moesten ook andere
ministeries erbij worden betrokken. Uiteindelijk is gekozen voor een
focus op heel Sub Sahara Afrika en het grotendeels baseren van de
evaluatie op bestaand (evaluatie)materiaal. Hier komt nog een specifieke
reden bij: de overgang naar de sectorale wijze van werken. De
complementariteitstheorie is hiermee verbonden. De NGO´s en SNV zitten
in het veld, en de leden van de ambassade zitten achter hun bureaus,
onderhouden contacten en voeren dialogen met de ambtenaren van het
ontvangende land en politici. Mede op grond van deze overwegingen werd
besloten de evaluatie te beperken tot bilaterale samenwerkingsrelaties
en de multi- en civilaterale kanalen buiten beschouwing te laten, een
beperking die de representativiteit van de evaluatie in termen van het
leereffect negatief heeft beïnvloed. 

20. Het ‘afstemmingsproces’ heeft begin 2006 geleid tot een concept
ToR. Hierop had DAF op vijf punten commentaar (zie verslagen gesprekken
IOB-DAF en e-mail correspondentie). IOB heeft vier daarvan overgenomen.
Ook de Coherentie-eenheid had commentaar (zie e-mail correspondentie)
met als resultaat dat suiker is vervangen door snijbloemen. Het
resultaat van deze langdurige consultatie is vervolgens aan beide
ministers (M, R) via de secretaris generaal (S) op 7 maart 2006
aangeboden. Mede op basis van een gesprek tussen S en IOB (in
aanwezigheid van DGIS, DAF en BSG) is een enigszins bijgestelde ToR op
30 maart 2006 toegezonden aan directeuren en DG’s, alsmede aangeboden
aan beide ministers. Op 25 april tenslotte is de definitieve ToR –
identiek aan de 30 maart versie - vastgesteld door waarnemend directeur
IOB.

21. Later zijn overigens wel, mede onder druk van de externe
referentiegroep, onderwerpen toegevoegd die niet in de ToR waren
aangegeven. Zo stond schuldverlichting aanvankelijk niet in de ToR, maar
is dit later toegevoegd omdat het qua omvang de eerste hulpcategorie
bleek te zijn. Hiervoor heeft de eerdere studie uit 2003 als basis
gediend. Bij de presentatie op de Ambassadeursconferentie in 2006 werd
duidelijk dat plattelandsontwikkeling van groot belang werd geacht, een
onderwerp dat niet alleen in termen van coherentie (internationale
handel) aan de orde gesteld kon worden. Dit heeft IOB in een overleg 
met de externe referentiegroep op 21 juni 2007 doen besluiten een apart
hoofdstuk hieraan te wijden. Onderwijs is ook in een later stadium
-midden 2007- aan de evaluatie toegevoegd, in samenspraak met de
referentie groep en de desbetreffende afdelingen van het ministerie.

 

22. Kortom, er is een zekere mate van discrepantie tussen de definitieve
ToR en de uiteindelijke uitvoering. Daarbij is sprake van zowel
versmalling als verbreding. Onderwerpen zijn toegevoegd, de coherentie
vraag werd niet de centrale focus en de vraag naar geïntegreerd werken
waartoe in elk geval ook de intradepartementale samenwerking behoort,
komt slechts beperkt aan bod. 

23. In de uitvoering van het onderzoek zijn ten opzichte van de ToR
enkele inconsistenties waar te nemen:

(1) Alhoewel coherentie oorspronkelijk een kernoverweging vormde is het
uiteindelijk vooral een OS evaluatie geworden. Weliswaar zijn handel en
investeringen alsmede de politieke veiligheidskant enigszins aan bod
gekomen, maar niet culturele samenwerking, niet universitaire
samenwerking. 

(2) Wat beleidsontwikkeling betreft heeft de evaluatie zich beperkt tot
het bilaterale kanaal (ook al is het Nederlands beleid natuurlijk
beïnvloed door internationale ontwikkelingen), maar in de uitvoering
zijn ook multilaterale activiteiten onderwerp van evaluatie. Er wordt
veel geld gegeven via multilaterale kanalen die echter via het
bilaterale kanaal worden geboekt (zoals humanitaire hulp). Dit geldt ook
voor het deel van de sectorsteun dat multilateraal wordt uitgevoerd. 

(3) Het aanvangsjaar van de evaluatie is 1998, het jaar waarin de
‘herijkingsoperatie’ werd voltooid en men bij BZ geïntegreerd ging
werken.  De werking van de als gevolg daarvan gecreëerde
“matrixstructuur” is evenwel buiten de ToR gehouden. IOB stelt dat
er nu eenmaal keuzes moesten worden gemaakt uit de vele relevante
onderwerpen. Al bij eerste aftasting bleek dit een ingewikkelde,
netelige kwestie (dit punt was wel opgenomen in de concept ToR).
Vervolgens heeft men dit onderwerp –eigenlijk het gehele vraagstuk van
beheer– laten vallen; er is dus niet nagegaan of de matrixstructuur in
de praktijk goed werkt. Alhoewel wij begrip hebben voor het niet
behandelen van dit onderwerp valt dit wel te betreuren, gegeven het
belang dat gehecht wordt aan integratie en coherentie. Navraag
onzerzijds leerde dat naar de ‘subjectieve’ mening van informanten
de werking van deze matrixstructuur suboptimaal is.

2.2 Representativiteit

24. De representativiteit verschilt uiteraard van deelstudie tot
deelstudie. Bij algemene begrotingssteun en schuldverlichting is deze
verreweg het grootst; bij andere onderdelen is deze echter beperkt. Uit
raadpleging van de stukken ontstaat de indruk dat IOB pas tijdens het
proces inzicht kreeg in het totale uitgavenplaatje van acht jaar
bilaterale betrekkingen met Afrika. Dit had aan keuzes vooraf moeten
gaan, hetgeen overigens gemakkelijker is gezegd dan gedaan! Er zouden
wellicht andere keuzes zijn gemaakt –bijvoorbeeld inzake het
coherentiedossier- als er van tevoren een duidelijk statistisch
overzicht was geweest en daarover eerst een goed categoriseringsgesprek
tussen IOB en de referentiegroep (inclusief externe referenten) zou zijn
gevoerd.

25. Zoals al opgemerkt is noodgedwongen gebruik gemaakt van reeds
bestaande evaluaties, daar de tijdspanne kort was. Er is expliciet
afgesproken dat er zo veel mogelijk geput zou worden uit de courante
kennis en activiteiten van IOB. Hier passen enkele kanttekeningen:

(1) Wellicht heeft IOB onvoldoende aandacht gegeven aan politiek
geïnitieerd beleid, zoals de kwestie van entry/exit thema’s en landen
alsmede ad hoc beleidsontwikkelingen (kwestie Soedan). Het gaat hier
veelal om politieke profilering van de bewindspersonen en om ad hoc
beleid voortvloeiend uit onverwachte actuele situaties. De effecten van
zulke beleidskeuzes zijn moeilijk te meten. Het is methodologisch
eenvoudiger aan de hand van het reeds vastgestelde ‘formele’ beleid
na te gaan of de ‘reguliere’ miljarden die jaarlijks worden besteed
leiden tot het halen van de MDG’s.

(2) Er is bij drie dossiers sprake van recycling: humanitaire hulp,
sectorsteun en schuldverlichting. Als zodanig brengen deze geen nieuws
(alhoewel ze wel zijn aangevuld met recente data). Recycling op zich kan
geen twistpunt zijn. Het betreft hier belangrijke dossiers, niet in de
laatste plaats omdat het daarbij vooral gaat om algemeen OS beleid en
niet zozeer specifiek Afrikabeleid met daarbij behorend specifiek Afrika
instrumentarium. Bovendien gaat het er om of de evaluaties de toets der
kritiek kunnen doorstaan, of deze nog actueel zijn en of er wat met de
evaluaties is gedaan. In dit verband missen we het systematisch mee in
de evaluatie betrekken van de beleidsreacties op de uitgevoerde
evaluaties en de vraag of die al dan niet tot veranderingen hebben
geleid.

26. Pas op een laat moment is besloten schuldverlichting toe te voegen.
De argumentatie van IOB is dat met de evaluatie inzake
schuldkwijtschelding nooit eerder iets is gedaan, terwijl het om de
grootste uitgavenpost gaat. Een analoge redenering kan worden gegeven
voor de evaluatie inzake sectorsteun. Hiervoor geldt trouwens dat het
één van de beste IOB evaluaties is, dat het een nog steeds actueel
onderwerp behelst dat verstrekkende invloed heeft gehad voor de hulp aan
Afrika en dat het een aantal regelrecht te gebruiken casussen bevat,
waarvan alleen de cijfers enige actualisering behoefden. 

3. Opzet en uitvoering van het onderzoek

27. Inzake de opzet en uitvoering van het onderzoek vallen drie
dimensies te onderscheiden: de contextualisering, de conceptualisering
en de methodologie.

3.1 Contextualisering

28. Wat de contextuele dimensie betreft kan allereerst worden verwezen
naar wat hierboven al werd gesteld over het ontbreken van een
daadwerkelijk Nederlands Afrikabeleid. Juist de loskoppeling van
coherentie als centraal thema in combinatie met de focus op heel Sub
Sahara Afrika bilateraal maakte de evaluatie tot een ‘Mission
Impossible’. Ook de drie eigenlijke Afrika notities van 1998, 1999 en
2003 gingen uit van een algemeen ontwikkelingsbeleid gebaseerd op
‘benaderingen’ zoals de sectorale aanpak en thema’s zoals
‘coherentie’ en ‘goed bestuur’. De meest expliciete daarvan is
overigens de laatste, “Sterke mensen, zwakke staten” geheten.
Opvallend is wel dat van de vijf daarin vermelde prioriteiten Pro Poor
Growth nauwelijks en Milieu in het geheel niet aan de orde komt in de
IOB Afrika evaluatie. De prioriteit Goed Bestuur komt wel expliciet tot
uitdrukking. Zo lezen we onder de Bevindingen in 3.4.3: “Het thema
goed bestuur kreeg een bredere inkleuring in het beleid (goed bestuur
als doel en als middel) en kwam in vele beleidsstukken terug. Niettemin
is voor goed bestuur geen duidelijk beleid geformuleerd.” Hierbij valt
aan te tekenen dat ‘Good Governance’ met name vanuit de
multilaterale hoek op de agenda werd gezet. 

29. Wat gezien de nadruk op beleidsthema’s dan ook wordt gemist is een
analyse hoe internationale thematrends (GG, PRSP’s, MDG’s etc.) zich
vertalen in Nederlands ‘beleid’. Algemeen beleid inzake
ontwikkelingssamenwerking is niet zozeer Nederlands als wel
internationaal: Nederland loopt mee (maar verkeert wel in de kopgroep),
bijvoorbeeld in de concentratie op een beperkt aantal sectoren en in  de
verschuiving van project- naar programmasteun of nog liever
macro-economische ondersteuning om vertrouwen te tonen en een
gelijkwaardige relatie te bevorderen (ownership). 

30. Dat er alleen kan worden gesproken van een op Afrika toegepast OS
instrumentarium en niet van een authentiek Afrikabeleid is een niet
onbelangrijk punt want Afrika zou juist bij uitstek kans op integraal en
samenhangend beleid bieden. Op dit continent vloeien immers alle
vraagstukken samen, waardoor politieke, economische en
ontwikkelingsinstrumenten in samenhang kunnen worden bekeken. Uit
opmerkingen vanuit de referentiegroep blijkt overigens dat de
beschouwing van Sub Sahara Afrika als een werkelijkheid met bepaalde
gemeenschappelijke kenmerken als een aanvechtbare aanname wordt gezien.
Er is inderdaad grote verscheidenheid en van daaruit bezien veel meer
kans op variëteit dan op eenvormigheid, tenzij men achter de
verscheidenheid zou gaan zoeken naar onderliggende structurele
kenmerken. Juist die onderliggende factoren kunnen niet goed tot hun
recht komen bij de evaluatiepraktijk van IOB aangezien die het beleid
zelf tot uitgangspunt van de analyse maakt. Zo ontbreekt een centrale
vraag naar de kernkenmerken van de Afrikaanse staat zoals die heeft vorm
gekregen in het postkolonisatie proces. Van het inleidende hoofdstuk 2
‘Feiten en achtergronden voor het Nederlandse Afrikabeleid’ mocht
een schets worden verwacht van de politieke, economische en culturele
context waarin het Nederlandse Afrikabeleid gedurende de geëvalueerde
periode heeft geopereerd.  

31. IOB merkt in dit verband op dat een veel uitgebreider conceptrapport
van de evaluatie (augustus/september 2007) is besproken met de
ambassadeurs tijdens de conferentie van 7 september; hierin speelde de
context een veel belangrijker rol. Hoofdstuk 2 bestond in het
conceptrapport uit 4 hoofdstukken en die bevatten veel meer contextuele
analyse. Er moest evenwel een keuze worden gemaakt: het boek werd te
omvangrijk; nu zijn het al 600 pagina’s. Bovendien worden de
toespitsingen van de beleidsanalyse op bepaalde landen steeds vooraf
gegaan door opmerkingen over de context aldaar. In de slotconclusies
komen bovendien bepaalde trends naar voren. 

32. Blijft staan dat onderliggende structurele factoren en “trends”
in het aan de beleidsanalyse voorafgaande Afrika hoofdstuk node worden
gemist. Wij achten het geenszins uitgesloten dat de
‘beleidsomgeving’ in Sub Sahara Afrika getypeerd kan worden door een
aantal betrekkelijke constanten. Zo vermeldt een recente “Power and
Change Analysis” met betrekking tot Zambia (uitgevoerd in opdracht van
de ambassade) zestien politieke en drie economische
ontwikkelingsremmende factoren die ongetwijfeld ook in de
evaluatieperiode speelden en voorlopig nog wel in vele landen in Sub
Sahara Afrika relevant zullen blijven. Samenvattend komt dit neer op een
slecht functionerende staat, zowel in de “administration of justice”
als in de levering van collectieve goederen en diensten (om van
voorzieningen voor sociale bescherming van de burger maar te zwijgen),
een uiterst gebrekkig ‘sociaal contract’ (verhouding tussen staat en
burger inclusief institutionele en culturele worteling van democratie)
en een hoogst inadequate basis voor gezonde overheidsfinanciën en
publiek financieel management. 

33. Vanuit zulke ‘major issues’ zou men veranderingsprocessen in
Afrika kunnen analyseren om vervolgens te bezien welke factoren (interne
en externe) van belang zijn geweest bij de veranderingen ten goede en
ten kwade om van daaruit te evalueren welke rol het Nederlandse beleid
mogelijk heeft gespeeld (zowel in positieve als mogelijk ook in
negatieve zin). Kortom, beleidsvorming vereist allereerst een holistisch
‘werkelijkheidsperspectief’ om van daaruit strategische keuzen te
maken en datzelfde geldt voor beleidsevaluatie als reflectie hiervan.
Dit brengt ons op de conceptualisering van de Afrika evaluatie.

3.2. Conceptualisering

34. Geconstateerd is reeds dat vanuit het beleid naar de werkelijkheid
wordt gekeken. Principieel te verkiezen zou zijn vanuit de werkelijkheid
de beleidsevaluatievragen te formuleren. Wat is er in de periode in
kwestie in de desbetreffende regio (c.q. land) veranderd, wat was in
termen van armoedebestrijding, vrede en veiligheid en duurzame
ontwikkeling positief en wat negatief en hoe moet in het licht hiervan
het Nederlandse beleid en de uitvoering daarvan worden beoordeeld, mede
gezien de eisen voortvloeiende uit harmonisatie en alignment? Daarna kon
een voor de regio gemaakte analyse worden gespecificeerd per gekozen
land. Tenslotte zou de vraag aan de orde komen hoe het coherente beleid
en het geïntegreerde apparaat hierop hebben willen inspelen, voor welke
concrete activiteiten met bijbehorende uitgaven werd gekozen en hoe dit
alles heeft uitgepakt. Zo zou bijvoorbeeld ook de vraag aan de orde
komen in hoeverre kon worden bijgedragen aan behoud van politieke en
economische stabiliteit in plaats van louter na te gaan hoe op crises
werd gereageerd. Door zich naast ontwikkelingssamenwerking en algemeen
buitenlands beleid ook te richten op landbouw, defensie, handel en
investeringen zou de vraag naar coherentie als daadwerkelijk
“doorsnijdend thema” in kaart kunnen worden gebracht. Omdat in deze
opzet een evaluatie gericht op heel Sub Sahara Afrika niet wel mogelijk
was, had men kunnen besluiten deze te richten op twee regio’s,
bijvoorbeeld zuidelijk Afrika en het grote meren gebied (vanwege de
actuele problematiek op het terrein van vrede en veiligheid).
Vanzelfsprekend ware het dan aan te bevelen geweest de Kamer tussentijds
hierover in te lichten –“heel Sub Sahara Afrika is onmogelijk”- en
zich open te stellen voor inspraak met betrekking tot de regiokeuze. 

Hierbij moet wel worden aangetekend dat men in deze opzet met een groot
meetprobleem zou blijven zitten, te weten de aggregatie- en
attributieproblematiek: ook dan –en wellicht zelfs in sterkere mate-
zal het uitermate problematisch zijn de relatieve effecten te meten van
(ingrepen op) processen (c.q. variabelen). Daartegenover staat wel de
vergroting van het leereffect.

35. Tegenover het virtuele alternatief van een geografische
selectiviteit biedt de door IOB gekozen aanpak het voordeel dat zowel
naar de uitgaven- als naar de landenkant een hoge mate van
representativiteit kan worden bereikt. Dit past bij de relatieve nadruk
op verantwoorden in verhouding tot leren, de twee hoofddoelen van elke
evaluatie die overigens tot elkaar in een permanente spanningsverhouding
staan. Het bezwaar van de door IOB gekozen aanpak is evenwel dat de
werkelijkheid slechts wordt bezien vanuit de rood-wit-blauwe beleidsbril
met vervolgens een nadruk op de uitgaven (follow the money). Het
leerelement wordt dan sterk ondergeschikt. Typerend is dat IOB in de
Afrika evaluatie niet kon toespitsen op de drie maatstaven uit de eigen
richtlijnen -relevantie, effectiviteit en doelmatigheid- omdat dit een
mer à boire zou zijn geworden. Maar vooral door het wegvallen van
‘relevantie’ is het locale leereffect nogal beperkt gebleven.

36. Overigens achten wij het sterk de vraag of het kader waarbinnen IOB
moest opereren wel geschikt is voor een dergelijk zeer omvattend geheel
van activiteiten. Het gaat om een uiterst gecompliceerde aangelegenheid.
Landen, regio’s en beleidsterreinen zijn open ‘systemen’ die in
voortdurende wisselwerking met hun ‘omgevingen’ verkeren. Mede als
gevolg daarvan zijn zij dynamisch en complex waardoor gegevens die het
mogelijk maken effectiviteit eenduidig te meten, altijd gebrekkig zijn:
“Any cause map is an oversimplification of situations” of, zoals
Hedley Bull het eens stelde: “The world is infinitely more complex
than our arguments”. 

37. Hier komt bij dat het Afrika evaluatierapport is gebouwd op
verschillende soorten bronnen: vooral zijn bestaande evaluaties benut,
daarnaast bureaustudies, bureaustudies aangevuld met veldstudies en
tenslotte complete veldstudies met impactmeting. De benadering waartoe
dit alles leidde, is die van de al aangeduide “capita selecta” met
steeds een toespitsing op de vraag naar uitgaven/bestedingen. Maar is er
zo nog wel voldoende zicht op de effecten van de bestedingen in de
locale context? Terecht zegt IOB ook zelf dat het rapport niet
representatief is voor het geheel van inspanningen en resultaten, doch
slechts indicatief en illustratief. Terwijl IOB zelf zich zeer bewust
blijkt te zijn van de beperkingen, worden die nuancering en relativering
met name in commentaren in de media nogal eens vergeten. Van belang
blijft overigens dat juist de beleidsonderdelen waarop veel kritiek komt
-schuldverlichting (70% dekking), algemene begrotingssteun (85%
dekking)- het meest representatief zijn.

38. IOB stelt zich op het standpunt dat een alternatieve optiek niet aan
de orde was gezien de vraag om deze evaluatie vanuit de Kamer (hetgeen,
zoals opgemerkt, niet geheel correct is). Het ging er immers niet om wat
goed is voor een land als Zambia, maar wat gezegd kan worden over
beleidsontwikkeling, beleidsimplementatie en beleidseffecten van het
Nederlandse bilaterale beleid. IOB kon in deze context slechts als
startpunt nemen dat er 84 rapporten waren, dat veel mensen die met
uitvoering van het beleid zijn belast niet op de hoogte zijn van het
bestaan van die rapporten, dat een volstrekt willekeurig deel van de
rapporten naar de Tweede Kamer wordt gestuurd en een ander deel niet en
dat er op een aantal punten geen beleid was. Vanuit die positionering
komt IOB tot de conclusies dat er op sommige punten te veel beleid is,
op andere punten te weinig en dat op weer andere punten niets met beleid
is gedaan (geen implementatie). Op zich is deze benadering volstrekt
legitiem, maar er resteert dan een descriptieve en analytische
benadering, waarbij een kritisch reflexieve kijk op beleid en de
uitvoering daarvan niet tot wasdom kan komen. 

39. Wie van ‘beleid’ spreekt, zegt daarmee ook ‘consistentie’.
Deze maatstaf ontbreekt niet alleen in het IOB Afrika rapport maar ook
in het IOB werkdocument “Richtlijnen voor IOB evaluaties” van mei
2003. Wat Nederland via bilaterale overheidsinterventies in Afrika
tussen 1998 en 2006 deed, wordt dan ook niet op consistentie
doorgelicht. Zo ontbreekt, zoals hierboven al aangeduid, een beschouwing
over het van minister op minister wisselende landenbeleid. Kaap Verdië
bijvoorbeeld werd van concentratieland milieuland, toen
milieu-plus-partnerland en wordt nu weer partnerland af. Een andere
vraag ten aanzien van de geëvalueerde periode is hoe de
beleidsverandering in kwestie op zichzelf te beoordelen viel. Zo werd,
om slechts één voorbeeld te noemen, in 1998 Guinee Bissau als
partnerland geschrapt. Met niet meer dan vijf miljoen euro per jaar was
Nederland daar de voornaamste donor. Zouden in een beleidsevaluatie over
een bepaalde periode zulke veranderingen van beleid niet mede op
consistentie moeten worden doorgelicht? 

40. De opzet en organisatie van de evaluatie kon dus niet logisch
voortvloeien uit consistent beleid. Bovendien was er de tijdsbeperking.
Onder die omstandigheden is gekozen voor de al vermelde aansluiting bij
bestaande studies met toevoeging van enkele nieuwe. De hoofdstukindeling
waartoe dit heeft geleid volgt niet een beleidsmethodologie gericht op
Afrika maar beleid zoals op Buitenlandse Zaken vorm gegeven. Het draait
om politiek en beleid in Nederland, niet om de Afrikaanse werkelijkheid.
De categorieën waartoe dit leidt zijn al methodologisch en
organisatorisch verschillend. Zo volgen ze enerzijds specifieke
beleidsterreinen zoals HIV/Aids-bestrijding, onderwijs en
plattelandsontwikkeling en anderzijds vormen van interveniëren zoals de
sectorbenadering en algemene begrotingssteun. Daarnaast zijn er de
zogeheten “doorsnijdende thema’s” zoals coherentie en goed
bestuur.  

41. Het ware beter geweest de evaluatie te ordenen via 

(a) axioma’s/doelstellingen die aan beleid ten grondslag liggen (zoals
structurele armoedebestrijding, eventueel Millennium Development Goals);

(b) interventiestrategieën en -instrumenten zoals sectorsteun,
programmasteun, algemene begrotingssteun, schuldkwijtschelding;

(c) overkoepelende, doorsnijdende – zogeheten transversale - thema’s
zoals coherentie, goed bestuur; 

(d) specifieke thema’s c.q. beleidsterreinen zoals HIV/Aids
bestrijding, onderwijs en dergelijke.

42. In de onderhavige evaluatie zijn nauwelijks Afrikaanse consultants
ingeschakeld. Gegeven de noodzaak terug te grijpen op bestaande deel
evaluaties en de nadruk op beleidsreconstructie is dat begrijpelijk,
maar het onderstreept nog eens het rood-wit-blauwe karakter van
evaluaties die vanuit het Nederlandse beleid naar de werkelijkheid gaan
in plaats van omgekeerd.

3.3 Methodologie 

43. Gegeven de conceptualisering van het onderwerp van de evaluatie en
de mogelijkheden binnen het beperkte tijdsbestek van ruim een jaar heeft
IOB een goede balans gevonden tussen verschillende methoden van
dataverzameling en analyse. Terecht wijzen de auteurs van de studie zelf
op het grote probleem van de counterfactuals bij impactstudies waardoor
de attributievraag niet goed beantwoord kan worden. Effectmetingen, met
andere woorden, blijven zeer problematisch. 

44. Uiteindelijk gaat het om evidence based policies en de daaraan
gerelateerde ‘evidence-oriented evaluation’,  maar effecten van
beleid zijn moeilijk vast te stellen in een dynamische, open, gelaagde,
multi-actor context opgebouwd uit vele netwerken waarbij ketenanalyse in
een netwerkmodel onontbeerlijk is: hoe immers valt het effect van een
maatregel te bepalen in een dergelijke vloeiende werkelijkheid met alle
attributie– en aggregatie problemen vandien? 

45. Naar onze indruk is maar in beperkte mate een ketenanalyse
toegepast; uiteindelijk ging het alleen om Nederlandse hulp en niet om
de samenwerking met andere donoren (waarmee netwerken worden gevormd) en
evenmin om de multi- en civilaterale kanalen die toch ongeveer de helft
van het totale budget uitmaakten. Bovendien lag de nadruk op
deskstudies.

46. Het geringe gebruik van ketenanalyse in deze evaluatie valt wel te
betreuren omdat een dergelijke analyse juist goed past bij de ommezwaai
die de laatste tien jaar heeft plaatsgevonden in het denken over de
bilaterale hulp. Er is consensus gegroeid over een nieuwe
interventietheorie: van project naar sector. Dit is een internationaal
gangbare consistente benadering. Overigens trekt IOB – op basis van
onderzoek vanuit deze interventietheorie wel enkele, scherp
geformuleerde, conclusies, met name inzake het vraagstuk van ownership.

47. De kwaliteit is in negatieve zin beïnvloed door het feit dat het
hoofdzakelijk ging om een meta-onderzoek. Hierin is men afhankelijk van
het basismateriaal. Dat materiaal is vaak niet goed genoeg, het is te
veel op organisatie en te weinig op impact gericht en het heeft
onvoldoende aandacht voor lange termijnontwikkelingen en het geheel van
externe invloeden. Daar waar er sprake was van aanvullende
dataverzameling en analyse was IOB afhankelijk van de kwaliteit van de
onderaannemers. Zoals een ieder uit ervaring weet verschilt die
kwaliteit aanzienlijk. Ook als men delen van het onderzoek opnieuw laat
uitvoeren, blijven die verschillen. Dan gaan trouwens ook elementen als
tijd hun tol eisen. Voorts is er bij een dergelijke mammoetoperatie aan
het einde van het proces veel informatieverlies doordat dikke rapporten
moeten worden samengevat in hoofdstukken voor het eindrapport. 

48. Uiteraard zijn er kwaliteitsverschillen tussen de verschillende
hoofdstukken. Dit hangt samen met de inschakeling van externe
consultants en de gebruikmaking van beschikbaar materiaal. Wie
opdrachten uitbesteedt, kan vanuit de eigen IOB professionaliteit zulke
verschillen nooit geheel ondervangen.  

49. Een indicatie van kwaliteit is uiteraard de mate waarin conclusies
zijn onderbouwd. Dit is des te belangrijker daar verschillende
conclusies van IOB scherp zijn geformuleerd. 

Op basis van een analyse van reacties op de IOB evaluatie concluderen
wij dat er een zevental posities is ingenomen: 

(a) conclusie is juist, voldoende onderbouwd, en actueel;

(b) conclusie is op zich juist, voldoende onderbouwd, maar gedateerd;

(c) conclusie is ten dele juist, ten dele onjuist;

(d) conclusie is onvoldoende onderbouwd;

(e) conclusie is onjuist; 

(f) conclusie is op zich wellicht juist, maar onuitvoerbaar; 

(g) conclusie is onterecht niet getrokken.

50. Al met al worden veruit de meeste bevindingen en de daarop
gebaseerde conclusies onderschreven. Hierbij wordt opgemerkt dat de
aanbevelingen of reeds onderdeel van (recent) beleid zijn of dat er
voorbereidingen zijn dan wel worden getroffen om deze daarvan onderdeel
te maken (zie met name de beleidsreactie). 

51. De grootste meningsverschillen hebben de conclusies en aanbevelingen
op de terreinen van schuldkwijtschelding en algemene begrotingssteun
opgeroepen. Deels worden hierbij door m.n. de betrokken
beleidsafdelingen DEK en DVF de bevindingen en aanbevelingen
aangevochten op grond van “onjuiste argumentatie”, deels ook op
grond van “eenzijdige en oppervlakkige bewijsvoering”. Het voert te
ver hier een samenvatting te geven van de -meermalen in uiterst
krachtige bewoordingen gestelde– correspondentie. Wij zijn bovendien
niet in de gelegenheid de aan de controverses ten grondslag liggende
opvattingen te toetsen aan de hand van opgedane ervaringen en
schriftelijke bronnen. Wij wijzen er met nadruk op dat het hier veelal
gaat om meningsverschillen tussen ter zake deskundigen.

52. Let wel: de beide betwiste kwesties raken kernperspectieven op
ontwikkelingssamenwerking. Op grond van dit gegeven verdenkt een aantal
van onze respondenten IOB ervan het politieke debat nadrukkelijk te
hebben willen ‘stimuleren’ in plaats van zich te beperken tot de
twee kerndoelen van de evaluatie: het afleggen van verantwoording en het
bevorderen van leren. Deze respondenten wijzen in dit verband op
uitspraken als “ownership blijkt zelfs bij algemene begrotingssteun en
sectorale steun een wassen neus te zijn”. Mocht de bevordering van
nationaal en internationaal politiek debat over de Nederlandse
ontwikkelingssamenwerking inderdaad van bijproduct tot nevendoelstelling
van evaluaties zijn verklaard, dan had daaraan een bewuste argumentatie
inzake voor- en nadelen vooraf moeten gaan.

53. Het verdient aanbeveling in controversiële kwesties als de
bovengenoemde –in elk geval voor toekomstige evaluaties- een andere
werkwijze te volgen. IOB zou naast de presentatie van de eigen selectie
en weging van verzamelde gegevens er verstandig aan doen in het
evaluatierapport de argumentatie pro en contra vanuit verschillende
visies en posities weer te geven, daar waar meningsverschillen over
kernzaken blijven bestaan. Hiernaast –of in plaats hiervan- zou IOB in
een bijlage de resultaten van het hoor en wederhoor proces bij blijvende
onenigheid over feiten en conclusies kunnen presenteren. In elk geval
zou een dergelijke werkwijze meer mogelijkheden geven voor zelfstandige
oordeelsvorming en voorkomen dat binnendepartementale kritiek zich een
uitweg zoekt via de beleidsreactie van de bewindspersonen of anderszins.


54. Wij merken in dit verband nog op dat niet alleen enkele conclusies
aanvechtbaar worden geacht door de betreffende beleidsafdelingen van het
ministerie, maar ook dat o.i. sommige conclusies niet worden getrokken.
Zo is meermalen bepaald beleid niet expliciet geëvalueerd, zoals dat
betreffende exit/entry landen en thema’s. Ter zake van
schuldkwijtschelding had IOB kunnen wijzen op de discrepantie in
handelwijze tussen Economische zaken die nieuwe leningen verstrekte,
terwijl Financiën schuldverlichting gaf.

 

55. Ook enkele essentiële vraagstukken zijn buiten beschouwing gelaten.
Wij wijzen nogmaals op het gebrek aan aandacht voor beheer en
management, in het bijzonder op de nieuw ingevoerde matrixstructuur, een
kwestie die in het kader van de integratie bij Buitenlandse Zaken van
belang is. Ook het coherentievraagstuk had beter uitgediept kunnen
worden. In dit verband valt op te merken dat het thema “ontwikkeling
en armoedebestrijding” 253 bladzijden (hoofdstukken 5 t/m 13) beslaat,
terwijl het thema “vrede en veiligheid” in slechts twee hoofdstukken
aan bod komt (14 en 15, met in totaal 63 bladzijden tekst) en het thema
“handel en coherentie” in maar één hoofdstuk (16, met 30
bladzijden) wordt afgedaan, waarbij recente evaluatie-uitkomsten vanuit
de civiele sector overigens nauwelijks zijn meegenomen. Kortom, het
“coherentie vraagstuk”, waarbij de BZ-EZ connectie centraal staat,
krijgt slechts geringe aandacht, terwijl uit het Verslag van het Tweede
Kamer AO van 8 december 2004 blijkt dat juist die coherentie vraag
verondersteld werd een belangrijke rol te spelen in de Afrika evaluatie.


4: Organisatie van het onderzoek (tijdsplanning, inschakeling
betrokkenen/experts, kosten)

4.1. Tijdsplanning

56. Elk (evaluatie)onderzoek heeft de neiging uit te dijen. Vrijwel
ieder antwoord op een gestelde vraag roept immers nieuwe vragen op. Dat
geldt a fortiori voor een zo veelomvattende evaluatie als het
Afrikabeleid waarbij verschillende regio’s, deelterreinen,
beleidsinstrumenten en uitvoeringsmodaliteiten over een periode van acht
jaar op elkaar betrokken moesten worden. Gezien de complexiteit kan
zonder meer worden geconcludeerd dat IOB er grosso modo in is geslaagd
vertraging bij de oplevering van het evaluatie rapport binnen de perken
te houden. Wel heeft vertraging op een enkel onderdeel nadelige effecten
gesorteerd voor het - tussentijds – gebruik van evaluatie uitkomsten. 


57. Uit analyse van de financiële dossiers blijkt dat de
oorspronkelijke begroting van 545.100,-. Euro is gegroeid naar
934.296,15 Euro (excl. BTW). De redenen hiervoor zijn uitbreiding van
het aantal onderwerpen t.o.v. de ToR (82.261,15 Euro, okt. 2006), de
latere oplevering van het rapport in 2007 waardoor de externe
hoofdconsultant zo’n acht maanden langer werkzaamheden heeft verricht
(292.035,-. Euro, juli 2007), en extra kosten van de publicatie
(50.000,-. Euro, april 2008). Voor de goede orde merken wij hierbij op
dat deze evaluatie in verhouding tot het totaal aan onderzochte bilatere
uitgaven (5,8 miljard Euro) goedkoop genoemd mag worden. Het gaat om
minder dan een half pro mille, zelfs als men hierbij alleen het
onderzochte deel van de uitgaven meetelt (ruim 3 miljard Euro). 

4.2 Betrokkenheid belanghebbenden

58. In het kader van kwaliteitszorg is uiteraard de organisatie van
inbreng van betrokkenen, belanghebbenden en experts, van groot belang.
Een belangrijk onderdeel bij het organiseren van een evaluatie onderzoek
is dan ook het inschakelen van belanghebbenden en deskundigen via peer
reviews. Wat ons allereerst opviel is dat Nederlanders de kern vormden:
vooral de ‘veldposten’ en beleidsdirecties zijn als  belanghebbenden
gezien, niet degenen die object van ontwikkelingssamenwerking zijn.
Afrikanen zijn nauwelijks bij de evaluatie betrokken. Dat was echter in
deze opzet ook niet goed mogelijk. Door de nadruk op beleidsdoorlichting
zit men vooral vast aan ambtelijke Afrikaanse reacties. Verder is het
evident dat de nieuwe opzet (sector en budgetsupport) sterk afhankelijk
is van het oordeelsvermogen op ambassades. Afrikanen zijn  eigenlijk
alleen als informatie en correctiebron gebruikt; zij zijn niet betrokken
geweest bij het vaststellen van de ToR, en niet of nauwelijks bij het
verzamelen van materiaal, het trekken van conclusies en het doen van
aanbevelingen. Een uitzondering vormen water en onderwijs –maar daar
was sprake van impactstudies- waar wel degelijk betrokkenheid van
Zambiaanse en Oegandese stakeholders aantoonbaar is. 

59. In het algemeen is er sprake geweest van raadpleging van Nederlandse
betrokkenen in alle fasen van het evaluatieonderzoek: via
brainstormsessies, via meelezen, via becommentariëren van deelstudies
en daarop gebaseerde concepthoofdstukken door medewerk(st)ers van IOB,
betrokken directies van het ministerie en externen. Hiernaast fungeerden
als kritisch forum een in concrete samenstelling en omvang wisselende
interne referentiegroep en een kleine externe referentiegroep. Deze
laatste bestond uit slechts drie personen, waarbij diepgaande expertise
op het terrein van vrede en veiligheid en op Afrika gerichte
coherentievragen ontbrak. In het licht van de omvattendheid van deze
evaluatie ware het te verkiezen geweest naast deze kleine kern een
grotere en meer divers samengestelde pool van externen in te schakelen. 
Ons valt hierbij wel op dat DAF de Afrika evaluatie geen evidente
prioriteit heeft gegeven; er waren slechts enkele personen bij
betrokken.

60. Gebleken is dat de afdelingen DVF en DEK ingrijpende kritiek hebben
op de mate waarin hun commentaar is verwerkt, een kritiek die niet door
IOB wordt gedeeld en die door ons niet goed ‘objectief’ valt vast te
stellen aan de hand van de beschikbare bronnen. Hier is duidelijk sprake
van verschil in perceptie. Wanneer de Inspecteur in kwestie meent dat
men is uitgediscussieerd en de Directeur IOB vanuit eigen
verantwoordelijkheid vervolgens de eindtekst vaststelt, verdient het op
cruciale punten toch aanbeveling het onoverbrugbare verschil in inzicht
een eigen ruimte te geven.  

 

61. Van belang zijn de commentaren van de Nederlandse ambassadeurs in
Sub Sahara Afrika. Dezen hebben individueel en collectief verschillende
reacties gegeven op verschillende onderdelen van het conceptrapport van
begin september 2007. Volgens de uit die kringen ontvangen informatie is
met dat commentaar goed omgegaan.

 

5: Bruikbaarheid van bevindingen en conclusies voor beleid (Leren en
Verantwoorden)

62. Via evaluaties kan verantwoording worden afgelegd over gevoerd
beleid en verrichte activiteiten. Daarnaast kan worden geleerd van de
hierin geanalyseerde activiteiten. Deze twee doelen verhouden zich
overigens niet probleemloos tot elkaar; zo verschilt de evaluatie
methodologie. Bij leren gaat het veeleer om het hanteren van een open
participatieve optiek met als doel te komen tot concrete voorstellen tot
verbetering. In dit verband is van belang dat de Tweede Kamer een motie
heeft aangenomen met daarin de eis aan te geven wat met de aanbevelingen
van IOB concreet wordt gedaan. Bij verantwoorden gaat het daarentegen om
het zo goed mogelijk eenduidig vastleggen van resultaten in verhouding
tot middeleninzet en gevoerd beleid.

  

63. Natuurlijk speelt bij evaluaties verantwoorden een kernrol: hoe men
het wendt of keert er blijft een primaire verantwoordingsplicht,
namelijk of het belastinggeld wel goed is uitgegeven. Toch moeten wij
ook hier wijzen op bepaalde beperkingen: er is een goed beeld geschetst
van de uitgaven maar in veel gevallen blijft onduidelijk wat de outcome
of impact en daarmee de relevantie is geweest van deze uitgaven. De
resultaten zijn beoordeeld op basis van uitgangspunten van het beleid
maar we weten maar al te goed dat er doorgaans een kloof gaapt tussen
intenties en effecten. 

64. In het evaluatierapport zijn verschillende leermomenten te
onderkennen. Met name van de onderdelen waarbij impactstudies zijn
gebruikt valt te leren, zoals in het geval van water en onderwijs. In
meer algemene termen kan worden gesteld dat leren mogelijk wordt door
(a) te analyseren wat het beleid heeft opgeleverd zonder dit in 
technisch jargon te gieten, (b) betrokkenen een spiegel voor te houden
via het aanreiken van vergelijkingsmateriaal en (c) kernbegrippen
kritisch te bespreken.  

65. Weliswaar begrijpelijk maar ook omstreden is bijvoorbeeld het
etiketteren en vervolgens evalueren van algemene begrotingssteun als een
politiek instrument, inclusief de rol van het begrip track record
hierin. 

66. Leren is verbonden met lezen. Als de studie niet wordt gelezen, dan
zal er ook geen leereffect optreden. De omvang van deze evaluatie is
hierbij wel een probleem, ook al is er een handzame samenvatting
verschenen (waarin vanzelfsprekend veel minder ruimte is voor wat vanuit
leeroogpunt van belang is). Zitten posten in een land niet veel meer te
wachten op korte, snelle, operationele informatie; beschikbaar op
slechts enkele A-4tjes met aanbevelingen op punten die voor hen tellen?
Met een meer analytisch of geografisch brandpunt zou er eveneens
gemakkelijker en sneller meer informatie uit te halen zijn. Bovendien is
in deze de ‘toon’ van belang. Een aantal scherpe formuleringen heeft
interne spanningen en irritatie opgeroepen. Dat is geen goede
voedingsbodem voor leren. Dit klemt te meer daar wij geen overtuigende
aanwijzingen gevonden hebben dat er op het ministerie een cultuur is
gevormd die gericht is op leren van het verleden.

67. Inderdaad vragen wij ons af of er op het ministerie een op leren
georiënteerd instrumentarium en mentaliteit bestaan. Aanbevelingen van
IOB, welke expliciet waren gericht op het vergroten van de leerfunctie,
zijn na S/DG beraad van begin maart 2007, niet overgenomen met als
argumentatie “te bureaucratisch”. Het bedenken van minder
bureaucratische alternatieven duurt intussen al 13 maanden (start
hiervan 2 maart 2007). De feitelijke insteek ontbreekt en ook de
mentaliteit om dit als een urgent probleem te zien. 

68. Alhoewel de regie over de follow-up niet bij IOB ligt, laat dit
onverlet dat ook IOB zijn best moet doen voor een optimaal Haags
leereffect. Dit leereffect is negatief beinvloed door de omvang, timing,
toespitsing en inhoud van het rapport (opzet en indeling, waarbij tricks
and tips in de vorm van concrete actiepunten ontbreken). Overigens
spelen buitenstaanders (Kamer, publieke opinie) een belangrijke rol. Een
Afrika congres volgend op een dergelijk belangrijk rapport is natuurlijk
prima maar zegt nog niets over wat beleidsmatig gaat gebeuren met de
aanbevelingen. 

69. Kortom, op basis van antwoorden van onze respondenten hebben wij de
indruk gekregen dat er op het ministerie weinig tot niets met deze
evaluatie wordt gedaan. Vanuit de kring der ambassadeurs krijgen we te
horen dat deze evaluatie slechts een klein lezerspubliek zal kennen. Wel
zullen bepaalde onderdelen besproken worden. Zo blijkt aan de hand van
notities dat ambtenaren in Maputo uitgebreid intern over de
onderwijsevaluatie hebben gediscussieerd; daarbij speelt natuurlijk mee
dat het hier om een impact studie gaat. 

70. Leren wordt gevoed via terugkoppeling, disseminatie en follow-up.
Wij constateren dat los van de vraag of IOB zich de gevoeligheid van dit
rapport volledig heeft gerealiseerd, IOB alle mogelijkheden heeft benut
om het rapport besproken te krijgen. Zo heeft IOB twee keer een
presentatie in DGIS/staf georganiseerd, een presentatie over deze
evaluatie gegeven op de ambassadeursconferentie van 2006,   een
discussiedag gehouden tijdens de ambassadeursconferentie van 2007,
alsmede met DAF het Afrika-congres georganiseerd. De meningen op het
ministerie verschillen echter over de vraag of dit het oogmerk had van
leren of van stimuleren van het politieke debat.

71. Het ministerie blijkt verantwoordelijk voor voorlichting. Het
opstellen van persberichten –evenals voor follow-up activiteiten,
inclusief uitbrengen van beleidsreacties- valt onder
verantwoordelijkheid van DVL. Ons is hierbij opgevallen dat het
ministerie een terughoudend beleid heeft gevoerd ter zake van
publiciteit, in tegenstelling tot IOB. Een actief persbeleid is door het
ministerie niet gevoerd. In dit verband is van belang dat het niet als
taak van IOB wordt gezien om iets aan de uitvoering van de aanbevelingen
te doen.

 

72. IOB zou wel ‘binnenshuis’ meer werk kunnen maken van
disseminatie en follow-up; deze dienst heeft immers wel tot taak te
zorgen dat de bevindingen breed bekend zijn. Een door IOB opgevoerd punt
in deze is dat zij in haar beleving toch afhankelijk is van een aantal
voor IOB externe beslissingen.

 

6: Aanbevelingen

73. Breng een discussie op gang inzake het evalueren vanuit de
werkelijkheid naar het beleid in plaats van omgekeerd.

74. Bevorder een serieuze attitude van de beleidsafdelingen van het
departement inzake de ontwikkeling en vaststelling van Terms of
Reference op hun beleidsterrein.

75. Herzie in het licht van nieuwe inzichten de “Richtlijnen voor IOB
evaluaties” van mei 2003. Voeg in elk geval aan de gangbare
evaluatiecriteria consistentie van beleid toe.

76. Geef daar waar tussen belanghebbenden en evaluatoren onoverbrugbare
meningsverschillen over bevindingen en de daaruit te trekken conclusies
blijven bestaan, de gehanteerde argumenten pro en contra weer, hetzij in
de hoofdtekst, hetzij in voetnoten of bijlagen. 

77. Overweeg of het bewust op gang brengen van politiek debat over
(aspecten) van ontwikkelingssamenwerking een doel van IOB evaluaties
moet zijn.

78. Bevorder binnen het departement en op de posten een cultuur van
leren, onder meer door het ontwikkelen van een leerinstrumentarium.

79. Doorbreek het ‘overkant’ denken, zowel tussen Den Haag en de
posten als tussen IOB en de beleidsafdelingen.Bijlage 1.

Sleutelinformanten Evaluatie van de IOB-Afrikaevaluatie

Datum	Naam / Contact	

Dept/Organisatie en Expertise

	

Type gesprek



12-3-08	F. v/d Kraaij, M. Koper	IOB Inspecteur Afrika evaluatie, DAF lid
Interne Referentiegroep	Achtergrond

12-3-08	B. van Ojik	IOB Directeur	Achtergrond



12-3-08	R. Treffers	DGIS	Achtergrond

17-3-08	E. Middeldorp 	Cdp Lusaka	Kerngesprek

20-3-08	B. van Ojik	IOB Directeur	Achtergrond

20-3-08	F. v/d Kraaij	IOB Inspecteur Afrika evaluatie	Achtergrond

25-3-08	E. Kamphuis	ETC Foundation Hoofdconsultant Afrika evaluatie
Kerngesprek

27-3-08	T. Kliest, H. Jorritsma	IOB Inspecteur, IOB Inspecteur
Kerngesprek

April	Ph. de Heer	Voormalig Secretaris Generaal	Kerncorrespondentie

April	L. van den Assum	Cdp Nairobi	Achtergrondcorrespondentie



April	A.R. Dietz	UvA lid Externe Referentiegroep	Kerncorrespondentie

2-4-08	B. van Ojik, N. van Niekerk, F. v/d Kraaij	IOB Directeur, IOB
Inspecteur, IOB Inspecteur Afrika evaluatie	Kerngesprek

2-4-08	H. Slot	IOB Inspecteur	Kerngesprek

2-4-08	F. Maschini, H. Peters	DVL, DVL	Kerngesprek

4-4-08	F. Bieckmann	Hoofdredacteur The Broker	Achtergrond

4-4-08	B. van Ojik	IOB Directeur 	Follow up



4-4-08	D. v/d Hoek	IOB Inspecteur	Achtergrond

9-4-08	J. Rooimans	FEZ	Kerngesprek

9-4-08	F. Haver Droeze	DGIS/CE	Kerngesprek

9-4-08	E. Middeldorp	Cdp Lusaka	Follow up

9-4-08	L. de la Rive Box	Rector ISS	Achtergrond

14-4-08	C. van Dullemen	World Granny/ lid Externe Referentiegroep
Kerngesprek

15-4-08	W. Kingma, M. Koper	DAFDirecteur, DAFlid  Interne
Referentiegroep	Kerngesprek

15-4-08	B. van Ojik	IOB Directeur	Follow up



16-4-08	M. Brouwer, P. Zwetsloot	DEK Directeur, DEK	Kerngesprek

16-4-08	F. v/d/ Kraaij	IOB Inspecteur Afrika evaluatie	Follow up

16-4-08	R. v/d Veen	WRA	Achtergrond

16-4-08	A. de Kemp	IOB Inspecteur	Kerngesprek

16-4-08	F. v/d Kraaij	IOB Inspecteur Afrika evaluatie	Follow up

17-4-08	B. Koenders	Minister voor OS	Achtergrond

17-4-08	B. van Ojik	IOB Directeur	Follow up



17-4-08	R. Feddes	IOB Onderzoeksmedewerker	Kerngesprek

22-4-08	H. de Voogd	DVF

	Telefonisch kerngesprek



  Wij zijn Drs.Tessa Verhallen MSc en Dr Selma van Londen zeer
erkentelijk voor hun grote inzet bij de ondersteuning van deze
evaluatie. Onze dank gaat ook uit naar al onze gesprekspartners die tijd
hebben vrijgemaakt om op onze vragen in te gaan (zie bijlage).

 Kurtz and Snowden 2003, The New Dynamics of Strategy: Sense-making in a
Complex and Complicated World, in IBM Systems Journal 42  (3): 462-483.

 Zo verwijst het voorwoord van IOB directeur Bram van Ojik “naar de
meer dan vijfhonderd (!) geraadpleegde personen”.

 Ibid.

 Zie The Broker, issue 6, February 2008, pp. 9-20. Op de vraag of het
stimuleren van politiek debat uitdrukkelijk moet worden beoogd komen wij
nog terug.

 Ook geuit door de Nederlandse ambassadeur bij de OESO Joan Boer.

 De term instrumentalisme wordt wel gebruikt in verband met ‘recht en
ontwikkeling’ en duidt daar op geloof in recht als instrument van
maatschappelijke verandering. Wij gebruiken dit adjectief hier voor de
vaste overtuiging dat beleid het instrument is waarmee de beoogde
ontwikkeling tot stand wordt gebracht (in termen van oorzaak en gevolg).

 Zie in dit verband de opmerkingen van Joan Boer zoals voorgelegd aan
The Broker: “When will IOB change its way of analysis is the first
question that comes to mind. And if IOB has evidence of what works in
African circumstances they should make the case rather than indirectly
referring to paradise! (‘it’ doesn’t focus on the root causes). Do
we have replicable good practices that make an impact?`  

 Uitgangspunt daarbij vormen de Richtlijnen van 2003.

 De vooronderstelling dat de werkelijkheid gekend wordt, ofwel gekend
kan worden, is aanvechtbaar, zoals onder meer door H. R. van Gunsteren
in De Ongekende Samenleving wordt betoogd. 

 Zie in dit verband onder meer Alan Fowler, Connecting the Dots, in The
Broker, issue 7, april 2008, pp.10-15.

 Een dergelijke sfeer komt natuurlijk niet uit de lucht komt vallen; er
zijn veel goede redenen te geven voor dit wantrouwen en dan hoeft men
echt niet alleen aan diepgewortelde corruptie en fragiele staten te
denken.

 Zie voor nadere uitwerking: A. Clarke, Evaluation Research. An
Introduction to Principles, Methods and Practice. London, Sage, 1999

 De drie hoofdvragen van het IOB onderzoek waren:

Op welke wijze heeft het Nederlandse Afrikabeleid vorm gekregen?

In hoeverre en hoe is het Nederlandse Afrikabeleid uitgevoerd?

Welke resultaten zijn er met het Nederlandse Afrikabeleid geboekt?

 Alhoewel beperkt van aard  is er op verschillende plaatsen wel degelijk
sprake van kritische reflectie. Te wijzen valt op kritiek inzake de
selectiviteit bij landenkeuze (zie hoofdstukken 7 en 14), het beleid
inzake kwijtschelding van exportkredietschulden (zie hoofdstuk 5) 
algemene begrotingssteun (zie hoofdstuk 6), plattelandsontwikkeling/
productieve sectoren (zie hoofdstukken 9 en 16) alsmede ownership (zie
m.n. hoofdstuk 17).

 Vergelijk onze opmerkingen over open dynamische netwerken onder punt 3.

 We zien dat meer en meer de ‘evidence-oriented evaluation’ wordt
geconfronteerd met ‘realistic evaluation’ (zie met name R. Pawson
and N. Tilley, Realistic Evaluation, London, Sage, 1997) en recentelijk
met ‘complexity evaluation’ waarin de erkenning dat
ontwikkelingssamenwerking wordt gekarakteriseerd door ‘wicked
problems’ en ‘cross-cutting issues’ een belangrijke rol speelt
(zie met name M. Barnes et al. “Evidence, Understanding and
Complexity. Evaluation in Non-Linear Systems”, Evaluation 9 (3), pp.
265-284 en P.J. Rogers “Using Programme Theory to Evaluate Complicated
and Complex Aspects of Interventions”, Evaluation  14 (1), pp. 29-48.

  Zie hierover onder meer I. Guijt, “Seeking Surprise. Rethinking
Monitoring for Collective Learning in Rural Resource Management”,
Wageningen: Wageningen Academic Publishers, 2008.

 Dit misverstand bleek te leven bij alle betrokkenen. Zelfs de
Beleidsreactie van Minister Koenders stelt dat de Kamer vroeg om een
evaluatie van geïntegreerd Afrikabeleid.

 Tweede Kamer der Staten-Generaal, vergaderjaar 2004-2005, 29800 V, Nr.
74 (Algemeen Overleg van 8 december van 2004 en Nr. 65 (motie Szabo); en
TK 37-2519, 21 december 2004 (verwerping van de motie).

 In geen van de drie Afrika notities (1998,1999 en 2003) was er
expliciete aandacht voor Algemene Begrotingssteun, terwijl het in die
acht jaar toch gaat over een bedrag van ongeveer 800 miljoen Euro.

 Weliswaar  zijn de Secretaris-Generaal,  de Directie Afrika (DAF:
geintegreerde directie DGIS/DGPZ) en de Coherentie-eenheid bij de
vaststelling van de Terms of Reference betrokken geweest (begin 2006),
maar de mate waarin zij daadwerkelijk in discussies hierover hebben
geparticipeerd is niet duidelijk. Niet onvermeld mag blijven dat er
later aanpassingen in de ToR zijn aangebracht als gevolg van een
consultatieproces waarbij de referentiegroep  een belangrijke rol
speelde.

 Bij water lijkt overigens het verrichten van impact studies minder
urgent dan het onderzoeken van de oorzaken van het ontbreken van die
noodzakelijke voorzieningen.

 De ToR zijn slechts in geringe mate gericht op het leereffect voor
Afrika, wellicht doordat DAF als regionale directie bij de
totstandkoming van daarvan de kwestie van de afbakening niet serieus
genoeg heeft genomen. Zou dat wel zijn gebeurd, dan was er
waarschijnlijk een meer politiek ingekleurde evaluatie geweest, waarbij
vraagstukken van consistentie en criteria voor beleid betreffende
entry/exit landen en thema’s meer aan bod zouden zijn gekomen.

 De eerste brainstorm vond plaats op 31 maart 2005, de vierde en laatste
op 1 maart 2006.

 Afspraak was dat IOB in 2005 de evaluatie zou voorbereiden en in 2006
uitvoeren, zodat in de loop van 2007 het evaluatierapport kon worden
opgeleverd.

 Met het oog op tijdige beschikbaarheid van bevindingen, conclusies en
lessen van deze evaluatie is besloten deze primair het karakter te geven
van een beleidsdoorlichting. Uit doelmatigheidsoverwegingen is verder
besloten om voor deze evaluatie zoveel mogelijk gebruik te maken van
relevante recent afgeronde en lopende evaluaties, met daarnaast de
aantekening dat waar mogelijk in de IOB programmering 2005-2009 geplande
evaluaties versneld zullen worden uitgevoerd. 

 Bij de invoering van de ‘matrix’ organisatie werden de
beleidsafdelingen verantwoordelijk voor de uitgaven, terwijl DAF tot
taak kreeg het beleid betreffende de verschillende Afrikaanse landen te
coördineren.

 Binnen de organisatie spelen verschillende (tegenstrijdige) belangen.
De belangen van themadirecties kunnen lijnrecht tegenover die van
regiodirecties staan. Eerst fungeerden de oude landendesks als hèt
aanspreekpunt, ook op thematisch terrein. Nu is er DAF (dat geen geld
heeft) en zijn er de themadirecties. DAF is zelf een echt geïntegreerde
M/R beleidsafdeling. Maar het antwoord op de vraag of er ook
geïntegreerd gewerkt wordt hangt af van de invloed die DAF heeft op
zoiets als de ABS (=DEK) of dat dit eigenlijk puur door de OS kant wordt
aangestuurd, zij het dat er dan misschien nog wel coherentie is met wat
vanuit Financien en Economische Zaken wordt ingebracht en aangestuurd.

 Zie in dit verband met name de opmerkingen van Hoebink in The Broker
van februari 2008; in datzelfde nummer uit Boer soortgelijke kritiek.

 Oliver Saasa and Neo Simutanyi, Zambia. Power and Change Analysis:
Underlying Factors Explaining Governance Issues and Implications for
Policy Change. Lusaka: Commissioned by the Embassy of the Kingdom of the
Netherlands, October 2007. 

 In navolging van L. de Haan in The Broker stellen wij dat men de
onderliggende factoren die de rol van de staat in het
ontwikkelingsproces beïnvloeden beter in ogenschouw moet nemen. Deze
herijking van de Afrikaanse staat geldt ook de fragiele staat. De
fragiele staat heeft een beperkte capaciteit om hulp te absorberen. Er
is een grote kans dat deze het patronage systeem gaande houdt. De
fragiele staat kan niet worden vertrouwd, maar de staat kan evenmin
worden omzeild. Donorgeld kan het patronage systeem gaande houden, maar
‘geen geld’ verzwakt de positie van de elite en versterkt politieke
instabiliteit. Hierbij is het van het grootste belang uit te gaan van
lokale percepties. Hoe zien de lokale mensen de staat? Dan wordt ook
duidelijk dat corruptie niet ééndimensionaal is. Zie in dit verband
ook de bijdrage van Martin Koper in Vice Versa (april 2008):
Corruptiebestrijding: Mag het effectiever?

 George B.N. Ayitti (American University, Washington) trekt op deze
gronden het Nederlandse ontwikkelingsbeleid in twijfel. Er is geen
evaluatie van de uitgangspunten van het Nederlandse Afrika beleid. Men
gaat impliciet uit van de notie van een ‘overheid’ in de gebieden
van de sub Sahara die omkijkt naar de mensen en hun belangen behartigt,
zodat middels een ‘partnership’ met deze regering de armoede
bestreden kan worden. Geen van beide overheden weet echter waar de
‘armen’ zijn. Marian Tupy (Cato institute, Washington) onderschrijft
dit met de woorden “The sickness that plagues Africa – poor
institutions and bad policies – will only be cured if political elites
in African countries ‘abandon their predatory habits’. Dit geldt
volgens Ayitti ook de rurale sector. Het leeuwendeel van de hulp gaat
naar de moderne sector vanwege de wens Afrika te industrialiseren. In
Ivoorkust bijvoorbeeld is 80% van de ontwikkeling geconcentreerd rond
Abidjan. De informele sector en het rurale gebied, waar de meeste
Afrikanen leven, worden veronachtzaamd. Tegenwoordig spendeert Afrika
ongeveer US $ 20 miljard per jaar aan de invoer van voedsel – een som
geld gelijk aan het bedrag dat Afrika aan buitenlandse hulp ontvangt.
Een nieuwe benadering is dringend gewenst. De notie
‘poverty-reduction’ zou moeten worden vervangen door ‘wealth
creation’ (zie The Broker februari 2008)

  Een uitzondering vormen de drie impact studies maar één daarvan was
al verricht –water in Tanzania- en de twee onderwijsevaluaties (Zambia
en Oeganda) stonden reeds in de eigen IOB programmering.

 In de woorden van Frans Bieckman en Ton Dietz: “Hoe kun je (de hulp
aan) tientallen totaal verschillende landen, in verschillende stadia van
ontwikkeling, sommige in (burger)oorlog of juist opkrabbelend, andere
met honger of juist voorzichtig aan het groeien, op een hoop gooien en
daar algemene conclusies uit trekken?” (reactie op de bijdrage van het
Tweede Kamerlid Boekestijn in De Volkskrant).

 Karl E. Weick, The Social Psychology of Organizing, New York:
Addison-Wesley, 1979, p. 261.

 Die gelden werden onder meer besteed aan ontmijning en goed bestuur.

 Alhoewel Gender en Milieu wel genoemd worden in de Afrika notities die
betrekking hebben op de geëvalueerde periode krijgen ze geen expliciete
uitgebreide aandacht in het IOB rapport. 

 Zie onze verwijzing naar met name ‘complexity evaluation’ (noot
17).

 Hier wreekt zich de zwakke rapportagecultuur: het is heel moeilijk om
snel inzicht te krijgen in de details van een dossier over een langere
termijn. Wat via open source internet archivering al lang had kunnen
zijn geregeld is er in veel gevallen nog steeds niet.

 Zie in dit verband de beleidsreactie op de IOB conclusie dat kennis van
veranderingsprocessen in Afrika afneemt. Terecht wordt daarin gesteld
dat kennis van en inzicht in bestuurlijke en politieke processen op
nationaal niveau in partnerlanden juist is toegenomen door overgang naar
sectorale en macrosteun, waarbij tegelijkertijd erkend wordt dat de
kennis van de armoedesituatie op lokaal niveau is afgenomen, terwijl
deze kennis wel degelijk onontbeerlijk blijft voor een zinvol beleid. 

 Ook inzake goed bestuur spreekt de beleidsreactie van een conclusie die
nogal kort door de bocht is geformuleerd, doordat IOB zich in zeer
beperkte mate rekenschap geeft van de veranderende (inter)nationale
context, terwijl tegelijkertijd wordt aangegeven dat de desbetreffende
aanbeveling (nr. 10 in de beleidsreactie van het ministerie)  reeds in
uitvoering is genomen.   

 Illustratief hiervoor is de discussie inzake incidentele algemene
begrotingssteun en de rol die de track record als instrument hierbij wel
of niet zou spelen. 

 In de interne discussie over het hoofdstuk Schuldkwijtschelding staat
centraal de kritiek dat hierin politieke vragen in discussie worden
gebracht, terwijl daarentegen volgens DVF verzuimd wordt een gemotiveerd
oordeel te geven over wat er feitelijk met schuldkwijtschelding is
bereikt en hoe vanuit zo’n assessment voor- en nadelen van deze vorm
van ontwikkelingsinterventie moeten worden bezien. 

 Wij verwijzen naar de beleidsreactie waarin met erkenning van de
problemen bij ownership afstand wordt genomen van deze stellingname. 

 Bij de ‘ronde tafel’ van de Tweede Kamercommissie over IOB van 17
april 2008 werd door één der uitgenodigde deskundigen terecht
opgemerkt dat de Beleidsreactie uitsluitend bedoeld is om aan te geven
of conclusies en aanbevelingen al of niet worden aanvaard en hoe hierop
vanuit het beleid wordt gereageerd. Een discussie over methodologie en
organisatie van de evaluatie ligt niet op dit terrein.

 Sommige landen kregen in hetzelfde jaar zowel nieuwe leningen –via
ORET- als schuldkwijtscheldingen via een onder Financiën vallende
faciliteit.

 In een commentaar stelt IOB dat men de stof ook nog anders kan indelen,
te weten: geïntegreerd beleid (144 blz.), coherentie (42 blz.) en pure
OS (118 blz.) Geïntegreerd beleid (M en R sector) betreft dan de
onderwerpen: algemene begrotingssteun, hiv/aids, instrumenten voor goed
bestuur, versterking van de rechtsstaat, conflicten en humanitaire hulp.
Coherentie  slaat op schuldverlichting (coherentie met beleid van Min.
van Financiën) alsmede handel en coherentie (coherentie met beleid van
LNV en EZ) terwijl ‘pure OS’gaat over: sectorsteun, onderwijs,
plattelandsontwikkeling en stedelijke armoedebestrijding. 

 Alhoewel er geen specifieke opleveringsdatum is genoemd in de Terms of
Reference, was het voornemen medio 2007 de evaluatie gepubliceerd te
hebben.

 Overigens zijn bij  gebruikte afgeronde deelstudies wel Afrikaanse
belanghebbenden betrokken geweest (zie hiervoor de verschillende
onderliggende IOB-rapporten).

 Zoals reeds vermeld is de externe referentiegroep pas in een relatief
laat stadium bij de evaluatie betrokken. Dit geldt ook voor de directie
DVF. Hierbij moet wel worden opgemerkt dat schuldverlichting niet in de
Terms of Reference was opgenomen. 

 IOB stelt dat de externe referentiegroepleden zijn geselecteerd op
grond van hun deskundigheid op het terrein van de problematiek van
ontwikkelingslanden in ruime zin, hun ervaring en disciplinaire
achtergrond, hun complementariteit ten opzichte van elkaar en het
evaluatieteam, alsmede hun onafhankelijkheid.

 Zie hierboven punt 53.

 Een kernvraag betreft de analyse van de vertaling van good governance
in een track record: in al die ‘operationalisatie stapjes’ zitten
politieke keuzes, deze zouden geëxpliciteerd moeten worden in het kader
van een leerproces.

 Wellicht is onze indruk voorbarig. De Tweede Kamer heeft inmiddels
schriftelijk gereageerd. Hierop moeten de bewindslieden nog reageren.
Daarnaast is er voor 2 juli een drie uur durend AO voorzien.

 PAGE    

 PAGE   22