Preview document (🔗 origineel)

---

Peerreview van expertoordeel Petersen

Uitgevoerd voor LVVN door Emiel van Loon

Vragen vanuit LVVN zijn in deze peer review letterlijk overgenomen uit de lijst met vragen en hieronder in zwart weergegeven, mijn antwoorden zijn in blauw weergegeven.

Ik hoop dat LVVN erin slaagt het maximale uit de peerreview te halen. Het verzamelen en interpreteren van expertoordelen (‘expert elicitation’) is een veelzijdige en daarmee ook lastige taak. Er zijn gelukkig een aantal goede adviezen/handleidingen - met name vanuit de onderzoeksgroep van Mark Burgman (Australië) is op dat vlak belangrijk werk gedaan. Dit toonaangevende en toegankelijke boek zou ik in ieder geval raadplegen:

Burgman, M. A. (2016). Trusting Judgements. How to Get the Best out of Experts. Cambridge University Press.

Voor deze peerreview is onderstaande vragenlijst opgesteld, deze is niet limitatief dus voelt u

zich vrij om ook anderszins uw inzicht te geven. Verschillende expertises zijn betrokken bij deze

review, wij willen u vragen alleen de vragen te beantwoorden binnen uw eigen expertise. Hierbij

is de volgende inschatting gemaakt:

- Juridische expertise: vraag 1, 2, 3, 5 en 7.

- Atmosfeerwetenschappelijke expertise: vraag 1, 3, 4, 5 en 7

- Wetenschapsfilosofische expertise: vraag 1, 3, 5 en 7

- Ecologische expertise: vraag 1, 3, 5, 6 en 7.

Ik voel me gekwalificeerd mbt atmosfeerwegenschappelijke en ecologische expertise en zal dus mbt die punten reageren.

Bij het beantwoorden van de vragen zal ik zo nu en dan verwijzen naar de drie documenten die zijn verstrekt, als volgt kort aangeduid voor compactheid:

• expertoordeel
  dutch_-_expert_judgement_arthur_petersen_update_28-08-2024.pdf

• position-paper
  Position paper A. Petersen t.b.v. rondetafelgesprek Rekenkundige ondergrens d.d. 2 oktober 2024.pdf

• toelichting nadere_toelichting_referenties_expertoordeel_en_position_paper_rekenkundige_ondergrens_arthur_petersen.pdf

De drie documenten zijn goed op elkaar afgestemd: er staan geen tegenstrijdige beweringen in de drie documenten, ze verwijzen naar elkaar waar relevant (en vormen geen cirkelredenering) en het is ook duidelijk hoe ze beantwoorden aan verschillende vragen.

1. Wat vindt u van de wijze waarop Petersen gebruik maakt van de onderliggende referenties?

a) Worden de referenties juist of onjuist gebruikt en waarom?

Ik vind dat de referenties in de drie documenten op een correcte manier worden gebruikt. Met name de toelichting geeft helder aan waar argumenten vandaan komen en voor welk doel de diverse bronnen zijn gebruikt.

Een kleine uitzondering hierop is voor mij de duiding in de toelichting dat TNO (2024) uitsluitend ‘spoor 1’ (uitgaan van een theoretisch onderbouwde onzekerheidsanalyse) zou volgen - (de link naar het verslag van het Rondetafelgesprek van 14 december 2023 wordt gegeven in de toelichting). Maar dat is verder niet relevant voor de verdere discussie en helemaal aan het eind van de toelichting wordt ook aangegeven dat sporen 2 en 3 worden verkend in TNO (2024).

b) Zijn er studies die volgens u ontbreken?

Nee, in de zin van:

1. er worden in het expertoordeel (en met name de toelichting) voldoende relevante werken genoemd ter onderbouwing van de gedane beweringen en er zijn geen wetenschappelijke studies (bewust of onbewust) weggelaten die andere conclusies ondersteunen.

2. Er zijn wel heel veel meer bronnen te citeren (zowel de literatuur over het modelleren van atmosferisch transport en depositie is omvangrijk, als ook de literatuur over model validatie, verificatie en onzekerheidskwantificering en de literatuur over N-effecten mbt biodiversiteit), maar dat zou dus niet leiden tot andere conclusies en het toevoegen van meer citaties dient geen duidelijk doel in deze stukken.

Op 1 punt in het expertoordeel wordt de onzekerheid van de KDW in de discussie betrokken (“Ook valt uit de precisie waarmee KDW-waarden zijn gegeven (0,1 kg/ha/jaar) een ‘ruisniveau’ af te leiden; depositiewaarden kleiner dan deze 0,1 kg ofwel 7 mol/ha/jaar vallen binnen deze ruis.”). En hier wordt juist geen bron gegeven (terwijl een gezaghebbende bron juist wel op z’n plaats zou zijn als het om de KDW zou gaan).

Ik vind echter dat het betrekken van de KDW hier (de discussie over de rekenkundige ondergrens – de depositie die kan worden toegeschreven aan een individueel project) niet op zijn plaatst is. Dus daarom vind ik het ontbreken van een bron ter ondersteuning geen probleem (want niet relevant).

De KDW en de onzekerheid daarin (met name ook de consequent te rooskleurige inschatting over de laatste decennia) is overigens wel relevant als het gaat om de impact-analyse (de risico-inschatting bij een e.v. rekenkundige ondergrens), en de inschatting van de integrale inspanning die nodig is om de totale stikstofdepositie te laten dalen.

Er zijn wel een aantal referenties waarvan ik denk dat ze het expertoordeel hadden versterkt als ze waren gebruikt. In de huidige versie wordt namelijk wel erg veel verwezen naar werk waarbij Petersen zelf nauw betrokken was. En hoewel het in alle gevallen over goed en relevant materiaal gaat, is veelvuldige zelfcitatie een zwakte – met name wanneer er (zoals in dit geval) voldoende andere sterke literatuur voorhanden is. Ik zou zelf recente artikelen van het EFSA en een paper van Walker et al. (2003) geciteerd hebben als goed (of beter) alternatief. Opnieuw: deze papers zouden de huidige argumentatie alleen maar beter onderbouwen.

• EFSA. (2018a). Guidance on Uncertainty Analysis in Scientific Assessments. EFSA Journal, 16(1), 39. https://doi.org/10.2903/j.efsa.2018.5123

• EFSA. (2018b). The principles and methods behind EFSA’s Guidance on Uncertainty Analysis in Scientific Assessment. EFSA Journal, 16(1), 235. https://doi.org/10.2903/j.efsa.2018.5122

• EFSA. (2019). Guidance on Communication of Uncertainty in Scientific Assessments. EFSA Journal, 17(1), 73. https://doi.org/10.2903/j.efsa.2019.5520

• Walker, W. E., Harremoës, P., Rotmans, J., van der Sluijs, J. P., van Asselt, M. B. A., Janssen, P., & Krayer von Krauss, M. P. (2003). Defining Uncertainty: A Conceptual Basis for Uncertainty Management in Model-Based Decision Support. Integrated Assessment, 4(1), 5–17. https://doi.org/10.1076/iaij.4.1.5.16466

2. Wat vindt u van de aangehaalde jurisprudentie van zowel de Nederlandse Raad van State

(ECLI:NL:RVS:2023:1299)1 als de hoogste bestuursrechter in Duitsland

(ECLI:DE:BVerwG:2019:150519U7C27.17.0)?2

a) Wordt de jurisprudentie juist of onjuist geïnterpreteerd en waarom?

b) Is er jurisprudentie die volgens u ontbreekt?

Met betrekking tot deze vraag heb ik geen expertise.

3. Wat vindt u van de redenering dat er sprake zou moeten zijn van een rekenkundige ondergrens?

a) Op welke punten bent u het eens of oneens met de redenering en waarom?

Ik ben het eens met de redenering dat er een rekenkundige ondergrens is – zoals bij elk model van een natuurwetenschappelijk verschijnsel. Dit is ook conform de conclusie van het rapport door Ernst Meijer en mijzelf (TNO, 2024).

Daarnaast ben ik het ook eens met de duiding van de drie sporen (waarbij je via sporen 2 en 3 onherroepelijk bij deze conclusie van het bestaan van een rekenkundige ondergrens uitkomt).

b) Zijn de aangehaalde argumenten in de redenering inhoudelijk juist?

Er wordt geen redenering opgezet, maar eenvoudigweg verwezen naar de TNO rapporten (TNO 2022 en 2024), en volgens mij volstaat dat.

Er wordt ook verwezen naar Duitse jurisprudentie, maar ik vind het problematisch om dat als onderbouwing te gebruiken (het paper van Balla et al. 2014, is daarentegen wel geschikt en geeft een uitstekende onderbouwing, in lijn met spoor 3).

c) Zijn er argumenten die volgens u ontbreken?

Ja, wat in mijn optiek nog ontbreekt zijn goede argumenten, ook ondersteund door wetenschappelijke literatuur, waarom spoor 1 geen goede of minder sterke redeneerlijn is om beperkingen in het toepassingsbereik vast te stellen (in dit geval de rekenkundige ondergrens). Zonder die argumenten lijkt het kiezen voor één of een ander ‘spoor’ nog steeds een arbitraire keuze, en blijft het lastig om een brede groep wetenschappers te overtuigen van hetzelfde argument.

Dit is echter niet gemakkelijk en er is geen garantie dat overtuigende argumenten zijn te vinden – ik heb helaas nog geen wetenschappelijke studies gevonden die dat doen.

4. Wat vindt u van de redenering dat 1 mol/ha/jaar een verantwoorde keuze is voor de

rekenkundige ondergrens?

a) Op welke punten bent u het eens of oneens met de redenering en waarom?

Ik ben het eens met de redenering dat er een range is waarbinnen de rekenkundige ondergrens zal vallen. Ook hiervoor verwijst het expertoordeel naar de TNO rapporten (TNO 2022 en 2024).

In de onderbouwing langs 4 dimensies (pagina 7 & 8) van het expertoordeel kan ik me vinden. Ik ben het met name ook eens met de inschatting dat “Preciezer dan in ordes van grootte kan overigens nooit bepaald worden wat de rekenkundige ondergrens zou moeten zijn”.

De onderbouwing in het expertoordeel (p. 7 & 8) leidt tot een range van 1–35 mol/ha/jaar als ondergrens voor beoordeling van een individueel project. De bovengrens van 35 wordt hierbij onderbouwd door zowel detectielimiet als peer consensus en ligt in dezelfde orde-grootte als de onzekerheid die volgt uit ruis (TNO 2022) en vergelijking tussen model en meting van totale depositie (TNO 2024).

De ondergrens van 1 mol/ha/jaar wordt minder sterk onderbouwd – de waarde is gekozen als een orde-grootte onder de ondergrens van 10 die volgt uit TNO (2024). Hierover ben ik minder zeker. Ik denk evenwel dat die ondergrens zeker niet lager zal kunnen liggen dan 1 mol/ha/jaar (de modellering is daarvoor bij lange na niet nauwkeurig genoeg).

b) Zijn de aangehaalde argumenten in de redenering inhoudelijk juist?

Wat mij betreft wel – de genoemde 4 dimensies zijn volledig (er zijn geen andere overwegingen die in beschouwing genomen moeten worden) – maar het zou fijn zijn om argumenten te hebben voor het niet kunnen gebruiken van onzekerheidsanalyse (spoor 1) voor dit doeleind (zie punt c).

c) Zijn er argumenten die volgens u ontbreken?

In lijn met punt 3c: volgens mij ontbreken nog goede argumenten waarom geen gebruik kan worden gemaakt van een model-onzekerheidsanalyse voor het vaststellen van een rekenkundige ondergrens.

d) Indien u 1 mol/ha/jaar geen verantwoorde keuze vindt, is er dan een andere

verantwoorde keuze en waarom?

Ik vind 1 mol/ha/jaar verantwoord in de zin dat het model zeker niet nauwkeuriger is dan dat. Maar ik vermoed dat dit nog steeds een onderschatting is van de modelonzekerheid.

Dus ik ben het eens met de bewering in het expertoordeel dat “als je de rekenkundige ondergrens ver genoeg onder de in TNO (2024) genoemde bandbreedte van 10–100 mol/ha/jaar vaststelt – ... – dan kun je stellen dat je het model daaronder beslist niet meer mag gebruiken bij projectspecifieke berekeningen, omdat de kans dat de berekende depositie dan is te onderscheiden van nul, te klein is geworden: je zult op nul af moeten ronden.”