IPCC doorgelicht: PBL evaluatie en IAC onderzoek

8 Jul

PBL evaluatie

Het PBL heeft het rapport uitgeracht naar aanleiding van een opdracht van de voormalige minister VROM die verontrust was over enkele fouten in de IPCC rapportage. PBL heeeft daartoe een website ingericht waar meldingen werden afgewacht over fouten. En het rapport is deze week gepresenteerd met een persbericht.

 Niet verwonderlijk is, dat het PBL vindt dat de hoofdconclusies van de IPCC rapporten overeind blijven. Niemand had anders verwacht. Interessant is dan wat PBL adviseert aan de IPCC. Hier is een samenvatting.

 Minimaliseren van het risico op fouten

  1. Een openbare webregistratie om fouten te laten melden, na publicatie van de rapporten, gekoppeld aan erratumpagina’s
  2. Een nauwkeurige controle uit op literatuurverwijzingen, traceerbaarheid via links
  3. Onderzoek mogelijkheden voor “crowdsourcing” vóór publicatie, vooral gericht op juistheid van cijfers

 Investeren in de verbetering en transparantie van de onderbouwing van samenvattende conclusies

  1. Uitspraken die gevolgen toeschrijven aan klimaatverandering moeten een stevige basis hebben in wetenschappelijk onderzoek, met inbegrip van  systematische observaties, modellen en statistieken
  2. Expertbeoordelingen die opgenomen zijn in samenvattingen moeten transparant en aannemelijk zijn. Dat geldt vooral voor generalisaties van conclusies over meerdere sectoren en voor de keuze van (delen van) datareeksen
  3. Controle op consistentie tussen samenvattingen en hoofdstukken
  4. Alleen grijze literatuur als geen peer review literatuur beschikbaar is

Versterken van de kwaliteitscontrole door de hoofdstukteams

Aanstellen van hoofdstukassistenten om de lead authors te ondersteunen en zodoende een hoger (niet verder gedefinieerd) kwaliteitsniveau te bereiken. Lijkt een kwestie van geld.

 Versterken van het reviewproces

  1. Zorg er voor dat alle teksten volledig gedekt worden door expertreviewers. Tot nu toe werd meestal een deel van de tekst becommentarieerd
  2. Laat geen nieuw materiaal toe na de laatste reviewronde, als dit materiaal geen verband heeft met de review, een duidelijke procedure is nodig
  3. Laat geen verwijzingen naar wetenschappelijke artikelen toe die voor publicatie zijn ingediend maar (nog) niet geaccepteerd zijn. Gebeurde nog niet overal in AR4
  4. Organiseer een review door regeringen van de basis en herkomst van uitspraken in Samenvattingen voor Beleidsmakers. Een voorbeeld is de PBL evaluatie, maar dat kost natuurlijk extra tijd

Verbeteren van de timing van de assessments

Dit gaat over de kwaliteit van de regiohoofdstukken. Het advies is om daar mee te beginnen zodra de sectorhoofdstukken afgerond zijn.

 Zorgen voor een evenwichtige evaluatie van klimaatveranderingseffecten

Vermijd een eenzijdige (negatief) gerichte risico benadering in de Samenvattingen. Splits de Samenvattingen in twee delen, een deel met robuuste resultaten waar voldoende wetenschappelijk materiaal voorhanden is en de resultaten worden geplaatst naast andere maatschappelijk invloeden. Verder een tweede meer speculatief deel waarin plaats is voor worst case benaderingen. Dat voorkomt een alarmistische ondertoon en/of het extra benadrukken van de negatieve gevolgen van de klimaatverandering die beleidsmakers die niet vertrouwd zijn met risicoschattingen kan beïnvloeden. Die beleidsmakers krijgen ook de positieve kanten te horen en kunnen dan een balans opmaken, waarbij de worst case benaderingen in het tweede deel mogen worden meegewogen.

 Investeren in de wetenschap van klimaatveranderingseffecten

Een oproep om te investeren in klimaatonderzoek in ontwikkelingslanden

De PBL evaluatie is procesmatig gecontroleerd door de KNAW. Dit zegt de KNAW erover (persbericht 7 juli 2010):

“De Akademie is tevreden over de transparantie van het proces voor alle betrokkenen, ook al was het geen openbaar proces. De door het PBL ontwikkelde systematische aanpak geeft een goed inzicht in het soort fouten die zijn gemaakt, en biedt aanknopingspunten voor verbetering van de IPCC-assessments in de toekomst . Het hele proces was, naar het oordeel van de KNAW, zorgvuldig: er was sprake van hoor- en wederhoor (ook met een breed publiek), en alle relevante informatie is gebruikt.”

(bron)

Review IPCC processen door IAC

 De InterAcademy Council, die mede wordt geleid door Robert Dijkgraaf, voorzitter van de KNAW is betrokken bij een onderzoek naar de procedures bij de totstandkoming van de IPCC rapporten. De IAC heeft daarover een aantal bijeenkomsten gehouden, de laatste op 15 juni 2010 in Montreal.

 Enkele erkende critici van de IPCC zoals John Christy en Hans von Storch waren uitgenodigd om hun standpunten toe te lichten, zie de agenda.

 Hans von Storch heeft voor de Interacademy Council zijn mening gegeven.

  Dit zijn zijn zes aanbevelingen.

  1. Er moet een einde komen aan de huidige praktijk waarbij de belangrijkste onderzoekers als lead authors de consensus schrijven en aldus hun eigen werk en dat van hun vrienden beoordelen
  2. Belangen van ondernemingen en milieugroepen (big oil, ngo’s) moeten strikt buiten het proces gehouden worden bij het vaststellen van de wetenschappelijke onderbouwingen
  3. Een onafhankelijke ombudsman wordt belast met klachten over feitelijke fouten, die niet meewerkt aan de rapportage en belangenconflicten behandelt
  4. Een frequente wisseling van de lead authors van de verschillende hoofdstukken, minimaal na twee rapportage cycli
  5. De IPCC moet veel meer onderwerpen opnemen waarover geen consensus bestaat en ingaan op kritiek
  6. De politiek en wetenschappelijke functies binnen de IPCC moeten strikt worden gescheiden

Von Storch verwijst daarbij naar een onderzoek dat in de Baltische regio is gehouden.

Hij gaf nog wat huiswerk mee aan de IPCC:

  • De IPCC blijft nodig, maar de processen moeten worden verbeterd
  • Er moet een mechanisme worden gevormd dat kan omgaan met fouten en belangenconflicten
  • Voorkomen moet worden dat er groepsdynamica ontstaat, waardoor andere opvattingen worden genegeerd
  • Onderscheid moet worden gemaakt tussen zuiver wetenschappelijke kennis en claims gebaseerd op cultureel bepaalde waarde-oordelen
  • En heel simpel eigenlijk, als ergens geen kennis over bestaat dan wordt er ook niets over gezegd
  • En tenslotte verwijst hij naar leereffecten van regionale studies

 Alles overziend gaan de aanbevelingen van von Storch een stuk verder. Zij grijpen direct in in de organisatie van het IPCC proces en geven in principe meer vertrouwen in de kwaliteit door de inbouw van onafhankelijke mechanismen en strikte scheiding van verantwoordelijkheden. Dat sluit aan bij breed gedragen algemene kwaliteitsopvattingen zoals die opgeld doen in veel ondernemingen en zoals ze zijn vastgelegd in bijvoorbeeld de ISO 9000 serie. Elk zich zelf respecterende onderneming beschikt inmiddels daarover, met uitgewerkte, transparante en traceerbare procedures voor de totstandkoming van producten en klachtenbehandeling, compleet met periodieke onafhankelijke audits. En zo’n belangrijke organisatie als de IPCC dient zich dergelijke kwaliteitsopvattingen snel eigen te maken.

Advertenties

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers liken dit: