De KNAW over replicatieonderzoek

17 Jan

De Koninklijke Nederlandse Academie van Wetenschappen (Royal Netherlands Academy of Arts and Sciences) heeft zojuist een rapport “Replication studies – Improving reproducibility in the empirical sciences” uitgebracht over het systematisch herhalen van onderzoek van anderen, het repliceren van onderzoek met zoveel mogelijk dezelfde methoden en onder vergelijkbare omstandigheden. Het is een Engelstalig rapport met een Nederlandse samenvatting. Volgens de KNAW dient replicatieonderzoek normaler te worden.

Het herhalen van eerder onderzoek – liefst niet letterlijk, maar met een toegevoegde waarde – scoort nog steeds slecht. Liever blijft men gedreven door de usances van de tak van wetenschap, de publicatiedruk, gebrek aan waardering en financiën maar sleutelen aan nieuw onderzoek, dat vaak een snippertje kennis toevoegt aan bestaande kennis. In zoverre sluit dit onderwerp goed aan bij  het laatste blogartikel over kennis en wetenschap.

Citaat uit KNAW persbericht over het rapport:

“Wetenschappelijke kennis bouwt voort op eerdere resultaten. De laatste tijd echter blijkt dat veel eerdere resultaten in onder andere de medische wetenschappen, de levenswetenschappen en de psychologie niet gereproduceerd kunnen worden. Zwakke onderzoeksmethodes, gebrekkige verslaglegging en perverse prikkels zorgen er regelmatig voor dat twee dezelfde onderzoeken toch tot verschillende resultaten leiden. Zulk niet-reproduceerbaar onderzoek belemmert de wetenschappelijke vooruitgang en leidt tot verspilling van onderzoeksgelden. Bovendien kan het erin resulteren dat patiënten geen goede behandeling krijgen.”

Het beeld van reproduceerbaarheid van onderzoeken in deze takken van wetenschap is dramatisch slecht (Table 1 in rapport). Die situatie moet verbeteren en daarvoor doet de KNAW een aantal aanbevelingen naar onderzoekers, vakbladen en subsidieverleners. Citaten uit de conclusies van het rapport:

  • Improve study methods

Researchers should conduct research more rigorously by strengthening standardisation, quality control, evidence-based guidelines and checklists, validation studies and internal replications. Institutions should provide researchers with more training and support for rigorous study design, research practices that improve reproducibility, and the appropriate analysis and interpretation of the results of studies.

  • Improve study reporting

Funding agencies and journals should require preregistration of hypothesis-testing studies. Journals should issue detailed evidence-based guidelines and checklists for reporting studies and ensure compliance with them. Journals and funding agencies should require storage of study data and methods in accessible repositories.

  • Create proper incentives

Journals should be more open to publishing studies with null results and incentivize researchers to report such results. Rather than reward researchers mainly for ‘high impact’ publications, ‘innovative’ studies and inflated claims, institutions, funding agencies and journals should also offer them incentives for conducting rigorous studies and producing reproducible research results.

  • Improve information-sharing

The above recommendations on study reporting also hold for replication studies: funding agencies should require preregistration of hypothesis-testing studies, and journals should issue reporting guidelines and require repositories for data and methods.

  • Improve know-how

Researchers should share best replication practices and the resources (e.g. methods, software, materials, samples, detailed analysis plans) required to conduct a particular replication study. Institutions should teach researchers how to design replication studies and assess reproducibility.

  • Create better incentives

Funding agencies should increase funding for replication studies (e.g. by setting up programmes that allocate money specifically to replication studies and by requiring researchers to include replication in their individual proposals). Journals should encourage the submission of replication studies. Institutions should properly credit replication studies in career evaluations.

Dit rapport van de KNAW sluit ook aan bij de visies van andere wetenschapsorganisaties, zoals de National Academies of Sciences, Engineering, and Medicine, om meer openheid in wetenschappelijk onderzoek te bevorderen. Maar zoals opgemerkt tijdens een discussie over het rapport, kan dat best nog veel moeite kosten, omdat met name oudere hoogleraren – de zilverruggen in de wetenschap – daar moeite mee zouden hebben.

Advertenties

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s

%d bloggers liken dit: