8571509451_e60bfb5cd7_zBevindingen die niet te repliceren zijn: de psychologie lijkt er meester in. Is het echt zo’n drama? Het vakgebied kent heus technische mankementen, maar is niet de enige die aanloopt tegen een replicatie-crisis.

Wilskracht is te vergelijken met een spier. Lang genoeg vermoeien leidt tot uitputting, waardoor je aan het eind van de dag maar moeilijk ‘nee’ kan zeggen tegen verleidingen als snoepgoed of alcohol. Niet dus. Het aannemelijke fenomeen, dat al bijna twintig jaar voor waar werd aangenomen, bestaat niet, wijst een grote herhaalstudie van twee Australische psychologen uit.

Vorig jaar kreeg de psychologie een knauw toen onderzoekers van het Reproducibility Project de resultaten van honderd psychologische studies probeerden te herhalen. Dat mislukte in meer dan de helft van de gevallen, maakten ze kenbaar in Science.

Herhaaldrama

Wat is er toch mis met de psychologie? Het gebeurt blijkbaar zo geregeld dat wetenschappers er niet in slagen de resultaten van hun eigen experimenten of die van anderen te repliceren, dat er een woord voor is bedacht: replicatie-crisis. Tik ‘replicatie-crisis’ in op je zoekmachine en Google geeft er automatisch de suggestie ‘psychologie’ bij.

Maar andere vakgebieden kampen ook met falende replicatie, al hoor je daar minder over. Medisch-informatici uit Zweden publiceerden eerder bijvoorbeeld een studie naar veelgebruikte software die op fMRI-scans veel te vaak hersenactiviteit vindt die er niet is, omdat de statistische methoden vrijwel niet gevalideerd waren.

Duizenden breinstudies zijn gebaseerd op die onjuiste statistiek, waarvan de uitkomsten nu onzeker zijn. De gebrekkige methode was in bijna vijfentwintig jaar tijd nooit aan het licht gekomen. “Het gaat bij neuroimaging vaak om resultaten die niet gerepliceerd worden”, reageerde hoogleraar ‘Methoden van Cognitieve Neuroimaging’ Serge Rombouts van de Universiteit Leiden.

Wat betreft herhaalonderzoek doet de psychologie het vaak beter dan andere vakgebieden in de wetenschap, schreef de Volkskrant vorige maand. Auteur Margreet Vermeulen haalde als voorbeeld de farmacologie aan: slechts 11 tot 25 procent van de studies in het lab naar nieuwe medicijnen kan herhaald worden.

Het kankeronderzoek is ook een drama. Het Reproducibility Project voor kankerbiologie startte in 2013, met als doel vijftig studies te herhalen. Het initiatief is verzand geraakt in een methodologische nachtmerrie. De vraag is of een experiment überhaupt herhaald kan worden in een ander lab, ongeacht of er dezelfde bevindingen uitkomen. Het blijkt nagenoeg onmogelijk dezelfde materialen, protocollen, cellen, proefdieren en andere labspullen uit het oorspronkelijke experiment te traceren.

Sociaal dilemma

De psychologie staat desondanks in het middelpunt van de controverse. Waarom? Je hebt inderdaad de problemen met statistische tests en twijfelachtige onderzoeksmethoden. Wat ook niet meehelpt is dat vooral de sociale psychologie het slachtoffer werd van schandalen rond onderzoeksfraude, waarvan de verzonnen data van Diederik Stapel de kroon spannen.

De Britse psychologen van de Universiteit van Oxford Jim Everett en Brian Earp weten de kwestie goed te interpreteren. Zij zien de ‘crisis’ in de psychologie – niet voor niets tussen aanhalingstekens – als een sociaal dilemma: de belangen van het vakgebied staan tegenover de belangen van de individuele wetenschapper.

Vorig jaar schreven ze in een opinie-artikel dat het voor onderzoekers niet aantrekkelijk is replicatie-studies uit te voeren van andermans bevindingen. Het experiment van iemand anders opnieuw doen is lang niet zo spannend als je eigen nieuwe experiment beginnen. En met herhaalonderzoek ga je Science of Nature waarschijnlijk niet halen, want niet origineel. Maar is dat sociale dilemma niet door te trekken naar meer vakgebieden? De druk om te publiceren vind je overal in de wetenschap terug, ook hierin staat de psychologie niet alleen.

Crisis of revolutie?

Er zijn wetenschappers die vinden dat de psychologie helemaal niet in crisis verkeert. Zoals Barbara Spellman, tot voor kort hoofdredacteur van het vakblad Perspectives on Psychological Science . Wat nou crisis, een revolutie zul je bedoelen, schreef ze aan het eind van haar termijn in een redactioneel. Ze spreekt van een opstand die gaande is, gericht op hoe we wetenschap moeten bedrijven in de wereld van vandaag.

Zo dramatisch is het allemaal niet, zegt ook Margreet Vermeulen in de Volkskrant. Oké, in minder dan de helft van van de herhaalde experimenten komen dezelfde resultaten bovendrijven. Maar, zegt ze: “een experiment minutieus herhalen is lastiger dan je denkt. Zelfs in de exacte wetenschappen. Het is realistischer om te verwachten dat herhaalonderzoek in pakweg zeventig procent van de gevallen dezelfde uitkomst oplevert.”

Moet er wat veranderen aan de manier waarop onderzoekers in de psychologie conclusies trekken uit hun onderzoek? Ja. En ook in de manier waarop ze hun resultaten verkrijgen. Positief punt: het vakgebied steekt de hand in eigen boezem en wil er mee aan de slag. Die zelfdiagnose is in andere vakgebieden nog ver te zoeken. Het lijkt me een gezonde mentaliteit op weg naar betere wetenschap. Zoals het gezegde gaat: er is eerst een dieptepunt nodig voor er iets grondig verandert. Of is dat ook niet repliceerbaar?

Bronnen:

  • Jim A. C. Everett en Brian D. Earp, A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers, Frontiers in Psychology. Online op 6 augustus 2015.http://dx.doi.org/10.3389/fpsyg.2015.01152
  • Barbara A. Spellman, A Short (Personal) Future History of Revolution 2.0, Perspectives on Psychological Science. Online in november 2015. doi: 10.1177/1745691615609918
  • Brendan Maher, Cancer reproducibility project scales back ambitions, Nature News. Online op 2 december 2015

Credits afbeelding: Flickr/Queen’s University via CC BY-NC-ND 2.0

    Dit redactioneel verscheen 16 augustus 2016 op NEMO Kennislink

    Reageer