Research on research: A meta-scientific study of problems and solutions in psychological science

De psychologie zit in een crisis. Het blijkt dat een steeds groter aantal “bewezen” effecten niet meer gevonden worden als onderzoek herhaald wordt. Hierdoor maken steeds meer onderzoekers zich zorgen dat psychologische effecten in de wetenschappelijke literatuur overschat zijn, of zelfs überhaupt niet bestaan. In dit proefschrift hebben we onderzocht of we in psychologische artikelen aanwijzingen konden vinden voor overschatte effecten en andere problemen.
In het eerste deel van dit proefschrift hebben we onderzoek gedaan naar statistische inconsistenties in gepubliceerde artikelen. Hiervoor hebben we het programma statcheck ontwikkeld; een soort “spellingschecker” voor statistiek (Hoofdstuk 2 en 3). We vonden dat een groot deel van de psychologische artikelen inconsistenties bevatten (Hoofdstuk 2). Tegen onze verwachting in, vonden we geen bewijs dat artikelen die hun ruwe data deelden, minder kans hadden om statistische inconsistenties te bevatten (Hoofdstuk 4). Ik adviseer redacteurs van wetenschappelijke tijdschriften om statcheck te gebruiken om ingestuurde artikelen te controleren op fouten (Hoofdstuk 5).
In het tweede deel van dit proefschrift onderzochten we een ander groot probleem: publicatiebias - artikelen die bewijs voor het bestaan van een effect vinden, hebben een grotere kans om gepubliceerd te worden dan artikelen die geen bewijs voor een effect vinden. Wanneer alleen “succesverhalen” worden gepubliceerd, levert dit een enorme vertekening op van de effecten in de wetenschappelijke literatuur. Tegen de intuïties van de meeste wetenschappers in, kan de vertekening zelfs erger worden als informatie uit verschillende studies wordt gecombineerd (Hoofdstuk 7). We vinden sterk bewijs dat effecten overschat zijn in een analyse van studies uit de sociale wetenschappen in het algemeen (Hoofdstuk 8), en in een grote set studies naar intelligentie (Hoofdstuk 9). In het intelligentie-onderzoek blijkt bovendien dat de steekproeven systematisch te klein zijn. In onze analyses hebben we geen studiekenmerken kunnen identificeren die samenhangen met effecten die sterker overschat zijn.
In dit proefschrift vinden we bewijs voor een hoge prevalentie van statistische inconsistenties en overschatte effecten in de psychologie. Dit zijn problematische bevindingen, en het is belangrijk om na te denken over concrete oplossingen om de kwaliteit van psychologisch onderzoek te verhogen. Een van de oplossingen is preregistratie: onderzoekers publiceren hun hele onderzoeksplan online, voordat ze data gaan verzamelen. Op deze manier kunnen onderzoeken die geen bewijs vinden voor effecten niet ongezien verdwijnen in de archiefkasten, en wordt publicatiebias tegengegaan. Daarnaast is het belangrijk om herhaalonderzoek (replicaties) aan te moedigen, zodat eventuele overschatte effecten uiteindelijk gecorrigeerd worden. Verder zouden onderzoekers ruwe data en onderzoeksmaterialen vaker moeten delen, zodat eventuele fouten makkelijker aan het licht kunnen komen en verbeterd kunnen worden.
Uiteindelijk draait het om de vraag: hoe kunnen we de kwaliteit van psychologisch onderzoek verbeteren? Om hiervoor de beste strategieën te selecteren, moeten we onderzoek doen naar onderzoek: meta-onderzoek. Als we wetenschappelijke methodes gebruiken om te bestuderen hoe we de wetenschap kunnen verbeteren, zie ik de toekomst van de psychologie rooskleurig tegemoet.