Essays on meta-research: Examining threats to the trustworthiness of psychological science

Many decisions that affect our daily lives are informed by psychological research. It is therefore important that this research is trustworthy. This dissertation examined several research practices and problems that may undermine the trustworthiness of psychological research.

First, we studied what happens when researchers analyze their data in different ways until they find a favorable result (known as p-hacking), and when favorable results are more likely to be published than unfavorable ones (known as publication bias). Using simulation studies, we showed that both practices can seriously distort the results of individual studies, as well as those of meta-analyses (which combine the results of many individual studies).

Second, we studied whether the results of meta-analyses can be independently verified. We tried to reproduce 500 individual study results reported in 33 meta-analyses. Nearly half could not be reproduced, mostly because the authors did not clearly describe their methods and decisions. The overall conclusions of the meta-analyses were not substantially affected by the irreproducibility of the individual results.

Third, researchers often use questionnaires to compare groups of people (for instance men and women), on psychological constructs (for instance depression). Such comparisons are only meaningful if the questionnaire measures the construct in the same way in each group. If they measure differently across groups, differences found between those groups may be misleading. We examined whether articles in psychological science check this requirement of measurement invariance, and found that they rarely do.

We recommend that researchers in psychology preregister their plans and methods before starting a study, share their data and analysis code so that others can verify results, and test whether their questionnaires measure the same thing across groups. Journals should enforce reporting standards and require researchers to share their data and analysis code. Universities and research institutions should invest in training in rigorous research methods and support researchers in making their work more transparent and verifiable.

____

Veel beslissingen die van invloed zijn op ons dagelijks leven zijn gebaseerd op psychologisch onderzoek. Het is daarom belangrijk dat dit onderzoek betrouwbaar is. In dit proefschrift zijn verschillende onderzoekspraktijken en problemen onderzocht die de betrouwbaarheid van psychologisch onderzoek kunnen ondermijnen.

Ten eerste hebben we onderzocht wat er gebeurt wanneer onderzoekers hun gegevens op verschillende manieren analyseren totdat ze een gunstig resultaat vinden (ook wel ‘p-hacking’ genoemd), en wanneer gunstige resultaten vaker worden gepubliceerd dan ongunstige (ook wel ‘publicatiebias’ genoemd). Aan de hand van simulatiestudies hebben we aangetoond dat beide praktijken de resultaten van zowel individuele studies als meta-analyses (waarin de resultaten van vele individuele studies worden gecombineerd) ernstig kunnen vertekenen.

Ten tweede hebben we onderzocht of de resultaten van meta-analyses onafhankelijk kunnen worden geverifieerd. We hebben geprobeerd 500 individuele onderzoeksresultaten uit 33 meta-analyses te reproduceren. Bijna de helft kon niet worden gereproduceerd, voornamelijk omdat de auteurs hun methoden en beslissingen niet duidelijk hadden beschreven. Dat de individuele resultaten niet reproduceerbaar waren, had weinig invloed op de conclusies van de meta-analyses.

Ten derde gebruiken onderzoekers vaak vragenlijsten om groepen mensen (bijvoorbeeld mannen en vrouwen) te vergelijken op psychologische eigenschappen (bijvoorbeeld depressie). Zulke vergelijkingen zijn alleen zinvol als de vragenlijst de eigenschap in elke groep op dezelfde manier meet. Meet de vragenlijst in de ene groep anders dan in de andere, dan kunnen gevonden verschillen misleidend zijn. We vonden dat onderzoekers zelden controleren of hieraan is voldaan.

We raden onderzoekers in de psychologie aan om hun plannen en methoden vast te leggen voordat ze met een onderzoek beginnen, hun data en analysecode te delen zodat anderen de resultaten kunnen verifiëren, en te toetsen of hun vragenlijsten in alle groepen hetzelfde meten. Wetenschappelijke tijdschriften moeten rapportagerichtlijnen handhaven en het delen van data en analysecode verplicht stellen. Universiteiten en onderzoeksinstellingen moeten ervoor zorgen dat onderzoekers goed worden opgeleid in rigoureuze onderzoeksmethoden en hen helpen hun werk transparanter en beter controleerbaar te maken.