Preregistration in psychology: Past, present, and prospects

This dissertation revolves around preregistration, the practice where researchers publish their hypotheses, research design, and analysis plan before collecting or analyzing data. Although this practice was proposed as a useful tool for researchers as early as the 1950s, it only became common in psychology in the 2010s. The primary reason for the rise of preregistration in psychology was the field’s failure to replicate many important findings in newer studies with similar research designs. This led to what is known as the replication crisis, a state of uncertainty about which research findings were true and which were false. One of the many proposed solutions to the replication crisis was preregistration, as it makes the research process more transparent and could potentially prevent questionable research practices. Preregistration is effective when a preregistration contains sufficient information and when this information matches the information in the corresponding publication of the study.

In my dissertation, I found that preregistrations often lack sufficient information, especially regarding the statistical model and how researchers intend to draw conclusions based on their results. I also found that there are often major and minor differences between preregistrations and the corresponding publications. These differences were particularly striking in the case of statistical models, data collection methods, and the criteria researchers use to include or exclude data from the analysis. The fact that preregistration is currently not perfectly effective was also reflected in my finding that the number of 'positive' results (i.e., results indicating a relationship between variables) is equally high in preregistered studies and non-preregistered studies. This is important because the number of positive results can be an indication of questionable research practices.

Based on the studies in my dissertation, I make three recommendations: (1) we need to better educate students and researchers about the goals of preregistration and how these goals can best be achieved, (2) we need to provide researchers with more guidance on how to preregister properly, for example by developing templates and providing good examples on which they can base their preregistrations, and (3) we need to assess scientific studies more frequently based on their preregistration rather than solely on the final publication.

_

Dit proefschrift draait om preregistratie, de werkwijze waarbij onderzoekers hun hypothesen, onderzoeksopzet en analyseplan publiceren voordat ze gegevens verzamelen of analyseren. Hoewel deze werkwijze al in de jaren 1950 werd voorgesteld als een nuttig instrument voor onderzoekers, is het pas in de jaren 2010 gangbaar geworden in de psychologie. De belangrijkste aanleiding voor de opkomst van preregistratie was dat vele belangrijke resultaten niet werden gevonden in nieuwere studies met eenzelfde onderzoeksopzet (d.w.z. ze konden niet worden gerepliceerd). Dit leidde tot de zogenaamde replicatiecrisis, een staat van onzekerheid over welke bevindingen in het onderzoeksveld waar waren en welke onwaar. Een van de vele voorgestelde oplossingen voor de replicatiecrisis was preregistratie omdat dit ervoor zorgt dat het onderzoeksproces transparanter wordt en daardoor twijfelachtige onderzoekspraktijken zouden kunnen worden voorkomen. Preregistratie is effectief als de preregistraties voldoende informatie bevatten, en als de preregistraties overeenkomen met de latere publicaties van het onderzoek.

In mijn proefschrift vond ik dat preregistraties vaak onvoldoende informatie bevatten, vooral over het statistische model en de manier waarop de onderzoekers conclusies willen trekken over hun resultaten. Ook vond ik dat er vaak grote en kleine verschillen zijn tussen preregistraties en de bijbehorende publicaties. Dit was vooral het geval voor de statistische modellen, de manier waarop data verzameld wordt, en de regels die onderzoekers gebruiken om data wel of niet mee te nemen in de analyse. Het feit dat preregistratie op dit moment nog niet effectief is kwam ook tot uiting in mijn bevinding dat het aantal ‘positieve’ resultaten (d.w.z. resultaten die een verband aangeven tussen variabelen) even groot is in gepreregistreerde studies als in niet-gepreregistreerde studies. Dit is belangrijk omdat het aantal positieve resultaten een indicatie kan zijn voor twijfelachtige onderzoekspraktijken.

Op basis van de studies in mijn proefschrift doe ik drie aanbevelingen: (1) we moeten studenten en onderzoekers beter onderwijzen over wat de doelen van preregistratie zijn en hoe die het best bereikt kunnen worden, (2) we moeten onderzoekers meer handvaten geven om goed te preregistreren, bijvoorbeeld door templates te ontwikkelen en goede voorbeelden te geven waar ze hun preregistraties op kunnen baseren, en (3) we moeten wetenschappelijke studies vaker beoordelen op basis van hun preregistratie in plaats van alleen op de uiteindelijke publicatie.