Abstract
In dit proefschrift wordt onderzocht hoe we zuiverder en betrouwbaarder onderzoek kunnen doen in de sociale wetenschappen. In de wetenschap proberen we vaak groepen te vergelijken, bijvoorbeeld door te meten wat de effecten zijn een interventie of manipulatie. Onderzoekers hebben te maken met ongefundeerde voorkeuren en fouten in hun werk, bijvoorbeeld doordat studies met opvallende of "positieve" resultaten meer kans hebben om gepubliceerd te worden in de wetenschappelijke literatuur. Dit zorgt ervoor dat het moeilijker wordt om het echte effect van iets te meten, omdat niet alle informatie beschikbaar is. Dit fenomeen heet "publicatiebias."
Het eerste hoofdstuk legt de belangrijkste begrippen uit en schetst de problemen waar de sociale wetenschappen tegenaan lopen.
In het tweede hoofdstuk van mijn onderzoek is gekeken naar hoe publicatiebias de resultaten van een verzameling studies (meta-analyse) kan beïnvloeden, vooral als de echte effecten klein zijn, zoals vaak in sociaalwetenschappelijk onderzoek. Dit liet zien dat publicatiebias een sterk en verontrustend effect heeft op het ontdekken van verschillen tussen de effecten van de verzameling studies (heterogeniteit). Dit gevolg van publicatiebias is complex: in sommige situaties zijn verschillen niet meer te vinden, en in andere situaties lijken de verschillen ineens heel groot. We introduceren een webapplicatie, Q-sense, om meta-analyse onderzoekers te helpen om meer inzicht te krijgen in de betrouwbaarheid van hun heterogeniteits-schatting.
In het derde hoofdstuk wordt een nieuwe meta-analyse methode voorgesteld, die rekening houdt met publicatiebias. Deze methode, BMAS (Bayesian Meta-Analytic Snapshot), helpt onderzoekers beter in te schatten wat de werkelijke effecten van hun onderzoek zijn. De interpretatie van de resultaten van BMAS op de effect grootte en heterogeniteit zijn intuïtief te begrijpen, laten zien of er voldoende gegevens beschikbaar zijn, en wat de impact is van mogelijke publicatie bias. Ook hier introduceren we een webapplicatie, zodat onderzoekers BMAS kunnen toepassen in hun eigen meta-analyse.
Het vierde hoofdstuk onderzoekt hoe studenten aan universiteiten onderzoek doen voor hun scripties. Hiervoor zijn 300 masterscripties van de psychologieopleiding aan de Universiteit van Tilburg geanalyseerd en is gekeken naar hoe goed studenten de regels volgen voor zuiver en betrouwbaar onderzoek. Het bleek dat studenten over het algemeen zorgvuldig te werk gaan en hun rapportage is vaak completer dan in wetenschappelijke publicaties. Wel is het aantal fouten dat ze maken in hun statistische rapportages vergelijkbaar met de fouten in wetenschappelijke publicaties. Opvallend was dat het toepassen van zowel zorgvuldige, als twijfelachtige onderzoekspraktijken geen invloed had op de cijfers die studenten voor hun scriptie kregen.
In het vijfde hoofdstuk is onderzocht hoe studenten en wetenschappers de kwaliteit van onderzoek beoordelen. In een experiment waarin de samenvattingen van onderzoek waren gemanipuleerd, bleek dat het aantal deelnemers aan het onderzoek (steekproefgrootte) een grote rol speelt bij hoe mensen de kwaliteit van onderzoek inschatten. De aanwezigheid van rapportagefouten in de statische resultaten, een indicatie van onbetrouwbaar onderzoek, heeft minder invloed op die beoordeling. Verrassen genoeg leek er ook geen verschil in de beoordeling van de kwaliteit bij het wel of niet vinden van een effect. In een enquête vroegen we de deelnemers hierna om het belang van nog eens 29 onderzoekskenmerken te beoordelen. Hierin kwamen de resultaten van studenten en wetenschappers opvallen overeen.
Samenvattend laat deze dissertatie zien dat er nog veel te verbeteren valt in hoe we onderzoek doen in de sociale wetenschappen.
_
This dissertation investigates how research in the social sciences, can be conducted in a responsible and more reliable manner. In science, we often compare groups, for instance, by measuring the effects of an intervention or manipulation. Researchers often face biases and errors, for example, because studies with striking or "positive" results are more likely to be published in scientific literature. This makes it more difficult to measure the true effect, as not all information is available. This phenomenon is referred to as "publication bias."
The first chapter explains the main concepts and outlines the challenges faced by the social sciences.
The second chapter examines how publication bias can influence the results of a collection of studies (meta-analysis), particularly when the true effects are small, as is often the case in social science research. This showed that publication bias has a strong and concerning effect on detecting differences between the effects in a set of studies (heterogeneity). The consequences of publication bias are complex: in some cases, differences can no longer be detected, while in others, the differences suddenly seem much larger. We introduce a web application, Q-sense, to help meta-analysts better understand the reliability of their heterogeneity estimates.
The third chapter introduces a new meta-analysis method that accounts for publication bias. This method, BMAS (Bayesian Meta-Analytic Snapshot), helps researchers better estimate the true effects of their studies. BMAS results are intuitive to interpret, showing whether sufficient data is available and revealing the potential impact of publication bias. Here too, we introduce a web application that allows researchers to apply BMAS in their own meta-analyses.
The fourth chapter explores how university students conduct research for their theses. An analysis of 300 master's theses from the psychology program at Tilburg University was conducted to assess how well students adhere to the principles of responsible and reliable research. It was found that students generally work responsibly, and their reporting is often more complete than in scientific publications. However, the frequency of errors in their statistical reporting is comparable to those found in scientific publications. Interestingly, the use of either responsible or questionable research practices had no significant impact on the grades received for the theses.
The fifth chapter investigates how students and academics evaluate the quality of research. In an experiment where research summaries were manipulated, the number of research participants (sample size) was shown to play a major role in quality assessment, while the presence of errors in the statistical results, an indicator of unreliable research, had less influence on the evaluation.
Surprisingly, there was no difference in quality evaluations between studies that did or did not claim to have found an effect. In a follow-up survey, participants were asked to rate the importance of 29 research characteristics. The results from students and scientists were remarkably similar.
In summary, this dissertation highlights that there is still significant room for improvement in how research is conducted in the social sciences.
Het eerste hoofdstuk legt de belangrijkste begrippen uit en schetst de problemen waar de sociale wetenschappen tegenaan lopen.
In het tweede hoofdstuk van mijn onderzoek is gekeken naar hoe publicatiebias de resultaten van een verzameling studies (meta-analyse) kan beïnvloeden, vooral als de echte effecten klein zijn, zoals vaak in sociaalwetenschappelijk onderzoek. Dit liet zien dat publicatiebias een sterk en verontrustend effect heeft op het ontdekken van verschillen tussen de effecten van de verzameling studies (heterogeniteit). Dit gevolg van publicatiebias is complex: in sommige situaties zijn verschillen niet meer te vinden, en in andere situaties lijken de verschillen ineens heel groot. We introduceren een webapplicatie, Q-sense, om meta-analyse onderzoekers te helpen om meer inzicht te krijgen in de betrouwbaarheid van hun heterogeniteits-schatting.
In het derde hoofdstuk wordt een nieuwe meta-analyse methode voorgesteld, die rekening houdt met publicatiebias. Deze methode, BMAS (Bayesian Meta-Analytic Snapshot), helpt onderzoekers beter in te schatten wat de werkelijke effecten van hun onderzoek zijn. De interpretatie van de resultaten van BMAS op de effect grootte en heterogeniteit zijn intuïtief te begrijpen, laten zien of er voldoende gegevens beschikbaar zijn, en wat de impact is van mogelijke publicatie bias. Ook hier introduceren we een webapplicatie, zodat onderzoekers BMAS kunnen toepassen in hun eigen meta-analyse.
Het vierde hoofdstuk onderzoekt hoe studenten aan universiteiten onderzoek doen voor hun scripties. Hiervoor zijn 300 masterscripties van de psychologieopleiding aan de Universiteit van Tilburg geanalyseerd en is gekeken naar hoe goed studenten de regels volgen voor zuiver en betrouwbaar onderzoek. Het bleek dat studenten over het algemeen zorgvuldig te werk gaan en hun rapportage is vaak completer dan in wetenschappelijke publicaties. Wel is het aantal fouten dat ze maken in hun statistische rapportages vergelijkbaar met de fouten in wetenschappelijke publicaties. Opvallend was dat het toepassen van zowel zorgvuldige, als twijfelachtige onderzoekspraktijken geen invloed had op de cijfers die studenten voor hun scriptie kregen.
In het vijfde hoofdstuk is onderzocht hoe studenten en wetenschappers de kwaliteit van onderzoek beoordelen. In een experiment waarin de samenvattingen van onderzoek waren gemanipuleerd, bleek dat het aantal deelnemers aan het onderzoek (steekproefgrootte) een grote rol speelt bij hoe mensen de kwaliteit van onderzoek inschatten. De aanwezigheid van rapportagefouten in de statische resultaten, een indicatie van onbetrouwbaar onderzoek, heeft minder invloed op die beoordeling. Verrassen genoeg leek er ook geen verschil in de beoordeling van de kwaliteit bij het wel of niet vinden van een effect. In een enquête vroegen we de deelnemers hierna om het belang van nog eens 29 onderzoekskenmerken te beoordelen. Hierin kwamen de resultaten van studenten en wetenschappers opvallen overeen.
Samenvattend laat deze dissertatie zien dat er nog veel te verbeteren valt in hoe we onderzoek doen in de sociale wetenschappen.
_
This dissertation investigates how research in the social sciences, can be conducted in a responsible and more reliable manner. In science, we often compare groups, for instance, by measuring the effects of an intervention or manipulation. Researchers often face biases and errors, for example, because studies with striking or "positive" results are more likely to be published in scientific literature. This makes it more difficult to measure the true effect, as not all information is available. This phenomenon is referred to as "publication bias."
The first chapter explains the main concepts and outlines the challenges faced by the social sciences.
The second chapter examines how publication bias can influence the results of a collection of studies (meta-analysis), particularly when the true effects are small, as is often the case in social science research. This showed that publication bias has a strong and concerning effect on detecting differences between the effects in a set of studies (heterogeneity). The consequences of publication bias are complex: in some cases, differences can no longer be detected, while in others, the differences suddenly seem much larger. We introduce a web application, Q-sense, to help meta-analysts better understand the reliability of their heterogeneity estimates.
The third chapter introduces a new meta-analysis method that accounts for publication bias. This method, BMAS (Bayesian Meta-Analytic Snapshot), helps researchers better estimate the true effects of their studies. BMAS results are intuitive to interpret, showing whether sufficient data is available and revealing the potential impact of publication bias. Here too, we introduce a web application that allows researchers to apply BMAS in their own meta-analyses.
The fourth chapter explores how university students conduct research for their theses. An analysis of 300 master's theses from the psychology program at Tilburg University was conducted to assess how well students adhere to the principles of responsible and reliable research. It was found that students generally work responsibly, and their reporting is often more complete than in scientific publications. However, the frequency of errors in their statistical reporting is comparable to those found in scientific publications. Interestingly, the use of either responsible or questionable research practices had no significant impact on the grades received for the theses.
The fifth chapter investigates how students and academics evaluate the quality of research. In an experiment where research summaries were manipulated, the number of research participants (sample size) was shown to play a major role in quality assessment, while the presence of errors in the statistical results, an indicator of unreliable research, had less influence on the evaluation.
Surprisingly, there was no difference in quality evaluations between studies that did or did not claim to have found an effect. In a follow-up survey, participants were asked to rate the importance of 29 research characteristics. The results from students and scientists were remarkably similar.
In summary, this dissertation highlights that there is still significant room for improvement in how research is conducted in the social sciences.
| Original language | English |
|---|---|
| Qualification | Doctor of Philosophy |
| Supervisors/Advisors |
|
| Award date | 13 Dec 2024 |
| Place of Publication | s.l. |
| Publisher | |
| Print ISBNs | 978-94-6510-261-0 |
| DOIs | |
| Publication status | Published - 13 Dec 2024 |