Sample Size Analysis

In the social sciences, researchers often want to learn something about a larger population by studying a smaller group of people, called a sample. This raises the practical question of how large that sample should be. If the sample is too small, the study may not provide reliable answers. Conversely, if it is larger than necessary, researchers may spend more time and resources than needed. This thesis focuses on the problem of deciding on the size of a sample for a study, namely the sample size problem.

While traditionally sample size decisions have often been approached from the perspective of statistical power analysis, this thesis proposes an alternative perspective, where the research question itself (i.e., the substantive question the researcher is interested in answering) is the starting point. From this perspective, deciding on a sample size becomes a sample size analysis, namely, a separate analysis that asks under which conditions a research question can be answered with sufficient accuracy and high reliability.

The thesis approaches the sample size problem along three complementary facets. First, it addresses the formulation facet by proposing a vocabulary for articulating sample size questions where the research question remains the central focus. The idea is to make explicit what researchers assume to be true, what counts as a good answer to their research question, and how often such an answer should be expected, thus enabling researchers and methodologists to communicate more precisely about what a study needs. Second, it addresses the implementation facet by translating the vocabulary into a general method for calculating the sample size, designed to make sample size recommendations feasible in situations where analytical solutions are unavailable. The method uses repeated computer simulations to examine how well a study would perform at different sample sizes, making it possible to obtain sample size recommendations even for arbitrarily complex research questions. Third, it addresses the workflow facet by embedding the vocabulary and the method in a coordinated research process supported by a software framework to conduct a sample size analysis. The workflow distinguishes between three actors (i.e., the researcher, the methodologist, and the software used to run the analysis), where each contributes to the sample size analysis according to their expertise. This workflow is concretely realized in the open-source framework powerly version 2.0.0, which is designed to enable a transparent and reproducible end-to-end sample size analysis.

Taken together, the thesis argues that sample size should be treated as an analysis in its own right. The broader aim is to help researchers plan studies, make better-informed decisions about data collection, and support more transparent and reliable research. In short, this thesis offers a practical step from isolated sample size calculations toward a more flexible and sustainable way of planning empirical studies.

___

In de sociale wetenschappen willen onderzoekers vaak iets te weten komen over een grotere populatie. Dat doen ze door een kleinere groep mensen, een steekproef, te bestuderen. Dit roept de praktische vraag op: hoe groot moet die steekproef zijn? Als de steekproef te klein is, levert het onderzoek mogelijk geen betrouwbare antwoorden op. Omgekeerd, als de steekproef groter is dan nodig, besteden onderzoekers onnodig veel tijd en middelen. Dit proefschrift richt zich op het probleem van het bepalen van de omvang van een steekproef voor een onderzoek, namelijk het steekproefomvangprobleem.

Beslissingen over de steekproefomvang worden vaak genomen op basis van statistische poweranalyse. In dit proefschrift wordt echter een ander perspectief voorgesteld, waarbij de onderzoeksvraag zelf (dus de inhoudelijke vraag die de onderzoeker wil beantwoorden) het uitgangspunt vormt. Vanuit dit perspectief krijgt het bepalen van een steekproefomvang de vorm van een steekproefomvanganalyse: een aparte analyse die vraagt onder welke voorwaarden een onderzoeksvraag met voldoende nauwkeurigheid en hoge betrouwbaarheid kan worden beantwoord.

Het proefschrift benadert het steekproefomvangprobleem vanuit drie complementaire invalshoeken. Ten eerste is er het formuleringsfacet. Hiervoor wordt een vocabulaire voorgesteld waarmee steekproefomvangvragen kunnen worden geformuleerd, met de onderzoeksvraag als centraal uitgangspunt. Het doel is om expliciet te maken welke aannames onderzoekers doen, wat zij als een goed antwoord op hun onderzoeksvraag beschouwen, en hoe vaak zo’n antwoord verwacht mag worden. Dit helpt onderzoekers en methodologen om preciezer te communiceren over wat een studie nodig heeft. Ten tweede is er het implementatiefacet. Daarbij wordt het vocabulaire vertaald naar een algemene methode voor het berekenen van de steekproefomvang. Deze methode maakt steekproefomvangaanbevelingen mogelijk in situaties waarin geen analytische oplossingen beschikbaar zijn. De methode maakt gebruik van herhaalde computersimulaties om te onderzoeken hoe goed een studie zou presteren bij verschillende steekproefomvangen. Zo kunnen ook voor complexe onderzoeksvragen onderbouwde aanbevelingen worden gedaan. Ten derde is er het workflowfacet. Hierin worden het vocabulaire en de methode ingebed in een samenhangend onderzoeksproces, ondersteund door een software-framework voor het uitvoeren van een steekproefomvanganalyse. In deze workflow worden drie rollen onderscheiden (de onderzoeker, de methodoloog en de software die de analyse uitvoert), die elk vanuit hun eigen expertise bijdragen aan de steekproefomvanganalyse. Deze workflow is concreet uitgewerkt in het open-source framework powerly versie 2.0.0, dat is ontworpen om een transparante en reproduceerbare end-to-end steekproefomvanganalyse mogelijk te maken.

Dit proefschrift betoogt dat de steekproefomvang als een zelfstandige analyse moet worden behandeld. Het bredere doel is om onderzoekers te helpen bij het plannen van studies, het nemen van beter onderbouwde beslissingen over dataverzameling, en het bevorderen van transparanter en betrouwbaarder onderzoek. Kortom, dit proefschrift zet een praktische stap van losse steekproefomvangberekeningen naar een flexibelere en duurzamere manier om empirisch onderzoek te plannen.