Active learning for treatment effects

Companies introduce new features to their websites through carefully testing different variations. In its most basic form, they do this by randomly splitting the population into different groups and showing different versions to the different groups. After the experiment has finished, they can compare the performance of the different versions and decide which one to keep.

They decide this by evaluating the treatment effect, the value associated to the change. This product development process is called A/B testing and is widely used in many industries. However, A/B testing is not always the best approach. For example, when the treatment effect is small, the sample size required to detect the effect can be prohibitively large. Furthermore, when different costs are associated with the units, A/B tests can be suboptimal. This thesis focuses on the problem of active learning for treatment effects, where the goal is to learn the treatment effect of a new feature as quickly as possible by selecting the most informative units for treatment.

The thesis consists of three studies. The first two introduces new algorithms for actively selecting units for experiments, while the third one introduces a programming package written in Python, called Asbe, that helps researchers and practitioners to develop and evaluate new active learning algorithms. The thesis contains several simulations, on simulated and real world data as well.

_

Bedrijven introduceren nieuwe functies op hun websites door verschillende varianten zorgvuldig te testen. In de meest basale vorm doen ze dit door de bevolking willekeurig in verschillende groepen te verdelen en verschillende versies aan de verschillende groepen te tonen. Nadat het experiment is afgelopen, kunnen ze de prestaties van de verschillende versies vergelijken en beslissen welke ze willen behouden. Zij beslissen hierover door het behandeleffect, de waarde die aan de verandering is gekoppeld, te evalueren.

Dit productontwikkelingsproces wordt A/B-testen genoemd en wordt in veel industrie¨en veel gebruikt. A/B-testen zijn echter niet altijd de beste aanpak. Als het behandeleffect bijvoorbeeld klein is, kan de steekproefomvang die nodig is om het effect te detecteren onbetaalbaar groot zijn. Bovendien kunnen A/B-tests suboptimaal zijn als er verschillende kosten aan de eenheden zijn verbonden. Dit proefschrift richt zich op het probleem van active learning voor behandeleffecten, waarbij het doel is om het behandeleffect van een nieuw kenmerk zo snel mogelijk te leren kennen door de meest informatieve eenheden voor behandeling te selecteren.

Het proefschrift bestaat uit drie onderzoeken. De eerste twee introduceren nieuwe algoritmen voor het actief selecteren van eenheden voor experimenten, terwijl de derde een in Python geschreven programmeerpakket introduceert, genaamd Asbe, dat onderzoekers en praktijkmensen helpt nieuwe actieve leer algoritmen te ontwikkelen en evalueren. Het proefschrift bevat verschillende simulaties, zowel op gesimuleerde als op echte gegevens.