Ik snap het niet. Begripsproblemen bij het beantwoorden van opinievragen in stemhulpen

In een stemhulp beantwoorden gebruikers vragen over politieke kwesties. Op basis van een vergelijking tussen de antwoorden van de gebruiker en de posities van politieke partijen geeft de stemhulp vervolgens een stemadvies. Van die stemadviezen is bekend dat ze invloed hebben op de stemkeuze. Maar snappen gebruikers de stellingen waarop het stemadvies gebaseerd is? Die vraag hebben wij geprobeerd te beantwoorden in twee deelstudies.

In Studie 1 verbaliseerden 60 stemhulpgebruikers hun gedachten terwijl ze een stemhulp invulden voorafgaand aan de Utrechtse gemeenteraadsverkiezingen van 2014. De verbalisaties werden door twee codeurs gecodeerd (Kappa/Kappa Max tussen 0,58 en 0,98) op begripsproblemen die bekend zijn uit de surveyliteratuur (zie Dillman et al. 2009). Stemhulpgebruikers blijken begripsproblemen te ervaren bij ongeveer 1 op de 5 vragen. Tweederde van die problemen zijn te verbinden aan de semantische (letterlijke) betekenis van de vraag. Dit zijn bijvoorbeeld problemen met belastingnamen (“OZB”) of politiek jargon (“BOA”). Daarnaast is eenderde van de problemen te koppelen aan de pragmatische betekenis van de vraag. In die gevallen snapt de gebruiker weliswaar de letterlijke betekenis, maar ontbreekt het aan contextuele kennis om de vraag te beantwoorden (“Hoe hoog is de OZB nu?”). Als er begripsproblemen optreden, doen gebruikers weinig moeite om informatie op te zoeken. In plaats daarvan worden aannames gemaakt over de betekenis, en worden veelal non-substantieve of neutrale antwoorden gegeven.

In Studie 2 onderzochten we of de vraagkenmerken die tot begripsproblemen leidden in Studie 1 inderdaad te koppelen zijn aan specifiek antwoordgedrag (“neutraal”- en “geen mening”-antwoorden) in een echte stemhulpcontext. Tijdens de gemeenteraadsverkiezingen van 2014 maakten 357.858 mensen één van de 34 gemeentelijke stemhulpen van Kieskompas. Wij codeerden de 1020 stellingen uit deze stemhulpen op vraagkenmerken (Kappa/Kappa Max tussen 0,8 en 0,96) en voorspelden of deze kenmerken verbonden zijn aan meer “neutraal” en “geen mening”. Het gebruik van gemeentelijk jargon en belastingnamen leidt tot een toename in geen mening-antwoorden, terwijl vage kwantificeerders (“verhogen”) leiden tot meer neutrale antwoorden. Er lijkt zich dus een rolverdeling tussen “neutraal” en “geen mening” af te tekenen, die te koppelen is aan het onderscheid tussen semantische en pragmatische begripsproblemen.