Responspercentage

Wat is de respons?

‘Respons’ betekent letterlijk de ‘mate waarin proefpersonen meedoen aan een onderzoek’.¹ Met andere woorden, hoeveel personen hebben je vragenlijst ingevuld. Om het responspercentage te berekenen, deel je dit aantal door de totale steekproef (alle proefpersonen die je hebt gevraagd om mee te doen), en doe je dit maal 100 (om er een percentage van te maken). Oftewel:

Responspercentage = (aantal respondenten / aantal personensteekproef) * 100

Dit lijkt vrij simpel, maar hoe kom je eigenlijk aan de benodigde getallen voor deze formules? Wie neem je bijvoorbeeld mee: tellen mensen die maar de helft van de vragenlijst hebben ingevuld ook mee, en behoort iemand bij wie jouw e-mail nooit is aangekomen ook tot de steekproef? Dat wordt hieronder besproken.

Aantal respondenten

Om te bepalen wat je aantal respondenten is, is het belangrijk dat je goed nadenkt over je ‘uitsluitingscriteria’ Zie ook het artikel over het opschonen van je data hierover. Op die manier zorg je ervoor dat je alleen ‘geldige’ respondenten in je data over houdt. Echter, ook na het opschonen van je data, kan je nog steeds zowel respondenten hebben die je vragenlijst volledig hebben ingevuld, als respondenten die je vragenlijst maar voor een deel hebben ingevuld. Horen zij bij het aantal respondenten of niet?

Hierover verschillen de meningen. Er zijn onderzoeksbureaus die alleen de respondenten meenemen die de vragenlijst volledig hebben ingevuld, maar ook die daarnaast de ‘deels’ ingevulde vragenlijsten meetellen. Het belangrijkste is dat je hierin een weloverwogen keuze maakt en dat je hierover helder communiceert.

De onderzoekers van Onderzoekdoen.nl hanteren deze tweede methode en nemen dus ook de ‘deels’ ingevulde vragenlijsten mee. Niet omdat het responspercentage dan automatisch hoger wordt, maar omdat ook ‘deels’ ingevulde vragenlijsten afkomstig zijn van mensen die wel de moeite hebben genomen om (een deel van) je vragenlijst in te vullen.

Om een metafoor te gebruiken: ze hebben gereageerd op de uitnodiging voor je feestje, alleen ze waren er niet de hele avond. Voorwaarde is wel dat je bij het opschonen van je data al goed hebt nagedacht over je ‘cut-off point’: welke deels ingevulde vragenlijsten neem je wel mee, en welke niet? Ten tweede is het belangrijk om in je rapportage aan te geven hoe de respons is berekend.

Tot slot is het goed om duidelijk te maken dat het over de algemene respons gaat, wat niet hetzelfde is als de respons op iedere afzonderlijke vraag. De respons op de laatste vraag in jouw vragenlijst kan dus lager zijn dan de algemene respons.

Aantal personen in steekproef

Het aantal personen in de steekproef is het andere onderdeel van de formule om de respons te berekenen. Daarmee wordt ook direct duidelijk dat je dit aantal wel nodig hebt om de respons te kúnnen berekenen: als je een link op je sociale media verspreidt, dan weet je meestal niet hoeveel mensen je daarmee hebt bereikt (uitgenodigd) en dus ook niet wat het aantal personen in je steekproef is.

Wanneer je data verzamelt per e-mail of bijvoorbeeld per SMS, weet je wél hoeveel uitnodigingen je hebt verstuurd. Daarmee ben je echter nog niet bij het aantal personen in je steekproef: het kan namelijk zo zijn dat een aantal uitnodigingen niet zijn aangekomen, bijvoorbeeld omdat een e-mailadres niet (meer) bestaat of omdat er een fout in zit.

Het is belangrijk om dit te monitoren, omdat je de personen die bij deze e-mailadressen horen feitelijk gezien niet hebt uitgenodigd. Zij hebben nooit de uitnodiging ontvangen om jouw vragenlijst in te vullen. Daarmee horen deze personen dus ook niet bij het aantal personen in je steekproef, en neem je ze niet mee in de berekening van je responspercentage.

Wat is een goed responspercentage?

Dat hangt volledig af van het type onderzoek dat je doet. Bij een medewerkerstevredenheidsonderzoek heb je over het algemeen te maken met een zeer betrokken doelgroep die snel geneigd is om mee te werken, terwijl dit bij een klanttevredenheidsonderzoek vaak wat minder het geval is.

Verder is het responspercentage vaak ook afhankelijk van de grootte van je populatie. Om bij het voorbeeld van het medewerkerstevredenheidsonderzoek te blijven: in een organisatie met 30 medewerkers is het responspercentage, in de ervaring van de onderzoekers van Onderzoekdoen.nl, over het algemeen veel hoger dan in een organisatie met 1000 medewerkers. Dit heeft vermoedelijk alles te maken met de betrokkenheid bij de organisatie en het gevoel van inspraak dat medewerkers hebben. 

Kortom, houd rekening met het type onderzoek dat je doet en de doelgroep die je benadert, en denk vooral zelf goed na over wat een reëel responspercentage hierbij zou zijn. Daarbij is het wel wenselijk dat je tenminste dat aantal respondenten behaalt dat je nodig hebt om betrouwbare uitspraken over je populatie te kunnen doen. Daarover hieronder meer.

Betrouwbaarheid

Betrouwbaarheid gaat over de mate waarin je resultaten ‘consistent’ zijn. Oftewel: als je dezelfde meting op exact dezelfde manier nog eens zou doen, in hoeverre zou je dan dezelfde resultaten behalen?²  

Een belangrijk verschil met respons is dat je bij betrouwbaarheid kijkt naar de grootte van je populatie, niet van je steekproef. Je wilt met je resultaten (die je vaak hebt verzameld door middel van dataverzameling binnen een steekproef) iets kunnen zeggen over de situatie in de populatie. Als je volledig betrouwbare resultaten behaalt, dan betekent dit dat je resultaten exact de situatie in de populatie weergeven.

Dit is daarom alleen mogelijk op het moment dat je ook de gehele populatie hebt bevraagd: als in een klas met 25 leerlingen alle 25 leerlingen de vragenlijst volledig invullen, weet je zeker dat de resultaten een weerspiegeling zijn van de gehele klas (de populatie).  

Omdat het niet altijd lukt of mogelijk is om de gehele populatie te bevragen, wordt er gesproken over de ‘mate van betrouwbaarheid’ in plaats van of je resultaten ‘wel of niet’ betrouwbaar zijn. De mate van betrouwbaarheid wordt berekend op basis van de grootte van de populatie, de foutenmarge en het betrouwbaarheidsniveau.

Een in de statistiek veelgebruikte combinatie van maten van deze laatste twee begrippen is 5% en 95%, waarmee je vervolgens het volgende zegt: de daadwerkelijke situatie verschilt met 95% zekerheid maximaal 5% van de resultaten uit jouw onderzoek, als het doelaantal respondenten is behaald.

Voorbeeld: als uit een cijfervraag (1-10) een gemiddelde van een 7,0 volgt, kun je met 95% zekerheid zeggen dat de situatie in de populatie binnen 5% onder of boven dit gemiddelde zit (oftewel tussen de 6,65 en 7,35). Statistische programma’s als SPSS kunnen je helpen bij het berekenen van de betrouwbaarheid.

Welke responspercentage heb ik nodig om tot betrouwbare resultaten te komen?

Een veelvoorkomende misvatting is dat het responspercentage iets zegt over de betrouwbaarheid van het onderzoek. Dit is niet het geval en op bovenstaande vraag is dus ook geen eenduidig antwoord te geven. Ten eerste is, zoals hierboven beschreven, ‘betrouwbaarheid’ geen standaardmaat maar spreken we van de ‘mate van betrouwbaarheid’. Ten tweede maakt het volgende voorbeeld hopelijk veel duidelijk:  

Kortom: het responspercentage op zichzelf zegt niets over de betrouwbaarheid. Wél wordt het onderzoek natuurlijk altijd alleen maar betrouwbaarder naarmate het responspercentage hoger is!