Hokjesdenken. Zo kom je ervan af.

Laatst hoorde ik iemand verzuchten: “Je kunt wel aanvinken of je ouders of jezelf geboren bent in Turkije, Marokko, of een ander land, maar Nederland staat er niet eens tussen. Dat is toch raar!”

Nee, dat is niet zo raar, zo werkt dat niet in de statistiek. Er is op zich niks op tegen om het antwoordalternatief Nederland er tussen te zetten, maar je kunt het ook weglaten.

Het ontstaan van de hokjes

Laten we ter illustratie eens een groep eenheden (mensen, dieren, dingen) op één grote hoop gooien. Bijvoorbeeld, worsten of muizen, of schaakstukken. Je krijgt dan een grote eenheidsworst of allemaal grijze muizen, of beweegbare blokje.

Je kunt vinden dat metworst toch wel wat anders is dan al die andere worsten. Om dat onderscheid te maken, heb je maar één vraag nodig: Is dit object een metworst? Ja / Nee. Daarmee heb je al twee hokjes gecreëerd.

En dan komt er een ander en die zegt dat leverworst toch ook wel wat anders is dan metworst en al die andere worsten. Ook daar kun je ook een aparte vraag van maken: Is dit object een leverworst? Ja / Nee.

Zo kan ik nog wel even blijven doorgaan, want er zijn heel veel worsten te onderscheiden. Zeer waarschijnlijk kun je ook nog subcategorieën maken (een verschil tussen Groninger, Friese, en Drentse metworst) en sub-subcategorieën (van slagerij Bos of van elders).

Iedere vraag levert een dichotome variabele op. Dat kun je coderen als 0 en 1. Een 0 betekent behoort niet tot die categorie en een 1 betekent behoort wel tot die categorie.

Zo kom je er weer vanaf

Aha. Je kunt wel duizenden hokjes creëren. Leuk, maar daar heb je niks aan. Daar moet je weer van af, want zo is dat niet bruikbaar. Hoe moet dat?

Dat doe je door de grootste groep als referentiegroep te nemen. Vervolgens ga je na of de kleine groepjes wel voldoende afwijkend zijn. Dat doe je door ze te vergelijken op …. . Ja waarop eigenlijk? Ja dat mag je zelf kiezen. Bijvoorbeeld: “mate waarin mensen de worst lekker vinden”. Of, “mate waarin de worst de honger stilt”. Of, “de mate waarin de worst er appetijtelijk uitziet”.

Nu even iets technisch. De groepsindeling (al die soorten worst) is de onafhankelijke variabele. Waarop je ze gaat vergelijken is de afhankelijke variabele. Nu gaat het onderzoek beginnen.

Duizenden mensen laat je de worsten beoordelen op de aspecten “lekkerheid”, of “stilt de honger” of “appetijtelijkheid”. Het zou me niets verbazen als nu al blijkt dat er gemiddeld genomen niet zo veel verschil tussen de worsten zal zijn op deze aspecten. Het gaat echt om gemiddeld genomen. Het gaat er niet om dat Foeke van der Zee de metworst van slagerij Bos het lekkerst vindt.

Het is mogelijk om nog veel meer aspecten mee te nemen. De smaak verbetert als het zoutgehalte toeneemt. Of als het zoeter smaakt. Of dat je specifieke kruiden toevoegt. Met behulp van regressieanalyse kun je dan nagaan in welke mate “lekkerheid” bepaald wordt door zoutgehalte, zoetgehalte, specerijen en type worst. Het zou me nu helemaal niet verbazen dat het type worst er niet meer zo heel veel toe doet. Je hebt dus een overbodige indeling gemaakt. En zouden al deze aspecten nog van belang zijn voor “stilt de honger”? Misschien wel, maar zolang niet is onderzocht of een onafhankelijke variabele in het totale verklaringsmodel er toe doet om de score op een afhankelijke variabele te voorspellen, kun je daar niks over zeggen. Je moet dus eerst onderzoeken of het model wel klopt voordat je het kunt gebruiken. Daar heb ik al eens iets over geschreven bij simulatieonderzoek.

Geldt dat ook voor andere dingen?

Ja hoor. Je kunt een onderscheid maken tussen veldmuizen, stadsmuizen, grijze muizen, bruine muizen … Met een beetje googelen en kun je al snel minsten 35 soorten onderscheiden. En al die soorten kun je vergelijken op, laten we zeggen “het type voedsel dat ze eten”, of “schadelijkheid” of “het overbrengen van ziekten”. Het zou me niets verbazen dat het onderscheid tussen de muizen niet zo heel groot zal zijn. Vermoedelijk hou je een beperkt aantal overkoepelende klassenindelingen over. En als je dan een variabele als afstand tussen “leefgebied van de muis en leefgebied van de mens” of “is te huisvesten in een kooi in de huiskamer” meeneemt, zal het onderscheid tussen al die verschillende muizen er niet toe doen.

Is dat overal zo?

Ja dat is overal zo. Het geldt ook voor meubels, groenten, toetjes, ijsjes, landen, parlementariërs, dga’s, klantenkring, schaakstukken … . Elke populatie kun je indeling naar verschillende groepen. Daarna moet je nagaan welke kenmerken relevant zijn om op te vergelijken (bijvoorbeeld op basis van vorm en kleur). Als een kenmerk niet relevant is (gemaakt van hout), dan kun je hem verwijderen uit het beslissingsmodel. Is het wel relevant, dan moet je dat kenmerk behouden.

Bijvoorbeeld. Bij mij melden zich veel mensen die hulp nodig hebben bij onderzoek, statistiek en SPSS. Ik accepteer alle hulpvragen zonder na te gaan of men protestant, katholiek, moslim, boeddhist, atheïst, Nederlander, Turk, Chinees, man, vrouw, homo, lesbienne, aseksueel, interseksueel, Fries, Groninger, Drenth, Hollander, Brabander, Vlaming, arm, rijk, jong, oud, of gehandicapt is. Al die aspecten zijn totaal niet belangrijk. Andere aspecten zijn wel belangrijk, zoals: bereidheid om iets te leren. Als iemand daar laag op scoort en alles wil uitbesteden, dan heeft-ie pech. Bij mij wel tenminste. Ik weet niet hoe het met andere “coaches” zit.

Nog een voorbeeld. De samenstelling van de Tweede Kamer bestaat uit 150 mensen. Al die personen hebben kenmerken, zoals leeftijd, geslacht, etniciteit, haarkleur, opleiding, provincie van herkomst en nog veel meer. Vervolgens ga je na welke aspecten belangrijk zijn om een goed besluit te kunnen nemen over …… . Kies maar wat. Wat vindt je van jeugdzorg? De vraag wordt dan: welke kenmerken van de leden van de Tweede Kamer zijn belangrijk om goede wetgeving te maken op het terrein van jeugdzorg? Als een aspect er niet toe doet dan is dat redundant. Dan kun je dat weglaten als een criterium.

En als je een kenmerk niet hebt gemeten?

Het zal regelmatig voorkomen dat je erachter komt dat je bepaalde kenmerken niet hebt gemeten die er mogelijk wel toe doen. Daar is niks meer aan te doen. Je moet roeien met de riemen die je hebt.

Foeke van der Zee

Dit blog heeft als thema: Onderzoek en Samenleving en wordt op persoonlijke titel geschreven.

Toelichting:

Beleidsmakers moeten weten aan welke knoppen ze moeten draaien en welke hendels ze om moeten zetten om problemen op te lossen. Onderzoek helpt om betere keuzes te maken. Dat draaien aan knoppen en hendeltjes zijn de onafhankelijke variabelen en het effect is de afhankelijke variabele. Dat leren we de studenten op school. Houden beleidsmakers zich daaraan? Werkt dat door in de bestuurskamers van de overheid en ondernemingen?

Als je denkt dat dit ook interessant is voor anderen, deel dan dit bericht. Alvast bedankt.