Kanskapitalisatie, verhogen van je kansen

Kanskapitalisatie

Kanskapitalisatie is het verhogen van de kansen op het vinden van statistisch significante verbanden door het opnemen van veel variabelen in het onderzoek.

Onderzoek wordt vrijwel nooit gedaan met slechts één of twee aan elkaar te relateren variabelen. Meestal worden er veel aspecten tegelijkertijd gemeten waarop tientallen, regelmatig honderdtallen en soms zelfs enkele duizenden statistische analyses kunnen worden uitgevoerd. Het zal niemand verwonderen dat er dan ook af en toe ook resultaten zijn die ‘toevallig’ statistisch significant zijn. De strategie om maar zoveel mogelijk gegevens mee te nemen in een onderzoek noemt De Groot (1961) kanskapitalisatie.

Er is wel eens gesteld dat bij toetsing op een significantieniveau van 5% één op de twintig analyses ‘toevallig’ een significant resultaat oplevert, en dat dit bij toetsing op 1% één op de honderd is. Naar onze ervaring klopt dat niet helemaal. Mogelijk is deze regel wel geldig als je toevalcijfers aan de variabele toekent, maar in onderzoek wordt veel waarde gehecht aan de validiteit van de gegevens waardoor de verkregen data niet betekenisloos zijn. De gevonden significante verschillen zijn theoretisch - vooraf dan wel achteraf - meestal goed te verklaren. Vaak vindt de onderzoeker reeksen significante verschillen en reeksen niet-significante verschillen. Het wil wel eens voorkomen dat in een reeks niet-significante verschillen een aspect net wel significant is, maar uit het grote geheel zal de onderzoeker tot de slotsom komen dat dat verschil niet relevant is. Het is een toevalstreffer geweest waar niet te veel waarde aan moet worden gehecht. Toevallige significante verbanden kunnen ook veroorzaakt worden door bias of ruis.