Problemen met het analyseren van je data?
In 2 tot 3 uurtjes loods ik je daar doorheen >>>
Online hulp, direct (!) antwoord op al je vragen.
In onze video-tutorials laten we je zien hoe je het moet doen >>>

Page content

Toetsprocedure van Fisher

Toetsen in de statistiek gebeurt volgens de Toetsprocedure van Fisher. Dat is dé procedure die wereldwijd gebruikt wordt om aan te geven of er een statistisch significant verschil is.

 

Het theorema voor de toetsprocedure zoals die door Fisher is opgesteld bestaat uit een aantal stappen die als volgt kunnen worden omschreven:

Stap 1: Stel de nulhypothese en de alternatieve hypothese op

In iedere statistische analyse luidt de vraag of er een verschil is. Er zijn twee antwoorden mogelijk op deze vraag: 1) er is geen verschil of 2) er is wel een verschil. Het eerste antwoord noemen we de nulhypothese en wordt aangeduid met H0; het tweede antwoord noemen we de alternatieve hypothese en wordt aangeduid met Ha. Dat de nulhypothese luidt dat er geen verschil is, wordt wel de conservatieve methode genoemd. Het is behoudend van aard: de onderzoeker moet maar proberen aan te tonen dat er wel een verschil is.

De op te stellen alternatieve hypothese zou ook al wat nader gepreciseerd kunnen worden door de richting aan te geven. Daaronder verstaat men dat de onderzoeker verwacht dat het één groter of juist kleiner is dan het ander. Indien de richting van het verschil wordt aangegeven, spreekt men van eenzijdige toetsing. Indien de richting niet wordt aangegeven, spreekt men van tweezijdige toetsing.

Met het bovenstaande in gedachten luiden de op te stellen hypotheses als volgt waarbij de eerste de tweezijdige toetsing betreft en de laatste twee de eenzijdige toetsing:

Zonder richting          Met richting
H0: A = B                     H0: A =< B                 H0: A >= B
Ha: A <> B                   Ha: A > B                    Ha: A < B

Een alternatieve notering is de volgende:

H0: A – B = 0                H0: A – B =< 0            H0: A – B >= 0
Ha: A – B <> 0              Ha: A – B > 0              Ha: A – B < 0

 

Stap 2: Stel vast welke toets er gebruikt moet worden

De keuze van de toets hangt samen met de opgestelde hypotheses. Het maken van een goede keuze is afhankelijk van een aantal factoren. Om die keuze te vergemakkelijken kan een leidraad met een reeks vragen worden opgesteld. De startvraag luidt: moet er getoetst worden naar: 1) of er aan de premissen wordt voldaan, 2) of er een verschil is, 3) of er een samenhang is, of 4) overige vormen van toetsen. De vervolgvraag luidt: op welk niveau zijn de variabelen gemeten, is dat op nominaal, ordinaal, interval of ratio niveau. Door deze vragen te beantwoorden komt de onderzoeker automatisch uit bij de toets die hij zou moeten uitvoeren.

Statistische toets kiezen
Voor het vinden van de juiste toets raad ik je aan het white paper Welke statistische toets mag/moet ik gebruiken te lezen.

 

Stap 3: Specificeer het significantieniveau

Uit de manier waarop de hypotheses zijn opgesteld blijkt dat slechts bij hoge uitzondering de uitkomst uit A – B precies nul zal zijn. Met andere woorden er zal vrijwel altijd een verschil van nul worden gevonden. Toch is niet de conclusie te rechtvaardigen dat een verschil van 0,001 tussen twee gemiddelden echt verschillend is; de conclusie zou eerder luiden dat de gemiddelden nagenoeg gelijk zijn. Wanneer zeggen we nu dat er inderdaad een verschil is? Hoe ver moet de uitkomst van 0 af liggen?

Om hier een antwoord op te geven stelt men altijd een interval op rond het verwachte antwoord, dus rond het verschil van nul. Van belang is aan te geven hoe de veronderstelde verdeling er uitziet: is die normaal-verdeeld, t-verdeeld, chi-kwadraat verdeeld, of F-verdeeld. Vervolgens stelt men vast hoe ver de te berekenen waarde van nul af moet liggen om inderdaad te zeggen of het gevonden verschil van nul afwijkt. Deze keuze is arbitrair. Traditioneel wordt dit interval vastgesteld op 90%, 95%, 99% of zelfs 99,9%. Bij bijvoorbeeld een keuze van 90% stelt men dat 90% van de uitkomsten niet als afwijkend van nul mogen worden beschouwd. Valt de uitkomst binnen dit interval dan zegt men dat er geen significant verschil is; valt te uitkomst buiten dit interval dan zegt men dat er een significant verschil is. Gebruikelijk is om niet het betrouwbaarheidsinterval aan te geven maar het complement. Dit complement wordt aangeduid met de letter alfa. Men toetst dan op alfa = .10 niveau; of alfa = .05; of alfa = .01 of alfa = .001.

De alfa ligt altijd aan het uiteinde van het betrouwbaarheidsinterval. Hierbij moet rekening worden gehouden met de opgestelde hypothese. Indien men eenzijdig toetst dan ligt de alfa aan één kant van het betrouwbaarheidsinterval. Echter, indien men tweezijdig toetst dan ligt het betrouwbaarheidsinterval rond het gemiddelde en wordt alfa in tweeën geknipt: aan elke helft van het interval ligt evenveel. Als voorbeeld: indien men tweezijdig toetst met een betrouwbaarheidsinterval van 95%, dan heeft men twee alfa gebieden van elk 2,5%.

Een- en tweezijdig toetsen in de toetsprocedure van Fisher

 

Stap 4: Bereken de toets-waarde uit de data m.b.v. de vastgestelde toets

Deze stap is simpel te omschrijven. Het houdt in dat de onderzoeker uit de verzamelde gegevens de waarden berekent die voor het invullen van de formule noodzakelijk zijn. De uitkomst uit deze formule wordt de toetswaarde genoemd.

Rekentechnisch kan dit een lastige stap zijn, zeker als de gegevens met de hand of met een rekenmachine uitgevoerd moeten worden en er veel gegevens zijn verzameld. Gelukkig beschikt men tegenwoordig over computers die behulpzaam kunnen zijn. Ook zijn er statistische pakketten in de handel die speciaal gericht zijn op het verwerken van onderzoeksgegevens. Men moet echter voorzichtig zijn met het rücksichtslos uitvoeren van statistische analyses met behulp van deze pakketten. In bijna alle analyses worden er in de pakketten met standaard instellingen gewerkt die voor het onder handen zijnde onderzoek niet hoeven te gelden. De onderzoeker dient te weten van welke standaardinstellingen het pakket uitgaat en moet in staat zijn deze zo nodig aan te passen.

 

Stap 5: Stel de kritieke waarde vast

Ook deze stap is simpel te omschrijven. Bij de gegeven formule staat ook aangegeven volgens welke verdeling er getoetst moet worden. Tevens heeft men in stap 3 reeds het betrouwbaarheidsinterval vastgelegd. In stap 5 hoeft er alleen maar gekeken te worden waar de grenswaarde van de verdeling bij het gegeven betrouwbaarheidsinterval ligt. Dit noemt men de kritieke waarde. Dit gegeven is op te zoeken in een tabel.

 

Stap 6: Stel vast of de toetswaarde groter dan wel kleiner is dan de kritieke waarde

In deze stap worden de getallen uit stap 4 en 5 met elkaar vergeleken. Als de toetswaarde kleiner is dan de kritieke waarde dan zegt men dat er geen statistisch significant verschil is. Indien de toetswaarde groter is dan de kritieke waarde dan zegt men dat het verschil significant is.

Statistische pakketten geven niet de kritieke waarde in hun uitvoer. De reden daarvoor is dat de computer niet weet tegen welke alfa er getoetst is. In plaats daarvan geven de pakketten de kanswaarde van de toetswaarde op de schaal van het betrouwbaarheidsinterval, bijvoorbeeld: p = .0298. De onderzoeker kan nu zelf beslissen of deze waarde binnen of buiten het betrouwbaarheidsinterval valt. De in het voorbeeld gegeven kanswaarde is significant op alfa = .05 niveau indien er eenzijdige is getoetst; het is niet significant op alfa = .05 als er tweezijdig is getoetst.

 

Stap 7: Trek een conclusie

De laatste stap is het trekken van een conclusie. De beginnende onderzoeker zal stellen dat het resultaat van de analyse voldoende waarborg geeft voor het trekken van een juiste conclusie: indien de toetswaarde de kritieke waarde overschrijdt is er een verschil. Zo eenvoudig ligt het echter niet. De ervaren onderzoeker zal in het trekken van een conclusie rekening houden met drie aspecten: de grootte van de steekproef, de grootte van de toetswaarde en het vastgestelde betrouwbaarheidsniveau (de alfa).

Wat betreft de grootte van de steekproef moet vastgesteld worden dat hoe groter de steekproef des te eerder er een significant resultaat uit de analyse komt. Het is zelfs zo, dat als de steekproef maar voldoende groot is elk willekeurig verschil significant uit de analyse komt. Dus ook het zeer kleine verschil tussen twee gemiddelden van 0,001 is statistisch aan te tonen.

Wat betreft de grootte van de toetswaarde moet worden opgemerkt dat deze waarde net binnen of net buiten het betrouwbaarheidsinterval kan vallen. Waar deze precies terecht komt, is mede afhankelijk van de steekproefgrootte. In de vorige alinea werd al vastgesteld dat als de steekproef maar voldoende groot is er wel een significant resultaat uitkomt. Hoe verder de toetswaarde de kritieke waarde overschrijdt des te zekerder kan de onderzoeker de conclusie trekken dat het verschil significant is.

Tenslotte moet er op gewezen worden dat het betrouwbaarheidsniveau arbitrair gekozen is. Hoewel deze in principe vooraf vastgelegd zou moeten worden, laat de praktijk zien dat dat niet gebeurt. Zeker als er veel gegevens zijn verzameld dan wordt de alfa niet meer vooraf voor iedere afzonderlijke analyse vastgelegd. Vaak vergeet men ook de richting van de alternatieve hypothese vooraf op te stellen. Daarom wordt in zijn algemeenheid getoetst tegen alfa = .05 en wordt op ad hoc basis achteraf vastgesteld of er één- of tweezijdig getoetst moest worden.

Het vereist enige ervaring van de onderzoeker om op grond van de analyse resultaten de juiste conclusie te trekken. Tevens hangt dit samen met de visie van de onderzoeker op het gebruik van statistiek. Er kunnen twee visies worden onderscheiden. De eerste is die van de onderzoeker die een verschil alleen maar als een significant verschil opvat als de statistiek dat heeft aangetoond. De tweede is die waarin de onderzoeker statistiek toepast als een ondersteuning van het betoog van zijn onderzoek. De laatstgenoemde stelt zich kritisch op. Hij stelt zichzelf als het ware de vraag: “Hoe zeker kan ik zijn dat de conclusie zoals die uit de resultaten naar voren komt ook voorkomt in de werkelijkheid?” En met deze vraag zitten we in het toetstheorema van Neyman-Pearson.

 

Het vereist enige oefening om de hele toetsprocedure in de vingers te krijgen. Bekijk ook de video die we erover hebben gemaakt, of volg de BasisCursus Onderzoek en Statistiek.

 

Foeke van der Zee met Boek over onderzoek© Foeke van der Zee (2017). hulpbijonderzoek.nl/online-woordenboek/toetstheorema-van-Fisher

– specialist in Onderzoek en Statistiek
– auteur van boeken over onderzoek

Wil jij ook onbezorgd aan de slag met je onderzoek? Kies dan voor scriptiehulp.

 

Naar het Online Woordenboek Onderzoek en StatistiekTerug naar het
Online Woordenboek Onderzoek en Statistiek

 

Ben je op zoek naar goede informatie over onderzoek?
In het Kenniscentrum Onderzoek en Statistiek vind je het wel.
Maak gratis kennis met onze video’s!

Schrijf je nu in en maak gratis kennis met ons introductiepakket. Daarin leg je de basis voor goed onderzoek. Je ontvangt 3 video’s en een white paper. Echt, helemaal gratis!

Introductiepakket van Hulp bij Onderzoek

 

Motto van Hulp bij Onderzoek