Een mazzeltje. Deze klassieker uit 1950 van statisticus Sir Ronald Fisher vond ik in een kast met afgeschreven bibliotheekboeken, een bizarre collectie frenologische en eugenetische beschouwingen. Na 70 jaar dienst zonder pardon op weg naar de papiercontainer. Heb het marineblauwe boekje natuurlijk meteen eruit geplukt. De geschriften over rassenhygiëne zul je misschien nog thuis ontvangen, gereïncarneerd als Zalando doos.
“Statistical methods for research workers”. Statistische significantie nog blozend in de wieg. Had genie Fisher, die toch ook grondlegger was van de populatiegenetica, niet voorzien dat door dezelfde ‘research workers’ zijn significantietoets zou evolueren tot argeloos beslissingsritueel? Furieuze Bayesianen geloven dat het woord significantie de sociale en medische wetenschappen net zo heeft geholpen als het heilige woord de evolutieleer.
De laatste jaren word ik regelmatig gevraagd effectgroottes te berekenen: odds ratio’s, Cohen’s d, NNT, incidentie, etc. Zeker in toegepast onderzoek is dat een goede gewoonte geworden. Hoe groot is de impact van een interventie? Hoe vaak doet een gebeurtenis zich voor? Hoe sterk is een verband? Dat willen we weten. En hoe zit het met het magische ritueel van p < ,05? Terug van nooit weggeweest. De knagende vraag blijft nog altijd: kunnen we nu wel of niet een conclusie trekken? Onderzoeksresultaten worden bij voorkeur zwart-wit en in isolatie geconsumeerd.
Als je de lokroep van het dichotome denken kunt weerstaan, ben je beter af met een betrouwbaarheidsinterval. Hiermee blijf je met beide benen op de grond staan. Want ook al begint iedereen te juichen als p < ,05, bij een wijd interval blijft de kurk gewoon op de fles. Het geschatte effect kan dan namelijk net zo goed piepklein als reusachtig groot zijn. Een wijd interval geeft overigens, in tegenstelling tot de notoire p > ,05, weinig aanleiding tot gejammer (of het trekken van schimmige conclusies). Wat we in zo’n geval simpelweg vaststellen is dat de onzekerheidsmarges aanzienlijk zijn. Misschien had de steekproef wel wat groter gekund?
“Statistical methods for research workers”. Statistische significantie nog blozend in de wieg. Had genie Fisher, die toch ook grondlegger was van de populatiegenetica, niet voorzien dat door dezelfde ‘research workers’ zijn significantietoets zou evolueren tot argeloos beslissingsritueel? Furieuze Bayesianen geloven dat het woord significantie de sociale en medische wetenschappen net zo heeft geholpen als het heilige woord de evolutieleer.
De laatste jaren word ik regelmatig gevraagd effectgroottes te berekenen: odds ratio’s, Cohen’s d, NNT, incidentie, etc. Zeker in toegepast onderzoek is dat een goede gewoonte geworden. Hoe groot is de impact van een interventie? Hoe vaak doet een gebeurtenis zich voor? Hoe sterk is een verband? Dat willen we weten. En hoe zit het met het magische ritueel van p < ,05? Terug van nooit weggeweest. De knagende vraag blijft nog altijd: kunnen we nu wel of niet een conclusie trekken? Onderzoeksresultaten worden bij voorkeur zwart-wit en in isolatie geconsumeerd.
Als je de lokroep van het dichotome denken kunt weerstaan, ben je beter af met een betrouwbaarheidsinterval. Hiermee blijf je met beide benen op de grond staan. Want ook al begint iedereen te juichen als p < ,05, bij een wijd interval blijft de kurk gewoon op de fles. Het geschatte effect kan dan namelijk net zo goed piepklein als reusachtig groot zijn. Een wijd interval geeft overigens, in tegenstelling tot de notoire p > ,05, weinig aanleiding tot gejammer (of het trekken van schimmige conclusies). Wat we in zo’n geval simpelweg vaststellen is dat de onzekerheidsmarges aanzienlijk zijn. Misschien had de steekproef wel wat groter gekund?
