Uit onderzoek van de Universiteit van Overdinkel is naar voren gekomen dat het dragen van petjes leidt tot meer verkeersongelukken. Iedereen zal begrijpen dat dit onzin is. Toch is het een voorbeeld van een fout die veel gemaakt wordt bij het interpreteren van onderzoeksresultaten. Twee factoren, A en B gaan samen omdat ze een gemeenschappelijke oorzaak hebben, factor C. Die factor C wordt echter over het hoofd gezien, waardoor het lijkt alsof A de oorzaak is van B. Toegepast op het voorbeeld hierboven: jongeren dragen vaker petjes. Jongeren zijn ook vaker dan anderen betrokken bij verkeersongelukken. Maar het is niet zo dat de verkeersongelukken veroorzaakt worden door de petjes.
Dit voorbeeld lijkt zo voor de hand liggend dat je je niet kunt voorstellen dat het leidt tot fouten. Maar het gebeurt wel degelijk. Zo werd een aantal jaren geleden gevonden dat metallic grijze auto’s minder vaak bij verkeersongelukken betrokken waren. Kwam dat misschien omdat ze beter zichtbaar waren? Nee, in de metallic grijze auto’s bleek relatief vaak een chauffeur van middelbare leeftijd te zitten. Gewoon, omdat de meeste jongeren de kleur saai vinden. En ouderen rijden nou eenmaal voorzichtiger dan jongeren (gemiddeld genomen, dan) .
Wat zijn de valkuilen waar je op moet letten als je in de krant of in een vakblad leest over wetenschappelijk onderzoek? Hans van Maanen noemt er in een artikel in de Volkskrant (11 december 2010) vijf.
- De halve waarheid
Een tijdje geleden stond in de krant een bericht over een experiment in een gevangenis. Bij een groep gevangenen die (zonder het te weten) vitaminen, mineralen en omega 3-vetzuren toegediend kreeg verminderde de agressie met 34%. Wat er niet bij stond was hoeveel de agressie verminderde bij de groep die al dat lekkers niet kreeg. Was er wel zo’n controlegroep? En was de vermindering niet gewoon het gevolg van andere factoren? Gingen mensen zich niet gewoon minder vervelend gedragen onder invloed van de gevangenschap?
- Significantie
Wetenschappers schermen nogal eens met de mededelingen dat ze een significant resultaat hebben gevonden, bijvoorbeeld een significant verschil in IQ tussen Groningers en Limburgers. Wat significant is hangt echter helemaal af van de grootte van de onderzoeksgroep. Als je 100.000 Groningers vergelijk met 100.000 Limburgers is een verschil van 0,1 al zeer significant, terwijl het in de praktijk niet veel uitmaakt. Soms beginnen onderzoekers ook zonder duidelijke hypothese. Ze verzamelen zoveel mogelijk gegevens en gaan dan alles met alles vergelijken. In de Staatsloterij win je altijd wel iets als je maar genoeg loten koopt. En zo vind je in onderzoek altijd wel een significant resultaat als je maar alles met elkaar vergelijkt. Een significant resultaat geeft reden tot nadenken, maar hoeft op zich nog niets te zeggen
- Publicatiebias
Vooral uit de medische wereld is bekend dat onderzoeken die “niets” opleveren vaak niet gepubliceerd worden. Als uit onderzoek naar een nieuw medicijn blijkt dat het gebruik ervan geen betere resultaten oplevert dan de bestaande behandeling zal dat niet zo snel gepubliceerd worden. Als dan een later onderzoek wel verschil laat zien wordt dat wel gepubliceerd. Bovendien: ieder wetenschappelijk artikel begint met een abstract , een korte samenvatting. Daarin worden de mitsen en maren vaak verzwegen. Die vind je alleen door het hele artikel te lezen.
- Absoluut en relatief
Soms worden resultaten in percentages weergegeven. Het aantal verkeersdoden in Enschede was in 2009 met 60% gedaald ten opzichte van 2008. Een groot succes, zou je zeggen, tot je ziet dat er in 2008 vijf doden waren en een jaar later twee. Dat kan dus heel goed een normale fluctuatie zijn. Je kunt met cijfers veel kanten op. Van Maanen noemt als voorbeeld het bevolkingsonderzoek naar borstkanker. Sommigen zeggen dat de sterfte daardoor met 15% kan afnemen. Anderen beweren, met dezelfde cijfers in de hand, dat 2000 vrouwen tien jaar moeten meedoen om één sterfgeval minder te krijgen. Bovendien, zeggen zij, worden tien vrouwen onnodig behandeld.
- Context
Elke onderzoeker bouwt voort op eerder onderzoek. De hoeveelheid onderzoek dat aantoont dat mobieltjes geen hersentumor veroorzaken is overweldigend. Maar als je maar vaak genoeg onderzoek doet vind je, puur op basis van toeval, altijd wel een keer een uitkomst die lijkt aan te tonen dat de kans op een tumor wel toeneemt. Drie keer raden welk onderzoek in de krant komt.
Moet je onderzoek dan altijd wantrouwen? Nee, integendeel. Onderzoek, ook in de sociale wetenschappen, is enorm belangrijk om je beroep verder te helpen professionaliseren. Maar lees wel kritisch, lees liefst het originele wetenschappelijke artikel en lees meer dan alleen maar de abstract.
Van Maanen geeft vijf tips om uitglijders te voorkomen:
- Geloof geen berichten van het type: “X verhoogt de kans op Y met zoveel procent”. Vraag altijd hoeveel de kans is verhoogd zonder die X en of het verschil echt wel de moeite waard is.
- Als een wetenschappelijk resultaat significant is, is dat een reden om na te denken over de oorzaak. Het is geen reden om klakkeloos conclusies aan te verbinden (“Het is waar want het is significant”)
- Cijfers zijn door mensen gemaakt en geconstrueerd. Vraag je altijd af waarom je juist deze cijfers krijgt en waarom nu.
- Vraag bij relatieve cijfers om absolute aantallen en bij absolute aantallen om percentages
- Kijk altijd naar de context waarin het onderzoek plaatsvindt (kijk bijvoorbeeld ook naar eerder onderzoek over hetzelfde onderwerp).
Wil je het hele artikel lezen en heb je de Volkskrant van 11 december niet, dan kun je het (als student/medewerker van Saxion) downloaden via Lexis Nexis
Geen opmerkingen:
Een reactie posten