Statistische significantie versus praktische relevantie

In mijn eerste methoden lessen leg ik studenten altijd uit dat er een verschil is tussen statistische significantie en praktische relevantie. Niet alleen dat, maar ik probeer ze duidelijk te maken dat het vinden van een effect in een onderzoek, nog niet betekent dat het in werkelijkheid iets voorstelt. En dat valt niet altijd mee.

Veel studenten hebben de neiging om zodra ze geleerd hebben dat we spreken van een effect wanneer iets statistisch significant is, dit op te vatten als een absolute waarheid waarmee ze alles wat maar te maken heeft met onderzoek kunnen verklaren. Helaas zijn sommige onderzoekers niet veel beter.

Een aantal jaar geleden stond ik tijdens een congres met enkele gerenommeerde onderzoekers – allemaal mannen van boven de 40 die elk een expert waren in hun hoekje van de psychologie – te praten. Ik maakte de opmerking dat er toch wel een verschil was tussen het vinden van een significant verschil tussen twee condities in een lab studie en het bestaan van fundamentele verschillen tussen groepen in de buitenwereld.

Er viel een stilte en niets vermoedend ging ik door met mijn betoog. Ik noemde het voorbeeld dat als je maar genoeg proefpersonen hebt, 1 punt verschil op een 7-punt schaal (of soms slechts een halve punt) al genoeg is om een significant verschil te vinden, maar wat betekent dit nou echt? Wat ik dacht dat het begin was van een “leuke discussie” veranderde plots in een ongemakkelijke situatie. 

Er werd mij gezegd dat ik niet wist waar ik het over had en hoe haalde ik het in mijn hoofd om als onervaren onderzoeker hen en hun vakgebied te bekritiseren. Eén van de onderzoekers bleef herhalen dat als iets significant was er wel degelijk een écht verschil was, en hoe kon ik zoiets basaals toch niet begrijpen. Gelukkig heeft iemand mij toen gered en uit het gesprek gehaald.

Het is een wat extreem voorbeeld, maar toch komt het wel vaker voor dat men zich blind staart op statistische uitkomsten en significanties, en vergeet te denken aan wat deze uitkomsten voor praktische relevantie hebben. Of dat er helemaal niet wordt afgevraagd of de gevonden efefcten überhaupt iets betekenen in de  “echte wereld”.

Dit betekent niet dat al het onderzoek maar praktische relevantie moet hebben. Ik heb niets tegen fundamenteel onderzoek en dit is vaak net zo belangrijk als meer toegepast onderzoek. Waar ik voor pleit is dat we kritisch zijn over (experimenteel) onderzoek en goed bedenken wat we hier aan hebben in het dagelijks leven. 

Of anders gezegd, laten we blijven bedenken wat onze onderzoeksresultaten werkelijk aantonen en wat niet. En als een onderzoek puur aangeeft hoe iets theoretisch werkt of een heel specifiek proces verklaart in een specifieke setting, of dat er een belangrijk maar eigenlijk minimaal verschilletje is gevonden, laten we dit dan ook als zodanig benoemen.