Back to list All Articles Archives Search RSS Terug naar lijst Alle artikelen Archieven Zoek RSS

De wetenschapper als autoverkoper

De wetenschapper als autoverkoper

Photographer:Fotograaf: Thinkstock

Hoogleraar statistiek is niet verbaasd over niet-repliceerbare studies

MAASTRICHT. Het drama is bekend: 270 onderzoekers herhaalden honderd psychologische studies. En wat bleek: in ruim 60 gevallen strookten de uitkomsten niet met de oorspronkelijke bevindingen. Verwonderlijk? Helemaal niet, zegt prof. Gerard van Breukelen en illustreert een en ander met PSV, koffie, één Mercedes en honderdduizend Lada’s.

Van Breukelen, hoogleraar statistiek aan de psychologiefaculteit en FHML, was hoogstens verbaasd over het aantal studies dat niet repliceerbaar bleek, niet over het fenomeen zelf. Dat studies in tweede instantie andere uitkomsten opleveren, is inherent aan elke tak van wetenschap waarin met steekproeven wordt gewerkt, zegt hij. Niet alleen in de psychologie, maar ook in de geneeskunde, gezondheidswetenschappen, economie, sociologie, et cetera. Steekproeftoeval heet dat. De ene steekproef is de andere niet, en daarom verschillen de bevindingen in meerdere of mindere mate, dus ook tussen de originele en gerepliceerde resultaten.

Dan is er de publicatiebias. Dat is de ‘positieve’ vertekening in de literatuur als gevolg van de voorkeur van vakbladen voor studies waarin een sterk effect of verband wordt gevonden. In de trant van: veel koffie drinken leidt tot pancreaskanker. In plaats van: geen verband tussen koffie en kanker.

“Je ziet het ook bij de honderd, onderzochte studies: 97 ervan waren ‘positief’en vonden dus een ‘statistisch significant’ effect. Dat is natuurlijk niet reëel. Punt is dat veel van de studies die geen relatie ontdekten, nooit zijn gepubliceerd. Dit vertekent het algehele beeld. Als je vervolgens een studie herhaalt over, zeg, de gunstige werking van psychotherapie bij depressie, verwacht je ten onrechte een positieve uitkomst. Terwijl, als je alle studies zou overzien, inclusief de niet-gepubliceerde, de kans  groter is op een minder positieve bevinding. Vergelijk het met PSV die landskampioen wordt . De kans dat de Eindhovenaren een jaar later weer eerste worden is kleiner dan dat ze in de subtop of lager eindigen. Regressie naar het gemiddelde noemen we dat. When you’re at the top, the only way is down. Voor de hekkensluiter geldt hetzelfde in omgekeerde zin, er even van uitgaande dat-ie niet degradeert.”

Pervers

Wat betekent het replicatiedrama? “Niet per se dat er gesjoemeld is, ook niet dat het allemaal onzin is. Wel dat de uitkomsten minder hard zijn dan gedacht. Maar eerlijk gezegd: een dosis onzekerheid hoort er nu eenmaal bij. Je kunt niet de hele bevolking onderzoeken, dus heb je altijd met steekproeftoeval te maken.”

Wat helpt, is het vergroten van de steekproeven. Want hoe groter, hoe betrouwbaarder. De kans op toevallige uitschieters is dan kleiner. “In een onderzoek met  vier proefpersonen, van wie de helft koffie drinkt, is de kans dat alle koffiedrinkers kanker krijgen groter dan in een studie met vierhonderd mensen. Die zal een genuanceerder en reëler beeld geven. Maar goed, grote steekproeven zijn ook duurder, dus we zullen keuzes moeten maken. Anders gezegd: kies je voor twee auto’s uit Verweggistan, of één Mercedes uit Duitsland?”

Nog belangrijker – en nog moeilijker – is de publicatiebias tackelen. “Je zou net als in de farmaceutische wereld de onderzoeksopzet van te voren moeten registreren. Die stuur je dan naar een tijdschrift, en afhankelijk van de relevantie en de kwaliteit garandeert het vakblad bij voorbaat plaatsing ongeacht de resultaten. Dat lijkt misschien toekomstmuziek maar ik bespeur toch een kentering. We vinden de kwaliteit van artikelen meer en meer belangrijker dan de kwantiteit, en we slaan onze data beter op, wat de transparantie ten goede komt. Ik kan me in ieder geval niet voorstellen dat we tot in lengte der jaren belastinggeld blijven verkwisten aan een pervers systeem waarin bijna alles draait om kwantiteit en positieve resultaten.”

De wetenschappelijke wereld doet Van Breukelen in dit opzicht denken aan de Sovjet-Unie. In de toenmalige planeconomie moesten aan het eind van het jaar honderdduizend Lada’s van de band gerold zijn. De kwaliteit deed er minder toe. Zo is het – enigszins gechargeerd - ook met publicaties en promoties gegaan, zegt hij. “Wie veel publiceert en veel promovendi aflevert, wordt beloond met status en subsidie. Dat moet een keer stoppen. Hoe? Een kwestie van belonen en straffen, het enige dat werkt. Ouders weten dit al lang.”

Analysefouten

Om de kwaliteit van het onderzoek te verbeteren zou meer aandacht voor onderzoeksmethoden en statistiek op universiteiten ook verschil maken, zegt Van Breukelen, die onderzoekers in Randwijck begeleidt bij statistische analyses. “In elk onderzoek dat ik onder ogen krijg, rammelt er wel iets. Meestal  slordige data-invoer, met als gevolg dat je zwangere mannen tegenkomt of niet-rokers die een pakje per dag roken. Maar ik kom ook ernstige analysefouten tegen, al zijn dat er wellicht niet meer dan één op de tien.”

In het pgo-onderwijs blijven methoden en statistiek evengoed onderbelicht, vindt de statisticus. Studenten worden nauwelijks getraind om te beoordelen of dat wat beweerd wordt, ook aangetoond is. “Weet je hoe wetenschappelijke artikelen veelal worden gelezen? Iedereen begint bij het abstract, dan gaan de meesten door met de inleiding, en bladeren ze vervolgens door naar de conclusies en discussie. De methodenparagraaf en statistische resultaten slaan ze massaal over, terwijl de conclusies daarmee vallen of staan .”

 

“Nog even over de publicatiebias. Het is een verschijnsel dat Van Breukelen aan den lijve heeft ervaren. Hij deed onderzoek naar modellen voor reactietijden in cognitieve tests, vond er onvoldoende bewijs  voor, en kreeg zijn artikel aanvankelijk niet gepubliceerd. “Ik was zo teleurgesteld dat ik een jaar in het bedrijfsleven ben gaan werken. Ik ken ook promovendi die na hun promotie de handdoek in de ring hebben gegooid.”

Anderen gaan hun bevindingen verfraaien, ‘martelen’ hun data om koste wat kost significante uitkomsten en daarmee een publicatie af te dwingen. “Selectief publiceren van alleen positieve resultaten is over de grens, maar als je de positieve bevindingen in het artikel meer aandacht in de discussie geeft  dan de negatieve, lijkt me dat geoorloofd. Een autoverkoper benadrukt ook niet de minpunten van zijn laatste model. Dat geldt tot op zekere hoogte ook voor een wetenschapper. Je moet de data eerlijk presenteren, maar als je zelfs geen ‘reclame mag maken’, kun je de tent wel sluiten.”

Maurice Timmermans

Zie ook hier een opinie van em. prof. Hans Philipsen over het thema

 

Debat over betrouwbare wetenschap

Hoe betrouwbaar zijn de bevindingen van wetenschappelijk onderzoek? Tweederde van de psychologische en medische studies geven bij herhaling  afwijkende uitkomsten. Op woensdag 30 september (20.00 uur) organiseren Studium Generale en Observant een debat over de repliceerbaarheid van gecontroleerd onderzoek. Dat vindt plaats in de aula van de Minderbroedersberg. De voertaal is Nederlands. Entree is gratis.

 

Categories:Categorieën:

CommentsReacties

There are currently no comments.Er zijn geen reacties.

Post a Comment

Laat een reactie achter

Door een reactie te plaatsen gaat u akkoord met de verwerking van de ingevulde gegevens door Observant.
Voor meer informatie: Privacyverklaring
By responding, you agree to send the entered data to Observant.
For more info: Privacy statement

Naam (verplicht)

E-mail (verplicht)