Back to list All Articles Archives Search RSS Terug naar lijst Alle artikelen Archieven Zoek RSS

“Martel je data lang genoeg en ze zullen bekennen”

“Martel je data lang genoeg en ze zullen bekennen”

Over hoofdzondes en kleine zondes in de wetenschap

Eén op de vijftig onderzoekers fraudeert, blijkt uit onderzoek. Maar wat is fraude precies? Data verzinnen is een hoofdzonde. Wat als je eerst de data analyseert en dan een hypothese erbij bedenkt? “Het is niet volgens het boekje maar je kunt zo wel creatieve ideeën opdoen.”

De kluit belazeren zoals de Tilburgse psycholoog Diederik Stapel dat deed, zelf data verzinnen, komt nauwelijks voor. Het is een van die incidenten die eens in de zoveel jaar de kranten halen, aldus de communis opinio onder wetenschappers. Deze opvatting werd bevestigd door recent onderzoek van NRC Handelsblad, waarin dertien universiteiten werd gevraagd naar het aantal fraudemeldingen sinds 2005, toen de Nederlandse Gedragscode Wetenschapsbeoefening van kracht werd. De oogst - variërend van plagiaat tot geknoei met data - bestond uit 102 meldingen, waarvan 27 gegrond en 16 bestraft. Weinig reden tot opwinding.

De vraag is nu: is dit alles, of slechts het topje van de ijsberg? Uit een wetenschappelijke studie uit 2009, gepubliceerd in het Angelsaksische vakblad PlosOne, blijkt dat verreweg de meeste zwendel onder de radar blijft. In deze zogeheten meta-analyse (onderzoek van onderzoek) zijn de bevindingen van achttien verschillende enquêtes onder wetenschappers tegen het licht gehouden. Conclusie: 2 procent van de onderzoekers heeft naar eigen zeggen ten minste één keer data uit de duim gezogen of grondig gewijzigd; 14 procent van de respondenten kent collega’s die dat weleens hebben gedaan.

“Oei, dit zijn stevige cijfers”, zegt Onno van Schayck, directeur van het Maastrichtse instituut Caphri. “Als die kloppen, hebben we een probleem. Dit betekent dat één op de vijftig wetenschappers zich misdraagt. En dat is eerder een onder- dan een overschatting omdat mogelijk niet alle respondenten dit soort vragen eerlijk invullen.”

Wetenschap is gebaseerd op onderling vertrouwen, zegt Van Schayck. Als iemand zes van de 174 vragenlijsten door de versnipperaar haalt omdat die de conclusies van de studie afzwakken, valt dat niet altijd te achterhalen. “Maar als ik zo iemand betrap, krijgt-ie op staande voet ontslag. Bij oneerlijk gedrag moet je snoeihard optreden. Het verduisteren van vragenlijsten is pure fraude. Ik heb dit zelf nooit aan de hand gehad. Wel heb ik in Nijmegen ooit een artikel teruggetrokken dat al naar een vakblad was gestuurd. We hadden net op tijd een fout ontdekt, gealarmeerd door de eigenaardige uitkomsten van de studie.”

Epidemioloog Bas Verhage heeft de meta-analyse laatst met collega’s besproken en schrok van de uitkomsten. “Dat zou in theorie betekenen dat we hier bij de vakgroep epidemiologie op zijn minst één fraudeur hebben. Ik zou niemand kunnen bedenken. Je gaat er toch van uit dat universitair personeel goed volk is.”

 

Bad science

Data verzinnen is een hoofdzonde, zoveel is duidelijk. Maar bedrog heeft vele gezichten. Hoe zit het met de kleine zondes? Uit het PlosOne-artikel blijkt dat eenderde van de respondenten toegeeft dat ze uitkomsten weleens in hun voordeel afronden of tussentijds de opzet van de studie wijzigen. Maar liefst 72 procent kent vakbroeders die zich schuldig hebben gemaakt aan deze ‘kwestieuze praktijken’, zoals ze worden genoemd.

Een voorbeeld van zo’n praktijk is een fishing expedition, zegt Verhage. “Stel, ik heb het vermoeden dat rokers een verhoogd risico lopen op alvleesklierkanker. Ik verstuur honderden vragenlijsten naar rokers en niet-rokers en analyseer de antwoorden. Wat blijkt? Geen verschil tussen beide groepen. Hoe kan dat nou, denk je dan. Bij eerdere dierexperimenten was er wel een effect. Zouden dan alleen de ex-rokers gevaar lopen? Een afzonderlijke analyse onder deze subgroep levert ook niets op. Of geldt het alleen voor vrouwen? Weer niets. Zo kun je doorgaan, tot en met het merk sigaretten of de kleur van de schoenveters voor mijn part. Uiteindelijk zal er een verband boven komen drijven, zeg, shag-rokers blijken vaker alvleesklierkanker te hebben.”

Dit hengelen naar resultaten - of zoals Van Schayck het noemt: “If you torture your data long enough, they will finally confess!” - kan nuttig zijn om nieuwe hypothesen te ontwikkelen, zegt Verhage. Wetenschappelijk gezien is er geen vuiltje aan de lucht mits onderzoekers transparant zijn over hun oorspronkelijke bedoeling en de uiteindelijke gang van zaken. Maar dat gebeurt niet altijd. "De subgroepanalyse wordt gepresenteerd als een volwaardig onderzoek", zegt Verhage, “terwijl de uitkomsten van zo'n analyse veel minder betrouwbaar en beperkt zijn. De zo gevonden associatie kan namelijk op toeval berusten. Toch luidt dan vaak de stellige conclusie: 'Meer alvleesklierkanker onder shag-rokers.’ Dit is dus bad science. Je spiegelt de uitkomsten mooier voor dan ze zijn. Eigenlijk licht je de boel op.”

Helemaal als de auteur in het artikel de indruk wekt dat hij van begin af aan wilde weten of shag-roken geassocieerd is met alvleesklierkanker, en dat als hypothese poneert in de inleiding. "Het is de omgekeerde wereld", zegt collega en hoofddocent Luc Smits. "Je vindt eerst een antwoord en zoekt daar vervolgens een vraag bij. Deze associatie hoort thuis in de slotparagraaf 'discussie' en wel als aanbeveling voor vervolgonderzoek."

Wat meespeelt is dat een dataset vaak een aardige cent kost, zegt Smits. “Het is toch echt zonde als daar niks uitkomt. Ik heb nu een onderzoek lopen met 165 patiënten. Omgerekend kost deze studie 2500 euro per proefpersoon.”

 

Opgeblazen

Universiteiten konden tegenover NRC Handelsblad geen cijfers geven over de gevallen waarin statistische informatie wordt weggelaten om de resultaten te verfraaien, zoals bij de subgroepanalyses. “Dit komt vermoedelijk vaak voor”, zegt Verhage. “Niet altijd moedwillig, maar uit onwetendheid. Niet iedereen is altijd op de hoogte van alle technische haken en ogen.”

Smits denkt dat de meesten zich wel bewust zijn van hun manoeuvres. Het lijkt hem interessant om een “strikt anonieme” enquête te verspreiden om te achterhalen hoe vaak dit gebeurt. “Ik weet zeker dat het voorkomt, niet alleen bij geneeskunde maar ook bij psychologie of waar dan ook. Soms vertellen collega’s er zelfs open en bloot over tijdens besprekingen of presentaties. Veel onderzoek vindt plaats in groepen, met schijnbaar meer mogelijkheden tot onderlinge controle, maar ook groepen hebben belang bij klinkende resultaten. Daarmee kunnen ze weer nieuwe subsidies binnenhalen.”

Waar "flexibele analyses en de selectieve rapportage" toe leiden, heeft John Ioannidis uitgebreid beschreven, een onderzoeker met een medische opleiding in Harvard. De Griek, wiens naam in de colleges van Smits regelmatig valt, groeide uit tot een autoriteit op het gebied van geloofwaardigheid van medisch onderzoek. Ioannidis stelt dat 90 procent van de medische verbanden die worden gevonden, “opgeblazen” zijn.

Dat geldt niet alleen voor de klunzige studies maar zelfs voor het toponderzoek. Ioannidis selecteerde 49 artikelen – meer dan duizend maal geciteerd tussen 1990 en 2003 – die onder meer hadden geleid tot populaire toepassingen als een hormoonvervangende therapie voor vrouwen in de menopauze, tot een dagelijkse, lage dosis aspirine om de bloeddruk te beheersen en tot vitamine E-supplementen om het risico op hartziekten te verlagen. Van de 34 experimenten die hij herhaalde, bleken er 14 niet te kloppen of overdreven. De resultaten zijn gepubliceerd in vakblad Jama (2005).

 

Straatstenen

Dat één op de vijftig onderzoekers fraudeert, klinkt aannemelijk, zegt Stan van Hoesel, portefeuillehouder onderzoek bij de School of Business and Economics (SBE). Als dat soort cijfers kloppen, dan gelden ze volgens hem niet alleen voor medici maar evengoed voor economen of psychologen, eigenlijk voor alle wetenschappers die zelf data verzamelen. “Je vindt ze eerder onder de vaste staf dan onder promovendi, denk ik. Die zijn nog te fris, te integer. Ik ken overigens niemand die over de schreef is gegaan, maar de kans bestaat dat hier in de faculteit ook iemand zit die het niet zo nauw neemt met de wetenschappelijke mores. Je weet het nooit.”

Vergelijkbaar met de medische ‘kwestieuze praktijken’ ziet Van Hoesel dat ook bij economische experimenten het klassieke protocol menigmaal op zijn kop wordt gezet: eerst de data analyseren, en daarna een hypothese formuleren. “Het is niet volgens het boekje maar toch vind ik het niet raar. Je zit tegenover een berg data en soms kun je daar specifieke verbanden aan aflezen. Op die manier ontstaan creatieve ideeën, al moeten dat soort bevindingen wel geverifieerd worden door vervolgonderzoek.”

Om fraude te voorkomen en de reputatieschade die daarmee gepaard gaat, werkt Van Hoesel aan een gedragscode die onderzoekers zal aansporen om hun gegevens toegankelijk te maken voor anderen. De code geldt voor de SBE maar zal ook tot voorbeeld dienen voor andere faculteiten.

Zo’n gedragscode zal niet zonder slag of stoot worden geaccepteerd, verwacht de hoogleraar operations research, een vakgebied waar overigens nauwelijks met zelf gegenereerde data wordt gewerkt. “Niet iedereen hier zal blij zijn met de openbaarheid. De meesten hebben de neiging om hun data voor zichzelf te houden. Het is een schat aan gegevens, die je met veel moeite en tijd hebt verzameld.”

De meesten vrezen vooral dat collega’s goede sier maken met de moeizaam verzamelde informatie. “Maar goed, ik vind die angst niet terecht als je zelf vier jaar de kans hebt gehad om de dataset ondersteboven te keren. Daarna moeten anderen de gelegenheid krijgen om er nog meer uit te halen. Ik verwacht niet dat de vrije toegang tot data leidt tot veel controle-experimenten. Daar maken weinig onderzoeksgroepen zich druk over. Ze richten hun beperkte tijd liever op nieuwe ontdekkingen. Bovendien raak je controlestudies aan de straatstenen niet kwijt, ook vakbladen willen opzienbarende publicaties.”

 

Onberispelijkheid

Behalve een code is het belangrijk dat begeleiders bovenop hun promovendi zitten, zegt Van Hoesel. “Menigeen gebruikt, vaak uit onwetendheid, werk van anderen zonder correct te citeren. Precies om deze reden is iemand als Diekstra compleet afgemaakt. De richtlijn bij SBE is dat een hoogleraar vier promovendi begeleidt, maar ik beperk me tot twee. Dat is wat mij betreft de grens voor een goede begeleiding.”

Van Schayck vindt dat een begeleider steekproefsgewijs controles moeten nemen. “Je vraagt aan de promovendus of die alle statistische uitdraaien meeneemt, je gaat na of de vraagstelling juist is, of de programmatuur klopt. Het is veel werk maar ik vind dat dit meer dan eens tijdens een promotie moet gebeuren, zeker als je twijfels hebt.” 

Bovendien pleit Van Schayck voor registratie vooraf. Bij farmaceutisch onderzoek is dat al verplicht: van te voren vastleggen wat je gaat onderzoeken en hoe. De gezaghebbende tijdschriften stellen deze eis ook. “Je kunt reviewers verplichten om de oorspronkelijke vraagstelling en opzet te bekijken.”

Fraude is verwoestend voor de reputatie van een universiteit of onderzoeksinstituut maar het

ondermijnt ook het gezag van de wetenschap, zegt Van Schayck. “Dat het aureool van onberispelijkheid vervaagt, zoals dat ook bij artsen en juristen is gebeurd, vind ik prima. Maar het schiet te ver door. Tegenwoordig legt een wetenschappelijke bevinding evenveel gewicht in de schaal als, zeg, een opvatting van zo’n prikkenclub (Nederlandse Vereniging Kritisch Prikken, red.). Vorig jaar ontraadde die veel meisjes om een vaccin tegen baarmoederhalskanker te halen. Dat kan echt niet.”

 

Maurice Timmermans

Categories:Categorieën:

CommentsReacties

There are currently no comments.Er zijn geen reacties.

Post a Comment

Laat een reactie achter

Door een reactie te plaatsen gaat u akkoord met de verwerking van de ingevulde gegevens door Observant.
Voor meer informatie: Privacyverklaring
By responding, you agree to send the entered data to Observant.
For more info: Privacy statement

Name (required)

Email (required)