Back to list All Articles Archives Search RSS Terug naar lijst Alle artikelen Archieven Zoek RSS

“Vier jaar onderzoek, en dan in vier minuten de uitslag: geen effect”

“Vier jaar onderzoek, en dan in vier minuten de uitslag: geen effect”

Photographer:Fotograaf: Thinkstock

Publiceren, subsidie aanvragen, alles gaat makkelijker met positieve resultaten

Je begint met volle moed, maakt een opzet, zoekt proefpersonen, zet de experimenten op poten, bent kortom jarenlang in touw, en vervolgens… komt er niets uit. Wat dan? Publiceren wordt lastig, subsidie aanvragen ook. Hoe moet dat nu met je carrière? Twee medische onderzoekers, die aanvankelijk bot vingen, doen een boekje open. “Datamassage is aan de orde van de dag. Soms zijn het de begeleiders die promovendi onder druk zetten. Toon ruggengraat, zou ik zeggen.”

Ze droomde van een baan als kinderarts maar ontdekte dat het vak niet bij haar past. De verantwoordelijkheid en de stress in kwesties van leven en dood drukten als een last op haar schouders. Gelukkig wenkte een loopbaan als onderzoeker en kon Pamela Kleikers (30) in 2010 als promovendus beginnen bij farmacologie.

Uit de vakliteratuur was bekend dat hersenschade bij een beroerte vooral optreedt op het moment dat de doorbloeding, na verwijdering van bijvoorbeeld een bloedprop, weer op gang komt. Dan komen er reactieve deeltjes vrij die celdood veroorzaken. Opvallend: bij muizen bleef de schade beperkt als een specifiek gen - NOX4 - was uitgeschakeld. Niet alleen bij beroerte maar bij elke stremming van het bloed, dus ook na een hartinfarct en bij ‘etalagebenen’, komen die reactieve deeltjes vrij. Is dan ook de schade bij dieren met een uitgeschakeld NOX4-gen beperkt, vroeg Kleikers zich af.

Zo gezegd, zo gedaan. Na de review van de literatuur schreef Kleikers een praktijkmodel en een studieopzet, de muizen werden gefokt, ziek gemaakt, gemonitord, enzovoort. Uiteindelijk gingen alle data in een statistisch programma  en drieënhalf jaar later volgde de spreekwoordelijke maar ook letterlijke druk op de knop. En na een minuutje rekenen was het klip en klaar: geen effect. Bij muizen zonder NOX4-gen was de schade na een hartinfarct niet kleiner, ook niet als ze etalagebenen hadden.

Publicatiebias

Kleikers: “Ik ben niet boos naar huis gegaan, ik heb er ook niet wakker van gelegen maar teleurstellend vond ik het wel. Je begint toch aan het onderzoek met het idee dat je iets kunt betekenen voor patiënten, dat je iets op het spoor komt dat nuttig is.”

Ook valt er een schaduw over de carrièreplannen. “Het artikel waarin ik een overzicht geef van de vakliteratuur, is inmiddels gepubliceerd maar de twee artikelen over het hartinfarct en de etalagebenen nog steeds niet. Het blijft lastig om er een spannend verhaal van te maken. Mooie plaatjes genoeg maar er komt niets uit. We hebben daarna ook nog naar andere NOX-genen gekeken, maar ook dat leverde niets op.”

Negatieve resultaten – hoe belangrijk ook - raken onderzoekers soms aan de straatstenen niet kwijt omdat vakbladen, net als populaire tijdschriften, vooral geïnteresseerd zijn in positieve uitkomsten. Dat is wat Kleikers aan den lijve ervoer én ontdekte in de literatuur. “Daar was in eerste instantie steeds sprake van de gunstige gezondheidseffecten van het NOX2-gen, terwijl we die zelf niet aantroffen. Toen we alle studies onder de loep legden, zagen we een publicatiebias. De literatuur was vertekend geraakt door plaatsing van relatief veel positieve studies. Bovendien bleken de meeste experimenten de nodige statistische kracht te ontberen, vaak omdat er te weinig proefdieren waren gebruikt.”

Dekkerbeurs

Deze metastudie heeft Kleikers ook gepubliceerd, in augustus, als eerste auteur in Scientific Reports, een open acces-journal van de Nature-uitgeverij. Het artikel pleit voor betrouwbaar onderzoek. Het moge niet verbazen dat Kleikers ervoor paste om haar ongepubliceerde data te ‘masseren’ dan wel te ‘martelen’, zoals dat heet. Het gebeurt regelmatig als de uitkomst (net) niet significant is. Onderzoekers veranderen de statistische methode, analyseren de ene subgroep (van proefpersonen) na de andere, net zo lang totdat er iets significants uitrolt. Deze questionable research practises zijn kwalijk omdat ze in het uiteindelijke artikel doorgaans onvermeld blijven.

“Wel heb ik met Harald [Schmidt], mijn begeleider, heel vaak de resultaten en de methoden gecontroleerd. Alles klopte, het onderzoek is goed uitgevoerd. Hij is overtuigd van mijn kwaliteiten en heeft mijn contract met anderhalf jaar verlengd.”

Ondertussen valt het niet mee om subsidie aan te vragen. “Bij subsidieaanvragen kijken ze in de eerste ronde alleen naar je cv en de publicatielijst. We wilden vorig jaar al een Dekkerbeurs aanvragen bij de Hartstichting, maar daar hebben we mee gewacht totdat ik meer publicaties kon laten zien. Nu heb ik mijn kaarten gezet op de Medical Innovation Grant van de European Society of Cardiology. De laatste bevindingen laten zien dat meerdere genen tegelijk een rol spelen bij de schade na een beroerte.”

Balen

Epidemioloog Daniel Kotz (39) vroeg zich iets heel anders af: stoppen patiënten met COPD eerder met roken als je ze confronteert met de lijdensweg die ze voor de boeg hebben? De kans is namelijk groot dat ze aan de beademingsapparatuur belanden en eerder doodgaan. Alleen stoppen met roken helpt.

Kotz is er bij de afdeling huisartsgeneeskunde vier jaar mee bezig geweest: een onderzoeksprotocol schrijven, driehonderd proefpersonen zoeken, het experiment uitvoeren, follow-up data verzamelen, een statistische code schrijven. En dan breekt de dag van de waarheid aan. “Vier jaar lang onderzoek doen en in vier minuten is het hoge woord eruit.”

Kotz weet het nog goed. Hij zat op zijn kamer aan het Debyeplein, het zweet stond op zijn voorhoofd. “Ik startte het statistisch programma en daar was de uitkomst: geen effect.” COPD-patiënten confronteren met een fatale afloop, maakte dus geen verschil. Ongeveer 90 procent van hen rookte na een jaar weer – net zoveel als in de groep zonder speciale behandeling.

“Balen, zeker. Ook vanwege al die mensen die je hebt gemotiveerd om mee te werken aan het project, later moet je dan toegeven dat het op niets is uitgedraaid. Het kwam niet helemaal als een slag bij heldere hemel. Hulpverleners lieten wel al doorschemeren dat de COPD-patiënten zich volgens hen niet lieten afschrikken. Je denkt ook aan je cv en je carrière. Met een positief resultaat had ik bij een tijdschrift als de BMJ [British Medical Journal] kunnen aankloppen. Ook omdat het studieprotocol goed in elkaar zat en de uitkomsten relevant waren voor patiënten.”

Subsidie aanvragen is dan ook makkelijker. “Bij NWO kun je je als expert presenteren, het idee van confronteren heeft gewerkt en je wilt dat grootschalig bevestigen of in een andere doelgroep toepassen. Nu moest ik iets totaal nieuws bedenken. Ik ben twee keer voor een Veni tot aan het interview geraakt en beide keren afgewezen. Eerlijk gezegd was mijn voorstel om een predictiemodel voor COPD te ontwikkelen nog niet gerijpt. Dus die afwijzingen snapte ik wel.”

Mijlenver

Mede omdat er zoveel van afhangt, is datamassage verleidelijk, erkent Kotz, maar zelf moet hij er niets van hebben. “Ik heb een hekel aan opportunisme.  Als onderzoeker moet je staan voor je data, vind ik. Ruggengraat tonen. Resultaten van subanalyses presenteren als hoofbevindingen is ronduit schadelijk voor de wetenschap. Het risico op toevalstreffers is namelijk groot. Paul Knipschild, die tot 2005 hoogleraar epidemiologie was aan de UM, beschreef het allemaal in zijn artikelen en afscheidsrede [zie kader].”

Het masseren van data is volgens Kotz aan de orde van de dag. “Soms uit onwetendheid, soms om positieve resultaten te forceren. Meer dan eens zijn het de begeleiders die erop aandringen en de promovendus onder druk zetten. Voorbeelden genoeg. Menig promotor heeft evengoed belang bij een positieve uitkomst, met het oog op vervolgsubsidie of continuering van de onderzoekslijn.”

Publicaties met negatieve bevindingen zijn moeilijk te slijten. Kotz lukte het wel, in een goed blad ook nog: European Respiratory Journal. “De studie wordt nog regelmatig geciteerd.”

Zijn loopbaan heeft er niet onder geleden. Na zijn promotie heeft hij, met geld van het Maastrichtse Kootstra Talent Fellowship programma, twee jaar als postdoc gewerkt. Daarna volgde een vaste baan bij instituut Caphri. Per 1 augustus is hij hoogleraar huisartsgeneeskunde geworden aan het Universitätsklinikum Düsseldorf. “Ik heb gebruik gemaakt van een Rückkehrprogramm. Dat is bedoeld om talentvolle wetenschappers terug te halen naar de deelstaat Nordrhein-Westfalen om er een onderzoeksgroep op te zetten. Ik ben gevraagd vanwege mijn Maastrichtse ervaringen en expertise op het gebied van huisartsgeneeskunde. Nederland ligt op dit vlak mijlenver voor op Duitsland.”

 

Een fragment uit een Observant-interview met scheidend hoogleraar epidemiologie Paul Knipschild in 2005, die het probleem van ‘slordig onderzoek’ tien jaar geleden al aan de kaak stelde.

“Er is een sfeer ontstaan dat onderzoek altijd een positieve uitkomst moet hebben. Dat is een verkeerd idee. Wie een goede vraag stelt moet geïnteresseerd zijn in de uitkomst, of die positief of negatief is. Als iets niet werkt, is dat ook erg nuttig om te vertellen.”

Punt is wel dat de journalist dan minder geïnteresseerd is, en juist de pers oefent een grote aantrekkingskracht uit op wetenschappers, merkt Knipschild. Ook op zijn eigen promovendi. Met iets van ongeloof: “Ik zit toch dicht bovenop mijn aio’s, en dan nog lees ik in de krant, ik wist van niks, over de positieve uitslag van een onderzoek naar de effecten van gedragstherapie bij kinderen met chronische hoofdpijn. Uit dat onderzoek kwam helemaal niets! Ik heb meteen naar de onderzoekster gebeld: hoe kan dit, waarom doe je dit, de uitkomst van je eigen studie vertelt een ander verhaal. Gelukkig ging het op de promotie wel goed.

Iets soortgelijks gebeurde bij een onderzoek naar oudere mannen met plasproblemen en het effect van veel water drinken. De uitslag was negatief, maar alle persaandacht ging vervolgens naar een pilotstudie, uitgevoerd zonder controlegroep en dus niet wetenschappelijk betrouwbaar. Als dit al bij mij gebeurt, wat denk je dat er gebeurt bij meer rekkelijke begeleiders?”

De waarheid en niets dan de waarheid, vindt Knipschild. “Het is verboden te sjoemelen bij het uitvoeren en opschrijven van onderzoek. Ik herhaal: het is verboden.” Toch ziet hij het voortdurend om zich heen, “bij Caphri (onderzoeksinstituut, red.), binnen de verschillende hoofdthema’s van onderzoek van ons aller UMC+ en daarbuiten. ‘Men’ vergist zich een beetje bij het willekeurig indelen van de patiënten. ‘Men’ schrijft achteraf vooral over de subgroep die positief op de therapie reageert en noemt andere deelnemers nauwelijks. En ‘men’ laat achteraf studies weg met een heel andere uitkomst dan die van het eigen onderzoek.”

Riki Janssen

Lees hier het hele interview met Knipschild, en hier het recente 'Replicatiedebat' van Studium Generale en Observant

Categories:Categorieën:

CommentsReacties

There are currently no comments.Er zijn geen reacties.

Post a Comment

Laat een reactie achter

Door een reactie te plaatsen gaat u akkoord met de verwerking van de ingevulde gegevens door Observant.
Voor meer informatie: Privacyverklaring
By responding, you agree to send the entered data to Observant.
For more info: Privacy statement

Naam (verplicht)

E-mail (verplicht)