“Een vliegende start van m’n carrière kon ik vergeten”

‘Mislukkingen’ in de wetenschap

25-01-2021

Chique congressen, gepolijste presentaties en glossy tijdschriften. De wereld van de wetenschap lijkt één groot succesverhaal. Lijkt, want de werkelijkheid is natuurlijk anders. In deze serie zoekt Observant naar de misstappen, de tegenslagen, de vergissingen, de onverwachte wendingen. Want ook dat, of misschien juist dat, is wetenschap. Vandaag: Mark Spigt, onderzoeker bij huisartsgeneeskunde.

Het is zondagavond, 19.00 uur. Mark Spigt, onderzoeker hij huisartsgeneeskunde, is zojuist naar zijn werkkamer op het Debyeplein gefietst. Nu zit hij achter zijn pc. Hij is gespannen, elk moment kunnen de uitkomsten van zijn promotieonderzoek in zijn e-mailbox verschijnen. De scores zijn afkomstig van de man, partner van een collega, die de database heeft ontworpen en alle resultaten heeft ingevoerd. Op kantoor beschikt Spigt over de software waarmee hij de data kan analyseren.

Hij schuift onrustig heen en weer op zijn stoel. Dit is de finale van een omvangrijke studie die vijf jaar in beslag heeft genomen. De vraag waar het om draait: helpt water drinken oudere mannen van hun plasklachten af? Die ontstaan door een te zwakke straal, waardoor urine achterblijft in de blaas. Ze moeten vaak naar de wc en hebben last van incontinentie. Artsen zien een vergrote prostaat als de boosdoener en adviseren meestal een chirurgische ingreep.

Spigt vermoedt dat het trainen van de blaas, door elke dag anderhalve liter water te drinken, de klachten kan verhelpen. Een elegante oplossing, in ieder geval eindeloos goedkoper dan een chirurgische ingreep. Via huisartsenpraktijken heeft hij 142 mannen geworven, van wie de ene helft elke dag water heeft gedronken en de andere een lepel onschuldige siroop nam. Bij alle proefpersonen hebben speciaal getrainde onderzoeksassistenten en hijzelf maandenlang plasmetingen gedaan. Een enorme klus. 

Doodlopende weg

Ah, daar is de mail met alle data. Spigt hoeft alleen nog het gemiddelde uit te rekenen. Met bonzend hart wacht hij op de einduitslag. En die blijkt ontnuchterend: er is geen enkel verschil tussen beide groepen. Spigt baalt ontzettend. Is het echt waar? Maakt water drinken geen enkel verschil?

“Meteen gaat er van alles door je hoofd. Een vliegende start van m’n wetenschappelijke carrière kon ik op m’n buik schrijven. Bij een positieve uitkomst had ik verder gekund, met andere doelgroepen, vrouwen bijvoorbeeld. Dat had misschien een Veni-subsidie opgeleverd, de ideale opmaat voor een academische loopbaan. Nu zat ik op een doodlopende weg.”

Het artikel is gepubliceerd in Urology, een prima vakblad, maar geen Lancet. “Een randomized-controlled trial, die zo goed is uitgevoerd en zoveel proefpersonen kent, raak je altijd kwijt, maar niet per se in een topblad.”

Tegelijk toonde het experiment een onverwacht effect: aardig wat proefpersonen meldden minder hoofdpijn. “Daarover heb ik na mijn promotie een pilotstudie opgezet. Het effect bleek uiteindelijk bescheiden.”

Verbaasd

De kater na het plasonderzoek speelde in 2004, maar in 2017 volgt eenzelfde afknapper. Spigt is coauteur van een uitgebreide studie naar stoppen met roken. Driehonderd proefpersonen, stevige rokers, slikken een antirookpil; de ene helft ontvangt daarnaast intensieve begeleiding van een praktijkondersteuner, terwijl de andere helft het moet doen met een algemeen advies van de huisarts. Toch stoppen in beide groepen evenveel rokers. Anders gezegd, de intensieve begeleiding voegt helemaal niets toe.

“Als je die studie terugleest, en ziet hoeveel praktijkondersteuners we hebben getraind, hoeveel proefpersonen meededen… Ik was echt verbaasd dat de experimentele groep geen voorsprong liet zien. Toch was die uitkomst van belang, want praktijkondersteuners gaven  die extra begeleiding al. Dus onze boodschap was duidelijk: stop er maar mee.”

De ‘negatieve’ resultaten hebben de academische carrière van Spigt allerminst geknakt. Hij is inmiddels hoofddocent en vele experimenten verder, bijvoorbeeld over het trainen van gevangenen om tbc te herkennen, gepubliceerd in The Lancet Global Health. En over handenwassen van schoolgaande kinderen om darmparasieten weg te houden, na te lezen in Plos Medicine. Beide studies speelden in Ethiopië.

Integriteitsdiscussies

Terug naar die bewuste zondagavond. Spigt laat zich achterover vallen in zijn stoel, beduusd van het tegenvallend resultaat. “We houden studenten altijd voor dat tegenvallende resultaten niet bestaan, niet vanuit objectief-wetenschappelijk oogpunt. Maar ondertussen...”

Hij is de enige in het gebouw. Even schiet het door hem heen: hij zou in een handomdraai enkele uitkomsten kunnen aanpassen, niemand die dat merkt.

Het was niet meer dan een loze gedachte, want naar aanleiding van integriteitsdiscussies op de afdeling had Spigt juist voorzorgsmaatregelen genomen. Hij had afspraken gemaakt met een epidemioloog van een andere afdeling over de interpretatie van de uitkomsten. Om van een positief resultaat te kunnen spreken, moest de plaskracht zoveel procent zijn gezakt. En dat was dus niet het geval.

“Tegenwoordig gebeurt dat bijna standaard; onderzoekers registreren hun studie van tevoren in een register zodat de opzet niet kan worden omgegooid. Ik deed dat avant la lettre, kun je zeggen.”

Beslotenheid

Dat is ook wat hij van zijn promotieonderzoek het meest heeft geleerd: het belang van integriteit. “Als ik mijn uitkomsten had vervalst, zouden onderzoekers van andere universiteiten er misschien op voortborduren en voordat je het weet ben je twintig jaar verder en zit je met een onderzoekslijn waar niets van deugt. En waar waarschijnlijk ook aardig wat subsidie naartoe is gegaan. Dat noemen we research waste.” 

Wonderlijk eigenlijk, dat onderzoekers in hun eentje de uitkomsten zo makkelijk kunnen vervalsen. Van de week moest Spigt er nog zijdelings aan denken. “Dit vanwege een lopende studie, waarbij twee studenten alle gegevens invoeren en de database beheren. Dat is een veilige procedure, want de een kan niet iets aanpassen zonder dat de ander het merkt.”

Ze kunnen wel samen de boel belazeren.

“Ja, dat kan, maar je begint niet snel een gesprek met als boodschap: zullen we de zaak oplichten. Het gevaar zit ‘m echt in de beslotenheid waarin onderzoekers hun gang kunnen gaan.”

 

Tijdschrift voor ‘mislukte’ wetenschap

In de wetenschap gaat een hoop mis. Natuurlijk, dat gebeurt overal, maar waarom komen de mislukkingen, tegenslagen of doodlopende wegen in het onderzoek zelden aan het licht? Komt dat door de enorme druk op wetenschappers om te scoren? Is falen daarom een taboe? 

“We hebben onrealistische verwachtingen van wetenschappers”, zegt recent afgestudeerd wetenschapshistoricus Martijn van der Meer. “Als het wat normaler zou zijn om te falen in de wetenschap, zou het werkklimaat meteen een stuk gezonder en prettiger zijn.”

Van der Meer is een van de Utrechtse masterstudenten die het Journal of Trial and Error (JOTE) hebben opgericht. Het is een open-access tijdschrift dat negatieve, niet-significante resultaten omarmt in plaats van schuwt. 

Het tijdschrift, dat in november voor het eerst verscheen, is er niet om sloppy science te verheerlijken, zegt Van der Meer. Papers waarvan de statistiek niet klopt of de data niet goed zijn verzameld, of die gewoon rommelig zijn geschreven, worden afgewezen. Alle artikelen ondergaan een strenge peer-review en verschijnen eerst online in ‘preprint’.

Met het aanbod van artikelen loopt het nog geen storm. “Er ligt meer dan genoeg in de ladekasten”, vermoedt Van der Meer, “maar mensen moeten wel durven. Mogelijk zijn sommigen bang dat een publicatie in een tijdschrift voor ‘mislukte’ wetenschap niet goed staat op hun cv.” En dat is precies het probleem dat JOTE wil aankaarten. (HOP)

“Een vliegende start van m’n carrière kon ik vergeten”
Mark Spigt