Back to list All Articles Archives Search RSS Terug naar lijst Alle artikelen Archieven Zoek RSS

“Das Team ist der Star”

“Das Team ist der Star”

Photographer:Fotograaf: Thinkstock

Slordige wetenschap: universiteiten kunnen veel leren van bedrijven

MAASTRICHT. Hoe maak je wetenschap betrouwbaarder? Wat dit betreft kunnen universiteiten een voorbeeld nemen aan het bedrijfsleven, aan farmaceuten. Dat was woensdagavond een van de gesprekslijnen tijdens het ‘Replicatiedebat’, op touw gezet door Studium Generale en Observant.

Aanleiding voor het debat, met een bedroevend lage opkomst in de aula aan de Minderbroedersberg, was de recente grootschalige studie in Science: 270 onderzoekers herhaalden honderd psychologische studies en in meer dan zestig gevallen strookten de uitkomsten niet met de oorspronkelijke bevindingen.

Dat komt op de eerste plaats door de publicatiebias (vertekening in de literatuur omdat vakbladen vooral studies plaatsen met een sterk effect), zegt de Tilburgse methodoloog Michèlle Nuijten. Ze is een van vijf panelleden en coauteur van het Science-artikel. “Bovendien moeten we meer grootschalige onderzoeksprojecten opzetten, die genuanceerdere uitkomsten opleveren dan de kleine studies met hun toevallige uitschieters.” De Maastrichtse farmacoloog Harald Schmidt sluit zich hierbij aan en pleit voor meer ‘multicenter-onderzoek’, waarbij instituten samenwerken. En: denk in teams in plaats van in afzonderlijke auteurs.

Hoe zit het dan met het zelfreinigend vermogen, vraagt gespreksleider Tjalling Swierstra, hoogleraar filosofie bij cultuur- en maatschappijwetenschappen. “De statistiek biedt veel speelruimte, je kunt als onderzoeker kiezen tussen talrijke analysemethoden”, zegt Nuijten. “Een peer reviewer ziet alleen de ene methode die uiteindelijk is gepubliceerd, niet de methoden die op niets zijn uitgedraaid. Je zou eigenlijk van de onderzoeker meer robuustheid mogen vragen: laat nog eens drie andere ‘analysepaden’ zien. Volgens mij is dat in de economie gebruikelijker dan in de psychologie.”

Bovendien zijn de meeste reviewers, op een enkele na, niet statistisch geschoold, zegt Fren Smulders, docent cognitieve neurowetenschap.

Aansprakelijk

De crisis in de psychologie geldt evengoed voor andere wetenschapsgebieden als de geneeskunde, gezondheidswetenschappen, sociologie. Ook in de economie, zegt rector Luc Soete. “Zeker wat betreft de publicatiebias. Het probleem speelt minder in de macroeconomie omdat daar gewerkt wordt met bestaande datasets, van bijvoorbeeld het Centraal Planbureau. Maar daarbij is weer het probleem dat deze uitkomsten weliswaar heel evidence-based lijken maar in feite gebaseerd zijn op vooronderstellingen die buiten het zicht blijven. In de microeconomie zijn de gevolgen van de publicatiebias dramatischer omdat we ons beleid erop baseren.”

Gerard van Breukelen, hoogleraar statistiek bij de faculteiten psychologie en neurowetenschappen en FHML, spreekt uit ervaring. Na zijn promotie en de moeizame pogingen om artikelen gepubliceerd te krijgen, keerde hij de universiteit de rug toe en vertrok naar de farmaceutische industrie. “Het was een ware eye-opener. Er wordt heel strikt gewerkt. Je plant een studie tot in detail, registreert alles en dan voer je het precies zo uit. Elke afwijking of toevoeging tijdens de rit wordt gedocumenteerd en beargumenteerd. Alles wordt opgeslagen, want elk moment kan een externe audit worden uitgevoerd.”

Toch hebben farmaceuten een slechte naam, werpt Swierstra tegen.

“Bij mij niet”, zegt Van Breukelen resoluut. “Universiteiten kunnen in dit opzicht van het bedrijfsleven veel leren.” Schmidt is het daarmee roerend eens. “In het klinische onderzoek zit evengoed een publicatiebias en gaat ook niet alles naar behoren maar het grote verschil met universiteiten is: farmaceuten lopen als vanzelf tegen de lamp als het geneesmiddel niet blijkt te werken. Dan blijken de miljoenen euro’s die ze erin hebben gestopt, weggegooid geld. Eerlijk zijn is goedkoper.”

Soete: “Vergeet niet dat medische bedrijven aansprakelijk zijn als het misgaat. Vandaar hun interesse in het onderzoeksprotocol.”

Bijsluiter

Oud-rector Hans Philipsen, vanuit de zaal: “We zijn het erover eens dat we moeten waken voor publicatiebias en onbedoeld gerommel, maar toch blijf ik met één vraag zitten. Stel we waren allemaal engelen, zou het probleem dan opgelost zijn? Ik denk het niet. Er is meer aan de hand. We zullen moeten accepteren dat de werkelijkheid nu eenmaal multicausaal is. We isoleren steeds de variabelen A en B in het lab, maar we moeten beseffen dat C tot en met X ook nog een rol spelen.”

Dat kan niet anders, zegt Van Breukelen. “Je moet ergens beginnen.”

Smulders: “We staan hoe dan ook machteloos tegenover de complexiteit van de werkelijkheid. Stel, uit een onderzoek blijkt dat het drinken van cola leidt tot vroegtijdig sterven. Los van het feit dat het slechts om een correlatie en niet om een causaal verband gaat, spelen er nog zoveel meer leefstijlfactoren mee, die op dat moment niet zijn onderzocht.”

Swierstra: “Dus elke studie zou een bijsluiter moeten bevatten. Pas op, dit onderzoek beperkt zich slechts tot een beperkt deel van de werkelijkheid!”

Smulders: “Ja, eigenlijk wel. Wetenschappers zijn doorgaans voorzichtig in hun claims, maar het publiek of journalisten rekken de zaken vaak op.”

H-index

Nuijten is al met al optimistisch over de toekomst van de wetenschap en ziet de eerste tekenen van verandering. “De omvangrijke replicatiestudie in Science is daar het beste voorbeeld van. Maar je ziet ook dat vakbladen beloningen geven als onderzoekers hun ruwe data meesturen of openbaar maken.”

Van Breukelen: “We zouden teamwork meer moeten belonen. Kijk naar het Duitse voetbalelftal: Das Team ist der Star.”

Wat kunnen universiteiten ondertussen doen, wil Swierstra eerder weten van rector Soete. “Een stap vooruit vind ik de San Francisco-declaratie, waarbij je tijdens aanstellingen niet meteen naar de H-index [maat voor publicatiesucces] vraagt maar naar de drie belangrijkste artikelen. Terug naar de inhoud dus, in plaats van kwantitatieve indicatoren.”

Schmidt: “Maar wat stellen die voor, die meest belangrijke publicaties?

Soete: “Het is aan de sollicitant om een eigen keuze te maken.”

Schmidt: “Die non-replicatie-artikelen komen allemaal uit bladen als Nature hè. In die stukken gaat het dus ook mis. Ik zou zelf op een sollicitatiegesprek vragen, al geldt dat vooral voor de seniors: ‘Wat is de conclusie van je wetenschappelijke werk van de afgelopen jaren?’”

Interessant voorstel, vindt Soete, maar het knoopt niet aan bij de realiteit: “Het zijn de jonge onderzoekers die we willen aanstellen.”

Categories:Categorieën:

CommentsReacties

There are currently no comments.Er zijn geen reacties.

Post a Comment

Laat een reactie achter

Door een reactie te plaatsen gaat u akkoord met de verwerking van de ingevulde gegevens door Observant.
Voor meer informatie: Privacyverklaring
By responding, you agree to send the entered data to Observant.
For more info: Privacy statement

Naam (verplicht)

E-mail (verplicht)