Back to list All Articles Archives Search RSS Terug naar lijst Alle artikelen Archieven Zoek RSS

Een slang die zichzelf in staart bijt

Een slang die zichzelf in staart bijt

Photographer:Fotograaf: ThinkStock

Onderzoek naar vertekeningen in de wetenschap

Verwijzen onderzoekers eerlijk naar elkaars onderzoek? Of citeren ze alleen die studies met een opmerkelijke, positieve uitkomst? Epidemiologen Gerard Swaen en Maurice Zeegers gaan een computerprogramma ontwikkelen dat deze vertekening zichtbaar moet maken.  

Het was in 2004 dat de Maastrichtse epidemioloog Gerard Swaen inging op het aanbod van Dow Chemical, een chemisch bedrijf met vestigingen over de hele wereld. Swaen werd binnengehaald als arbeidsepidemioloog. “Ik hield me bezig met de gezondheidsrisico’s van duizenden werknemers, die werken met mogelijk giftige stoffen als benzeen en chloor. Hadden de medewerkers klachten? Zo ja, welke? Gingen ze, eenmaal met pensioen, eerder dood? Dat is te achterhalen via de zogeheten death indexing systems van de Amerikaanse overheid, waarmee je snel een hele reeks namen kunt checken, ook op doodsoorzaak. Ze bleken echter niet eerder te overlijden dan gemiddeld. Niets aan de hand dus. Of toch wel, want tegelijk verschenen er wetenschappelijke publicaties die gezondheidsrisico’s rapporteerden bij blootstelling aan onder andere pesticiden, die ik in mijn portefeuille had. In de artikelen werden de pesticiden bestempeld als ‘endocrine disruptors’ of EDC’s, stoffen die schadelijk zijn voor de hormoonhuishouding bij mensen. We bleven de vakliteratuur nauwgezet volgen, maar hoe relevant en valide waren die studies? Bepaalde stoffen dreigen nu door de EU verboden te worden, maar is dat terecht?”

Met die vragen zocht Swaen twee jaar geleden weer contact met de UM, via voormalig collega Maurice Zeegers. Samen haalden ze  een subsidie binnen van Cefic, de Europese vereniging van de chemische industrie, bedoeld om uit te zoeken hoe wetenschappers precies te werk gaan, hoe eventuele vertekeningen in de vakliteratuur sluipen, en hoe chemische bedrijven daarmee om moeten gaan. De industrie betaalt het onderzoek, ja, maar de UM is verantwoordelijk voor de inhoud, zegt Swaen, nu parttime aangesteld bij de UM.

Margarine

Een bekende vertekening, die het bedrijfsleven hindert om weloverwogen keuzes te maken, is de citation bias. “In mijn tijd bij Dow Chemical zag ik studies voorbijkomen waarin onderzoekers beweerden dat endocrine disruptors samenhingen met de toename van ADHD, borstkanker en autisme. Ik betwijfelde dat toen al en vroeg me af of er sprake was van selectief citeren. Hoe gaat zo iets: de eerste onderzoeker vindt een positief verband, waarin een disruptor inderdaad opvallend vaak samengaat met autisme. Dan volgen meer studies, waarvan sommige wel en andere geen samenhang rapporteren. Steeds wordt de bestaande literatuur opnieuw samengevat en aangehaald. Wat je vaak ziet is dat de ‘positieve’ studies structureel meer aandacht krijgen dan de negatieve. Iets wat niet altijd met opzet gebeurt, maar ook omdat die studies nu eenmaal spannender zijn. Na jaren ontstaat echter een beeld dat misschien niet strookt met de werkelijkheid.”

Samen met prof. Maurice Zeegers gaat Swaen een computerprogramma ontwikkelen dat citation bias zichtbaar kan maken, dat op een specifiek onderzoeksterrein, bijvoorbeeld endocrine disruptors en ADHD, toont welke richting de vakliteratuur door de jaren heen is opgegaan. Swaen en Zeegers zullen zo’n netwerkanalyse toepassen op twee deelgebieden: studies die al of niet een verband hebben gevonden tussen chloor in zwembaden en astma. En studies die al dan niet aantonen of industrieel bewerkte vetten voor bijvoorbeeld margarine, dezelfde nadelige gezondheidseffecten hebben als verzadigde vetzuren.

“Bij de inventarisatie van alle relevante studies maken we gebruik van databases als PubMed, waarin vakartikelen en bijbehorende referenties verschijnen. Het probleem is alleen dat PubMed al het ‘vertekende’ resultaat is van wetenschappers die naar elkaar verwijzen. En dat we hier dus te maken hebben met een slang die zichzelf in de staart bij, maar daar is weinig aan te doen. We zijn nu eenmaal aangewezen op deze databases.”

Ftalaten

Dan is er de reporting bias. Die ontstaat onder meer doordat onderzoekers geneigd zijn om vooral die resultaten wereldkundig te maken waarin een positief verband is gevonden. Zoals: wie veel alcohol drinkt, krijgt eerder last van hartklachten. Wordt zo’n relatie in eerste analyse niet ontdekt, blijkt alcohol niets van doen te hebben met hartklachten, dan verdwijnt het onderzoek soms in een la omdat er weinig eer aan te behalen valt. Dat vertekent echter ons algehele beeld.

Sommige onderzoekers laten zich niet uit het veld slaan na een negatief verband en gaan op een zogeheten fishing expedition. Met andere woorden: ze ‘hengelen’ in dezelfde dataset naar andere mogelijke, positieve verbanden. Misschien blijken die hartklachten wel significant bij de subgroep van zestigplussers. Of bij alcoholisten. Prima, zegt Swaen, die laatst een lezing hierover hield tijdens een van de twee UM-congressen over onderzoeksethiek. “Als je zo’n ingelaste uitstap maar meldt in het artikel. En dat gebeurt niet altijd omdat de bevinding dan keldert in waarde en de kans kleiner wordt dat een tijdschrift met hoge impactfactor het wil plaatsen. We spreken dan van een questionable research practice, het grote grijze gebied tussen ‘eerlijk’ en ‘frauduleus’.”

Om deze ‘nachtelijke’ expedities te voorkomen is het belangrijk dat onderzoekers vooraf een protocol of plan maken en zich daaraan houden. “In Leiden gebeurt al iets dergelijks. Daar moeten wetenschappers hun onderzoeksplan melden bij een interne commissie. Maar in veel gevallen is er geen toezicht. Van alle onderzoek dat gesubsidieerd wordt door ZON/mw blijkt een derde af te wijken van de aanvankelijke opzet. Dat is ontzettend veel. Ik ben net een studie begonnen waarin ik 158 publicaties over ftalaten, de bekende weekmakers in plastic, tegen het licht hou. Ik ga alle onderzoekers persoonlijk benaderen om hun oorspronkelijke protocol op te vragen. Ik heb dat vroeger uit hoofde van de industrie ook weleens gedaan maar na zo’n verzoek hoorde ik meestal niets meer. Ik ben ook bij de KNAW langs gegaan om te praten over methoden om dit proces transparanter te maken. Goed idee, klonk het, en tot ziens. Nooit meer iets van gehoord. Een paar jaar later, na de Stapel-affaire, barstten de discussies los.”

Schandalig

Is de industrie niet net zo selectief in het verwijzen naar studies die haar van pas komen? “Veel mensen denken dat het de industrie puur en alleen te doen is om geld te verdienen en daarom van alles op de markt gooit. Maar dat klopt niet, zegt Swaen. Alsof bedrijven lak hebben aan waarden en normen. Als medewerker van Dow Chemical ben ik door buitenstaanders ook weleens beschuldigd van iets niet publiceren omdat het negatief uitpakte. Maar dat laat het bedrijf helemaal niet toe. Er is een ethische commissie die dat allemaal in de gaten houdt. Stel je voor dat ik schadelijke gezondheidseffecten van een giftige stof onder de pet hou,  dan zou ik werknemers bewust in gevaar brengen. Dat zou wel heel schandalig zijn.”

Categories:Categorieën:

CommentsReacties

There are currently no comments.Er zijn geen reacties.

Post a Comment

Laat een reactie achter

Door een reactie te plaatsen gaat u akkoord met de verwerking van de ingevulde gegevens door Observant.
Voor meer informatie: Privacyverklaring
By responding, you agree to send the entered data to Observant.
For more info: Privacy statement

Naam (verplicht)

E-mail (verplicht)