“Uit onderzoek moet hoe dan ook iets interessants komen”

‘Mislukkingen’ in de wetenschap

01-02-2021

Chique congressen, gepolijste presentaties en glossy tijdschriften. De wereld van de wetenschap lijkt één groot succesverhaal. Lijkt, want de werkelijkheid is natuurlijk anders. In deze serie zoekt Observant naar de misstappen, de tegenslagen, de vergissingen, de onverwachte wendingen. Want ook dat, of misschien juist dat, is wetenschap. Vandaag: Robert Suurmond, onderzoeker bij de School of Business and Economics.

De ‘verfacebooking’ van de wetenschap. Dat is een trend die Suurmond duidelijk herkent in de huidige academische cultuur. “Wetenschappers laten op sociale media, vooral LinkedIn of Twitter, alleen zien wat er goed gaat. Nieuwe samenwerkingsverbanden, honorering van subsidie, interviews in kranten, publicaties in vakbladen. We delen niet wanneer een tijdschrift het paper afwijst.”

En dat geldt evenzeer voor de studies waar ‘niets’ uit komt, waarbij de bevindingen niet significant zijn, zoals dat heet, oftewel statistisch niet overtuigend. “Een editor van een gezaghebbend tijdschrift in mijn vakgebied, managementwetenschap, schijnt een keer gezegd te hebben: ‘Als er niets uitkomt, heb je niet goed genoeg nagedacht over je hypothese.’ Onzin natuurlijk, alsof je van tevoren precies weet wat het resultaat is. Het raakt echter wel aan een wezenlijk punt: uit elk onderzoek moet hoe dan ook iets interessants komen.”

Zo niet, dan doen de meeste wetenschappers geen moeite meer om er een artikel van te maken, zegt Suurmond. “Tenzij je er een draai aan kan geven. Je laat dan de ‘hoofdrelatie’ links liggen en focust op iets anders, dat achteraf toevallig wel significant blijkt. Dat je daarmee afwijkt van de oorspronkelijke opzet moet je uitdrukkelijk melden in het artikel, maar dat doet niemand. Het is een voorbeeld van het hypothesizing after results are known, ook wel afgekort als HARK. Oftewel het bijeenharken van uitkomsten.”

Catering

Suurmond doet onderzoek naar supply chain management: hoe kunnen organisaties in een keten elkaars expertise gebruiken om de producten of diensten te verbeteren? “Denk aan de autoindustrie die bij de productie van elektrische modellen gebruik maakt van de kennis van toeleveranciers. In Japan en Europa gebeurt dat vaak, in de VS niet. Wat misschien de reden is dat we wél een elektrische Nissan maar geen e-Ford hebben.”

Geldt dat ook voor dienstverlening, vroeg Suurmond zich af. Maken instellingen als de UM gebruik van de kennis van de catering, van het schoonmaakbedrijf? En verhoogt dat de kwaliteit van de service? Leidt dat tot een duurzamer of gevarieerder menu? Of tot meer milieuvriendelijke schoonmaakmiddelen?

Samen met de koepel Facility Management Nederland stuurde Suurmond een survey naar honderd zogenoemde inkopers (waaronder de UM) én naar een van hun dienstverlenende organisaties.

Ethisch verplicht

Het idee is om honderd duo’s tegen het licht te houden, maar het resultaat viel tegen. “Slechts vijftig enquêtes kwamen retour, allemaal afkomstig van de inkopende organisaties. Ik vermoed dat de dienstverleners ervan afzagen vanwege concurrentie-overwegingen. De catering- en de schoonmaakbranche bestaan in Nederland uit een paar grote spelers die elkaar kennen, die regelmatig contracten van elkaar overnemen. Hoewel geanonimiseerd wilden ze niet in hun kaarten laten kijken. We hebben ons toen beperkt tot de inkopers, waaruit onder meer bleek dat een goede relatie met catering of schoonmaak leidt tot een betere service.” 

Al met al is dit onderzoek mislukt, zegt Suurmond. “De oorspronkelijke vraag is niet beantwoord, al hebben we er wel nog iets van gemaakt. Het maakte deel uit van mijn proefschrift en heeft veel tijd en geld gekost. Dus ik voelde me ethisch verplicht om er een artikel van te maken. Het zal geen toppublicatie worden, maar het is wel interessant genoeg.”

Verspilde tijd

Zou hij ooit subsidiegeld teruggeven als een project niet levensvatbaar blijkt? Een Utrechtse cardioloog gaf, zo vertelde hij in de Volkskrant, 1,3 miljoen euro terug aan de Hartstichting. “Ik vind het heel stoer. Ik hoop dat ik het ook zou doen, maar ik durf dat niet te zeggen. In de praktijk probeer je er toch nog iets uit te halen, ook al is het geld daar niet voor bedoeld. Je hebt er al zoveel moeite in gestoken om die subsidie te krijgen.”

Wel is laatst de stekker getrokken uit een subsidieaanvraag voor de Nationale Wetenschapsagenda, waar een consortium met meerdere universiteiten aan werkte. “Dat terwijl we er al een jaar mee bezig waren, bijeenkomsten belegd, voorstellen geschreven, noem maar op. Uiteindelijk moesten we concluderen dat ons idee, het duurzamer maken van de keten van agrarische voedselproductie, zich niet leende voor de Nationale Wetenschapsagenda. De sectie ‘transport en logistiek’ is gericht op technische, slimmere oplossingen, terwijl wij zochten naar logistieke verbeteringen, zoals minder schakels, betere afstemming.”

Samenwerken in een consortium werpt ook niet per definitie vruchten af. “Als het aantal partners toeneemt, wordt het steeds moeilijker om één lijn te trekken, ook omdat iedereen zijn eigen inbreng koestert. De samenwerking was geen succes en het is zeker balen dat het project is afgebroken, maar ik zie het niet als verspilde tijd. We hebben uitdagingen geformuleerd die nog steeds relevant zijn, en die op een later moment wellicht nieuwe studies opleveren.”

 

Tijdschrift voor ‘mislukte’ wetenschap

In de wetenschap gaat een hoop mis. Natuurlijk, dat gebeurt overal, maar waarom komen de mislukkingen, tegenslagen of doodlopende wegen in het onderzoek zelden aan het licht? Komt dat door de enorme druk op wetenschappers om te scoren? Is falen daarom een taboe? 

“We hebben onrealistische verwachtingen van wetenschappers”, zegt recent afgestudeerd wetenschapshistoricus Martijn van der Meer. “Als het wat normaler zou zijn om te falen in de wetenschap, zou het werkklimaat meteen een stuk gezonder en prettiger zijn.”

Van der Meer is een van de Utrechtse masterstudenten die het Journal of Trial and Error (JOTE) hebben opgericht. Het is een open-access tijdschrift dat negatieve, niet-significante resultaten omarmt in plaats van schuwt. 

Het tijdschrift, dat in november voor het eerst verscheen, is er niet om sloppy science te verheerlijken, zegt Van der Meer. Papers waarvan de statistiek niet klopt of de data niet goed zijn verzameld, of die gewoon rommelig zijn geschreven, worden afgewezen. Alle artikelen ondergaan een strenge peer-review en verschijnen eerst online in ‘preprint’.

Met het aanbod van artikelen loopt het nog geen storm. “Er ligt meer dan genoeg in de ladekasten”, vermoedt Van der Meer, “maar mensen moeten wel durven. Mogelijk zijn sommigen bang dat een publicatie in een tijdschrift voor ‘mislukte’ wetenschap niet goed staat op hun cv.” En dat is precies het probleem dat JOTE wil aankaarten. (HOP)

“Uit onderzoek moet hoe dan ook iets interessants komen”