Back to list All Articles Archives Search RSS Terug naar lijst Alle artikelen Archieven Zoek RSS

Van economische experimenten is 40 procent niet repliceerbaar

Van economische experimenten is 40 procent niet repliceerbaar

MAASTRICHT. Kregen vorig jaar de psychologen onderuit de zak, nu lijken de experimentele economen aan de beurt: uit een studie van vakblad Science blijkt dat 40 procent van de experimenten bij herhaling afwijkende uitkomsten laten zien. Volgens UM-hoogleraar Arno Riedl ligt dat genuanceerder.

Net als psychologen zetten economen vooral vanaf de jaren negentig experimenten op touw om economisch gedrag onder de loep te leggen. Dat doen ze vaak via spelsituaties waarbij proefpersonen – vaak studenten - specifieke keuzes of beslissingen moeten maken waarmee ze geld kunnen verdienen. 

Een omvangrijk, internationaal onderzoeksteam heeft achttien experimenten herhaald. Ze waren allemaal tussen 2011 en 2014 gepubliceerd in twee gezaghebbende tijdschriften: American Economic Review en Quarterly Journal of Economics. Van de achttien studies bleken er zeven niet repliceerbaar, meldt Science. De overige elf toonden gemiddeld zwakkere resultaten dan van de originele studie.

"Als je het artikel goed leest", zegt de Maastrichtse hoogleraar publieke economie, Arno Riedl, die zelf veel speltheoretische experimenten op poten zet, "dan blijkt tussen de 11 en de 39 procent niet repliceerbaar. Dat hangt af van de meetmethode die je kiest." Bovendien is een replicatiestudie strikt genomen ook maar een studie. "Om de robuustheid van een experiment grondig aan te tonen heb je idealiter een reeks van replicaties nodig.”

Voor Riedl was het Science-artikel dan ook geen slecht nieuws. Hij werd er eigenlijk wel blij van, zegt hij (al noemt hij dat later enigszins overdreven). Het resultaat was in ieder geval beter dan bij de psychologen, waar 60 procent van de studies niet te herhalen viel.

Riedl: “Dat komt omdat economen andere standaarden hanteren. Ze geven achteraf volledige openheid over de instructies en de opzet van hun experimenten. Die geven bovendien minder ruis omdat economen geen hypothetische vragen voorleggen aan de proefpersonen, maar hen echte prikkels geven met echte consequenties, voor hun eigen portemonnee maar ook voor andere proefpersonen.”

Dat neemt niet weg dat economen meer studies moeten herhalen. Een belangrijke stap, vindt Riedl, is dat de internationale vereniging van experimenteel economen een tijdschrift heeft opgetuigd voor uitsluitend replicatiestudies. Het nadeel is echter dat het veel tijd en geld kost. “Bij SBE krijg je als onderzoeker geen geld voor het verzamelen van primaire data.”

Wat ook helpt is: hogere eisen aan significantie en grotere steekproeven. Maar ook dat laatste is duur. “Ik heb net een research talent beurs aangevraagd bij NWO om experimenten te doen, maar dan is slechts tienduizend euro bedoeld voor het onderzoek, terwijl ik minimaal het dubbele nodig heb. Bij neuroeconomische experimenten schiet de financiering voor grote steekproeven helemaal tekort. Eén observatie in een scanner kost al gauw vijfhonderd euro.”

Categories:Categorieën:

CommentsReacties

There are currently no comments.Er zijn geen reacties.

Post a Comment

Laat een reactie achter

Door een reactie te plaatsen gaat u akkoord met de verwerking van de ingevulde gegevens door Observant.
Voor meer informatie: Privacyverklaring
By responding, you agree to send the entered data to Observant.
For more info: Privacy statement

Naam (verplicht)

E-mail (verplicht)

CAPTCHA Afbeelding
Enter the code shown above: