Back to list All Articles Archives Search RSS Terug naar lijst Alle artikelen Archieven Zoek RSS

Replicatie zonder resultaat? Een prettige uitdaging!

Replicatie zonder resultaat? Een prettige uitdaging!

Photographer:Fotograaf: Thinkstock

Opinie Hans Philipsen

Waar te weinig rekening mee wordt gehouden bij het repliceren van studies, zijn de veranderde condities waaronder een studie is verricht. Ook proefpersonen - neem ouderen met gezondheidsproblemen - gedragen zich nu anders dan twintig jaar geleden. Dat zegt em. hoogleraar Hans Philipsen, deskundig op het vlak van methodologie van sociaal-wetenschappelijk onderzoek.

Onderzoekers bouwen in hun werk voort op wat eerdere onderzoekers gevonden hebben. Literatuurstudie levert vaak geen duidelijk beeld op van de stand van zaken over het onderwerp. De een vindt dit, de ander dat. Uitkomsten in verschillende populaties spreken elkaar tegen. De onderzoeker zal zijn best doen om in zijn nieuwe studie helderheid te scheppen. Een stap voorwaarts in de tocht naar hoe het werkelijk zit. Elk onderzoek is daarom een gedeeltelijke replicatie/herhaling van vorig onderzoek. Hopelijk een verbeterde versie, een onderzoek 2.0! Meestal is de opbrengst van een studie niet baanbrekend. We weten iets meer. Onderzoek zal nodig blijven. Het uitblijven van succesvolle herhaling is eerder regel dan uitkomst. Sterker nog: het is vaak de bedoeling. Eerder onderzoek was misschien beperkter, gebruikte slechtere technieken of ging uit van een achterhaalde theorie. Wetenschap is bij uitstek een bezigheid van voortschrijdend inzicht.

Men kan van het gebrek aan succesvolle replicatie ook een probleem maken. De studie in de psychologie waarbij een aanzienlijk aantal, zeer verscheiden onderzoekingen zo goed mogelijk herhaald werden, verdient lof. Op weg naar transparantie, ook in de wetenschap! In minder dan 50 procent van de studies waren de uitkomsten gelijk. Ik kijk er niet van op. Voor wie denkt dat alle wetenschappen op dezelfde wijze streven naar één uiteindelijke waarheid of naar een systeemkast vol goed geordende waarheidslaatjes is het een tegenvaller. Wie denkt dat alle onderzoek technisch perfect is uitgevoerd en nooit te kampen heeft met tegenslag, kijkt er misschien ook van op. Al deze overwegingen maken al duidelijk dat 100 procent replicatiesucces een illusie is. Wie volstaat te beweren dat de uitkomst aan het vak psychologie ligt, gaat een zinvolle discussie uit de weg. Ook zonder alle ins en outs van alle onderzochte studies te kennen, zijn een aantal overwegingen te geven van methodologische aard die op het replicatieprobleem van toepassing zijn.

Wat gebeurt in onderzoek? Als het goed is, wordt een gedachtegang, een theorie of een “ideetje” omgezet in een onderzoeksopzet. Abstracte begrippen en factoren worden operationeel gemaakt door het kiezen van meetbare variabelen. Dat is vaak tijdrovend werk. Ook moet men onderzoekseenheden (proefpersonen) selecteren. De onderzoeker wil een uitspraak doen van het type: oorzaak A beïnvloedt gevolg B. Ook al is bekend dat C tot en met X eveneens een rol spelen. Die uitspraak is niet alleen concreet en feitelijk van aard maar ook abstract en theoretisch. De sprong van begrip naar variabele en terug is op zichzelf geen onderzoekshandeling. Onderzoeksverslagen zijn kort, hebben de neiging juist niet over de theoretische kant te gaan. Onderzoekers praten in variabelen, niet in begrippen. Bij replicatie is dat een bezwaar. De relevante vraag is uiteindelijk wat de replicatie betekent voor de achterliggende theorie. Zonder antwoord op die vraag valt geen slotsom te geven. De perfecte replicatie bestaat per definitie niet.

De kranten staan vol met uitkomsten van onderzoek. Vooral medische informatie, van ‘hard’ natuurwetenschappelijk tot ‘zacht’ sociaalwetenschappelijk, wordt zonder verwijl over de bevolking uitgestort voordat iemand kan uitleggen welke vaak beperkte betekenis het onderzoek heeft. Mijn voornaamste methodologische stokpaard betreft een basiszwakte van bijna alle onderzoeksverslagen en hun publicitaire nasleep. Het gaat er niet alleen om of factor/variabele A een oorzaak is van B, maar onder welke condities het onderzoek gedaan is.

Het doet er toe wanneer en onder welke omstandigheden bij welke mensen of onderzoekseenheden metingen hebben plaats gevonden.

Een fraai voorbeeld is een uitkomst die in epidemiologisch en gezondheidszorgonderzoek de laatste tijd nogal eens optreedt. Een ooit bij eerdere generaties, gemeten helder effect van een interventie op het gebied van verhoogd cholesterol of een interdisciplinaire begeleiding van ouderen met problemen blijkt thans verdwenen te zijn. Niet omdat het eerste of het tweede onderzoek niet deugt. Nee, de condities zijn veranderd. Mensen bewegen meer dan vroeger en maken werk van hun cholesterol. Samenwerking in de eerste lijn is er vaak gekomen omdat men overtuigd is van het nut. Zo verdwijnt de samenhang in een later onderzoek, maar de achterliggende theorieën over hoe hoge cholesterol te bestrijden en hoe de problemen van ouderen aan te pakken blijven. Algemene uitspraken over de samenhang tussen A en B zijn derhalve altijd VOORWAARDELIJK. Ze gelden onder omstandigheden. Alle wetenschappelijk nieuws dat daar niets over vermeldt, moet men niet te serieus nemen.

Hans Philipsen         

 

Debat over betrouwbare wetenschap

Hoe betrouwbaar zijn de bevindingen van wetenschappelijk onderzoek? Tweederde van de psychologische en medische studies geven bij herhaling  afwijkende uitkomsten. Op woensdag 30 september (20.00 uur) organiseren Studium Generale en Observant een debat over de repliceerbaarheid van gecontroleerd onderzoek. Dat vindt plaats in de aula van de Minderbroedersberg. De voertaal is Nederlands. Entree is gratis.

 

Categories:Categorieën:

CommentsReacties

There are currently no comments.Er zijn geen reacties.

Post a Comment

Laat een reactie achter

Naam (verplicht)

E-mail (verplicht)

CAPTCHA Afbeelding
Enter the code shown above: