Replikační krize aneb odvrácená strana vědy


Jak se vlastně dneska dělá věda? Zamysleli jste se nad tím někdy? Možná vás tato myšlenka v poslední době několikrát napadla, vzhledem k současné horké debatě kolem replikační krize v psychologii. Tento fenomén vzbudil hned několik otázek týkající se vědeckého výzkumu.

Klasická strategie: navržení hypotézy, její rozpracování a podrobení experimentálním podmínkám. To je tradiční způsob jakým pracuje psychologie a jí podobné empirické vědy. Daný experiment je úspěšný, pokud prokáže, či vyvrátí zkoumaný jev. U úspěšného experimentu lze také zohlednit, nakolik je jeho nastavení (či „desig“) reprodukovatelný, tedy zopakovatelný. To je jeden z klíčových prvků výzkumu, neboť věda nechce vypovídat pouze o jedinečných záležitostech, které se neopakují, ale právě se pokouší přijít na nějaké obecné vzorce, které mají opakovatelný charakter a jsou tak relativně stabilními jevy, o kterých má smysl hovořit. To je jedna ze základních premis vědeckého výzkumu, která ovšem byla v poslední době nejednou diskutována. A jaké jsou příčiny takových diskusí?

V roce 2015 byl zveřejněn článek v časopisu Science, který hodnotil míru reprodukovatelnosti experimentů v psychologii. Byl vybrán vzorek zhruba sta experimentálních a korelačních studií, jež byly podrobeny opětovnému zkoumání s cílem dosáhnout stejných výsledků jako těch, které byly předloženy v originálních studiích. Výzkumnému týmu se podařilo replikovat signifikantní výsledky pouze u 36% z 97% originálních studií. Takové číslo rozhodně překvapilo, neboť psychologie je v současné době pokládána za empirickou vědu, na jejíž výsledky se dá do určité míry spolehnout.

Co vůbec zapříčinilo tyto hromadné snahy o přezkoumávání již provedených experimentů? Zřejmě prvním spouštěčem byly experimenty a studie Daryla Bema, sociálního psychologa z Cornellské univerzity v Ithace. Zvláště jedna konkrétní studie, která vyšla v roce 2011 v prestižním časopise Journal of Personality and Social Psychology, upoutala pozornost ostatních vědců. Jednalo se o zkoumání fenoménu, který Bem označil jako psi či psychický efekt (psychic effect). Ten vypovídal, dle Bema, o situaci, kdy pozdější trénink vybraných slov měl posílit jejich předchozí zapamatování. Takový výsledek je možné označit přinejmenším jako pozoruhodný a nikoho asi nepřekvapí, že tyto závěry přiměly některé vědce daný experiment replikovat. Výsledek byl vcelku očekávaný, experiment se zopakovat nepodařilo a to hned několika nezávislým vědeckým týmům.

Ve stejném roce se pak podařilo odhalit další skutečnosti, které zavdaly podnět k debatě o replikační krizi. Asi nejznámějším jménem, které se vybaví v souvislosti s touto krizí ve vědě, je Diederik Stapel. Tento poměrně úspěšný sociální psycholog byl v roce 2011 vyšetřován z důvodu „vědeckého podvodu“. Ukázalo, že Stapel manipuloval s vědeckými daty ve více než třiceti jeho publikacích. Velká část jeho kariéry tak byla vystavěna na pochybných základech zmanipulovaných vědeckých výsledků. Stapel ovšem nebyl jediným případem, lze zmínit ještě další dvě jména, Karen RuggieroMarc Hauser, kteří se rovněž dopustili „vědeckého podvodu“. Podvod není v současném světě nijak neobvyklým jevem, poměrně překvapivé je jeho spojení s vědeckou činností, která se zdála být jakousi posvátnou půdou pro odhalování pravdy. Samozřejmě taková konstatování jsou do určité míry idealizovaným pohledem, ani na vědu nelze nahlížet růžovými brýlemi. Nicméně s podvody ve vědě člověk zpravidla nepočítá.

A jaká je konečně příčina této replikační krize? Příčin je samozřejmě více, přičemž lze rozlišit jejich dva základní okruhy. Jeden se týká výše zmíněných podvodů. To je onou odvrácenou stranou vědy. Vědci si pohrávají s daty tak dlouho, dokud se jim nepodaří dosáhnout chtěného výsledku, v tomto případě nejčastěji takového, který je pozitivním (positive result), nebo je kupříkladu patřičně překvapivý (surprising effect). Pozitivním je výsledek, pokud podporuje navrženou hypotézu. Těžko si ovšem zjednodušeně představovat vědce jako „zlotřilého démona“, který si mne ruce při pomyšlení nad manipulací s daty. Často je situace motivována pouhým cynismem typu „publish or perish“, pramenícího z politiky výzkumu. Je obecně známo, že článek je zpravidla publikovatelný s větší pravděpodobností, pokud obsahuje tyto pozitivní výsledky nebo zda má překvapivý efekt, což žene vědce do značného tlaku, v důsledku čehož se může dopouštět těchto více či méně záměrných podvodů. Ani tento pohled však není zcela odpovídající. Vědec stále musí nést zodpovědnost za svůj výzkum, své povolání si volí a měl by si tato jeho úskalí uvědomovat.

Druhá kategorie problémů vyplývá spíše z chyb, omylů či jiných nedostatků, které se nutně vyskytují při každé lidské činnosti, neboť zatím jsme stále jenom lidé. Příkladem může být malý vzorek participantů (obecně vzorků) ve studiích, chybná interpretace statistických dat, proměnlivost simulovaných podmínek apod. Ty se týkají především psychologie, nicméně je třeba poznamenat, že replikační krize se zdaleka netýká pouze této disciplíny. Zahrnuje i takové obory jakými jsou medicína, ekonomie, biologie či sociální vědy. U psychologie ovšem vypukla debata.

Srovnání četnosti publikování pozitivních výsledků u jednotlivých disciplín (Yong 2012).

Debata ohledně replikační krize a obecně krize ve vědě již nějakou dobu trvá, přinejmenším od roku 2011. Od té doby bylo mnoho řečeno a pochopitelně byla navržena i mnohá řešení. Ta se například týkají zlepšení metodologického tréninku budoucích i současných vědců, nezávislé metodologické podpory, podpory spolupráce mezi vědci, posílení transparence, případně podpora pre-registrovaných studií. Poslední zmíněné opatření znamená, že se základní nastavení dané studie zaregistruje na oficiálních místech, aby byla daná očekávání transparentní. Toto opatření pomáhá předcházet právě pohrávání si s daty, což obvykle znamená, že se v daném případě domyslí odpovídající interpretace vlastně až poté, co vyjdou nějaká „ta čísla“.

Přestože existují názory, které poněkud zmírňují ostří slov jakými je například krize, stále nás nutí tyto skutečnosti k zamyšlení. Zamyšlení se nad tím, jaký status dnešní věda nabývá, zda lze věřit vědeckým výsledkům a jak vůbec budujeme tento vědecký obraz světa. Za poslední století se věda opravdu pozoruhodně transformovala. Vytvořila si mohutnou síť sociálních institucí, které se pokouší zaštiťovat její validitu. Vytvořila velmi mnoho metodologických systémů a přiblížila se ideji univerzální metodologie. Umožnila vznik obsáhlých databází, které občas připomínají jakousi ideální knihu světa, na které pracovali již renesanční myslitelé. Zkrátka se z ní stal propracovaný systém, jistá znalostní databáze, která poskytuje téměř nekonečné množství odpovědí a samozřejmě také vznesených otázek. Na druhou stranu je nutné připomínat, že je to stále do určité míry konstrukt, vytvořený lidmi, který nemusí vždy a za každých okolností odpovídat skutečnosti. Jsou to v neposlední řadě stále jen interpretace, přestože zdánlivě podpořené empirickými daty. A to je nutné si uvědomit vždy, když o vědě uvažujeme, mluvíme a diskutujeme. A replikační krize je toho opětovnou připomínkou.

Prameny

Acup, D. et al. (2015). Estimating the reproducibility of psychological science. Science, Vol. 349, Issue 6251, aac4716. DOI: 10.1126/science.aac4716

Munafò, M.R. et al. (2017). A manifesto for reproducible science. Nature Human Behaviour 1, 0021. DOI:10.1038/s41562-016-0021

Yong, E. (2012). Replication studies: Bad copy. Nature, 485, 298–300. DOI:10.1038/485298a.


Mohlo by se vám líbit...

1 Odpověď

  1. Libor Benda napsal:

    Tak tohle mě moc bavilo. Je to výborné téma a ta čísla u psychologie jsou dost alarmující. Ale jak správně dodáváš, bylo by naivní si myslet, že v jiných vědeckých disciplínách je replikace výsledků bezproblémová. Výborně tuhle problematiku už v osmdesátých letech popsal Harry Collins na příkladu jednoho sporu ve fyzice gravitačních vln. V samotných počátcích snah o jejich detekci jeden věděc (Joe Weber) sestavil přístroj, který měl na základě dostupných teoretických znalostí a předpokladů gravitační vlny detekovat, a v rámci svých měření skutečně dospěl k pozitivním výsledkům. Ostatní vědci tak začali sestavovat kopie jeho detektoru a snažili se jeho výsledky replikovat, nicméně neúspěšně. Jelikož ale gravitační vlny v dané době ještě nikdo nedetekoval, vědci najednou nevěděli, které z experimentů byly provedeny správně – zda ten původní pozitivní experiment, nebo ty jeho negativní replikace. Collins tuto situaci pojmenovává jako tzv. experimentátorský regres (experimenters‘ regress): abychom měli jistotu, že jsou výsledky experimentu správné, musíme vědět, že jsme experiment provedli správně; ale to, zda jsme experiment provedli správně, poznáme pouze tak, že jsou správné jeho výsledky; ale to, že jsou správné jeho výsledky, poznáme pouze tak, že experiment provedeme správně; ale správnost provedení experimentu zaručíme pouze tak, že … atd. atd. ad infinitum. Ověřování správnosti experimentu prostřednictvím jeho replikace tedy rozhodně není nijak přímočarý proces, ale zahrnuje značnou míru interpretace a zohlednění celé řady dalších předpokladů a proměnných. To je běžná a nedílná součást vědy. Na druhou stranu, pouhých 36% z 97% originálních studií v psychologii, to je vážně hodně malá úspěšnost. V této souvislosti je pak podle mě důležitá otázka, nakolik jsou tyto „nereplikované“ psychologické výsledky v rámci dané vědecké komuniky akceptovány, a nakolik jsou naopak ignorovány. Například ve fyzice je „nereplikovaných“ či jinak nevyhovujících výsledků zajisté publikována také celá řada, ale drtivá část fyzikální komunity takovým článkům jednoduše nevěnuje pozornost, a tyto výsledky se tak nikdy nestanou součástí fyzikálního „mainstreamu“. Funguje to v psychologii taky tak? Jinými slovy: při pohledu „zvenčí“ je psychologie (a případně ještě další disciplíny) v tomto ohledu v krizi, ale je tomu tak i z pohledu „zevnitř“, tedy z pohledu psychologů samých, nebo ti nic takového – podobně jako zmínění fyzikové – nepociťují?

Napsat komentář

Vaše emailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *