The Reproducibility Project

Minule som prezentoval pohľad Briana Noseka na peer review. Zaslúžilo by sa spomenúť aj Nosekov projekt Open science framework. Ide o internetovú platformu, ktorá umožňuje vedcom zdielať protokoly, materiály a výsledky experimentov. Má slúžiť pre štandardizáciu a archiváciu výskumných projektov, čo má zvýšiť možnosti replikácie publikovaných prác. Najzaujímavejšou súčasťou je hromadný replikačný projekt (OSC, 2012). Jeho cieľom je replikovať širokú vzorku publikovaných psychologických prác a tým získať odhad ich replikačnej pravdepodobnosti.

Súčasný publikačný systém motivuje výskumníkov prichádzať s novými nápadmi, experimentami a výsledkami. Naopak tento systém odrádza od snahy replikovať existujúce experimenty, keďže replikácie nikto nechce publikovať. Pritom replikácia je pre fungovanie vedy nevyhnutná. Takisto už existujúce pokusy o replikáciu nastavili vedcom ne pohľad do zrkadla. Napríklad v snahe o komerčné využitie medicínskych produktov farmaceutické spoločnosti overujú publikovaný výskum a v plnej miere sa podarí replikovať len 20-25 % štúdii (Prinz et al., 2011).

Replikačný projekt chce nastaviť zrkadlo psychologickému výskumu. Vybraných bolo 90 štúdii z časopisov JEP, JSPS a PsychScience z roku 2008. Replikačný projekt podporuje zhruba 80 výskumníkov, ktorí sa pokúsia dané štúdie replikovať. Projekt sa snaží o maximálnu transparentnosť a štandardizáciu replikačných štúdii a výsledných správ. Protokoly, materiály a správy budú sprístupnené na internete. Cieľom je empiricky zistiť pravdepodobnosť replikácie a v prípade mizerných výsledkov identifikovať príčiny.

Myslím, že ide o veľmi ambiciózny projekt a pokiaľ viem prvý svojho rozsahu naprieč vednými obormi. Na druhej strane mnohí psychológovia už šípia katastrofické výsledky. Tieto sa môžu stať argumentom pre premiestnenie finančných zdrojov do iných vedných oborov. Pritom v týchto oboroch ani nepoznáme pravdepodobnosť replikácie a môže byť rovnako mizerná ako v psychológii. Na druhej strane z pohľadu daňového poplatníka by boli mizerné výsledky určite legitímnym dôvodom pre zváženie financovania (psychologického) výskumu. Ak pravdepodobnosť replikácie výskumu je rovnaká ako u predpovedí astrológa, tak rovnako ako nechceme financovať astrológa, nechceme financovať ani mizerný výskum. Nateraz sú šance otvorené. Ja si netrúfam tipovať. Myslím, že replikačná pravdepodobnosť môže byť hocikde medzi 20-80 % publikovaných signifikantných efektov.

The Open Science Collaboration (2012). An Open, Big Science Effort to Estimate the Reproducibility of Psychological Science. Perspectives on Psychological Science, forthcoming.

Prinz, F., Schlange, T. & Asadullah, K. (2011). Believe it or not: how much can we rely on published data on potential drug targets? Nature Reviews Drug Discovery, 10, 712-713.

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s