Špeciáne vydanie PPS o replikácii

Novembrové číslo PPS sa venuje téme replikácie. Ak sledujete tento blog tak ste si zrejme všimli, že táto téma je vďaka viacerým škandálom tak trochu aktuálna. Vskutku o tejto téme sa už toľko popísalo, že sám som si nebol istý či ešte treba nejaké ďalšie články. Musím však dodať, že niektoré príspevky rozhodne prinášajú nové perspektívy a myšlienky. Ak sa vám nechce čítať všetky články, tento blogpost poskytuje krátky prehľad a súhrn toho najdôležitejšieho (výber je samozrejme subjektívny).

Špeciálne číslo editovali E.J. Wagenmakers a Harold Pashler. V editoriáli poskytujú krátky súhrn súčasných kauz, ktoré postihli psychológiu a rovnako krátko predstavia zahrnuté články. Články poskytuju rozličné riešenia a pohľady na krízu:

In the opinion of the editors of this special section, it would be a mistake to try to rely upon any single solution to such a complex problem. Rather, it seems to us that psychological science should be instituting parallel reforms across the whole range of academic practices—from journals and journal reviewing to academic reward structures to research practices within individual labs—and finding out which of these prove effective and which do not. (s. 529)

Pashler vo svojom autorskom článku s Christine Harris vyvracajú tri argumenty, ktoré sa snažia bagatelizovať rozsah krízy. A1. “Nereplikovateľné signifikantné výsledky sa vždy objavia a síce s nominálnou pravdepodobnosťou 5 %.” Na tomto blogu sme viackrát videli, že problémom súčasnej krízy je že táto nominálna úroveň alfa chyby je vyššia v dôsledku používania nesprávnych výskumných stratégii. A2. “Priame replikácie sú síce zriedkavé ale konceptuálne replikácie sú bežné a efektívne riešia problém replikovateľnosti.” Proti konceptuálnym replikáciám sa vyjadrili už LeBel s kolegom (a ja som písal o ich článku tu). V PPS sa problémami konceptuálnych replikáci zaoberá aj autorských článok Wagenmakersa. V skratke, konceptuálne replikácie nedokážu falzifikovať hypotézu. Replikácie buď uspejú a hypotéza je potvrdená. Ak replikácie neuspejú tak nevieme, či hypotéza neplatí alebo či ľahká obmena v dizajne experimentu viedla k negatívnemu výsledku. Jedinou možnosťou ako identifikovať neplatné signifikantné výsledky je priama replikácia. Priama replikácia sa snaží verne zopakovať experiment na základe metodiky uvedenej v publikácii. A3. “Veda koriguje nesprávne signifikantné výsledky ale chvíľu to potrvá. Momentálne rozpaky nad nereplikovateľnosťou predstavujú len zbytočnú netrpezlivosť.” Autori poukazujú na to, že ak určité teórie vymiznú z literatúry tak to nemusí byť nevyhnutne kvôli ich replikovateľnosti. Naopak kopa teórii mizne, lebo prestávajú byť módne. Teoretický posun v psychológii nemusí znamenať posun na základe empírie, ale len prechodné módne zmeny. Autori ďalej poukazujú na vývin v onkológii, kde nízka replikovateľnosť  nezabránila propagácii nesprávnych záverov. Vskutku viaceré následné štúdie boli vystavané na neplatných výsledkoch. Autori uzatvárajú, že korekcia chýb sa nestane sama od seba ale bude vyžadovať reformu.

Makel s kolegami sa pozreli na počet publikovaných replikácii a zistili že zhruba 1% štúdii tvoria pokusy o replikácie. Táto štatistika nie je moc zaujímavá. Publikované replikácie trpia publikačným biasom. Väčšina publikovaných replikácii je úspešná. Polovicu replikácii vykonali autori pôvodnej štúdie. A vo väčšine prípadov (80%) ide o konceptuálne replikácie, ktoré sú, ako bolo spomenuté vyššie nezaujímavé.

Giner-Sorrola napísal asi najzaujímavejší článok v celom čísle. Ponúka trochu historickej perspektívy. Podobná kríza bola totiž diskutovaná psychológmi už v 70. rokoch. Viaceré pokusy riešenia neuspeli (napr. v založených časopisoch venovaných replikáciam a nesignifikantným výsledkom takmer nikto nepublikoval). Zmenila sa aj štatistická prax. Intepretovanie výsledkov s 0.05 < p <0.1 prestalo byť tabu, sila efektu sa stala povinnou súčasťou štatistického súhrnu článku a meta-analýzy sa stali súčasťou dobrej výskumnej praxe. Ďalším vývinom bol nárast počtu experimentov v jednej publikácii. Tieto majú tvoriť úspešné konceptuálne replikácie a tým chrániť pred alfa chybou. Okrem problémov samotných konceptuálnych replikácii, viaceré malé štúdie na úkor jednej väčšej poskytujú širšíe možnosti pre selektívne ukrývanie štúdii v zásuvke. Malé štúdie nemajú dostatočnú silu, aby odhalili psychologické efekty. Ide teda len o žonglovanie s p hodnotami, kde sa zopár najlepších experimentov dostane do publikovaného výberu. Funkčnosť tejto stratégie (ideálne v kombinácii s pochybnými výskumnými stratégiami) ilustrujú Bakker s kolegami vo svojom článku. Bakker et al. takisto ukazujú ako malé štúdie s publikačným biasom sužujú meta-analýzy. Pomocou štatistický testov (podobných Francisovmu) štúdii z meta-analýz ukázali, že viaceré výskumné oblasti trpia publikačným biasom. Meta-analýzam sa venujú aj Ferguson s Heenem vo svojom článku. Ukazujú že meta-analýzy sú kvôli publikačnému biasu neefektívne. Súčasné snahy o štatistickú korekciu biasu alebo solicitovanie nepublikovaných štúdii sú nedostatočné. Meta-analýzy tak nedokážu zabrániť prežívaniu nesprávnych teórii a záverov.

Klein et al. diskutujú možný vplyv experimentátorových očakávaní na probandov. Tento fenomén sa týka hlavne experimentov v sociálnej psychológii. Autori prezentujú zaujímavý nedávny príklad, keď výsledky socio-psychologického experimentu boli odlišné v závislosti od toho či experimentátori vedeli o cieli a hypotézach experimentu a takáto “zaujatosť” mala nevedomý vplyv na správanie probandov. Klein et al. diskutujú možné vysvetlenia takéhoto fenoménu a dávajú rady výskumníkom ako podobným problémom predísť.

Psychológovia musia v rámci štúdia absolvovať empirické praktiká. V priebehu týchto praktík vykonajú experiment a napíšu správu o jeho výsledkoch. Experiment je buď nejaký tradičný psychologický experiment (napr. stroop test), ktorý zaručene dodá výsledky alebo nový výskum, ktorý je napínavejší ale zároveň aj prináša riziko, že výsledky sa nedostavia. Jednoduchou a lacnou možnosťou vykonať replikácie je spraviť tak v rámci experimentálnych praktík. Frank a Saxe a Grahe et al. diskutujú vo svojich článkoch pozitíva a negatíva takýchto študentských replikácii.

Psychologický výskum sa neorientuje na robustné výsledky. Čo sa stáva jeho cieľom? Giner-Sorrola, Koole a Lakens a Nosek s kolegami tvrdia, že cieľom výskumu je publikovateľnosť. Publikovateľnosť sa zachytáva irelevantné estetické kritéria – desatinné miesta p-hodnôt alebo naratívnu hodnotu článku. Naratívnu hodnotu tvorí hlavne prevratnosť. Replikácie majú mizernú naratívnu hodnotu. (Trochu paradoxne naratívna hodnota neúspešných replikácii môže byť vyššia ako u tých úspešných.) Autori navrhujú viaceré riešenia ako zmeniť tieto nesprávne ciele vedcov.

Špeciálne vydanie uzatvára článok od Ioannidisa. Ioannidis je síce autorita, ale jeho článok iba podškrtáva, že po tomto špeciálnom vydaní k téme replikovateľnosti nie je možné dodať nič nové.

Teda samozrejme ja mám vždy niečo nové, čo viem dodať. Myslím, že replikovateľnosť a časté alfa chyby treba vnímať v rámci širšieho problému psychologických teórii. Psychológovia málokedy ponúkajú konkrétne teórie a hypotézy. Väčšinou ide o rozprávky, ktoré majú síce nejakú naratívnu hodnotu ale ich informačný obsah je mizivý. Napríklad, hypotéza predpovedá, že výkon jednej skupiny probandov bude signifikantne odlišný od výkonu druhej skupiny. Takáto hypotéza a jej následný test poskytujú 1 bit informácie. Teória nešpecifikuje veľkosť efektu. Naopak experiment  poskytuje ďalšie stupne voľnosti ako stanovenie veľkosti vzorky. Proces písania publikovania správy zasa umožňuje založiť neúspešné štúdie do zásuvky. Tieto stupne voľnosti znižujú informatívnosť štúdie niekam smerom k 0 bitom. Alternatívou je použiť komplexné a presné hypotézy. Tak robia komputacionálne modely. Tieto špecifikujú veľkosti efektov (a tým pádom aj veľkosť vzorky potrebnej na odhalenie efektu), silu a vzory interakcii a mnoho ďalších parametrov.

Testovanie neinformatívnych teórii z môjho pohľadu nemá veľmi zmysel. To isté platí o replikáciach. V prípade replikácie je akurát sila efektu a veľkosť vzorky daná predchádzajúcou štúdiou a teda ten nominálny 1 bit informácie je dodržaný. V prípade onkologického výskumu je informatívnosť hypotéz omnoho vyššia. Autori musia určiť viaceré parametre intervencie, časový plán, zloženie lieku, dávkovanie… Každý z týchto parametrov sa môže ukázať ako nesprávny. Pri 8 bitoch informácie musí každý bit sedieť, aby bola štúdia replikovaná. Pravdepodobnosť, že sa tak stane náhodou je 0.5^8= 0.004. Replikačná úspešnosť okolo 0.2 je teda stále celkom dobrá. V prípade psychologického výskumu a jedného bitu informácie je náhodná pravdepodobnosť replikácie 0.5^1. Presuňme sa do budúcnosti. Replikačný projekt OSF sa úspešne skončil. Polovicu testovaných publikovaných výsledkov sa podarilo replikovať. Čo to znamená? Prvá odpoveď je “Hurá, sme na tom lepšie ako onkológia!” Moja odpoveď je iná. Neinformatívne teórie vedú k neinformatívnym experimentom a neinformatívnym replikáciam. Vskutku Miller ukázal, že neinformatívne hypotézy v kombinácii s malou vzorkou vedú k očakávanej pravdepodobnosti replikácie okolo 0.5. Replikačný projekt OSF má za cieľ zistiť replikovateľnosť psychologických výsledkov. My však vieme, že psychologické hypotézy sú neinformatívne a takisto vieme, že psychologické experimenty používajú malú vzorku na to, aby získali robustné výsledky. Tým pádom vieme, že replikovateľnosť štúdii je 0.5. Replikovateľnosť nie je zaujímavá. Potrebujeme vylepšiť informatívnosť a falzifikovateľnosť psychologických teórii. Potom sa môžeme zaoberať aj replikovateľnosťou. Zároveň dodávam, že nepovažujem zväčšenie vzorky za nevyhnutné pre dosiahnutie robustných výsledkov. Komputacionálne modely v kombinácii s bayesiánskou štatistikou dokážu vyťažiť aj s mála dát robustné výsledky. O tom ale niekedy nabudúce.

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s