Ako (ne)funguje peer review (v psychológii)

V poslednej diskusii došla reč na to ako funguje peer-review systém. Peer-review (PR) je systém posudzovania kvality vedeckej práce. Je súčasťou vedeckého publikačného systému a s ním je zviazaný aj proces odmeňovania vedcov a ich výskumu. Teoreticky má PR zabezpečiť, aby bol kvalitný a dôležitý vedecký výskum publikovaný a pseudoveda sa naopak na stránky vedeckých časopisov nedostala. Peer-review systém funguje pod rúškou anonymity a s výnimkou anekdotických hororových príbehových fragmentov, tak nikto naozaj nevie ako peer-review v praxi funguje. V poslednej dobe, obzvlášť v psychológii, sa množia indície, že PR pod povrchom zlyháva. Na tejto stránke som spomenul prípady falšovania dát, podvodov, publikovaných parapsychologických objavov a nepublikovateľných neúspešných replikácii týchto parapsychologických objavov (tu, tu a tu). Vzniká podozrenie, že súčasný PR tieto problémy nielenže nerieši, ale k ich bujneniu prispieva ak nie je rovno ich hlavnou príčinou. V tomto príspevku a rozoberiem dva články od Briana Noseka (2012a, 2012b), ktoré trochu poodhaľujú tvár peer-review a publikačného systému všeobecne v psychológii (aj keď problémy sa určite týkajú aj iných oborov). Nosek zároveň predstavuje možné riešenia existujúcich problémov.

V prvom rade si povedzme ako by to zhruba malo fungovať. Vedci robia výskum a po vyhodnotení dát napíšu správu o výsledkoch výskumu. Túto zašlú časopisu na publikáciu. Editor časopisu rozpošle článok recenzentom, ktorý napíšu posudok, či je výskum korektný a či sú splnené vedecké štandardy. Recenzenti dostanú anonymný manuskript a ich identita voči autorovi je takisto anonymná. Anonymita zamedzuje potenciálnemu uprednostneniu svojich známych a korupcii. Pozitívny posudok by mal stačiť na publikovanie. Historicky je však daný priestor pre publikáciu obmedzený. Viacej článkov sa uchádza o publikáciu ako je možné publikovať.Týmto pádom sa vytvára selekčný tlak. Selekčné kritéria sa sprísňujú a nútia vedcov robiť lepší a lepší výskum. Publikácie sú pre vedcov dôležité, keďže je to hlavný spôsob komunikovať svoje myšlienky a výskum. Naopak čím viac vedcov sa o výskum zaujíma tým dôležitejšie je ho publikovať. Publikačný systém tak slúži k šíreniu vedomostí a poznania – zároveň pomáha aj vedcom filtrovať dôležitý výskum, oddeliť plevy od zrna. Aby sa toto dosiahlo vyvinuli sa ďalšie mechanizmy, ktoré zvyšujú selekčné tlaky. Napríklad je možné zistiť počet citácii daného článku. Čím väčší počet citácii má výskum, tým dôležitejšie bolo publikovať ho. Citovanosť výskumu sa tradične meria podľa impact factoru (IF). IF sa udeľuje časopisom na základe citovanosti ich článkov. Tým pádom aj časopisy sú motivované publikovať citovaniahodný a teda dôležitý výskum. Naopak pre vedcov je IF signálom, určujúcim prestíž časopisu a teda prestíž ich potenciálnej publikácie v ňom. Renomé vedcov je následne posudzované na základe prestíže ich publikácii, resp. časopisov v ktorých sa im podarilo publikovať. Napríklad britský Nature a americký Science sú dva najprestížnejšie vedecké časopisy a publikácia v nich vám zabezpečuje profesúru a je vstupenkou do sveta akademikov. PR je teda systém, ktorý motivuje vedcov aj časopisy pomocou selekčných mechanizmov vytvárať a publikovať kvalitný a dôležitý výskum.

Pozrime sa teraz na to ako to naozaj funguje. Svoju publikáciu zašlete časopisu. Dostane je editor, ktorý pozná vašu identitu. Tento zháňa recenzentov. Väčšinou dvoch až troch. V prípade Science a Nature štyroch až piatich. Editor ani recenzenti nie sú platení. Svoju prácu robia dobrovoľne. Recenzentov nie je ľahké zohnať. Kto by už len písal anonymný, neplatený posudok o ktorý si nikto (okrem autorov a editora) neprečíta a ktorého vplyv na výslednú publikáciu je nepravdepodobný keďže práca bude len z minimálnou pravdepodobnosťou publikovaná (ca. 10 %, viď nižšie). A ak ho aj napíše, prečo by si mali dať záležať? Editor tak zašle článok odborníkom v obore, ktorých už dávno neotravoval a dúfa, že sa títo zľutujú a ukroja si zo svojho drahocenného času. V podstate všetky vedecké časopisy dávajú autorom možnosť navrhnúť potenciálnych recenzentov. Autori samozrejme navrhnú známych v obore. Editori radi oslovia tieto osoby. Títo radi akceptujú žiadosť o posudok keďže šípia, kto je autorom. V budúcnosti sa situácia môže obrátiť a recenzenti sa stanú autormi a autori recenzentmi. Z formálnej stránky môže mať posudok pár riadkov alebo byť dlhší ako samotný článok. Väčšinou však zhŕňa obsah článku a pripája krátky komentár ako článok vylepšiť. Čoho sa posudok má týkať a čo má posudzovať, to väčšinou časopisy blahosklonne neurčujú. Ostáva pri abstraktný požiadavkách ako korektnosť a inovatívnosť, prevratnosť výskumu. Požiadavka prevratnosti, novosti a dôležitosti výskumu je kontroverzná sama o sebe.  Recenzenti v zásade nie sú schopní posúdiť dôležitosť výskumu (nulová korelácia medzi posudkom a citovanosťou). Táto opcia slúži hlavne editorom ako zámienka pre odmietnutie štúdie. Publikačný priestor ostáva obmedzený napriek exponenciálnej explózii výskumu. Časopisy sú tak nútené znižovať kvóty akceptovaných publikácii. Pri dôležitých časopisoch sú tieto kvôty okolo 10 %. Väčšina posudkov je pozitívna a konštruktívna a tak editory nemajú pádny dôvod štúdiu odmietnuť. V tomto prípade môžu použíť argument, že štúdia nie dôležitá a jej závery nie sú dostatočne prevratné.

Samotné rozhodovanie editorov je tiež zaujímavé, keďže títo poznajú vašu identitu a vskutku napríklad afiliácia môže hrať rolu (experimenty s manuskriptami zaslanými pod rozdielnymi afiliáciami boli v tomto prípade naozaj prevedené a poskytujú evidenciu). Editor skompiluje posudky a zašle vám ich spolu s konečným rozhodnutím – väčšinou negatívnym ak nie pre nič iné tak, preto lebo vaša štúdia nie je dostatočne prevratná. Ak vašu štúdiu rovno neodmietnu, tak si buď editor vyžiada ďalšie posudky, poprípade musíte prácu na základe posudkov doplniť alebo revidovať. Revidovaná práca potom môže byť akceptovaná a publikovaná. Takto môže trvať jeden až dva roky, kým váš článok vyjde v tlači. Niekedy dlhšie, niekedy kratšie. Keď si uvedomíte, že dnes trvá jednu minútu uploadnúť článok na internete a tým ho sprístupniť kolegom aby si ho prečítali, tak vedecké časopisy nie sú nástrojom šírenia poznania, ale brzdovými mechanizmami. Samozrejme pridanou hodnotou sú recenzie. Tu je trochu otázne, čo od recenzii očakávate. Ak chcete vylepšiť svoj výskum a manuskript tak vám aj negatívne posudky pomôžu. Na druhej strane posudky od známych si môžete vyžiadať aj tak či tak, mimo publikačného procesu – v tomto prípade si ich dokonca budú môcť prečítať aj iní ľudia. Recenzie sú dôležité aj preto aby posúdili, či vedecké štandardy výskumu sú splnené. V prvom rade, konzistentnosť posudkov je úboho nízka (korelácia 0.07), recenzenti sa teda nevedia zhodnúť. V druhom rade medializované prípady ukazujú, že recenzenti nie sú schopní postrehnúť ani najokatejšie pokusy o fabrikovanie dát. Ako ukazuje diskusia pod Neurosketikovým článkom, niektorí si dokonca myslia, že to ani nie je ich úlohou. Čiže pridaná hodnota pre posúdenie kvality výskumu recenzii je mizivá.

Čo sa deje v prípade, že článok bol odmietnutý? Vedci článok na základe recenzii upravia a pošlú do ďalšieho časopisu na publikovanie. Publikačný cirkus pokračuje až kým článok nie je publikovaný alebo kým to vedci nevzdajú. Ako je z vyššie uvedeného jasné, odmietnutie alebo akceptácia štúdie je dielom náhody a tak vedci musia skúšať až kým im pri PR nepadne správna konštelácia recenzentov a editorov. Ako dlho to trvá a akú stratégiu volia vedci pri výbere časopisu je stále nejasné. Jednou možnosťou je začať vysoko a postupne znižovať latku a prejsť k časopisom s nižším IF. Zmysel takisto dáva opačný postup. Negatívne posudky vám totiž umožňujú vylepšiť manuskript a tým vylepšiť šance pre akceptáciu. Čo sa týka dĺžky tu Nosek sprístupnil svoju publikačnú históriu, ktorá je myslím zaujímavá. Zhruba 70 percent manuskriptov sa podarilo Nosekovi od 1999-2012 publikovať. Každý publikovaný článok bol v priemere zaslaný do dvoch časopisov. Priemerná doba od zaslania do prvého časopisu bola 2 roky. Pri niektorých článkoch si Nosek musel počkať až epických 3.5 roka.

Najhorším prípadom sú nepublikované práce. Tieto končia v zásuvkách a nikto sa o nich nedozvie. Môže sa tak napríklad stať, že vedci prevedú experiment, ktorý už prevedený bol, len o tom nevedia. Pritom môže náhodou získať silnejší efekt, ktorý je potom aj ľahšie publikovať. Vedci takto v nevedomosti opakujú experimenty až kým náhodou nezískajú signifikantný výsledok. V zásade nepublikovateľné sú nesignifikantné výsledky a pokusy o replikáciu. Tento stav je dôsledkom snahy časopisov publikovať dôležitý prevratný výskum. Pri silnom selekčnom tlaku, časopisy, ktoré tak nerobia získajú nízky IF a nízke renomé. Nikto v nich nechce publikovať. To znamená, že skoro všetky časopisy vyžadujú aby boli výsledky prevratné.

Na záver by som ešte vyzdvihol tok finančných zdrojov v publikačnom systéme. Vedecká činnosť je väčšinou financovaná štátom. Vedci produkujú výskum a jeho výsledky publikujú v časopisoch. Časopisy sú vedené súkromnými publikačnými spoločnosťami. Editori, recenzenti ani autori nedostanú žiadny honorár. Autori väčšinou musia zaplatiť za to aby sa mohli vzdať svojich autorských práv (samozrejme ak ich práca vôbec prešla PR.) Poplatky hraničia v rozmedzí od 0 až po 2000 dolárov a sú väčšinou kryté zo štátnych výskumných grantov. V dobe elektronických digitálnych technológii, print-on-demand a internetu sú publikačné náklady zanedbateľné. Publikačné spoločnosti zabalia obsah a predávajú ho ďalej. Hlavnými odberateľmi sú štátne inštitúcie – knižnice a univerzity. Jedná sa o nemalé sumy. Napr. MIT zaplatí 2 milióny dolárov ročné predplatné u Elsevieru, čo je len jedna publikačná spoločnosť. Články si môžu kúpiť aj súkromné osoby. Na internete jeden článok napr. od Elsevieru stojí 35 dolárov. Ak vám to pripadá ako lukratívny biznis, tak sa nemýlite. Elsevier vykázal za posledných 10 rokov ročný zisk vždy nad 30 %. To môžete porovnať s minuloročnými 24 percentami od Apple, čo bol zatiaľ najúspešnejší rok pre Apple.
To zároveň z časti ozrejmuje komu status quo vyhovuje a aj prečo sa systém drží.

Skôr než sa dostanem k diskusii Nosekovej alternatívy, vyššie spomenutá situácia si zaslúži komentár, keďže nie všetky na prvý pohľad problematické aspekty sú zlé. To, že sa autori a recenzenti poznajú, to sa dá očakávať a je do určitej miery nevyhnutné. Recenzenti by sa mali vyznať v danej oblasti výskumu, ktorej sa štúdia týka. Výskumníci v týchto užších oblastiach sa samozrejme poznajú z konferencii. Ak sa aj poznajú nemusia zastávať podobné názory ani súhlasiť s daným výskumom. Väčšinou je propagovanie vlastnej pozície dôležitejšie ako vychválenie kolegu.

Napriek zle nastavenému systému, väčšina recenzí je konštruktívna a ponúka vysokohodnotný obsah. Pre väčšinu recenzentov nie je cieľom zabrániť publikácii, ale vylepšiť manuskript. V tomto prípade je len škoda, že si tieto recenzie nikto iný neprečíta.

Nakoniec treba spomenúť mnohé výnimky z daného fungovania, ktoré bolo podmienené hlavne nástupom internetu. Väčšina časopisov umožňuje publikovať váš článok s voľným prístupom, ak si priplatíte. Takisto časopisy ponechávajú výskumníkom opciu zdielať na požiadanie vlastný manuskript s inými vedcami. Niektorí výskumníci využívajú túto opciu a hodia všetky pdfká na svoju webstránku, pričom pridajú upozornenie, že kliknutie na pdf odkaz predstavuje osobnú žiadosť o manuskript. Najčerstvejší vývoj poskytujú časopisy s voľným prístupom (viac o Open Access u Jaroslava Petra). Psychológom sa ponúka napr. PlosOne alebo Frontiers in Psychology. PlosOne publikuje online štúdie naprieč vedeckými obormi. Frontiers je viac špecializovaný a rozdelený na podobory. Problémom nových časopisov je, že vedci si nemôžu byť istý ich renomé. Toto možno zhodnotiť až po určitom čase. Napr. Frontiers in Psychology ešte nebol udelený IF (niežeby IF bol nejak extra relevantný pre renomé ale ako príklad poslúži), keďže ten sa počíta až po minimálnej dobe troch rokov. PlosOne milo prekvapil, keď získal solídny IF a v podstate je dnes už etablovaným a renomovaným časopisom, ktorý publikuje aj štúdie, ktoré majú potenciál dostať sa do povedomia širšej verejnosti (napr. naposledy si štúdiu od Nicky Clayton všimol aj hlavný denník Stredozeme). PlosOne sa darí napriek tomu, že obmäkčili PR proces a úplne sa vzdal požiadavky prevratnosti a dôležitosti výskumu. Recenzenti posudzujú len korektnosť výskumu (podiel akceptovaných prác je ca. 70 %). Takisto publikačný priestor PlosOne nie je obmedzený a počet publikovaných prác stúpa exponenciálne. Podobne sa Frontiers snaží inovovať Review proces. PlosOne a Frontiers hradia svoje náklady z poplatkov za publikáciu, ktoré je napr. vo Frontiers 1600 eur, čo je dosť veľa v porovnaní s ostatnými časopismi. Aj tu sú však už alternatívy na ceste. PeerJ začína na jeseň a sľubuje publikačné náklady od 100 dolárov na autora a nižšie.

V podstate najďalej sa pri inováciach PR dostali matematici a fyzici, ktorí (okrem toho, že začali bojkot Elsevieru) svoje práce publikujú online na arxiv.org. Arxiv je otvorený archív, kam ukladajú vedci svoje manuskripty skôr než ich publikujú. Obdobou Arxivu pre sociálne vedy má byť SSRN, ktorého manuskripty som už viackrát na tomto blogu linkoval. Hlavným problémom v sociálnych vedách je, že mnohé časopisy neumožňujú publikovať manuskripty, ktoré sa objavili na internete.

Čiže riešenia sú už z časti na ceste, ale stále je čo zlepšovať. Posúďte Nosekov ideál. Práve ste dokončili svoj článok. Uploadnete ho na obdobu Arxivu. Článok sa stane prístupným, notifikácie sú zaslané autorom, ktorý odoberajú vaše články. Vedci môžu komentovať váš článok alebo uploadnúť posudok. Posudok možno diskutovať. Posudok a diskusné príspevky sú hodnotené (ako napr. recenzie na Amazon). Týmto môžete získať aj kredit ako vynikajúci recenzent. Inštitúcie a organizácie ako APA alebo Cognitive Science Society majú vlastné rady editorov a recenzentov a môžete si u nich vyžiadať oficiálny posudok, poprípade tieto poskytnú automaticky posudok ak je vaša práca široko diskutovaná. Vedecké časopisy existujú už len vo forme promotérov. Vyhľadávajú medzi uploadnutými prácami, články, ktoré by zodpovedali ich záujmom a obsahovým a formálnym požiadavkám, poprípade môžu požiadať autora aby pozmenil formát práce, tak aby zodpovedal ich predstavám. Publikácie v časopisoch pridávajú štúdiám na prestíži, čím sú pre vedcov zaujímavé. Časopisy takisto poskytujú výber informácii, ktorý zodpovedá záujmom vedcov. Vedci pomocou tohoto systému môžu sledovať publikácie na rozličných úrovniach detailu. Napr. odber správ od určitých autorov, alebo článkov citujúcich ich práce im umožňuje zistiť, čo sa paralelne deje v labákoch kolegov pracujúcich v rovnakej oblasti. Uploadnuté články nie sú nijak obmedzené a môžu ísť ľubovoľne do detailov. Časopisy poskytujú vedcom výber toho najlepšieho zo širšieho spektra podoborov psychológie, psychológie ako celku alebo iných oborov, o ktoré sa zaujímajú. Časopisy publikujú štúdie v úspornejšom formáte, čim šetria vedcom čas. Vedci o detaily neprichádzajú, keďže pôvodný detailný článok je možné dohladať v archíve. Práca vedcov sa hodnotí na základe odozvy ich článkov a kvality ich posudkov. Na rozdiel od súčasného stavu proces posudzovania nikdy nekončí. Vedci sú tak nútení reagovať na posudky a pokusy o replikáciu a vylepšovať svoje články resp. prehodnotiť svoje dáta, keďže takéto posudky ovplyvňujú prestíž danej štúdie.

Nosek nazval svoju víziu vedeckou utópiou. V súčasných podmienkach je veľmi ťažké predstaviť si, že by došlo k jej realizácii. Nosek však poznamenáva, že aj prechodné vylepšenia môžu výrazne zlepšiť kvalitu PR a tým aj kvalitu výskumu. V konečnom dôsledku, napriek všetkých snahám a lobby publikačných spoločností o monopolizovanie svojho postavenia a zachovania status quo, akým smerom sa PR uberie závisí len od vedcov a ich ochoty reformovať svoju publikačnú prax.

Nosek, Brian A. and Bar-Anan, Yoav, (2012a). Scientific Utopia: I. Opening Scientific Communication. Psychological Inquiry

Nosek, Brian A., Spies, Jeffrey and Motyl, Matt, (2012b) Scientific Utopia: II – Restructuring Incentives and Practices to Promote Truth Over Publishability. Perspectives on Psychological Science, Forthcoming.

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s