Stavili by ste si na vedu?

V súvislosti s predpoveďami priebehu a výsledku amerických prezidentských volieb prišiel Alex Tabarrok s bonmotom, že stávkovanie je daň na nezmysli. Kontext výroku bol nasledovný. Politický komentátori v USA predpovedali tesný a vyrovnaný priebeh volieb. Štatistik Nate Silver predpovedal pohodlnú výhru pre Obamu za čo bol viacerými komentátormi v diskusiách atakovaný. Silverova reakcia bola, že nech si na výsledok stavia, čo vyvolalo ešte väčšiu vlnu pobúrenia. Výsledok je taký, že k stávke radšej nedošlo, Silver predpovedal výsledok pre každý jeden americký štát správne a politický komentátori a analytici sa mýlili. Xkcd zhrnul celú kauzu nasledovne.

Návrh stávky je výzva, aby si autori za svojimi nezmyslami stáli. Pre realitu a fakty je to win-win situácia. Buď producenti memetického smogu stíchnu alebo prídu o peniaze. Ten druhý prípad nie je vôbec zriedkavý. Koniec koncov stávkové kancelárie práve na tomto zarábajú. Nie je prekvapivé, že stávkovanie sa týka oblastí kde sa väčšina populácie cíti expertmi – šport a politika. K tomu sa môže pridať aj ekonomika, či už v rámci tipovania v stávkových kanceláriách alebo ak ste viac pri peniazoch a máte známosti tak cez hedgeové fondy. Ak si zoberieme internetové diskusie ako indikátor pre rozšírenie memetického smogu, určite by sa oplatilo rozšíriť portfólio stávkových kancelárii o takzvané alternatívne hypotézy. Nepochybne by mnoho ľudí ocenilo, keby si mohli vsadiť na účinnosť modlitby, škodlivosť geneticky modifikovaných potravín, deficity detí vychovávaných homosexuálnymi pármi alebo účinnosť homeopatie.

Rovnakému testu však môžeme podrobiť aj vedu. Vskutku niekoľko nedávno publikovaných článkov poukazuje na problémy publikovaných výsledkov v oblasti biomedicíny a farmácie, takže zo stávkovania proti (publikovanej) vede môže byť celkom dobrý biznis. Farmaceutický výskum je oblasť kde sú výsledky ovplyvňované aj inými cieľmi ako je hľadanie pravdy. Pre farma firmy je výskum a vývoj nových liekov biznis a ich ultimátnym cieľom je docieliť zisk. Takáto snaha môže viesť k vývoju neefektívnych liekov, kde je samotný vývoj vnímaný skôr ako marketing než hľadanie účinnej drogy. Tieto problémy – zhrňme ich pod pojmom farma bias, sa čiastočne darí riešiť pomocou povinného predregistrovania a schválenia štúdii štátnymi inštitúciami poverenými nezávislým dohľadom. Výsledky musia byť publikované, sprístupnené nezávisle od úspešnosti lieku. Farma bias je problém, ktorý sa stále nepodarilo celkom eliminovať. Farmaceutický priemysel však v súčasnosti viac brzdí iný problém a to publikačný bias, ktorým trpí výskum akademikov.

Farma firmy rešeršujú publikovaný akademický výskum, aby identifikovali potenciálne úspešné lieky. Ako prvé musia samozrejme replikovať publikované efekty. No a tu vzniká problém. Problémy publikačného biasu sa netýkajú len psychológie ale aj medicíny. Ich dôsledkom je, že väčšina publikovaného výskumu tvoria tzv. alfa chyby – signifikatné efekty, ktoré sa nedá replikovať lebo neexistujú. Prinz a kolegovia (2011) pracujúci pre nemecký Bayer sa podelili so svojou frustráciou s nereplikovateľnosťou akademického výskumu. Autori spravili krátky prieskum medzi 23 vedúcimi labákov (onkológia a kardiovaskulárny výskum) vo farma firmách ohľadom úspešnosti ich replikačných projektov. Len 25 % publikovaných výsledkov sa podarilo replikovať. V dvoch tretinách prípadov boli získané dáta nekonzistentné s publikovanými výsledkami, takže firma musela buď previesť dodatočný výskum alebo projekt rovno vzdať. V novšom komentári sa ozvali výskumníci z onkologického oddelenia kalifornskej firmy Amgen (Begley & Ellis, 2012). Ich úspešnosť je ešte mizernejšia. Z 53 štúdii, ktorých výsledky testovali, sa im podarilo replikovať len 6 štúdii. V neúspešných prípadoch výskumníci kontaktovali autorov pôvodných štúdii:

For results that could not be reproduced data were not routinely analysed by investigators blinded to the experimental versus control groups. Investigators frequently presented the results of one experiment, such as a single Western-blot analysis. They sometimes said they presented specific experiments that supported their underlying hypothesis, but that were not reflective of the entire data set. (s. 532)

Čiže znova vidíme tradičný mix publikačného biasu a pochybných výskumných stratégii ako to poznáme z psychológie. Rozdielom je, že zatiaľ čo na psychológov nie sú kladené nejaké vysoké nároky – veď títo aj tak produkujú len rozprávkárske teórie a ťažko niečo aplikovateľné; od biológov a medikov sa čaká, že ich drahý výskum povedie aj k aplikovateľným výsledkom. Biológovia tak nemajú už moc času. Ak nedokážu sami reformovať svoje výskumné praktiky a svoj publikačný proces budú k tomu zrejme donútený inštitúciami, ktoré ich financujú. Že najhlasnejšie na tieto problémy upozorňujú práve hnusné ziskubaživé farma firmy pôsobí trochu bizarne.

Nech už riešenie akademických problémov dopadne akokoľvek, farmaceutický priemysel sa medzičasom vynašiel. Atlas Venture a zrejme aj ďalšie fondy poskytujú poistku farma firmám pre prípad, že sa im nepodarí výskum replikovať a ich projekt tak prepadne. V podstate ide o hedgeové fondy (a teda stávkovanie), akurát ich záruky sa netýkajú bankrotu veriteľa a jeho neschopnosti splatiť dlh ale neúspešnosti replikácie.

Psychológovia si budú ešte musieť počkať, kým vyprodukujú niečo aplikovateľné, aby sa o nich priemysel vôbec začal seriózne zaujímať. Medzičasom si môžete v rámci replikačného projektu na Open Science Framework staviť aspoň symbolickú sumu na (ne)replikovateľnosť individuálnych psychologických štúdii.

Begley, C. G., & Ellis, L. M. (2012). Drug development: Raise standards for preclinical cancer research. Nature, 483, 531–533.

Prinz, F., Schlange, T., & Asadullah, K. (2011). Believe it or not: How much can we rely on published data on potential drug targets? Nature Reviews Drug Discovery, 10, 712–713.

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s