Hierarchia vied a negatívne výsledky

Bischofova hierarchia vied má dva atraktory. Jedným je biológia a druhým fyzika. Tieto dve vedy totiž pristupujú rozdielne k redukcionizmu. Okolo biológie sú zhlúknuté inžinierstvo, psychológia, ekonómia a sociálne vedy. V blízkosti fyziky sa nachádza chémia a matematika. S Bischofom sa dá súhlasiť aj nesúhlasiť, to už nechám na čitateľa. Každopádne oveľa známejším ako Bischofove rozdelenie je tradičné rozdelenie vied na “tvrdé” a “mäkké” (hard and soft science), ktoré sa značne prelína s rozdelením na prírodné a spoločenské vedy. Môžeme teda začať matematikou ako ideálnou vedou a prepracovať sa cez fyziku, chémiu, biológiu, psychológiu, ekonómiu až ku sociálnym vedám. Implikáciou tejto hierarchie je, že mäkšie vedy musia aplikovať metódy tvrdých vied, aby sa stali vedeckejšími.

S týmto pohľadom už tradične nesúhlasia konštruktivisti, podľa ktorých realita aj tak neexistuje/ je nepoznateľná a rozdiely medzi fyzikmi a psychológmi je možné vysvetliť ako rozdiely medzi dvoma kultúrami. Tak ako dva susediace kmene v pralese – každý má svojich bohov, svoje zvyky a svoje tradičné jedla,  tieto nemožno hodnotiť ako “reálnejšie” resp. veridikálnejšie.

Štúdie, skúmajúce rozdiely medzi tvrdými a mäkkými vedami už existujú. Väčšinou si posvietili na štýl publikovania: počet autorov, počet citácii, pomer grafov. Ale pozreli sa aj na koncipovanie učebníc, priebeh prednášok a kariérny rast v rôznych oboroch. Problém v týchto štúdiách je, že aj keď sa rozdiely nájdu, nie je jasné, prečo a ako by mal tento rozdiel súvisieť s efektívnosťou vedy pri popisovaní reality.  Je vyšší počet citácii lepší či horší? Daniele Fanelli si vybral preto kritérium, ktoré je pre fungovanie vedy dôležité: frekvencia negatívnych (nesignifikantných) výsledkov, ktoré nepodporujú resp. vyvracajú vedcove hypotézy. Fanelli (2011, s. 2) vysvetľuje:

Scientists, like all other human beings, have an innate tendency to confirm their expectations and the hypotheses they test. This confirmation bias, which operates largely at the subconscious level, can affect the collection, analysis, interpretation and publication of data and thus contribute to the excess of positive results that has been observed in many fields. In theory, application of the scientific method should prevent these biases in all research. In practice, however, in fields where theories and methodologies are more flexible and open to interpretation, bias is expected to be higher.

Fanelli s kolegami, náhodne vybrali ca. 2500 štúdii z rôznych oborov a vyrátali v koľkých z nich výsledky potvrdili resp. nepotvrdili vedcove hypotézy. Výsledky sú nasledovné.

Poradie potvrdzuje delenie vied na mäkké a tvrdé. Nemalo by prekvapiť, že psychológom sa podarilo získať pekné prvé miesto. Možné vysvetlenia pre prorocké schopnosti psychológov som už na tomto blogu uviedol (napr. tu a tu). V tomto prípade treba spomenúť aj negatívny dopad publikačnej politiky mnohých vedeckých periodík. Tieto pri svojom dôraze na prevratné a nové výsledky, odmietajú publikovať negatívne výsledky – štúdie, ktoré nič nenašli. Tieto časopisy sú si vedomé dôležitosti publikovania negatívnych výsledkov stavajú sa však k celej situácii oportunisticky – negatívne výsledky sú dôležité, ale publikujte si ich niekde inde.  Negatívne výsledky je tak možné publikovať len v ezoterických žurnáloch s nízkym renomé, ak sa vôbec publikujú. Takto vzniká tlak na vedcov získať a publikovať pozitívne a signifikantné výsledky. V konečnom dôsledku tak vedci prepadajú, či už vedome alebo nevedome chybám pri plánovaní, prevedení experimentov a pri analýze a referovaní dát.

Smutné je že tento trend, ako ukazuje ďalšia Fanelliho (2012) štúdia, sa prehlbuje. Vedci publikujú stále menej negatívnych výsledkov a tento trend je silnejší v amerických časopisoch ako v tých európskych (, ktoré sú väčšinou aj menej prestížne).

Ako poznamenal jeden komentátor, vedecký výskum sa tak blíži do “ideálneho” stavu, keď vedci prestanú pracovať empiricky. Keďže všetky ich hypotézy sa aj tak potvrdia, bude stačiť publikovať len hypotézy, argumenty a teórie. (Nevhodné poznámky na adresu istého akademického oboru, ktorý už tento “ideálny” stav dosiahol si tentokrát odpustím.)

Fanelli, D. (2010). ‘‘Positive’’ results increase down the hierarchy of the sciences. Plos One, 5(3), e10068.

Fanelli, D. (2012). Negative results are disappearing from most disciplines and countries. Scientometrics, 90, 891–904.

3 thoughts on “Hierarchia vied a negatívne výsledky

  1. Takže “jistý akademický obor” dělí od psychologie celkem zanedbatelných 10 procent? Proč potom tolik pokřiku? (Mimochodem “jistý obor” je do značné míry kritická disciplína zaměřující se na vyvracení teorií, i když většinou teorií jiných autorů.)

    Trochu seriózněji: měl bych otázku. Pokud se měkčí vědy mají stát efektivnějšími, měly by přijmout metody tvrdších věd. To už se probírá docela dlouho, ale mě není úplně jasné, jak by to měkčí vědy měly provést. Vy máte nějakou představu, jak by se mohly “pochlapit”, aniž by ztratily ze zřetele svůj předmět výzkumu? Obvykle se tvrdí, že tvrdost vědy jde ruku v ruce s menší složitostí zkoumaných předmětů. Máte na to jiný názor? Rád se nechám poučit.

  2. TM: “zanedbatelných 10 procent”: so slovami “významný” a “zanedbateľný” treba v kontexte dát narábať opatrne🙂 Čisto štatisticky vzaté je rozdiel medzi psychológiou a istým akademickým oborom (100 %) štatisticky významný (konfidenčný interval nezahŕňa 100 %). Naopak rozdiel medzi psychológiou a napr. fyzikou a chémiou štatisticky signifikantný nie je (KI sa prelínajú). Aj keď sa pozrieme na absolútne čísla, tak má psychológia dvakrát bližšie k fyzike ako k istému akademickému oboru. Samozrejme, celá veda je moc blízko a ďalej sa približuje k 100 %, nad čím som lamentoval v poslednom odstavci.

    TM: “menší složitostí zkoumaných předmětů”: myslím, že hlavný rozdiel je v spôsobe abstrakcie medzi fyzikou a biológiou. V tomto súhlasím s Bischofom, aj keď do určitej miere aj fyzici používajú ten biologický systém abstrakcie pri modelovaní dynamických systémov. Teda tie metódy tvrdých vied treba preberať kriticky a selektívne. V zásade si však myslím, že kombinácie formálnych matematických modelov (namiesto tých just-so-stories, ktoré psychológovia nazývajú teóriami) v kombinácii s neurobehaviorálnymi metódami (EEG, fMRI, Eyetracking), ktoré umožňujú získať detailné dáta by bol pokrokom pre psychológiu. Z časti sa to už deje (ja napr. tak tiež pracujem) a práve chystám o tom článok.

    TM: “Obvykle se tvrdí, že tvrdost vědy jde ruku v ruce s menší složitostí zkoumaných předmětů.” S tým súhlasím. Ale pre mňa z toho vyplýva, že by mala byť psychológia tvrdšia. Zložitejšie objekty vyžadujú zložitejšie modely a tieto modely najskôr neskompilujeme so svojim mozgom primáta. Preto používame formálne matematické modely, simulované na počitačoch. Psychológia by ich mala ak tam využívať viac a nie menej.

  3. Díky za odpověď, zajímavé. S těmi 10 procenty to byl samozřejmě spíš neškodný vtípek a slovo “zanedbatelný” nebylo použito technicky.

    (Na okraj: ten váš odhad 100 % pro “obor” se zakládá na čem? Na empirických datech asi sotva. Bylo by zajímavé něco podobného udělat s filozofií, tedy pokud by to šlo nějak smysluplně provést – negativních výsledků dostanete ve filozofii za korunu pytlík. Pokud by se do vzorku namíchala x-phi a filozofičtější část kognitivní vědy, možná by to bylo docela překvápko. A možná taky ne. Každopádně by to bylo zajímavější než stanovit výsledné číslo apriorní intuicí, která by v arzenálu obhájce empirického přístupu měla spíš absentovat.)

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s