False positive psychology

Psychológiu poznačili minulý rok dva škandály. V auguste sa Marc Hauser vzdal svojej profesúry na Harvarde, po tom čo boli odhalené Hauserove “pochybenia” pri vyhodnocovaní a prezentácii dát. Tri štúdie museli byť stiahnuté a Hauserovi bol udelený zákaz výučby. V Hauserovom prípade nie je celkom jasné v čom jeho pochybenia spočívali – či išlo o úmyselnú falzifikáciu dát alebo podvedomú skreslenú interpretáciu dát. Na jeseň sa prevalil škandál ktorého aktérom je sociálny psychológ Diederik Stapel z Tilburgskej Univerzity. Tento škandál je o dosť priehľadnejší, keďže bolo preukázané že Stapel fabrikoval dáta. Viaceré dáta boli navyše publikované v rešpektovaných vedeckých periodikách a iné boli podkladom pre dizertačné práce jeho doktorandov (ešte nie je celkom jasné, o ktoré štúdie sa jednalo a preto sa oplatí sledovať Stapelov tag na retraction watch). Keďže v Holandsku berú takéto veci vážne, Stapelovi hrozí za jeho prehrešky väzenie.

Škandály vyfabrikovania dát sa určite netýkajú len psychológie, avšak v psychológii je značné podozrenie, že fabrikovanie len reflektuje nezdravé výskumne prostredie v pozadí. Viaceré metodologické štúdie tak aj naznačujú. O najviac reakcii sa asi postaral článok Josephova Simmonsa a kolegov v Psychological Science, ktorý poukazuje na problematickosť 4 bežných praktík v psychologickom výskume. Všetky 4 praktiky zvyšujú pravdepodobnosť nesprávneho odmietnutia nulovej hypotézy. Týmto chybám sa hovorí aj alfa chyba alebo jednoducho false-positives – chybné pozitívne (=signifikantné) výsledky. Z tohoto pojmu je odvodený aj názov článku False positive psychology.

Stratégia 1: Prezentuj len merané premenné, ktoré sú signifikantné. Povedzme, že meriate stres u pokusných osôb a stres kvantifikujete pomocou pulzu a behaviorálnej odpovede (napr. presnosť pri umiestnení kurzora myši). Zistíte, že vaša manipulácia je štatisticky signifikantná v jednom prípade, ale v druhom nie. Následne prezentujete len ten signifikantný prípad. Týmto zvyšujete pravdepodobnosť alfa pochybenia.

Stratégia 2: Koľko pokusných osôb potrebujeme aby sme získali signifikantné výsledky? Na jednej strane vieme, že pri väčšej vzorke budú aj slabé efekty signifikantné. Na druhej strane chceme pokiaľ možno ušetriť probandov a prostriedky pre potenciálnu ďalšiu štúdiu. Použiť môžeme nasledujúcu stratégiu. Na začiatok meriame 20 probandov. Ak výsledky nie sú signifikantné regrutujeme ďalší 10 do poolu a zopakujeme štatistickú analýzu. Tento proces opakujeme až kým nezískame signifikantné výsledky. Znova je problém v tom, že opakovaným štatistickým testovaním zvyšujeme pravdepodobnosť alfa chyby. Nižšie uvedená grafika ukazuje prípad v ktorom p konverguje niekde ku .4 avšak po 22 probandoch sa náhodne dostane pod úroveň .05. Ak po 22 probandoch stopneme zber dát, omylom odmietneme nulovú hypotézu.
nhst

Stratégia 3: Ak sú výsledky nesignifikantné môžeme pribrať do analýzy ďalšie faktory. Vek a pohlavie pokusnej osoby sú vo väčšine prípadov dostupné a my môžeme analyzovať podskupiny našej vzorky. Viacnásobným testovaním zvyšujeme pravdepodobnosť alfa chyby.

Stratégia 4: Samozrejme môžeme z prezentácie výsledkov vynechať aj niektoré manipulácie ktoré sme plánovali prezentovať. Napríklad testujeme či sa stres zvýši po prezentáci odporných obrázkov (napr. anatomické fotografie z pitevne) vs. neodporných, po prezentácii erotických vs. neerotických obrázkov, po prezentácii známych scén vs. neznámych scén. Čím viac situácii máme, tým vyššia je pravdepodobnosť že aspoň v jednej z podmienok získame pozitívne výsledky.

Tieto stratégie sú dosť bežné. Keďže vedci si mnohokrát vôbec nie sú vedomí, že stratégie sú problematické, neraz sú aj priznané v samotných publikáciach. A to aj s požehnaním recenzentov. Ako riešenie odporúčajú autori vyvarovať sa týmto chybám. Zároveň ponúkajú aj odporúčania pre samotných recenzentov ako zamedziť týmto stratégiám a v prípade nedodržania pravidiel vyžadovať exaktnú replikáciu štúdie zo strany autora.

Simmons a co. kvantifikovali do akej miery môžu dané stratégie ovplyvniť pravdepodobnosť alfa chyby. Ak si zoberieme experiment s dvoma závislými premennými, aplikujeme príklad Stratégie 2 uvedený vyššie (20+10+10+…), priberieme pohlavie pokusnej osoby a odpustíme si pri prezentácii dát jednu z troch manipulácii, dosiahne (pri nominálnej hodnote alfa .05) pravdepodobnosť alfa chyby aspoň v jednom z testov úroveň 60 percent. Inak povedané namiesto grantu pre (takýto) psychologický výskum si môžete hodiť mincou. Minca aspoň nemá žiadny bias v prospech vedcom zastávaných hypotéz.

Simmons, J.P., Nelson, L.D. and Simonsohn, U. (2011). False Positove Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science November 2011 vol. 22 no. 11 1359-1366

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s