Prevalencia nesprávnych výskumných stratégii medzi psychológmi

K štúdii od Simmonsohna (Simmons et al., 2011) a kolegov som sa už viackrát vracal. Čo trochu ostalo vo vzduchu je rozšírenie nesprávnych vedeckých stratégii spomínaných v tom článku. Zjavne hrá veľkú rolu, aká proporcia vedcov tieto stratégie aplikuje. Týka sa problém len úzkej skupinky výskumníkov (napr. v poslednom článku som citoval Dennyho Borsbooma, ktorý lokalizoval problémy hlavne medzi sociálnymi psychológmi), alebo sú prípady Hausera, Stapela a Smeestersa len vrcholom ľadovca?

Na tomto mieste sa nemusím odvolávať na anekdotickú evidenciu – ako to v tých 3,5 labáku, s ktorými mám skúsenosť bolo. Lesilie John a kolegovia z Harvardskej Business School (John et al. 2012) rozposlali ca. 6000 psychológom na amerických univerzitách dotazník, ktorých sa pýtal na ich výskumné stratégie. Okrem výskumných stratégii sa na záver pýtali, či už niekedy falšovali dáta. Posledná otázka poukazuje na problém dotazníkov. Respondenti sú motivovaní nepriznať praktiky keďže tieto sú sociálne nežiadúce. No a v tomto sa John a kolegovia špecializujú. Ako získať objektívne výsledky ak sú respondenti motivovaní klamať? Autori použili dva triky.

Po prvé, oznámili autorom, že výsledky sú anonymné, ale budú vyhodnotené pomocou algoritmu, ktorý dokáže odhaliť vzorce odpovedí, ktoré indikujú neúprimné informácie. Autori majú k dispozícii istú sumu peňazí, ktorú po vyhodnotení dotazníkov prevedú na charitu. Konkrétna výška sumy bude závisieť od toho koľko autorov bude pri vypĺňaní dotazníka podvádzať. Čím menej respondentov bude podvádzať tým vyššia bude suma peňazí určená pre charitu.

Po druhé, autori kládli otázky v rôznych modalitách v pevnom poradí. Najprv sa pýtali, koľko percent psychológov danú stratégiu aplikuje. Potom sa pýtali koľko percent by sa priznalo a nakoniec sa pýtali, či dotyčný danú stratégiu už niekedy použil. Autori potom pomocou odpovede na druhú a tretiu otázku vypočítali odhad skutočnej hodnoty. Odpoveď na prvú otázku slúžila ako kontrola. Príklad: 2 % priznajú falšovanie dát a uvedú, že 7 percent by sa priznalo, potom 2/0.07=28.6 % už niekedy falšovalo dáta.

Dotazníky vyplnilo ca. 2000 respondentov a výsledky sú nasledovné:

Na horizontálnej osy sú uvedené stratégie/otázky. Stĺpčeky znázorňujú percentuálne hodnoty. Čierny stĺpček ukazuje pomer psychológov, ktorí sa priznali (tretia otázka). Biely stĺpec sú ich odhady prevalencie (odpoveď na prvú otázku) a šedý stĺpec ukazuje odhady autorov štúdie (vypočítané na základe druhej a tretej otázky). V podstate vidieť, že stratégie spomenuté v Simmons et al. (2011, hlavne prvá a druhá stratégia vyššie v grafe vyššie) používa virtuálne každý. Takisto vidieť niektoré stratégie, motivované súčasným publikačným systémom. Keďže časopisy nepublikujú štúdie s hodnotou p nad 0.05 – ani o desatinku nad – viacerí vedci “zaokrúhľujú” p aby získali signifikantné výsledky. Takisto, vďaka deduktivistickej paradigme musíme sformulovať na začiatku každej štúdie hypotézy aj v prípadoch keď nemáme najmenšie potuchu aké výsledky by sme mohli získať. Tradičným riešením je sformulovať hypotézy post-hoc – na základe získaných dát. Čerešničkou na torte je posledná otázka. Podľa odhadu autorov ca. 30 % psychológov už niekedy falšovalo dáta.

Treba však dodať, že otázky sa pýtajú, či dotyčný vôbec niekedy použil danú stratégiu. Ak výskumníci zahrnú ako súčasť svojej výskumnej kariéry aj rôzne experimentálne praktiká a metodologické semináre počas štúdia (, ktorých cieľom je z časti učiť sa na vlastných chybách), potom výsledky nemusia byť až tak znepokojujúce. Preto John et al. spravili follow-up štúdiu, kde sa pýtali na frekvenciu daných prehreškov. Vskutku, väčšinou jedná o jednorázové prehrešky, aj keď nie výlučne. John et al. sa pýtali aj na frekvenciu prehreškov v iných labákoch. Výsledky sú nasledovné.

Ak pravidelne čítate Mozgostroje mali by sa vám pri uvedenom grafe vybaviť asociácie so skorším príspevkom.

Nakoniec, John a kolegovia analyzovali prevalenciu stratégii v závislosti od oblasti psychológie, v ktorej výskumníci pôsobia. Najlepšie je na tom klinická psychológia. Najhoršie dopadla sociálna a kognitívna psychológia, čo podporuje stereotyp spomenutý v úvode. Celkovo sú teda problémy spomenuté v Simmons et al. (2011) reálne a väčšina výskumníkov už niekedy podľahla tlaku a podvádzali. Zaujímavé bude pomocou takýchto dotazníkov sledovať ako sa prevalencia a vnímanie týchto stratégii bude časom meniť. Obzvlášť sociálni psychológovia sa majú nad čím zamyslieť.

John, L., K., Loewenstein, G. and Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices with Incentives for Truth-telling. Psychological Science 23, no. 5

Simmons, J.P., Nelson, L.D. and Simonsohn, U. (2011). False Positove Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science November 2011 vol. 22 no. 11 1359-1366

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s