Simonsohnov lov na čarodejnice

Vrátim sa k môjmu predchádzajúcemu článku o Simmonsohnových úspechoch v roli lovca podvodníkov medzi psychologickými výskumníkmi. V ňom som predpokladal, že jeho metóda bude spočívať v odhalení nerovnovážneho rozdelenia p hodnôt s mnohými hodnotami tesne pod 0.05. Že takýto fenomén existuje, na to poukázala štúdia rozdelenia p hodnôt v ekonomických publikáciach. Medzičasom sa objavila analogická štúdia (Masicampo a Lalande, 2012), ktorá sa pozrela na zub p hodnotám v psychologických publikáciach. Konkrétne išlo o práce publikované v posledných 12 číslach pred augustom 2008 v troch prestížnych časopisoch Journal of Social and Psychological Sciences, Psychological Science a Journal of Experimental Psychology: General. Výsledky tvoria histogram a ukazujú odchylku od exponenciálneho rozdelenia v tesnej blízkosti pod p < 0.05.

Táto odchýlka bola v prípade PsychScience a JSPS signifikantná. K tejto odchýlke vedú pochybné vedecké praktiky, o ktorých som už viackrát písal. Ja som predpokladal, že ak nejaký vedec chce falšovať dáta tak si svoje výsledky vygeneruje pomocou algoritmu, pričom upraví prípadné blízko signifikantné výsledky tak, aby podliezli prahovú hodnotu 0.05. Tak by som to aspoň spravil ja. Treba dodať, že Simmonsohnovi podvodníci sa s tým moc netrápili a dáta si vycucali z prsta. V tomto prípade sa stačí pozrieť na čísla uvedené pri štandardných odchýlkach a priemerných hodnotách. Simonsohnov manuskript je už dostupný online. Neuroskeptic sa už nad ním rozčuľoval. V podstate totiž žiadne štatistiky na prešetrenie nepotrebujeme. Človek, ktorý pravidelne pracuje s dátami by mal hneď získať podozrenie, že s analyzovanými dátami niečo nie je v poriadku.

Vyššie sú uvedené dáta zo štúdie od Lawrenca Sannu. Zvýraznené sú štandardné odchýlky meraných hodnôt v zátvorkách. Tieto sú si navzájom extrémne podobné. A to vo všetkých troch experimentoch. Simonsohn preveril tieto hodnoty aj štatisticky. Ilustrujem jeho postup na treťom experimente. Vyrátame priemer štandardných odchýlok, ktorý je 25.11. Predstavme si ideálnu situáciu a to, že  skutočné štandardné odchýlky sú vo všetkých troch experimentálnych skupinách rovnaké a rovné 25.11. Následne vygenerujeme dáta pomocou nezávislých gausovských rozdelení \mathcal{N}(\mu=39.74,\sigma=25.11),\mathcal{N}(\mu=85.74,\sigma=25.11),\mathcal{N}(\mu=65.73,\sigma=25.11) a odmeriame v koľkých prípadoch boli štandardné odchýlky podobnejšie ako v Sannovej štúdii. Pri 100000 simuláciách Simonsohn získal len ca. 1300 takýchto prípadov, teda pravdepodobnosť je 0.013. V ďalších dvoch experimentoch bola pravdepodobnosť podobnosti štandardných odchýlok 0.053 a 0.026 a agregovaná pravdepodobnosť všetkých troch experimentov je 0.00015. Simonsohn následne vyrátal štatistiky aj pre štúdia s podobnými meranými hodnotami, aby vylúčil možnosť, že podobnosť štandardných odchýlok je typická pre danú závislú premennú. Vskutku, pri štúdiách iných autorov tomu nebolo tak. Naopak Simonsohn si posvietil na dve novšie Štúdie od Sannu, pri ktorých sa daný fenomén opakoval. Simonsohn si vyžiadal od Sannu dáta, na ktorých boli jeho analýzy založené. Simonsohn previedol ďalšie simulácie pomocou skutočných dát. Pri každom experimente náhodne vyberal z množiny meraných hodnôt až kým nezískal rovnaký počet probandov. Následne vyhodnotil podobnosť štandardných odchýlok. Aj v tomto prípade sa ukázala Sannom nameraná hodnota ako extrémne nepravdepodobná. Všetky tieto simulácie ukazujú, že dáta boli vyfabrikované a nemohli vzniknúť v náhodnom procese merania.

Podobne postupoval Simonsohn v druhom prípade, v prípade Smeestersa. U Smeestersa boli problémom podobné stredové hodnoty. Simonsohn si aj tentokrát vyžiadal pôvodné dáta. Simulácie s dátami potvrdili ich nepravdepodobnosť. V jednom experimente napríklad mali probandi ponúknuť peňažné sumy za určitý produkt. Probandi typicky ponúkajú sumy v násobkoch 5 (teda napr. 65,70,75,…). V Smeestersových dátach však tento fenomén úplne absentoval. Smeesters sa snažil vysvetliť dané problémy tým, že selektívne vylučoval probandov zo vzorky. Simonsohn však poznamenáva, že takéto vysvetlenie problém variability nevysvetluje.

Ako bolo spomenuté obaja výskumníci sa medzi časom vzdali svojich pozícii. Toto sa stáva po Hauserovom vzore štandardným postupom ako sa univerzity vyhnú škandálom. Kritici sú umlčaní, lebo dotyční opustil akademické prostredie, zároveň tak spravili dobrovoľne zo súkromných dôvodov, takže oficiálne sa nemôže hovoriť o podvode. Simonsohn zhŕňa svoju loveckú stratégiu nasledovne: Ak máte podozrenie na základe jednej štúdie 1. pozrite sa aj na iné štúdie od daného autora 2. porovnajte tieto s podobnými štúdiami od iných autorov 3. rozšírte analýzy na pôvodné dáta. 4. kontaktujte autorov a dajte im možnosť vysvetliť diskrepancie 5. ak podozrenie pretrvávajú, kontaktujte inštitúciu, ktorej úlohou je prešetrenie podvodov. Simonsohn poznamenáva, že bod 3. sa nie vždy podarí splniť. Vskutku podozrenie v prípade tretieho výskumníka sa Simonsohnovi nepodarilo preveriť, keďže táto osoba odmietla sprístupniť pôvodné dáta. Simonsohn tvrdí, že pre spoľahlivé odhalenie podvodov je nevyhnutné, aby boli dáta prístupné pre previerku. Pri každej publikácii by malo byť sprístupnenie dát podmienkou pre publikáciu. V súčasnosti tomu tak žiaľ nie je.

E. J. Masicampo & Daniel R. Lalande (2012): A peculiar prevalence of p values just
below .05, The Quarterly Journal of Experimental Psychology.

Simonsohn, Uri, Just Post It: The Lesson from Two Cases of Fabricated Data Detected by Statistics Alone.

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s