Bayesiánska regresia zápalkových dát

Dostal som dáta k už spomínanej štúdii Öllinger et al. (2008) a práve sa hrám s bayesiánskymi analýzami, ktorým chcem venovať zopár článkov.

Pripomínam, že v prvom experimente probandi riešili zápalkové problémy. Pritom rozlišujeme štyri typy zložitých problémov a jednoduché problémy. V prvom experimente riešili probandi ca. 30 jednoduchých problémov a pomedzi ne prepletené dostali aj 4 zložíté. Pri každom probléme bola meraná doba riešenia. Doba riešenia bola obmedzená časovým limitom, po ktorého uplynutí probandi prešli na ďalší problém. Pri jednoduchých problémoch bol limit 2 minúty, pri zložitých 6 minút.

Zložité problémy riešila aj kontrolná skupina probandov. Títo však jednoduché problémy neriešili. Autori zistili, že úspešnosť experimentálnej a kontrolnej skupiny bola rovnaká a teda, že jednoduché problémy nesťažujú tie zložité. Jeden experiment vyzeral napríklad takto:

Tie cípy v grafe sú tri nevyriešené (CR3,CR1, CR2) a jeden vyriešený (CD) ťažký problém. Jednoduché problémy vyriešil dotyčný všetky. Vidieť takisto, že viacej faktorov ovplyvňuje dĺžku riešenia. Proband sa postupne zlepšuje v riešení jednoduchých problémov. Autorov zaujímalo, či jednoduché problémy ovplyvňujú riešenie zložitých. Zaujímavé by bolo zistiť aj či zložité problémy ovplyvňujú riešenie jednoduchých. Napríklad vyššie sa zdá, že proband po siedmom-ôsmom probléme zneistel.
Tieto efekty sa môžeme pokúsiť kvantifikovať pomocou bayesiánsky analýz, začnime však jednoduchým modelom. Tu je prvý model.

Daná je doba riešenia x_i v sekundách pre problém číslo i=1,...,30. Typ problému je daný ako  t=(ST,CR1,CR2,CR3,CD). Dobu riešenia modelujeme ako x_i \sim \mathcal{N}(\mu_{t},\sigma) . Štandardná odchýlka dostane svoj neinformatívny prior napr. s rovnomerným rozdelením \sigma \sim \mathcal{U}(0, 100). Takisto aj pre priemerné hodnoty \mu_{t} \sim \mathcal{U}(0, 100). Zaujímajú nás aposteriórne hodnoty týchto parametrov. Drobným problémom je, že skutočný čas v prípadoch, keď doba riešenia prekročila limit nepoznáme. V týchto prípadoch modelujem dobu riešenia ako x_i \propto \int_\theta^\infty \mathcal{N}(x,\mu_{t},\sigma) \, \mathrm{d}x . Teda predpokladám, že skutočné  x sa nachádza s rovnomernou pravdepodobnosťou niekde nad limitom \theta. V pôvodnej publikácií autori dosadili limitný čas a spriemerovali s ostatnými hodnotami, čo nie je zrovna elegantné riešenie. Autori tým predpokladajú, že doba riešenia je v týchto prípadoch presne rovná limitu.

Vyššie uvedený prístup tvorí (až na ten trik s limitnými hodnotami) bayesiánsky analóg k jednoduchému ANOVA modelu, kde hľadáme priemerné hodnoty. Pri frekventistických modeloch sa na optimalizáciu využíva maximum likelihood alebo iteratívne techniky. Pri bayesiánskych modeloch sa väčšinou používajú MCMC algoritmy, ktoré pomocou vzorkovania umožnia na základe dát odhadnúť štatistické rozdelenie parametrov. Vzorkovanie umožňuje optimalizovať aj komplexné modeli s mnohými parametrami. Ďalšou výhodou tohoto postupu je, že nezískame len odhad optimálnej hodnoty ale aj celého aposteriórneho rozdelenia a teda máme aj informáciu o neistote obsiahnutej v odhade. V prípade našej experimentálnej skupiny získame priemerné hodnoty: 50 sekúnd pre jednoduché úlohy a  176, 241, 383, 190 pre zložité úlohy. Všimnite si, že priemerná hodnota pri CR3 je vyššia ako limit 360 sekúnd. Vyššie hodnoty sme síce nikdy nevideli, ale videli sme veľa prípadov, keď proband v priebehu 360 sekúnd úlohu nevyriešil. Priemerný odhad štandardnej odchýlky je 60 sekúnd, čo znamená, že v dátach je ešte veľa variability. Bayesiánske modely sú generatívne. To znamená, že si s pomocou optimalizovaných parametrov môžeme nechať vygenerovať syntetické dáta. Následne sa môžeme pýtať, či sa rozdelenie syntetických dát podobá na empirické rozdelenie. Podobnosť rozdelení indikuje adekvátnosť modelu. Nasleduje histogram reakčných časov v jednoduchých úlohách a pod ním histogram reakčných časov vygenerovaných modelom.

Bayesiánska analýza má viacero výhod oproti ANOVe. Keďže aposteriórne rozdelenie hodnôt nezávisí od intencii experimentátora, môžeme porovnávať priemerné hodnoty bez potreby korektúry p hodnôt. Bayesiánske modely takisto nekladú striktné požiadavky na rozdelenie dáta. Ako vidieť v grafoch vyššie doby riešenia vykazujú exponenciálne rozdelenie. My ich však modelujeme pomocou normálneho rozdelenia (to je dôvod prečo sme získali tie negatívne reakčné časy). Ďalším krokom je teda hodiť normálne rozdelenie do smetí a použiť niečo vhodnejšie. Jednou možnosťou je použiť Weibullove rozdelenie s troma parametrami (Rouder et al., 2003). Hustota pravdepodobnosti je daná:

p(x;\beta,\mu,\sigma) = \sigma \beta \left( \frac{x-\mu}{\sigma} \right)^{\beta-1} exp \left[ -\left( \frac{x-\mu}{\sigma} \right)^{\beta} \right]

Vidieť, že prvé parametre \mu, \sigma môžeme interpretovať ako posun a mierku. \beta určuje tvar rozdelenia. Nasledujúca grafika znázorňuje Weibullovo rozdelenie pre rôzne hodnoty parametrov (pri východiskových hodnotách \mu=20, \sigma=10, \beta=1.5).

Vyššie uvedeným trom parametrom možno prisúdiť určitú psychologickú interpretáciu. Na dĺžku reakčného času pôsobia centrálne a periférne mechanizmi. Periférne mechanizmi v našom prípade tvoria čas potrebný na prečítanie a porozumenie zápalkového problému zobrazeného na monitore a doba od rozhodnutia až po zadanie riešenia pomocou klávesnice. Kognitívne procesy, ktoré nás zaujímajú ovplyvňujú mierku a tvar rozdelenia. Rozdiely v mierke možno interpretovať ako rozdiely v rýchlosti spracovania. Rozdiely v tvare rozdelenia naopak indikujú použitie odlišných riešiteľských stratégii (Rouder et al., 2003).

V našom prípade generuje Weibullov model nasledujúce reakčné časy.

Rozdelenie je trochu užšie ako to empirické v dôsledku čoho je chvost vpravo moc plochý. V zobrazenom modely zdieľajú typy problémov parametre pre posun a tvar a iba parameter pre mierku je individuálny. Výsledné rozdelenie reakčných časov v jednoduchých úlohách tak závisí aj od schopnosti parametrov odseku a tvaru modelovať reakčné časy v zložitých úlohách. Alternatívne by sme mohli parametre individualizovať podľa typu úlohy. Ďalšou zaujímavou možnosťou je individualizovať parametre na úrovni jednotlivých probandov. Títo sa väčšinou líšia, čo sa týka rýchlosti alebo použitia stratégii. Individuálizované parametre umožnia modelu nielen lepšie predpovedať dáta, ale poskytujú aj zaujímavú informáciu o individuálnych kognitívnych rozdieloch v našej vzorke probandov. Nabudúce sa pozrieme na takýto model.

Öllinger, M., Jones, G., & Knoblich, G. (2008). Investigating the effect of mental set on insight problem solving. Experimental Psychology, 55, 269–282.

Rouder, J. N., Sun, D., Speckman, P. L., Lu, J., & Zhou, D. (2003). A hierarchical Bayesian statistical framework for skewed variables with an application to response time distributions. Psychometrika, 68, 587-604.

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s