Are you a Bayesian or a Frequentist?

Merania v psychológii ako v podstate každom vednom obore zahŕňajú určitú dávku neistoty. Od momentálnej nálady pokusnej osoby, cez digitalizáciu meraných signálov až po nedeterministické správanie experimentátora sú všetko neželané faktory, ktoré ovplyvňujú výsledky experimentov. Ako očistiť dáta o tieto faktory? Za týmto účelom vedci štandardne používajú štatistiku, ktorá v širšom chápaní ovplyvňuje okrem procesu vyhodnocovania aj dizajn experimentov. Zaujímavé je, že neexistuje jediná pravá štatistika ale rovno dve, pričom každá si nárokuje byť jediná pravá.

Proximátne dôvody pre takéto štiepenie a polarizáciu sú historické a sociologické. Zaujímavé je zamyslieť sa nad hlbšími dôvodmi tohoto delenia. Otázkou je v podstate ako zadefinovať bayesiánov a frekventistov. Hynek Bíla  rozdelil bayesiánov a frekventistov na základe definície pravdepodobnosti ako subjektívnej alebo objektívnej hodnoty, čo nie je moc elegantné, keď si vezmeme, že existujú aj objektívne bayesiánske metódy. Viac sa mi páči definícia bayesianského a frekventistického prístupu, ktorú uviedol Michael Jordan vo svojej prednáške na MLSS 2009.

Spoločným východiskom pre obidva prístupy je teória rozhodovania. Ak si vezmeme problém klasifikácie (napr. mám dané maturitné známky zo slovenčiny a snažím sa predpovedať pohlavie dotyčných osôb), tak ho môžeme formulovať ako optimizáciu straty l(\delta(X),\theta) pričom X sú naše dáta, \delta je stratégia, ktorú používame pri rozhodovaní (logistická regresia, neurónová sieť, vrh mincou…), \delta(X) je výsledok aplikovania tejto stratégie na dáta a nakoniec \theta označuje parametre stratégie (váhy prediktorov, bias mince). Našou úlohou je nájsť správne \delta, čo je nič menej ako naša výsledná štatistika, ktorú chceme použiť pri rozhodovaní. Táto formulácia umožňuje dva spôsoby ako zvoliť stratégiu a minimalizovať stratu. Môžeme sa sústrediť na X a optimalizovať stratégiu tak aby jej výsledky platili v rámci rozdelenia dát X. Takéto stratégie umožňujú výroky typu “pravdepodobnosť poruchy kávovaru v dôsledku opotrebovania po 2 rokoch prevádzky je menšia ako 0.1 percenta”, “liek X v 95 percent prípadov zvyšuje priemernú dobu dožitia v rozhraní 0.5 až 5 mesiacov”, “hnojivo X zvyšuje v 99 percent prípadoch úrodnosť o viac než 5 percent ako hnojivo Y”. Dôrazom na rozdelenie X sa dopracujeme k frekventistickej štatistike.

Na druhej strane, môžeme vnímať X ako fixné a sústrediť sa na optimalizáciu parametrov \theta. Výsledné stratégie umožňujú odhadnúť distribúciu pravdepodobnosti parametrov v rámci daných dát. Tento prístup necieli žiadnu kompresiu dát do jedno-vetnej interpretácie. Jeho výhodou je, že pravdepodobnosť umožňuje bezproblémovú kombináciu jednoduchých modelov do modelov komplexnejších. Napríklad ak som odhadol vplyv hnojiva na tvrdosť kávových zŕn, a poznám aj vplyv tvrdosti kávových zŕn na poruchovosť kávovaru, môžem kombinovať tieto dáta a pomocou nich odhadnúť poruchovosť vo vzťahu k uvedenie nového typu hnojiva.

Mike Jordan popisuje ďalšie vlastnosti, v ktorých sa vyššie uvedené prístupy líšia. Prvá vlastnosť je konzistentnosť. Frekventistické modely majú problémy s konzistentnosťou v tom zmysle, že výsledok závisí od úmyslov experimentátora (k tomuto sa vrátim v ďalšom príspevku). Bayesiánske modely sú konzistentné vďaka čomu ich je, okrem iného, možné spájať a kombinovať. Druhú vlastnosť volá Jordan kalibrácia a myslí tým, schopnosť frekventistických modelov zhrnúť výsledky do jednoduchého a jasného výsledku. U bayesiánskych modelov je výsledkom (aposteriórne) rozdelenie pravdepodobností. Tieto vlastnosti netreba vnímať ako pozitívne. Bayesiánske modely môžu byť konzistentné a zároveň vydajú mizerné výsledky. Komplexita modelov znamená totiž aj ťažkosti s výpočtovou optimizáciou. Naopak frekventistické modely podajú jasné výsledky ale výpovedná hodnota týchto výsledkov môže byť nulová.

Okrem týchto dvoch vlastností Jordan poznamenáva, že frekventisti pristupujú k dátam pesimisticky. Dáta sú plné šumu a môžu viesť k nesprávnym záverom. Cieľom analýzy je hlavne vyvarovať sa záverov, ktoré by viedli ku katastrofických scenárom. Uvedenie na trh pokazených kávovarov a neúčinných liekov či hnojív môžu viesť k finančným a zdravotným stratám a tak dáva zmysel tieto prípady opatrne prešetriť. Bayesiáni naopak pristupujú k dátam optimisticky. Dáta sú plné informácii, vzorov a vzrušujúcich pravidelností a ich úlohou je vytiahnuť z minima dát maximum informácii.

V postate je z tejto diskusie vidieť, že každý prístup má svoje pozitíva a negatíva a je vhodné tieto dva prístupy kombinovať. Je vhodné mať obidva prístupy v štatistickom inventáry a vytiahnúť vhodný nástroj na jemu zodpovedajúci problém. Frekventistický prístup sa hodí hlavne pri aplikovanom výskume, s jasne formulovanými hypotézami a s množstvom dát. Bayesiánsky prístup sa naopak hodí pri základnom výskume, pri zlej dostupnosti dát, keď sú potrebné komplexné modely a exploratívny postup.

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s