Jaynes: Probability Theory, Kapitola 6

Šiesta kapitola sa zaoberá odhadom parametrov. Touto témou som sa zaoberal už v predchádzajúcom článku. Ako som už tam uviedol bayesiáni optimalizujú aposteriórnu pravdepodobnosť, zatiaľčo frekventisti optimalizujú vierohodnosť. Jaynes samozrejme zastáva bayesiánsky prístup. Jaynes sa v tejto kapitole snaží ukázať, že odhad parametrov možno vnímať ako proces testovania hypotéz, kde je počet hypotéz nekonečný – hypotézy zahŕňajú všetky hodnoty parametra. Jaynes ilustruje svoj pohľad na dvoch príkladoch. V prvom sa vracia k situácii s loptami dvoch farieb a rôznej početnosti. V predchádzajúcich kapitolách bola početnosť lôpt v nádobe známa a zaujímalo nás pravdepodobnosť farby lôpt pri náhodných ťahoch. V tejto kapitole však Jaynes problém otočil. Početnosť lôpt v nádobe je neznáma, máme však informáciu o výsledku ťahov. Ak sme v piatich ťahoch vytiahli 3 biele a 2 červené lopty, dozvedeli sme sa tým niečo o celkovom počte lôpt a ich farebnej proporcii? Zjavne celkový počet lôpt N musí byť väčší-rovný ako pozorovaný počet n=5. Aké konkrétne N>4 zvoliť nám však dáta nepovedia. Podobne čo sa týka celkového počtu červených aj tu vieme len,  že R>=r a R<=N. Konkrétne p(R|D) závisí od apriórneho p(R). Jaynes demonštruje fungovanie inferencie pomocou rovnomerného rozdelenia  p(R). Odhad R a N nemusí byť zaujímavý len sám o sebe. Jaynes ukazuje ako možno použiť odhad R a N na predpovedanie budúcich ťahov. Tieto predpovede možno trochu prekvapivo nepredpovedajú zlomok červených lôpt z celkového počtu ako r/n ale ako (r+1)/(n+2). Vďaka tomu môžeme získať zmysluplné odhady aj pre extrémne prípady ako n=0. Jaynes ukazuje, že je možné zvoliť p(R) tak, aby sme dostali odhad frekvencie r/n.

Jaynes preberá ďalšie možné voľby pre p(R) – ak vieme že nádoba obsahuje minimálne jednu bielu a červenú loptu, alebo ak pravdepodobnosť farebnosti každej lopty je nezávisle 0.5. Posledne zmienený prior má zaujímavú vlastnosť, že vedie k aposteriórnemu odhadu frekvencie ktorý je nezávislý od dát a rovný 0.5.

Šiesta kapitola pokračuje odhadovaním spojitých parametrov. Jaynes ukazuje, že parameter binomiálneho rozdelenia môžeme odhadnúť znova ako (r+1)/(n+2). Výsledná formulka je rovnaká ako v diskrétnom prípade, keďže hypergeometrické rozdelenie konverguje do binomiálneho pre nekonečné N. Keďže odhad frekvencie je nezávislý od N matematický výraz je rovnaký.

Po jednoduchom príklade nasleduje krátka odbočka, ktorá je pre nás však zaujímavá. Týka sa predčasného zastavenia zberu dát. Vo frekventistickej štatistike je dôležité definovať počet pozorovaní dopredu, alebo sa aspoň postarať o to, aby tento počet bol zvolený nezávisle od pozorovaných výsledkov. Z pohľadu teórie pravdepodobnosti ako rozšírenej logiky však nemá vôbec zmysel dopredu definovať veľkosť vzorky n, ak nám túto informáciu poskytnú dáta. Platí p(n|n)=1, čo je probabiliskou verziou tautológie AA = A, teda “A je pravde a A je pravda” je ekvivalentné ku “A je pravda”. Bayesiánska analýza teda netrpí problémom predčasného zastavenia.

Jaynes pokračuje komplikovanejším príkladom odhadu parametrov. Tento má následnú štruktúru. Zdroj emituje častice s určitou pravdepodobnosťou p. Emitované častice sú registrované senzorom s pravdepodobnosťou q. Jaynes odvodzuje z binomiálneho rozdelenie (pre N nekonečné a r blízke nule) Poissonovo rozdelenie, ktoré sa bežne používa pre odhad počtu udalostí v určitom časovom rozhraní, v našom prípade počet emitovaných častíc (napr.) za sekundu. Jaynes preberá ako odhadnúť počet emitovaných častíc z počtu registrovaných častíc a zo znalosti sily zdroja (ktorá vyjadruje priemerný počet emitovaných častíc pre Poissonovo rozdelenie) a znalosti spoľahlivosti meracieho prístroja. Jaynes diskutuje variabilitu a spoľahlivosť tohoto odhadu. Týmto sa Jaynes dostáva k alternatívnym možnostiam ako odhadnúť parameter. Pomocou minimalizácie štvorcov získame priemer ako odhad centrálneho parametra. Cez minimalizáciu absolútnej odchylky získame medián. Jaynes vyzdvihuje robustnosť mediánu voči extrémnym hodnotám. Ďalšou možnosťou je najpravdepodobnejšia hodnota rozdelenia. Poslednú stratégiu využívajú metódy ML a MAP, ktoré som diskutoval už v svojom predchádzajúcom článku. Jaynes samozrejme uprednostňuje bayesiánsky MAP.

Zvyšok kapitoly je venovaný obšírnej diskusii, dvoch verzii situácie so zdrojom emitujúcim častice a s nepresným meracím zariadením. V oboch verziách pozorujeme viacej vzoriek. V jednej verzii však vieme, že vzorky pochádzajú zo zdroja s rovnakou silou. V druhej verzii nám táto informácia chýba. Vďaka poznatku, že častice pochádzajú zo spoločného zdroja môžeme odhad budúcich pozorovaní postupne vylepšiť, keďže vieme, že tieto pozorovania sú podmienené zdrojom s rovnakými vlastnosťami. V prvej verzii nám však pozorovania nepomôžu vylepšiť náš odhad budúcich pozorovaní, keďže si nemôžeme byť istý, že vlastnosti zdroja sú konštantné.

Kapitola diskusiou odhadu parametra v tzv. problémy taxíka. Povedzme, že sme v neznámom meste a zbadáme taxík s číslom 27. Ak vychádzame, že taxíky sú označené celými číslami od 1 až po N, aký je počet taxíkov v meste. Jaynes diskutuje len analogický problém so spojitým parametrom N a riešenie diskrétneho problému necháva na čitateľa. Môj výpočet je nasledujúci. Zvoľme apriori rovnomerne rozdelenie pravdepodobnosti počtu taxíkov p(N) v rozmedzí 1 až M. Ďalej platí p(D|N) = N^{-k} pre k pozorovaní x_i i=1,..,k a pre $N>m=max_i(x_i)$. Zjavne pozorované číslo taxíka x musí byť väčšie ako ich celkový počet a v opačnom prípade teda platí  p(D|N)=0. Pomocou bayesovej vety získame riešenie

p(N|D)= \frac{N^{-k}}{\sum_{n=m}^M n^{-k}}

Zaujímavé je že suma v deliteli pre k=1 a nekonečné M nekonverguje a teda problém nemá riešenie ak sme pozorovali len jeden taxík. Pre dve hodnoty je síce p(N|D) definované ale odhad centrálnej hodnoty E(N|D) nie je. E(N|D) získame až v prípade troch taxíkov

E(N|D)= \frac{\sum_{n=m}^\infty n^{-2}}{\sum_{n=m}^\infty n^{-3}}

Ak je najvyššie pozorované číslo taxíka m=27, tak získame odhad celkového počtu taxíkov N=54, čo zodpovedá našej intuícii. Postupne, čím počet pozorovaných taxíkov rastie tým viac sa bude približovať náš odhad k najvyššiemu pozorovanému číslo, čo znova zodpovedá našej intuícii. Ak som pozoroval všetky taxíky od 1 až po 27 a niektoré aj viackrát tak s vysokou pravdepodobnosťou bude počet taxíkov 27.

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s