Jaynes: Probability Theory, Kapitola 9

V deviatej kapitole Jaynes zahajuje frontálny útok na frekventistickú definíciu pravdepodobnosti. Podľa Jaynesa pravdepodobnosť môže kľudne vyjadrovať aj početnosť avšak vo všeobecnosti tomu tak nemusí byť:

In the last five Chapters we have shown that probability theory as logic can be applied consistently in many problems of inference that do not fi t into the frequentist preconceptions, and so would be considered beyond the scope of probability theory. Evidently, the problems that can be solved by frequentist probability theory form a subclass of those that are amenable to logical probability theory, but it is not yet clear just what that subclass is. In the present Chapter we seek to clarify this with some surprising results, including a new understanding of the role of induction in science. (s. 270)

Jaynes ilustruje svoje predstavy na probléme opakovaných vrhov hracej kocky, kde n je počet vrhov. Odhady pravdepodobnosti rôznych scenárov budú závisieť od apriórnych informácii, ktoré náš model zahrnie. Najnaivnejšia možnosť je definovať množinu výsledkov opakovaných vrhov ako 6^n kombinácii. Model vie iba, že dáta tvoria jednu z 6^n kombinácii. Takto je pravdepodobnosť každého výsledku 6^-m. Pre jeden vrh je pravdepodobnosť výsledku 1/6. Dôležité je, že model nerozoznáva informáciu o konkrétnom hode. To znamená, že po tom čo sme sledovali sériu hodov (6,6,6,6) alebo (2,3,3,5) v oboch prípadoch je pravdepodobnosť ďalšieho hodu šestky rovná 1/6. Pritom pozorovanie štyroch šestiek nám môže poskytnúť užitočnú informáciu o tom, že kocka je upravená a že pravdepodobnosť hodu šestky je asi vyššia ako 1/6. Model to však nedokáže rozlíšiť. Sériu (6,6,6,6) vníma len ako jednu zo 6^4 možností (napr. s poradovým číslom od 1 do 6^4, teda 5x5x5x5+1=626). Prečo by mal výsledok s poradovým číslom 626 zvýšiť pravdepodobnosť výsledku s poradovým číslom 5 pri ďalšom vrhu?

Jaynes prirovnáva takýto model k modelu, ktorý použil Popper pre indukciu všeobecne. Ak sme zistili, že podpora prezidentského kandidáta v prieskume je 67% s odchýlkou 3%, tak ako v prípade hodu kocky, tento prieskum nám neposkytne žiadnu informáciu o podpore prezidenta v celkovej populácii. Náš model nemá možnosť odlíšiť pravdepodobnosti dvoch experimentov s rovnakými systematickými faktormi. Robot nedokáže odlíšiť výsledok psychologického experimentu so šiestimi možnými výsledkami od hodu kockou. Pri predpovedi výsledku replikácie experimentu tak vôbec nevie, že ide o replikáciu. Nedokáže využiť dáta z prvého experimenty na upresnenie odhadu a v konečnom dôsledku môže len povedať, že rozdelenie pravdepodobnosti je rovnomerne 1/6. Pri takomto modele je samozrejme indukcia vysoko problematická. Neumožní nám nič zistiť na základe minulých pozorovaní. Každý model však závisí od apriori informácie z ktorých vychádza. Ak dodáme viacej informácii, ak modelujeme vrhy kockou ako nezávislé vzorky z identického rozdelenia pravdepodobnosti, tak nám náš model dokáže poskytnúť celú radu predpovedí. Podľa Jaynesa je indukciu možné definovať len v závislosti od predchádzajúcich informácii. Podľa Jayenesa neexistujú žiadne všeobecné pravidlá indukcie, ako ich hľadajú a definujú filozofi (Popper, Carnap).

Po tejto krátkej diskusii indukcie nasleduje elaborovaná matematická pitva problému hodu kockou, kde akceptujeme, že hody tvoria vzorky z rovnakého rozdelenia a žiadnu ďalšiu informáciu nemáme. V tomto prípade je pravdepodobnosť určitého výsledku rovná frekvencii tohoto výsledku v dostupných pozorovaniach. V tomto prípade je frekvencia identická s pravdepodobnosťou. Jaynes komentuje:

In our terminology, a probability is something that we assign, in order to represent a state of knowledge, or that we calculate from previously assigned probabilities according to the rules of probability theory. A frequency is a factual property of the real world that we measure or estimate. The phrase “estimating a probability” is just as much a logical incongruity as “assigning a frequency” or “drawing a square circle”.
The fundamental, inescapable distinction between probability and frequency lies in this relativity principle: probabilities change when we change our state of knowledge; frequencies do not. It follows that the probability p(E) that we assign to an event E can be equal to its frequency f(E) only for certain particular states of knowledge. Intuitively, one would expect this to be the case when the only information we have about E consists of its observed frequency; and the mathematical rules of probability theory confi rm this.

Jaynes pokračuje vyšetrovaním prípadu modelu opakovaného vzorkovania s nezávislým a rovnakým rozdelením vzoriek. Pre tento prípad je možné testovať hypotézy. Jaynes odvodzuje takzvaný psi test, ktorý nám povie či početnosť určitého javu (napr. vrhu mincou) zodpovedá očakávaným frekvenciám/pravdepodobnostiam (napr. 0.5 pre hlava). Trochu paradoxne tento test na prvý pohľad netestuje alternatívnu hypotézu. Jaynes ukazuje, že množina alternatívnych hypotéz je v teste implicitne definovaná ako takzvaná Bernoulliho skupina. Psi test je veľmi podobný chi-kvadrát testu používaného frekventistami. Jaynes poukazuje na to, že chi-kvadrát test je typický frekventistický ad-hoc výmysel, ktorého používanie nevyhnutne vedie k problémom. V prvom rade, podmienky a množina alternatívnych hypotéz, ktoré boli dôležité pre odvodenie psi testu rovnako platia pre chi-kvadrát test, avšak nie sú frekventistom známe, keďže títo vytiahli chi-kvadrát z rukáva. Po druhé, chi-kvadrát je podobný avšak nie identický s psi testom. Pri testovaní pravdepodobnosti veľmi nepravdepodobných udalostí sa výsledky chi-kvadrát a psi testu líšia a použitie chi-kvadrát testu vedie k absurdným záverom.

Kapitolu uzatvára historický príklad. Jaynes vysvetľuje ako Edmund Halley v 17. storočí odhadoval úmrtnosť obyvateľstva. V tomto príklade sú odhady pravdepodobnosti úmrtia proporčné pozorovaným frekvenciám.

V záverečných komentároch Jaynes rozoberá svoje predstavy o roly indukcie. Trochu ma prekvapilo, že Jaynes zastáva v podstate kombináciu indukcie a dedukcie v praxi. Indukcia aplikovaná bayesiánskou štatistikou nám pomôže zistiť pravdepodobnosť určitej hypotézy. V kontraste s Popperovými predstavami nie je množina alternatívnych hypotéz nekonečná, ale vedec ju musí zadefinovať a ohraničiť. Verifikácia hypotézy nie je absolútna ale probabilistická. Jaynes to nevidí ako problém. V konečnom dôsledku nám indukcia umožní prísť s kvantitatívnymi predpoveďami. Ak sa tieto nenaplnia musíme sa vrátiť k definícii modelu a tento vylepšiť. Jaynesov proces testovania predpovedí teda zahŕňa aj deduktívnu časť falzifikovania a vylepšovania modelu. Takýto prístup je typický pre modernú bayesiánsku analýzu (Gelman, 2011). Na druhej strane by som na základe Jaynesovej koncepcie modelu ako robota, ktorému dodávame informácie a dáta očakával, že Jaynes bude preferovať plnú automatizáciu a formalizáciu inferenčného procesu – tak ako je to typické vo výskume učenia strojov.

Gelman, A. (2011). Induction and deduction in Bayesian data analysis. Rationality, Markets and Morals, 2:67–78.

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s