Jürgen Schmidhuber a teória všetkého

V mojom úvodnom príspevku o strojovom učení som tvrdil, že hlavný rozdiel v porovnaní so štatistikou spočíva v snahe výskumníka inferenčný proces plne automatizovať. V tomto článku by som rád uviedol príklad výskumníka, ktorého práca tento cieľ ilustruje. Jürgen Schmidhuber bol profesorom na katedre strojového učenia na Technickej Univerzite v Mníchove počas môjho štúdia na LMU. O svojich cieľoch píše Schmidhuber na svojej webstránke: “Since age 15 or so his main scientific ambition has been to build an optimal scientist, then retire.” Tento cieľ sa snaží dosiahnuť pomocou kombinácie strojového učenia s teoretickou informatikou. Schmidhuber vníma pozorovateľný vesmír ako výsledok bežiaceho programu (, ktorý z časti tvoria nám známe fyzikálne zákony). Zatiaľčo výsledok tohoto programu je nekonečný, nepočítateľný a inak nemožný, program samotný môže byť prekvapivo jednoduchý. Nasledujúci teaser prezentuje Schmidhuberov pohľad:

Schmidhuber (2010) sa snaží pomocou teórie komplexity zistiť aký komplexný tento kozmický program je, aký optimálny algoritmus, by ho našiel a ako dlho by mu to prinajhoršom trvalo. Schmidhuber formuluje program ako sadu inštrukcií spracovávaných Turingovým strojom. (Používanie Turingových strojov je v teoretickej informatike klasická stratégia ako abstraktne uvažovať o programoch.) Výsledkom programu je náš vesmír. Ako nájdeme optimálny popis vesmíru? Ako predpovedáme budúce znaky z tých predchádzajúcich? Schmidhuber používa Bayesovu vetu:

p(xy|x)=\frac{p(x|xy)p(xy)}{p(x)} \propto p(xy) ,

pričom x je doteraz pozorovaný vesmír, y je budúci vesmír a xy je ich konkatenácia, teda výsledok programu. Schmidhuber sa zamýšla nad apriori pravdepodobnosťou rôznych vesmírov p(xy). Túto pravdepodobnosť možno definovať cez rôzne formy Occamovej britvy. Jednoduchšie vesmíry sú pravdepodobnejšie. Čo však znamená jednoduchosť? Schmidhuber zvažuje viacero formálnych definícii, napr. jednoduchosť programov, ktoré tieto vesmíry vypočítavajú alebo rýchlosť s akou môžeme validovať daný vesmír na základe pozorovaných dát. Schmidhuber ukazuje, že rýchlosť validácie nám umožňuje efektívne zoradiť vesmíry, tak že celková rýchlosť prešetrenia všetkých možných vesmírov (resp. ich algoritmov) je optimálna. Začneme najjednoduchším vesmírom a testujeme postupne tie komplexnejšie. Keďže niektoré vesmíry tvoria podmnožinu komplexnejších vesmírov, pomocou rekurzívneho hľadania možno tento proces ďalej zrýchliť.

Výsledná konvergencia vyhľadávania je zaujímavá. Ak T je čas, ktorý trvá otestovanie optimálneho vesmíru (t.j. teórie všetkého) tak kT je dĺžka hľadania optimálneho vesmíru. Samozrejme multiplikačná konštanta k môže byť neúmerné vysoká. Tu Schmidhuber navrhuje adaptívnu aktualizáciu rozdelenia pravdepodobnosti vesmírov na základe už testovaných vesmírov, čo umožňuje zrýchliť hľadanie. Schmidhuber sa ďalej snaží vytvoriť formálnu teóriu zvedavosti a kreativity. Táto by pomohla systému optimálne rozdeliť dĺžku testovania medzi rôznymi hypotézami. Potrebuje systém testovať daný vesmír, alebo mal by začať testovať nový vesmír? A ktorý nový vesmír by mal systém testovať?

Schmidhuberove nápady je samozrejme možné aplikovať aj na ohraničenejšie problémy než je hľadanie teórie všetkého a vskutku v týchto oblastiach má Schmidhuberov tím za sebou viaceré úspechy v celosvetových súťažiach učiacich sa strojov. Ak sa chcete dozvedieť viac o Schmidhuberovom výskume nedá mi neodporučiť Schmidhuberove prednášky (napr. túto). Okrem toho že sú zaujímavé sú aj vtipné a zábavné.

Zaujímavosťou je, že Schmidhuber začínal svoju vedeckú kariéru v oblasti genetického programovania. (Jeho dizertačka bola jednou z prvých štúdii ak nie tou prvou.) Tejto témé sa okrajovo stále venuje. Floreano a Nolfi (1998) pracovali na svojej evolučnej robotike v IDSIA v Lugane, kde pôsobí Schmidhuber ako riaditeľ. Najnovšie si vyslúžil pozornosť médii ich projekt Swarmbotov – umelého mravenisko, ktoré rieši problémy cez kolektívne úsilie.

Ak koncept Swarmbotov ešte nepoznáte odporúčam nasledujúce demo. IDSIA so Schmidhuberom sa na tomto projekte tiež podieľali.

Floreano, D. a Nolfi, S.(1998). Evolutionary robotics. MIT Press, Cambridge, MA.

Schmidhuber, J. (2010). The new AI is general and mathematically rigorous.
Front. Electr. Electron. Eng. China.

Pridaj komentár

Zadajte svoje údaje, alebo kliknite na ikonu pre prihlásenie:

WordPress.com Logo

Na komentovanie používate váš WordPress.com účet. Log Out / Zmeniť )

Twitter picture

Na komentovanie používate váš Twitter účet. Log Out / Zmeniť )

Facebook photo

Na komentovanie používate váš Facebook účet. Log Out / Zmeniť )

Google+ photo

Na komentovanie používate váš Google+ účet. Log Out / Zmeniť )

Connecting to %s