Skutočná kríza psychológie

Narazil som na nasledujúcu inšpiratívnu grafiku:

Prišiel s ňou Drew Conway a snažil sa ňou povedať aké schopnosti by mali definovať modernú analýzu dát. Tri bubliny znázorňujú základné schopnosti. Analytici by sa mali vyznať v doméne ktorú študujú (fialová). Musia dokázať dáta manipulovať, to znamená načítať a vyhodnotiť ich pomocou softvéru (červená). Zároveň musia týmto metódam rozumieť, teda poznať ich matematické a štatistické princípy a odôvodnenie (zelená).

Zaujímavé sú oblasti, kde sa tieto domény prelínajú. Väčšina tradičného štatistického výskumu na univerzitách prebieha na prieniku doménovej expertízy a matematiky. Výskumníci vyvíjajú nové modely, ktoré riešia konkrétne problémy v danej doméne. Tento výskum väčšinou nevidel reálne merania. Model je aplikovaný, ak vôbec, na syntetických účelovo vygenerovaných dátach.

Strojové učenie (ML) je mladým prírastkom, ktorý vyčíňa na prieniku štatistiky a informatiky. ML výskum zohľadňuje algoritmiku a implementáciu vyvinutých metód, čím dosahuje lepšiu aplikovateľnosť ako tradičný výskum. Slepým bodom ML je ignorancia poznatkov z domény aplikácie. ML ponúka black-box riešenia, ktoré sú všeobecné a pasujú na všetky (=žiadne) problémy. Existujú domény, kde nemáme veľa poznatkov a problém možno sformulovať ako klasifikáciu alebo regresiu. Vo väčšine domén tomu však tak nie je. Namiesto komplikovaného omnipotentného modelu by nám viac pomohol jednoduchý špecializovaný model.

Nakoniec prienik hackovania a doménových znalostí je označený ako “danger zone” – nebezpečný. Tento prienik označuje bezduchú aplikáciu softvérových riešení na špecifické problémy bez znalosti matematických a štatistických princípov. Takáto aplikácia môže viesť k mylným a nezmyselným výsledkom.

Myslím, že tento prehľad analýzy dát možno pohodlne zovšeobecniť na vedecký výskum vo všeobecnosti. Zoberme si nasledujúcu prípadovú štúdiu:

Počas druhej svetovej vojny pracovali Jack Parsons, Frank Malina a Theodore von Karman na vývoji tuhého paliva pre pohon rakiet v Pasadene, Kalifornii. Von Karman bol fyzikom a zároveň vedúcim projektu, Malina inžinier a Parsons chemik. Oproti Von Karmanovi a Malinovi nemal Parsons žiadne formálne vzdelanie v oblasti chémie avšak bohaté skúsenosti, ktoré nazbieral pri práci pre súkromnú spoločnosť vyrábajúcu dynamit. Tento tím prakticky reprezentuje vyššie uvedenú štruktúru pre analýzu dát. Malina ako inžinier mal vynikajúce znalosti stavby pohonných rakiet, zatialčo von Karman poskytol matematickú a fyzikálnu expertízu. Parsons bol hacker, ktorý trávil celé dni experimentovaním s rôznymi výbušninami. V určitej fáze projektu sa zdalo, že Parsons prestal napredovať pri vývoji. Látky ktoré používal boli buď moc volatilné na to aby ich bolo možné použiť pre kontrolovaný let alebo ich tlak nebol dostatočný aby poslal raketu do atmosféry. Nastali tak pochybnosti o zmysluplnosti cieľov a smerovania projektu. V tomto bode prišiel von Karman za Malinom a dal mu vyriešiť sústavu štyroch diferenciálnych rovníc. Výsledok mal ukázať, či je teoreticky možné poslať objekt určitej váhy požadovanou rýchlosťou do atmosféry. Čím nížší je totiž ťah rakety tým viac paliva potrebuje, tým je raketa ťažšia a tým je potrebný ešte vyšší ťah. Výsledok výpočtu bol pozitívny. Projekt ďalej pokračoval. Nakoniec sa ukázalo Parsonsove rozhodnutie prejsť z pušného prachu na zmes asfaltu a chloristanu sodného ako kľúčové. Von Karman a jeho tím vyvinuli JATO systém, ktorý umožnil lietadlám vzniesť sa od zeme a takisto bol neskôr kľúčový pri vývoji rakiet pre vesmírne lety. Tento príklad demonštruje úspešnú kombináciu všetkých troch schopností pri výskume. Vyzdvihol som hlavne von Karmanov prínos. Rozdelenie schopností chcem použiť pre analýzu psychologického výskumu. Zrejme neprekvapí, že základné matematické princípy psychológia vôbec nepoužíva a ani nehľadá.

V prvom rade treba upresniť, ako tie bubliny chápem a ako ich aplikovať na psychológiu. O matematiku a štatistiku samotnú – tak ako je popísaná zelená bublina vyššie tu nejde. Skôr ide o epistemologické princípy, ktoré nám povedia ako formulovať výskum, aké výskumné otázky sú zmysluplné a aké sú najlepšie stratégie na ich riešenie. V prípade analýzy dát poskytuje tieto znalosti matematika a štatistika. V prípade vývinu raketového paliva je dôležitá znalosť fyzikálnych zákonov. Aké princípy nám pomôžu kvalifikovať psychologický výskum? Kam majú psychológovia nasmerovať svoje epistemologické otázky?

Ľudská myseľ je popri kozmológii nepochybne vedeckou celebritou a tak kandidátov na post epistemologického patriarchu určite nie je málo. Niektorí vidia psychológiu zakotvenú v ultimátnej perspektíve evolučnej biológie, ďalší sa upierajú k neurobiológii alebo k filozofii. Zopár exotov čaká, že pochopenie ľudskej mysle nám umožní len identifikovanie kvantových udalostí v mozgu. V staršom príspevku som popísal ako sa v počiatkoch psychológia orientovala na fyziku a jej pozitivistickú a dnes popperiánsku interpretáciu. Zároveň som predstavil Bischofov názor, že psychológia je inžinierstvo. Základné výskumné princípy tak psychológom poskytne teória systémov.

Bischofove názory sú nejaké to desaťročie pozadu za výpočtovou technikou, ale myslím, že jeho diagnóza v hrubých obrysoch pasuje. Inžinieri sú tiež hackeri a moc tých princípov ohľadom teórie systémov nenájdeme. Potrebné princípy podľa mňa najlepšie poskytne teória komplexity, teória automatov a teoretická informatika všeobecne. Ak k tomu pridáme teóriu pravdepodobnosti a grafických modelov, myslím že máme veľmi dobre našliapnuté. Žiaľ, snahy o takéto odvodenie psychológie z pevných teoretických princípov dnes neexistujú. Namiesto toho psychológia padla za obeť hackerom a doménovým špecialistom.

V grafe vyššie som identifikoval kognitívnych vedcov s hackerskými schopnosťami a psychológov s doménovými vedomosťami. Myslím, že takáto korešpondencia aspoň z časti vystihuje rozdieli v prístupe psychológov a kognitívnych vedcov.

Kognitívny vedci navrhujú arbitrárne ad-hoc riešenia ako ľudská myseľ rieši kognitívne problémy. Tieto sú často inšpirované informatikou, matematikou a fyzikou avšak tieto modely sú len tak formulované a posúdené na základe získaných dát. Množina alternatívnych modelov alebo množina potenciálnych experimentov (a teda možností ako model testovať a falzifikovať) nie je diskutovaná. Kognitívni vedci často ignorujú základné poznatky psychológie (doménové znalosti). Toto je ospravedlňované referenciou k Chomskemu. Chomsky tvrdil, že výskum kognície musí vysvetliť ako fungujú rôzne schopnosti (competence) a otázka ako sú tieto schopnosti algoritmicky implementované (performance) je druhoradá alebo priamo irelevantná. Kognitívny vedec tak môže s kľudom modelovať kategorizáciu, kauzálne myslenie alebo vnímanie intencionality bez toho, že by niečo tušil o tom ako funguje ľudská pamäť, exekutívne funkcie, pozornosť, vnímanie alebo motorika. Teoreticky môže aj kauzálne vnímanie ovplyvniť kategorizáciu a naopak. Tieto presahy v rámci kognitívnych domén však môže kognitívny vedec tiež zanedbať, keďže ako ukázali Chomskeho intelektuálni potomkovia myseľ je modulárna a presahy medzi rôznymi doménami sú minimálne.

Psychológ je doma v zelenej bubline. Psychológ sa samozrejme výborne vyzná vo svojom obore. Z kurzu štatistiky si zapamätal, kde v SPSS nájsť správne tlačítka, ktoré mu vypľujú p hodnoty, ktoré napíše do svojej publikácie. To sú hackerské schopnosti ktoré mu stačia na dosiahnutie olympu publikovateľnosti.

Ako som už poznamenal modrá bublina je v prípade výskumu mysle prázdna. Ak dochádza k nejakej reflexii cieľov a stratégii psychologického výskumu tak len v tracícii hackerských pokusov zaplátať deravú záplatu ďalšou záplatou. Tento prístup je o to pozoruhodnejší, že psychologický výskum prechádza perpetuálnou krízou. Od počiatku psychológie je pravidelne kritizovaná neadekvátnosť psychologického teoretizovania, testovania teórii a následných štatistických analýz. Podobne ako von Karmanov tím, psychológia sa nachádza v bode otázneho smerovania. Namiesto toho aby psychológovia prešetrili smerovanie svojho súčasného projektu ako to urobil von Karman, keď dal Malinovi vyriešiť sústavu diferenciálnych rovníc – namiesto toho sa psychológický výskum nachádza už 50 rokov v agónii. Ako som spomenul vyššie, myslím, že techniky ktoré by psychológom pomohli zodpovedať epistemologické otázky a nasmerovať výskum v zásade existujú.

Ako príklad možno uviesť súčasnú snahu o zvýšenie počtu replikácii. Niektorí ľudia môžu mať problém predstaviť si prečo by niekto mohol kritizovať snahy o replikáciu. Takéto počudovanie je z určitej perspektívy správne. Replikácia znamená, že získame dodatočné pozorovania a čím viac pozorovaní, čím viac evidencie tým spoľahlivejšie závery môžeme dosiahnuť. Otázku replikácie je lepšie chápať v kontexte alternatívneho využitia zdrojov. Zdroje investované do replikácie môžeme využiť na nové, inovatívne experimenty, dodatočné analýzy už existujúcich dát alebo napr. vytvorenie lepších teórii. V prípade nedostatočných teórii a nezmyselných hypotéz je zber ďalších dát len stratou času. Nakoľko sú súčasné psychologické teórie zmysluplné? Oplatí sa ich testovať? Oplatí sa ich replikovať? Alebo radšej by sme mali najprv vylepšiť naše teórie?

Súčasné snahy o plošné replikácie psychologického výskumu vnímam skepticky. O replikovateľnosti psychologického výskumu sa toho moc nedozvieme. Nepoznáme totiž apriórnu pravdepodobnosť správnosti psychologických hypotéz od ktorého aposteriórna pravdepodobnosť replikácie tiež závisí. Túto závislosť by bolo možné minimalizovať keby psychológovia namiesto binárnych hypotéz testovali komplexné komputacionálne modely. Tieto pochybnosti by bolo možné vyriešiť, ak by psychológovia na chvíľu zastavili a namiesto plátania deravej záplaty reflektovali, čo sa svojim výskumom snažia dosiahnuť a aká je na to najlepšia stratégia.