{"id":1519,"date":"2017-04-21T11:26:50","date_gmt":"2017-04-21T09:26:50","guid":{"rendered":"http:\/\/www.datascience.rs\/?p=1519"},"modified":"2017-04-21T11:26:50","modified_gmt":"2017-04-21T09:26:50","slug":"sas-forum-2017-granice-analitike-preko-njih-ii","status":"publish","type":"post","link":"http:\/\/imuno-srbija.com\/data-science\/en\/2017\/04\/21\/sas-forum-2017-granice-analitike-preko-njih-ii\/","title":{"rendered":"SAS Forum 2017: Granice analitike i preko njih (II)"},"content":{"rendered":"

Dr Goran S. Milovanovi\u0107,<\/p>\n

Data Science Srbija<\/i><\/p>\n

Ove godine mi se ukazala iznenadna prilika da u dru\u0161tvu SAS Adriatic<\/a><\/u><\/span><\/span> tima i kao predstavnik Data Science Srbija posetim SAS Forum 2017 u Milanu, Italija<\/a><\/u><\/span><\/span>. Pored toga \u0161to se Forum, odr\u017ean 11. aprila u fenomelanoj Milano Congressi<\/i><\/u><\/span><\/span> (<\/u><\/span><\/span>MiCo<\/i><\/u><\/span><\/span>)<\/u><\/span><\/span><\/a>, pokazao kao pravi multimedijalni spektakl u kome sam u\u017eivao, svaka ovakva prilika pokrene u meni nova razmi\u0161ljanja i nova preispitivanja otvorenih pitanja i mogu\u0107nosti u svetu nauke o podacima. Dozvolite mi da u narednim redovima podelim neka od tih razmi\u0161ljanja sa vama kroz par kratkih vinjeta.<\/p>\n

* * *<\/p>\n

Ako je jedna granica analitike koju moramo da osvojimo i nau\u010dimo da kontroli\u0161emo ta preko koje nas na\u0161 put vodi u svet izra\u010dunavanja bliskog nama, u fizi\u010dkom i mentalnom smislu re\u010di podjednako koliko i u neposrednom okru\u017eenju, druga nad kojom sam imao prilike da se zamislim tokom posete SAS Forumu 2017 je ona toliko diskutovana, toliko te\u0161ka za osvajanje granica kompleksnosti<\/i> sa kojom se suo\u010davamo. Meta diskusije u areni kompleksnosti nauke o podacima su danas skoro eksluzivno metodi dubokog u\u010denja<\/i>, odn. duboke neuronske mre\u017ee. \u010citaoci \u0107e mi oprostiti naredni poku\u0161aj da veoma slo\u017eenu i podjednako va\u017enu problematiku pribli\u017eim u narativu.<\/p>\n

\u0160ta, zapravo, motivi\u0161e razvoj algoritama dubokog u\u010denja? Klasi\u010dne neuronske mre\u017ee – dozvolite mi da ih tako nazovem, metode u\u010denja neuronskim mre\u017eama karakteristi\u010dne do 90-ih godina XX veka – uspeh u re\u0161avanju regresionih i klasifikacionih problema duguju slo\u017eenim, distribuiranim reprezentacijama u skrivenim slojevima procesnih jedinica koje povezuju njihove ulaze i izlaze. Svi koji su prou\u010davali rad neuronskih mre\u017ea znaju da u klasi\u010dnom vi\u0161eslojnom perceptronu, treniranom algoritmom povratne propagacije, mre\u017ea kodira odnose svojih reakcija na izlaznom sloju prema razli\u010ditim strukturama informacije koje zadajemo na ulaznom sloju skupom brojeva koji se odnose na te\u017eine veza kojima su me\u0111usobno povezane njene skrivene jedinice – njeni interneuroni<\/i>. Do optimalne te\u017eine veza za re\u0161enje odre\u0111enog problema dolazi se mukotrpnim treningom – koji u klasi\u010dnom vi\u0161eslojnom perceptronu podrazumeva nadgledano u\u010denje, odn. trening signal iz prethodnog ozna\u010denog trening seta ajtema. Uvo\u0111enje skrivenih slojeva u perceptron, koji je istorijski nastao direktnim povezivanjem ulaznog i izlaznog sloja posti\u017ee se mogu\u0107nost re\u0161avanja problema nelinearno separabilnih kategorija u klasifikaciji, \u010dime se zapravo neuronskoj mre\u017ei omogu\u0107ava da kodira izuzetno slo\u017eene interakcije izme\u0111u karakteristika (features<\/i>) kojima opisujemo strukture informacije date na njenom ulaznom sloju. Zahvaljuju\u0107i ovoj osobini, koju rani perceptroni nisu imali, neuronske mre\u017ee sa algoritmom povratne propagacije signala gre\u0161ke su 80-ih i 90-ih godina XX veka zna\u010dajno pomerile granice kompleksnosti struktura koji su mogli da se otkriju i kasnije predvi\u0111aju ma\u0161inskim u\u010denjem. Ali, koliko daleko su granice pomerene?<\/p>\n

Problem sa klasi\u010dnim neuronskim mre\u017eama bio je u tome koliko skrivenih slojeva, zapravo, mo\u017eete da ubacite u igru. \u0160to vi\u0161e skrivenih slojeva imate na raspolaganju, to je va\u0161a neuronska mre\u017ea u stanju da kodira interakcije sve vi\u0161eg i vi\u0161eg reda, \u0161to vam omogu\u0107ava ma\u0161insko u\u010denje koje je u stanju da prepozna sve finije i finije detalje u ulaznoj strukturi podataka i iskoristi ih u klasifikaciji na izlaznom sloju. Istovremeno, \u0161to vi\u0161e skrivenih slojeva mre\u017ee poku\u0161avate da trenirate, to su \u0161anse da \u0107e algoritam u\u010denja uspeti da “otkrije” optimalnu raspodelu te\u017eina veza izme\u0111u jedinica u skrivenom sloju manje; tehni\u010dki re\u010deno, vi pro\u0161irujete dimenzionalnost prostora parametera i tako postavljate mre\u017ei sve te\u017ei i te\u017ei optimizacioni problem. Revolucija dubokog u\u010denja se sastojala upravo u koraku u kome su otkriveni (razni) algoritmi za treniranje neuronskih mre\u017ea koji prevazilazile ovo ograni\u010denje. \u010cini se da je prostor parametera u kome mo\u017eemo da se kre\u0107emo sada skoro beskrajan, i u nauci o podacima pohrlili smo ka re\u0161avanju sve slo\u017eenijih i slo\u017eenijih problema. Uspeh je bio, bez pogovora, fascinantan, i uskoro su se za\u010duli prvi glasovi o nastupaju\u0107oj ve\u0161ta\u010dkoj inteligenciji koja \u0107e po\u010divati upravo na dubokim neuronskim mre\u017eama.<\/p>\n

* * *<\/p>\n

Uz jedan mali problem<\/i><\/a><\/u><\/span><\/span>. Kada Data Scientist poku\u0161ava da klasifikuje neku pojavu na osnovu karakteristika kojima je opisujemo u npr. pet odre\u0111enih kategorija primenom multinomijalne logisti\u010dke regresije – jednog klasi\u010dnog modela diskretnog odlu\u010divanja veoma popularnog u ekonometriji – on ta\u010dno zna<\/i> kako i za\u0161to njegov matemati\u010dki model radi kako radi. Ne samo da su parametri tog modela direktno interpretabilni i jasni analiti\u010daru, ve\u0107 je i sam unutra\u0161nji rad algoritma – baziran na maksimizaciji objektivne funkcije verodostojnosti u klasi\u010dnoj teoriji logisti\u010dkih modela – savr\u0161eno jasan<\/i>. U nekim koracima on mora da koristi izvesne aproksimacije, ali jednom postignuto, prihvatljivo re\u0161enje, je jasno svakome ko uop\u0161te razume \u0161ta radi. Uvid u model je tako kompletan<\/i>: znamo kako <\/i>model radi, znamo za\u0161to<\/i> radi tako kako radi, razumemo potpuno sve njegove parametre<\/i> i jasan nam je precizno uticaj vrednosti svakog od njih na predikcije<\/i> (klasifikacije) koje model pru\u017ea. Za ljudski um, naviknut da realnost obja\u0161njava i ose\u0107a se sigurnim samo u menad\u017ementu koji razume<\/i> pored toga \u0161to neko ili ne\u0161to znaju kako<\/i> da ga izvedu, ovo je veoma zna\u010dajna odlika. Problem sa neuronskim mre\u017eama, posebno istaknut u problemima dubokog u\u010denja, je u tome \u0161to je upravo dinamika parametara u radu modela toliko slo\u017eena<\/i> da je direktan uvid u to kako ta\u010dno model posti\u017ee to \u0161to posti\u017ee<\/i> prakti\u010dno nemogu\u0107. Jo\u0161 nad klasi\u010dnim mre\u017eama sa algoritmom povratne propagacije morali ste da izvodite prave nau\u010dne studije samog pona\u0161anja mre\u017ee kao dinami\u010dkog sistema kako biste stekli uvid u to \u0161ta je zapravo uradio algoritam tokom treniranja mre\u017ee, i razumeli za\u0161to mre\u017ea odgovara na va\u0161a pitanja onako kako odgovara. U mre\u017eama treniranim metodama dubokog u\u010denja, sama studija njihove unutra\u0161nje dinamike je toliko slo\u017eena da je opravdano postavljeno pitanje o tome da li neko, uklju\u010duju\u0107i i same autore modela, zaista precizno razume \u0161ta i kako one rade.<\/p>\n

Potrebno je da budemo veoma precizni ovde: to ne zna\u010di <\/i>da neko razvija nekakve matemati\u010dke modele “na slepo”, samo tako da budu dovoljno slo\u017eeni, pa se obraduje uspehu u njihovom razvoju i radu skoro kao dobitku na lutriji. Naprotiv, dizajn dubokih neuronskih mre\u017ea je veoma osmi\u0161ljen<\/i>, one se precizno planiraju za odre\u0111ene klase problema, njihovi autori jasno znaju \u0161ta i za\u0161to poku\u0161avaju da postignu odre\u0111enim vidom arhitekture ili algorimom u\u010denja. Problem se nalazi na drugoj ravni: mi poznajemo, i mo\u017eemo matemati\u010dki da prou\u010dimo neke <\/i>generalne karakteristike tako slo\u017eenih ma\u0161ina za u\u010denje, ali jo\u0161 uvek ne mo\u017eemo u potpunosti da ispratimo i razumemo unutra\u0161nju dinamiku informacija koja se prati sve doga\u0111aje tokom rada <\/i>takvog sistema. Mi mo\u017eemo u potpunosti da opserviramo takvu dinamiku, da snimimo promenu svako zamislivog broja: promena je toliko slo\u017eena sama po sebi da mi jo\u0161 uvek ne mo\u017eemo precizno da ka\u017eemo ta\u010dno \u0161ta u njoj dovodi do ta\u010dno koje – ispravne ili pogre\u0161ne – reakcije duboke neuralne mre\u017ee. Na \u010dudan na\u010din, u in\u017eenjeringu inteligentnih sistema sada po\u010dinjemo da se zati\u010demo u situaciji koja je kognitivnim psiholozima i neurobiolozima dobro poznata. Mi u empirijskim naukama o saznanju polazimo od pretpostavke da je centralni nervni sistem crna kutija<\/i>, i poku\u0161avamo da na osnovu analize inputa i autputa, uz neke dopunske pretpostavke, shvatimo koji unutra\u0161nji parametri i kompjutacioni mehanizmi odlikuju njegov rad. Stvaraju\u0107i duboko u\u010denje, polako po\u010dinjemo da stvaramo sisteme koji su po kompleksnosti mo\u017eda uporedivi sa strukturama prirodnih nervnih sistema, ali se ispostavlja da su ve\u0107 i prvi na\u0161i poku\u0161aji toliko slo\u017eeni da moramo da ih prou\u010davamo ba\u0161 kao \u0161to moramo da prou\u010davamo i prirodne sisteme na koje smo se ugledali kada smo projektovali njihove ve\u0161ta\u010dke analogije! Razlika je u tome \u0161to unutra\u0161nju dinamiku rada ve\u0161ta\u010dkih neuronskih mre\u017ea mo\u017eemo da opserviramo u potpunosti, za razliku od empirijskog prou\u010davanja prirodnih nervnih sistema u kome moramo da se oslanjamo na metodologije prili\u010dno ograni\u010denog uvida u njihovo funkcionisanje, \u0161to predstavlja i najve\u0107u prepreku razvoju teorije psihologije saznanja.<\/p>\n

Prethodno re\u010deno otvara nekoliko va\u017enih problema. Prvi se sastoji u strahu da \u0107e duboke neuronske mre\u017ee, primenjene na re\u0161enje nekog slo\u017eenog problema, jednom po\u010deti da gre\u0161e – i to \u0107e se svakako, sasvim sigurno dogoditi, po\u0161to niko ne mo\u017ee za sve klase problema da bude poptuno siguran u to da se jednom ne\u0107e pojaviti ulazna struktura informacije takva na koju mre\u017ea ne\u0107e mo\u0107i da generalizuje jednom usvojeno pona\u0161anje. Ovo je dobro poznat problem sa neuronskim mre\u017eama koji je detaljno diskutovan u istoriji kognitivnih nauka (ali se u op\u0161tem hype<\/i> oko dubokog u\u010denja u javnosti jedva pominje). Drugi problem je mo\u017eda jo\u0161 fundamentalniji, po\u0161to prvi mo\u017eemo da re\u0161avamo time \u0161to \u0107emo ograni\u010diti primenu dubokog u\u010denja samo na probleme za koje smo apsolutno sigurni da \u0107e ih uvek odlikovati kvalitativno ista struktura informacija – na koju smo mre\u017eu i trenirali. Taj te\u017ei problem, ono \u0161to nas ne\u0107e osloboditi nelagodnosti, je sama \u010dinjenica da rad dubokog u\u010denja nama ne obezbe\u0111uje direktnu interpretaciju modela kakvu nam obezbe\u0111uje npr. logisti\u010dka regresija (i drugi matemati\u010dki modeli) iz na\u0161eg prethodnog primera. Koliko se analiti\u010dar i njegov klijenti ose\u0107aju lagodno u situaciji u kojoj analiti\u010dar nudi algoritam koji re\u0161ava odre\u0111eni problem, i to ga re\u0161ava dobro, ali bez jasnog obja\u0161njenja za sebe i druge o tome kako ga algoritam re\u0161ava<\/i>? \u010cini se kao da se u takvoj situaciji javlja problem poverenja u tehnologiju kojoj treba da prepustimo kontrolu nad ekstremno slo\u017eenim i va\u017enim procesima u na\u0161oj okolini.<\/p>\n


<\/p>\n

SAS Forum, Milano, Italija, 11. april 2017. O ma\u0161inskom u\u010denju i ve\u0161ta\u010dkoj inteligenciji
\ngovori gospodin Oliver \u0160abenberger, CTO SAS-a.<\/span><\/p>\n

Ne\u0161to od ovih problema, koje sam \u010ditaocu poku\u0161ao da pribli\u017eim u ovom narativu, svestan toga da se njihova dubina i zna\u010daj donekle gube u ovakvim opisima, imao sam prilike da kratko prodiskutujem i sa gospodinom Oliverom \u0160abenbergerom, EVP i CTO SAS-a<\/a><\/u><\/span><\/span>, tokom SAS Foruma 11. aprila. Autor ovih redova, koji otvoreno priznaje da je podjednako fasciniran uspesima dubokog u\u010denja koliko i rezigniran hype<\/i>-om koji prate nekriti\u010dki medijski napisi o tim uspesima, se ne se\u0107a kada je od nekoga \u010duo zreliju, stalo\u017eeniju ocenu ove situacije do od SAS-ovog CTO-a. Prvo \u0161to me je obradovalo u vezi budu\u0107ih razvoja SAS-ovih sistema u odnosu na ovu problematiku je odluka da se \u010dvrsto stoji sa dve noge na zemlji: da, do kraja godine \u0107e u SAS-ovu paletu analiti\u010dkih metoda biti uklju\u010deni i algoritmi dubokog u\u010denja, ali se otvoreno razmi\u0161lja i razgovara o tome da se ide sa preporukom izgradnje ansambla klasi\u010dnih i modernih metoda koje bi analiti\u010darima obezbedili ve\u0107u mogu\u0107nost kontrole u izgradnji i radu toliko slo\u017eenih sistema. Kako se g-din \u0160abenberger izrazio o dubokom u\u010denju: ti algoritmi ne odaju svoje tajne. Dakle, mora da bude otvorena potraga za hibridnim pristupom koji bi nam obezbedio da ujedno (a<\/i>) iskoristimo njihove neverovatne mo\u0107i u prepoznavanju paterna u ekstremno slo\u017eenim strukturama podataka, i (b<\/i>) da analiti\u010daru obezbedimo da krajnji model na produkciji dr\u017ei u stanju u kome razume \u0161ta se sa modelom de\u0161ava. Iskreno, posle vi\u0161e od petnest godina profesionalnog rada u kvantitativnoj analitici i vi\u0161e od dvadeset u kognitivnim naukama, to je jedini na\u010din na koji bih se li\u010dno ose\u0107ao komforno u kontekstu dubokog u\u010denja (zapravo, druga\u010diji seting bih smatrao neprihvatljivim).<\/p>\n

Odgovaraju\u0107i na pitanja novinara o tome u kojoj meri se podi\u017eu izvesni dru\u0161tveni rizici \u010dinjenicom da se sistemi dubokog u\u010denja na neki na\u010din nalaze van na\u0161eg razumevanja (pa samim tim valjda i van na\u0161e kontrole), \u0160abenberger je ostavio jo\u0161 jedan dobar utisak stalo\u017eenim odgovorom o tome da nema razloga da se pla\u0161imo sistema koji smo sami dizajnirali svesni \u010dinjenice da nikada ne\u0107e generalizovati bilo \u0161ta van prostora svog trening seta – koliko god sistem bio “dubok” ili “plitak”. Kona\u010dno neko ko nam je priznao da nas ve\u0161ta\u010dka inteligencija koju jo\u0161 nemamo ne\u0107e pojesti koliko sutra za ru\u010dak, ostavljaju\u0107i racionalno i \u0161iroko otvorena vrata za prijem svih fascinantih postignu\u0107a i rezultata koji su razvijeni u prethodnih desetak godina. Problema nenadgledanog u\u010denja, za koji se “strahuje” da predstavlja klasu algoritama koji bi eventualno mogli da postanu stvarno “kreativni” – iako ni to jo\u0161 niko ne zna da li je zaista ta\u010dno – u razgovoru smo se samo dotakli, i slo\u017eili se oko togada je i to oblast u kojoj tek treba sa\u010dekati velike rezultate (iako neke iz te klase algoritama, poput LDA, koristimo svakodnevno).<\/p>\n

Iskustvo, pored pameti i ma\u0161te, je ono koje mora da nas vodi ka granicama analitike i preko njih, u izazove koje sam, nadam se, uspeo da predstavim ovde.<\/p>\n\n

\n <\/div>\n","protected":false},"excerpt":{"rendered":"

Dr Goran S. Milovanovi\u0107, Data Science Srbija Ove godine mi se ukazala iznenadna prilika da u dru\u0161tvu SAS Adriatic tima i kao predstavnik Data Science Srbija posetim SAS Forum 2017 u Milanu, Italija. Pored toga \u0161to se Forum, odr\u017ean 11. aprila u fenomelanoj Milano Congressi (MiCo), pokazao kao pravi multimedijalni spektakl u kome sam u\u017eivao, […]<\/p>","protected":false},"author":1,"featured_media":1520,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[25],"tags":[],"_links":{"self":[{"href":"http:\/\/imuno-srbija.com\/data-science\/en\/wp-json\/wp\/v2\/posts\/1519"}],"collection":[{"href":"http:\/\/imuno-srbija.com\/data-science\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/imuno-srbija.com\/data-science\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/imuno-srbija.com\/data-science\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/imuno-srbija.com\/data-science\/en\/wp-json\/wp\/v2\/comments?post=1519"}],"version-history":[{"count":0,"href":"http:\/\/imuno-srbija.com\/data-science\/en\/wp-json\/wp\/v2\/posts\/1519\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"http:\/\/imuno-srbija.com\/data-science\/en\/wp-json\/wp\/v2\/media\/1520"}],"wp:attachment":[{"href":"http:\/\/imuno-srbija.com\/data-science\/en\/wp-json\/wp\/v2\/media?parent=1519"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/imuno-srbija.com\/data-science\/en\/wp-json\/wp\/v2\/categories?post=1519"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/imuno-srbija.com\/data-science\/en\/wp-json\/wp\/v2\/tags?post=1519"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}