Nakon \u0161to smo krajem marta odr\u017eali jedan meetup na temu \u201cData Science \u2013 \u0161ta je to\u201d, javilo mi se puno ljudi da im po\u0161aljem neke uvodne materijale koji bi im pomogli da krenu sa u\u010denjem.<\/p>\n
Trebalo mi je mnogo vremena da sednem i krenem da sastavljam listu, jer izvora je mnogo, i ono u \u0161ta sam duboko sigurna je da \u0107u na kraju zavr\u0161iti sa re\u010denicom \u2013 najbolje je da krene\u0161 sa nekim realnim primerom koji je tebi zanimljiv, jer se najvi\u0161e u\u010di kroz ve\u017ebu. Pritome, ne postoji neko zlatno pravilo po kome bi taj put u\u010denja trebalo da se odvija, pa je ba\u0161 nezahvalno i napraviti neki spisak materijala i smernica, a osigurati da se time ne unese \u201cbias\u201d, odnosno prokletstvo tog \u201cusmerenog\u201d kretanja, jer sam ja tako u\u010dila, pa jedino tako mo\u017ee. Pored toga, ja sam neko ko se isklju\u010divo bavi primenom napredne analitike u okviru biznisa, gde je glavni fokus izmeriti performanse pomo\u0107u neke mere uspeha kao \u0161to su profit, ili tro\u0161kovi. A napredna analitika se mo\u017ee koristiti u raznoraznim naukama i oblastima istra\u017eivanja, i ne mora biti vezana za poslovni svet.\u00a0 Me\u0111utim, do\u0161la sam na jednu sjajnu ideju da \u0161ta god ovde napisala, dozvolim kolegama iz struke da ovu listu pro\u0161ire, ili da i oni podele svoje iskustvo, tako da ih ovim putem pozivam da daju svoj mali doprinos, i tako postanu pokreta\u010di velikih stvari.<\/p>\n
FAQ su neizbe\u017ena sekcija ovog teksta, i do\u0107i \u0107emo do njih, ali pre toga bih \u017eelela da se osvrnem na neke osnove koje je neophodno da spomenem, kako bih pozvala na razmi\u0161ljanje, i mo\u017eda probudila inspiraciju onima koji bi \u017eeleli da se upuste u Data Science vode.<\/p>\n
Jedan ooogroman disclaimer na samom po\u010detku \u2013 ako o\u010dekujete od ovog teksta da vam bude kristalno jasno kako da sutra krenete i \u0161ta prvo da u\u010dite \u2013 budite svesni da je to prakti\u010dno nemogu\u0107e. Pored toga \u0161to sadr\u017eaj, kompleksnost i sfera Data Science-a kojom \u0107ete se baviti pre svega zavisi od va\u0161eg interesovanja i predznanja, Data Science je toliko \u0161iroka oblast da bi bilo potrebno pro\u0107i ceo jedan program u nivou osnovnih akademskih studija da biste mogli da ka\u017eete da imate neku baznu osnovu. Ono \u0161to je moj cilj je da vam ovim tekstom pomognem(o) da razvijete\u00a0pristup<\/b>\u00a0u\u010denju<\/b>, da budete u svakom trenutku svesni nekih \u010dinjenica koje ovde navodimo, a materijale i kurseve \u0107ete potom tra\u017eiti i sami. ? Me\u0111utim, neka lista proverenih kurseva nije na odmet, tako da \u0107emo je prika\u010diti uz ovaj tekst.<\/p>\nPreduslov za sve<\/h3>\n
Koliko god privla\u010dan bio, Data Science nije za svakog. Kao i bilo koje drugo zanimanje, zahteva posve\u0107enost. Ono \u0161to je osnovni preduslov za uspeh u ovoj oblasti jeste da mora da se voli. Dakle, zaista treba da vas interesuje analitika, da volite da \u201crudarite\u201d po podacima danono\u0107no, kako biste iz istih izvukli maksimum.<\/p>\n
U Data Science-u tako\u0111e va\u017ei zlatni Pareto. 80% je prljavog posla, u smislu pripreme i in\u017eenjeringa podataka, dok je ovaj \u201cfancy\u201d deo koji se ti\u010de samih modela \u010de\u0161\u0107e tek nekih 20%. Modeli postoje, i ako koristite R ili Python biblioteke, uglavnom se svedu na svega par linija koda. Ono \u0161to je ve\u0107i problem je izvla\u010denje maksimalne informativne mo\u0107i iz podataka, i naravno pronala\u017eenje optimalne konfiguracije modela. Na kraju, model je nemo\u0107an, ukoliko podaci nisu dobri \u2013 \u201cgarbage in, garbage out\u201d.<\/p>\n
Ono \u0161to se \u010desto zanemaruje u Data Science-u je taj zna\u010daj eksploratorne analize. De\u0161ava se da se koraci preska\u010du, od \u017eelje da se \u0161to pre krene sa privla\u010dnim i sofisticiranim modelima ma\u0161inskog u\u010denja. Me\u0111utim, dobra eksploratorna analiza je nekad i vi\u0161e od pola obavljenog posla. Tu se radi sa podacima, ulazi se u njihovu prirodu, sti\u010de se razumevanje, na osnovu kojeg su jasni prediktivna mo\u0107 i ograni\u010denja koja postoje u skupu podataka.<\/p>\n
Ako ne volite to tzv. rudarenje po podacima, i preska\u010dete eksploratornu analizu, vrlo verovatno ne\u0107ete tako brzo napredovati u poslu. Ili prosto \u2013 ovo nije za vas. I to je sasvim okej, prona\u0107i \u0107ete ne\u0161to drugo \u0161to vam bolje fituje. U\u00a0ovom tekstu<\/a>\u00a0mo\u017eete da prona\u0111ete jo\u0161 detaljnije obja\u0161njenje i argumente koji se ti\u010du po\u010detaka u Data Science-u, prevelikih o\u010dekivanja, i realnosti koja ne odgovara istim.<\/p>\n O ovome sam pri\u010dala i na webinaru, tako da ne\u0107u da se ponavljam, ali jako je bitno da razgrani\u010dite da ova tri pojma nisu istva stvar, i da postoji povezanost me\u0111u njima, a da dokle god mislite da su ista stvar \u2013 luta\u0107ete. Mo\u017eda \u0107e vam\u00a0ovaj tekst<\/a>\u00a0pomo\u0107i da malo bolje razumete razliku. Ukoliko ne, ima dosta varijacija na temu, izaberite svoju. Ne\u0107ete mnogo pogre\u0161iti.<\/p>\n Kako se naj\u0107e\u0161\u0107e tvrdi, Data Science je spoj razli\u010ditih oblasti \u2013 biznisa, odnosno datog domena, IT-a i matematike, odnosno statistike. U zavisnosti od predznanja, kada kre\u0107ete u Data Science-u, va\u0161e ve\u0161tine su ja\u010de u nekoj od ovih oblasti, a slabije u drugoj. I to je sasvim u redu. Ono \u0161to je bitno jeste da prepoznate \u0161ta je to va\u0161a ja\u010da strana, jer vas to razlikuje od drugih. Kada znate \u0161ta je va\u0161a ja\u010da strana, a \u0161ta je to \u0161to vam fali od ve\u0161tina \u2013 jasno vam je \u0161ta treba da u\u010dite kako biste napredovali. Npr. ako dolazite iz dru\u0161tvenih nauka, vi odli\u010dno znate specifi\u010dnosti oblasti kojom se bavite, ali vam fali znanje iz IT-a, a mo\u017eda i statistike. Ovo zna\u010di da, ako \u017eelite da se jednog dana bavite computer visionom npr., prvi kurs koji treba da pre\u0111ete treba da bude vezan za programiranje. I to ne savladavanje biblioteka (to dolazi kasnije), ve\u0107 elementarno programiranje, koncepti datog programskog jezika, paradigme, kontrola toka, strukture podataka, pa zatim da krenete sa matematikom i algoritmima. Ukoliko dolazite iz IT-a, ve\u0107 bi trebalo da dovoljno dobro poznajete programiranje i matematiku, ali vam fali malo detaljnije znanje statistike, tako da bi neki kurs za statisti\u010dku analizu dobro do\u0161ao. Domen, odnosno biznis \u2013 je ne\u0161to \u0161to se savladava sa iskustvom. Ne postoji savr\u0161eni kurs koji mo\u017ee da vas pripremi za to, ali naravno uvek mo\u017eete pro\u010ditati neku knjigu, koja \u0107e vam pribli\u017eiti domen u kome biste \u017eeleli da radite. Na kraju, mo\u017eda ste apsolutni po\u010detnik, i mislite da vam fali elementarno znanje iz svih ovih oblasti. Krenite sa jednom, kada savladate neku elementarnu osnovu, krenite sa drugom, i tako dok ne budete dovoljno spremni da mo\u017eete (ili ne budete primorani) da \u017eonglirate i u hodu u\u010dite vi\u0161e stvari.<\/p>\n \u0160to se ti\u010de profila Data Scientista, u zavisnosti od toga \u010dime se bave u svakodnevnom poslu, kakvi su zahtevi koje re\u0161avaju i \u0161ta je potrebno od ve\u0161tina da poseduju kako bi na njih odgovorili \u2013 razlikuje se nekoliko tipova Data Scientista. Svima je zajedni\u010dko da vole Data Science i Machine learning, me\u0111utim, razlikuju im se fokusi.<\/p>\n Analiti\u010dari su vi\u0161e fokusirani na eksploraciju, utvr\u0111ivanje paterna i obja\u0161njavanje odre\u0111enog pona\u0161anja i uzro\u010dno-posledi\u010dnih veza. Dakle, vi\u0161e su po prirodi statisti\u010dari, nego \u0161to su developeri. I malo te\u017ee barataju sa produkcionalizacijom re\u0161enja i serviranjem modela.<\/p>\n In\u017eenjeri najvi\u0161e vole da rade sa deep learning problemima, gde ima dosta kompleksnih formulacija, gde mogu da isprobavaju razli\u010dite arhitekture mre\u017ea i da se igraju sa razli\u010ditim konfiguracijama.<\/p>\n Developeri su uglavnom fokusirani na isporuku modela, kako \u0107e se sve to realizovati u produkciji, da li \u0107e biti skalabilno i responzivno, kako da kod bude \u010dist i lako nadogradiv, kako \u0107e se neki ML model retrenirati itd.<\/p>\n Story-tellerima je najbitnije kako \u0107e re\u0161enje da prodaju biznisu. \u0160ta je osnovni benefit njihovog re\u0161enja, kako \u0107e biznis od toga profitirati, i za\u0161to je bilo bitno baviti se odre\u0111enim problemom.<\/p>\n Profil dosta zavisi i od interesovanja, kao i polazne osnove. Ne\u0107ete na isti na\u010din pristupati Data Science-u ukoliko dolazite iz biznis domena, i npr. iz sveta IT-a. Me\u0111utim, odgovornosti i zahtevane ve\u0161tine zavise i od same kompanije. Prvenstveno od toga da li kompanija ima mogu\u0107nost da zapo\u0161ljava vi\u0161e razli\u010ditih profila kao \u0161to su Data Scientist, Data Engineer, Machine Learning Engineer, Developer i DevOps. Ukoliko da \u2013 onda \u0107e sigurno posao Data Scientista u ovoj kompaniji da se razlikuje od posla u kompaniji koja ne mo\u017ee sebi da priu\u0161ti sve te profile \u2013 te \u0107e Data Scientist biti u obavezi da prokriva vi\u0161e sfera.<\/p>\n Jedna od najjednostavnijih metodologija razvoja analiti\u010dkih projekata je CRISP-DM metodologija. I sve druge su uglavnom varijacija na temu, ako se dobro upoznate sa ovom, ima\u0107ete ve\u0107 stabilnu osnovu da odradite svoj prvi mini-projekat za ve\u017ebu. Metodologije razvoja su bitne zato \u0161to ure\u0111uju na\u010din na koji se pristupa nekom problemu, kao i razvoju re\u0161enja, osiguravaju fokus kao i rezultat.<\/p>\n Kada pri\u010damo o Data Science projektima, uglavnom se odvajaju dve vrste projekata: re\u0161enja i proizvodi. Vi\u0161e o tome mo\u017eete prona\u0107i npr.\u00a0ovde<\/a>.<\/p>\n Re\u0161enja su projekti koji su specijalizovani za odre\u0111eni problem, dakle razvijeni su za potrebe datog domena, na osnovu definisanog problema, specifi\u010dne su prirode, i retko mogu da se 1\/1 primene na isti na\u010din kod vi\u0161e razli\u010ditih klijenata, ili u razli\u010ditim biznis domenima. Re\u0161enje mo\u017ee biti npr. neki izve\u0161taj,\u00a0 fajl sa rezultatima, ili neki dashboard. Ukoliko projekat uklju\u010duje razvoj modela predvi\u0111anja neke vremenske serije, npr. prodaje u nekom maloprodajnom lancu, koje specifi\u010dno odgovara modelovanju pona\u0161anja tog maloprodajnog lanca, u smislu sezonalnosti, trendova, posebnih akcija, i tako dalje \u2013 to je re\u0161enje razvijeno specifi\u010dno za potrebe tog maloprodajnog lanca, i ne mo\u017ee se tek tako primeniti u domenu telekomunikacija npr. gde se pojam sezonalnosti i trenda druga\u010dije do\u017eivljava i opisuje.<\/p>\n Proizvodi, i to data proizvodi, su projekti koji integri\u0161u naprednu analitiku i alate ma\u0161inskog u\u010denja, kako bi unapredili poslovanje u ulozi decision-support sistema. Proizvodi su kreirani tako da su lako skalabilni, i da mogu da se upotrebe u okviru razli\u010ditih sistema i razli\u010ditih biznis domena, jer mogu da re\u0161avaju vi\u0161e razli\u010ditih problema, te tako mogu lak\u0161e da se prilago\u0111avaju potrebama klijenata. Proizvodi zahtevaju jako detaljno planiranje, temeljno razvijenu arhitekturu i dosta tehni\u010dkih funkcionalnosti, kako bi mogli da odgovore na razli\u010dite potrebe klijenata. Ako pravimo analogiju sa primerom re\u0161enja, proizvod bi podrazumevao tehni\u010dki sistem koji omogu\u0107ava da se na osnovu vremenske serije dobije predikcija, bez obzira na to da li se radi o maloprodajnom lancu, telekomunikacijama, logistici, i tako dalje.<\/p>\n Ve\u0107 bi trebalo da vam se polako stvaraju obrisi onoga da svaki od ova dva tipa re\u0161enja podrazumeva (mada, ne nu\u017eno) razli\u010diti skup ve\u0161tina i znanja. Re\u0161enja mogu da variraju \u0161to se kompleksnosti ti\u010de, dok su proizvodi izuzetno tehni\u010dki zahtevni, i potrebno je veliko iskustvo u smislu developmenta, kako bi se razvio proizvod koji je responzivan, skalabilan i pouzdan. Naravno, oba zahtevaju poznavanje metoda i alata napredne analitike.<\/p>\n Tako da, u zavisnosti od toga \u0161ta je vama zanimljivije, ili \u0161ta je va\u0161em potencijalnom poslodavcu glavni fokus razvoja, postoji potreba da razvijate tehni\u010dke ve\u0161tine koje \u0107e vam pomo\u0107i da budete kompetentni za odre\u0111ene pozicije na koje biste voleli da konkuri\u0161ete.<\/p>\n Ovo je zaista (skoro) nebitno. Kada sam kretala sa u\u010denjem, pisala sam rekurentu mre\u017eu u Javi. I od tada, Javi nisam ni pri\u0161la (sem kad mi Spark izbaci neku gre\u0161ku ? ). Ono \u0161to je zaista bitno je da hvatate koncepte. Lako \u0107ete izguglati ono \u0161to vam treba. Koncepti dataframe-ova, grupisanja i agregiranja postoje i u R, i u Pythonu, i u Sparku, a pre svega su inspirisani manipulacijama koje se mogu raditi u SQL-u, tako da, ve\u0107 vidite o \u010demu pri\u010dam. Ako govorimo o modelima ma\u0161inskog u\u010denja, tu se de\u0161ava da ima nekih varijacija \u0161to se ti\u010de implementacije u razli\u010ditim jezicima, me\u0111utim, najbitnije je razumeti kako algoritam radi, a implementaciju mo\u017eete savladati kroz dokumentaciju ili Stackoverflow.<\/p>\n R je fantasti\u010dan jezik, ima odli\u010dan community, dosta biblioteka i funkcija, fantasti\u010dne mogu\u0107nosti vizualizacije. I ukoliko ne mislite da se bavite razvojem ozbiljnih tehni\u010dkih sistema (za koje vam ipak treba programski jezik namenjen toj svrsi), R je dobar izbor.<\/p>\n Ka\u017eu da je Python drugi najbolji jezik za sve. Ako vam ovo ne\u0161to govori \u2013 krenite tim putem. ? U su\u0161tini, general purpose je, mo\u017eete peglati ML, mo\u017eete peglati Deep learning, mo\u017eete praviti vizualizacije i interaktivne dashboarde, kao i API-eve, bukvalno\u00a0 \u2013 \u0161tagod vam padne na pamet. Sa tim \u0161to ne mogu da tvrdim da sve \u0161to postoji u R-u, postoji i u Pythonu. \u0160to ne zna\u010di da se i to uskoro ne\u0107e promeniti.<\/p>\n Mnogi za scientific programming, a u poslednje vreme \u2013 i za naprednu analitiku, koriste Juliu. Me\u0111utim, mislim da je Julia jos daleko od nivoa popularnosti, podr\u0161ke i community-ja koji imaju R i Python.<\/p>\n Spark je tako\u0111e dobra opcija, ali Spark nije uvek nu\u017ena opcija. Uglavnom, ukoliko vam ne treba osnovna prednost Sparka \u2013 a to je mogu\u0107nost paralelizacije kompleksnih procesa nad velikom koli\u010dinom podataka \u2013 po meni, ne bi trebalo da vam je prvi izbor. Opet ako se \u010dak i desi da treba da se shiftujete na Spark, nemojte se pla\u0161iti, sve mo\u017ee da se savlada.<\/p>\n Postoje i razli\u010diti alati za razvoj ML modela \u2013 Orange, RapidMiner, SAS \u2013 gde sve funkcioni\u0161e po principu drag&drop, ali opet je bitno da razumete metodologiju razvoja i modele koje upotrebljavate, kako biste napravili sistem koji radi. Ako se ne pronalazite u programiranju, ovo mo\u017ee biti dobar izbor.<\/p>\n PhD je najve\u0107a zabluda sa kojom sam se susretala tokom ovih godina, \u010ditaju\u0107i razli\u010dite tekstove, i FAQ na temu kako krenuti sa Data Science-om. Ono \u0161to treba da razumete \u2013 PhD je bitan ukoliko se bavite nau\u010dno-istra\u017eiva\u010dkim radom. I onda kada vi razvijate nove algoritme ma\u0161inskog u\u010denja, i to ne kao titula, ve\u0107 u smislu znanja i iskustva koje je neophodno da bi se novi algoritmi razvijali. Ovo podrazumeva da imate izuzetno poznavanje linearne algebre, numeri\u010dke analize, kombinatorike, i mno\u0161tva jo\u0161 stvari (za \u0161ta je zaista potrebna vi\u0161egodi\u0161nja posve\u0107enost). Sa druge strane, PhD iz nekog odre\u0111enog domena mo\u017ee biti korisna referenca, budu\u0107i da u tom slu\u010daju poznajete specifi\u010dnosti domena u kom biste mogli da primenjujete naprednu analitiku. Me\u0111utim, isto tako mo\u017ee biti i problemati\u010dno sa siroma\u0161nim prakti\u010dnim iskustvom. Da li \u0107e vam titula pomo\u0107i da br\u017ee, ili da uop\u0161te do\u0111ete do posla u Data Science-u? Ne mora da zna\u010di. Istina je negde na sredini.<\/p>\n \u0160to se ti\u010de \u010ditanja nau\u010dnih radova \u2013 ovo je obavezno. Data Science podrazumeva svakodnevno prelistavanje, i\u0161\u010ditavanje i pore\u0111enje nau\u010dnih radova, jer akademija je ta koja (zajedno sa industrijom) pomera granice. Kada radite na nekom Data Science problemu, najbitnije je da budete svesni limita, \u0161ta je sve \u0161to je mogu\u0107e odraditi. Granice su definisane onim dokle je akademija stigla sa istra\u017eiva\u010dkim radom, i onim \u0161to je u industriji mogu\u0107e primeniti. Kada ste svesni ovih mogu\u0107nosti \u2013 mo\u0107i \u0107ete da re\u0161ite bilo koji problem sa kojim se susretnete.<\/p>\n Pored knjiga, kurseva, i blog postova, postoji jo\u0161 jedan, \u201cinstant\u201d, na\u010din da dolazite do relevantnih informacija i saznanja, a to su dru\u0161tvene mre\u017ee.\u00a0 LinkedIn, Reddit i Twitter su do sada moji favoriti, mada naravno tu su i ostali. Ovim putem mo\u017eete da pratite lidere u ovoj oblasti, da uvek budete u toku, da se pove\u017eete sa ljudima sli\u010dnih interesovanja i da delite iskustva i znanja, kao i da zauzvrat, dobijate. Ja sam u\u00a0svom tekstu\u00a0<\/a>ve\u0107 pri\u010dala na ovu temu, i ono \u0161to mogu re\u0107i posle godinu dana je da \u2013 i dalje tako mislim. ?<\/p>\n <\/p>\n <\/p>\n https:\/\/www.coursera.org\/specializations\/recommender-systems?#courses<\/a><\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n Hvala svima koji su pomogli da se ovaj dokument realizuje, pre svega mojim kolegama iz\u00a0Things Solver<\/a>\u00a0tima (hvala\u00a0An\u0111ela<\/a>,\u00a0Jasmina<\/a>,\u00a0Tijana<\/a>,\u00a0Marija<\/a>,\u00a0Strahinja<\/a>,\u00a0Marko<\/a>,\u00a0Bogdane<\/a>). A posebne zahvalnice idu i mojim kolegama\u00a0Bojani Soro<\/a>\u00a0iz\u00a0Content Insights<\/a>-a i\u00a0Sr\u0111anu \u0160anti\u0107u<\/a>\u00a0iz\u00a0Logikka<\/a>-e. Zajedni\u010dkim snagama, sastavili smo listu po\u010detnih materijala i oblikovali ovaj dokument. HVALA SVIMA! Nadam se da \u0107e ovaj dokument biti od koristi po\u010detnicima, i da \u0107emo ga putem zajednice pobolj\u0161avati i oboga\u0107ivati.<\/p>\nData Science vs. Machine learning vs. Artificial intelligence<\/h3>\n
Gradivni elementi Data Science-a<\/h3>\n
Profili Data Scientist-a<\/h3>\n
Metodologije razvoja<\/h3>\n
Re\u0161enje vs. Proizvod<\/h3>\n
R vs. Python vs. ne\u0161to tre\u0107e<\/h3>\n
Moram li da \u010ditam nau\u010dne radove\/imam PhD?<\/h3>\n
Za\u0161to su influenseri va\u017eni?<\/h3>\n
Ok, hajde da konkretizujemo stvari:<\/h3>\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
\n
Naredni koraci<\/h3>\n
\n
Acknowledgements<\/h3>\n