Ognjen Rudović je završio automatiku na Elektrotehničkom fakultetu u Beogradu, i, žedan znanja iz oblasti veštačke inteligencije i mašinskog učenja, rešio da se otisne u svet. Najpre je završio master studije iz oblasti Kompjuterske vizije i Veštačke inteligencije na Autonomnom univerzitetu u Barseloni, da bi 2014. godine stekao doktorat na Imperijal koledžu u Londonu na temu automatskog prepoznavanja ekspresija lica pomoću mašinskog učenja. Od 2016. godine, kada je dobio stipendiju „Marija Kiri“ od Evropske komisije, Ognjen se nalazi u prestižnom MIT Medija labu Tehnološkog instituta u Masačusetsu, gde, zajedno sa svojim timom, radi na usavršavanju i razvoju robotskih asistivnih tehnologija sa ciljem da se unapredi terapija za decu sa autizmom. Osim autizma, Ognjena zanimaju i druge primene mašinskog učenja, a u oblasti Alchajmerove bolesti i automatske analize bola iz ekspresija lica. Stručnim jezikom rečeno, Ognjenova oblast naziva se affective computing, i počiva na ideji da se iz podataka o ponašanju subjekata procenjuju njihova afektivna stanja, poput nivoa uzbuđenja i angažovanja. Njegova studija Personalized machine learning for robot perception of affect and engagement in autism therapy, koja je nedavno objavljena u prestižnom časopisu „Sajens robotiks“, privukla je ogromnu pažnju javnosti.
U poslednje vreme, glavni fokus vašeg rada jeste usavršavanje robota koji pomažu deci sa autizmom. Odakle interesovanje za rad baš u toj oblasti?
Moje interesovanje za autizam počelo je tokom doktorskih studija na Imperijal koledžu u Londonu, gde sam radio tezu na temu automatske analize facijalnih ekspresija uz pomoć mašinskog učenja. Iako to već ima primenu u marketingu i u drugim industrijama, zdravstvo je oblast koja me je oduvek privlačila jer verujem da tehnologije koje razvijamo mogu dosta unaprediti tretmane koji se danas primenjuju. Autizam me je fascinirao iz dva razloga. Prvo, osobe sa autizmom imaju izazov da „čitaju” ekspresije lica tipičnih osoba (neurotypicals). Zbog toga sam želeo da svoja istraživanja usmerim ka pomoćnim sredstavima za osobe sa autizmom. koja bi im omogućila da lakše nauče da interpretiraju izraze lica i druge socijalne znakove, poput pokreta tela i glasova. Drugi razlog je bio moj inicijalni susret sa decom i njihovim roditeljima u Udruženju za autizam u Beogradu. Nakon tog susreta shvatio sam koliko je zapravo terapija za decu sa autizmom kompleksna i koliko stvari se može poboljšati. To me je motivisalo da svoje istraživanje posvetim razvoju i unapređenju tehnologija za autizam. Članak na temu robota za autizam, koji smo objavili u časopisu „Sajens robotiks“, jeste prvi rad na tu temu, i u njemu smo, osim prikaza tehnološkog rešenja koje smo predložili, želeli i da naglasimo koliko ova tehnologija može da unapredi tradicionalne terapije za autizam. Drugim rečima, želeli smo da ukažemo na to kako korišćenje mašinskog učenja može da se upotrebi za automatsku analizu afektivnih stanja i angažovanja dece u toku terapije za autizam, gde je robot uključen kao pomoćno sredstvo.
Nedavno ste, zajedno sa kolegama u MIT Medija labu, razvili tip personalizovanog mašinskog učenja koje pomaže robotima da procene interesovanje svakog deteta u interakciji, koristeći podatke koji odgovaraju svakom detetu ponaosob. Šta su glavni izazovi u konstruisanju ovakvih robota, ali i u radu koji obuhvata proučavanje dece sa ovim poremećajem?
Pre svega, želeo bih da naglasim da mi nismo razvili robota za autizam, već da smo koristili komercijalnog humanoidnog robota koji se zove NAO. Mi smo razvili softverske algoritme koji pomoću mašinskog učenja omogućavaju robotu da vrši interpretacije detetovog angažovanja, kao i njegovih emotivnih stanja, jer su to neki od ključnih parametara za praćenje detetovog napretka tokom terapije. Takođe, kada govorimo o autizmu, umesto da ga etiketiramo kao poremećaj, ja bih ga radije nazvao stanje (condition), jer je autizam spektar i svako dete odlikuju specifične karakteristike i vrste ponašanja. Neka deca, recimo, mogu veoma lepo da funkcionišu u svakodnevnom životu uz pomoć učitelja i roditelja. Baš zbog ovih individualnih razlika, koje su veoma izražene u autističnoj populaciji (u poređenju sa tipičnom populacijom), tim sa kojim radim na MIT-u i ja smo shvatili da standardni algoritmi koji se koriste za mašinsko učenje nisu optimalan izbor u ovom kontekstu. Upravo zbog spomenutih razlika među decom razvili smo nove algoritme, personalizovane za svako dete koje je učestvovalo u našoj studiji, tako što smo, pored njihovih izraza ponašanja (slika lica, pokreta tela, glasa i biosignala) koristili stručne procene o funkcionalnosti dece (na primer, njihovih motornih i mentalnih sposobnosti), kao i uticaj različitih kultura i polova. U radu koji smo objavili, pokazali smo da je personalizacija ključna ako želimo da unapredimo automatsku interpretaciju uzbuđenja i angažovanja dece tokom terapije.
U svom radu koristite vrstu mašinskog učenja koja se naziva „duboko učenje“ (deep learning). Da li možete da nam objasnite šta ono tačno predstavlja i na koji način funkcioniše?
„Duboko učenje“ je vrsta modela za mašinsko učenje koji su počeli da se koriste osamdesetih godina, ali njihova puna primena nije bila izvodljiva sve donedavno zbog hardverskih i drugih tehničkih ograničenja. To je vrsta neuralnih mreža, primenjena sekvencijalno kako bi se iz prikupljenih signala (npr. slika i zvuka) naučile karakteristike (deep features) koje nam omogućavaju da što bolje vršimo klasifikaciju ciljnih stanja (na primer, emotivnih stanja osoba). Iako je „duboko učenje“ dramatično poboljšalo sisteme za automatsko prepoznavanje govora, prepoznavanje i detekciju objekata iz slika, a i doprinelo drugim oblastima kao što su genetika i farmacija, dosad nije bio pri menjeno u oblasti automatske analize ljudskog ponašanja i robotike, a u kontekstu autizma.
Autizam me je fascinirao iz dva razloga. Prvo, osobe sa autizmom imaju izazov da ‘čitaju’ ekspresije lica tipičnih osoba. Zbog toga sam želeo da usmerim svoje istraživanje ka pomoćnim sredstvima koja bi im omogućila da lakše nauče da interpretiraju izraze lica i druge socijalne znakove, poput pokreta tela i glasova. Drugi razlog je bio moj inicijalni susret sa decom i njihovim roditeljima u Udruženju za autizam u Beogradu. Nakon tog susreta shvatio sam koliko je terapija za decu sa autizmom kompleksna i koliko stvari se može poboljšati. To me je motivisalo da svoje istraživanje posvetim razvoju i unapređenju tehnologija za autizam.
– Ognjen Rudović
U studiji koju ste objavili ove godine učestvovalo je trideset petoro dece sa autizmom iz Srbije i Japana. Koliko je bila važna ova međukulturalna dimenzija istraživanja, i na koji način vam je pomogla?
Dosad se niko nije bavio kulturološkim razlikama u autizmu i u kontekstu mašinskog učenja za terapije sa pomoćnom robotskom tehnologijom. Mi smo za našu studiju odabrali dve zemlje, dve kulture, koje su po sebi već dosta različite – Japan i Srbiju, baš zbog toga što je Japan tehnološki visoko razvijena zemlja u kojoj je prisustvo robota svakodnevica. Iako smo našu studiju započeli jer smo bili radoznali da istražimo koje su to razlike u oblicima ponašanja i reakcija dece iz ove dve kulture, ispostavilo se da postoje jasne i objektivne razlike. Takođe je bitno da naglasim da su baš te razlike ključne kada se pravi sistem za automatske interpretacije ponašanja dece sa autizmom, jer robot ne zna za te razlike. Pomoću naših personalizovanih algoritama omogućili smo da roboti percipiraju afektivna stanja i angažovanje dece sa autizmom, a interpretacije su bile adaptirane na svaku kulturu i dete. Pokazali smo da su rezultat toga bile preciznije interpretacije ponašanja dece koja su učestvovala u našoj studiji.
Šta su glavni zaključci vaše studije i koji je bio njen glavni cilj?
Ova studija je pokazala tehničku izvodljivost sistema za robotsku (automatsku) percepciju afektivnih stanja (nivoa pozitivnih-negativnih emocija, i uzbuđenja), ali i percepciju angažovanja dece sa autizmom tokom terapije u prisustvu humanoidnog robota NAO i profesionalnog terapeuta. Kako bismo to postigli, kreirali smo metodu personalized perception of affect network (PPA-net), za personalizaciju deep learning algoritama za mašinsko učenje. Ovi algoritmi su bazirani na neuralnim mrežama koje imitiraju aktivnost neurona u neokorteksu ljudskog mozga, što im omogućava da simuliraju procesljudskog učenja i interpretaciju sveta oko nas. Koristeći ovaj metod, postigli smo korelaciju od ~60 procenata između robotovog opažanja nivoa afektivnih stanja i angažovanja dece, i procene tih istih stanja od strane ljudskih terapeuta iz audio-vizuelnih zapisa terapije. Za razliku od ljudi, koji mogu biti nedosledni u praćenju i tumačenju malih promena u ponašanju, roboti mogu biti precizniji i dosledniji u tom zadatku i pomoći terapeutima da primete čak i vrlo blagi napredak kod dece. Naš cilj bio je da dizajniramo personalizovane algoritme mašinskog učenja koji bi omogućili robotima da opaze znakove ljudskog ponašanja u realnim uslovima terapije za decu sa autizmom, i pokazali smo da je to tehnički izvodljivo.
Kako izgleda jedna prosečna terapija deteta sa autizmom i robota NAO kojeg ste koristili u studiji? Gde je prednost robota u odnosu na terapeuta, ukoliko prednosti uopšte ima?
Komercijalnog robota NAO kojeg proizvodi kompanija SoftBank Robotics koristili smo zbog toga što su neka ranija istraživanja u domenu interakcija čovek-robot (human-robot interaction) pokazala da dosta dece sa autizmom želi da sarađuje sa ovom vrstom humanoidnog robota. Softver za robota NAO takođe omogućava korisnicima da lako programiraju njegovo ponašanje i izražavanje uobičajenih emotivnih stanja, kao što su sreća, tuga, radost ili začuđenost, što je bilo vrlo važno za zadatke u okviru terapije koju smo snimili za potrebe naše studije. Ove ekspresije kod robota manifestuju se kroz pokrete tela, ton glasa i boju očiju. Žuta, recimo, izražava „sreću“, a crvena „ljutnju“. Druga robotska rešenja su takođe moguća, ali njihova upotreba zavisi od specifičnih ciljeva terapije, kao i od toga da li je njihova namena da se koriste kao interaktivni alati, ili kao alati za praćenje ponašanja, ili za obe ove namene. Personalizovana robotska percepcija koju smo predložili u našem radu može se primeniti na bilo kom robotu i uz pomoć video, audio i biofizioloških senzora. Ova nova tehnologija takođe može da omogući terapeutima i lekarima da uz pomoć softvera prate ponašanje i reakcije dece sa autizmom, kao i promene do kojih vremenom dolazi. Sa druge strane, robotske tehnologije mogu pomoći da se dizajniraju efikasnije terapije za autizam. Primera radi, procenjena afektivna stanja i nivo angažovanja dece mogu pomoći terapeutima da personalizuju sadržaj terapije prema potrebama svakog deteta.
Kada se može očekivati primena ovih robota u svakodnevnom životu?
Trenutno radimo na implementaciji sistema za praćenje aktivnosti dece u realnom vremenu u toku terapije za autizam, sa ciljem da omogućimo terapeutima da brže i efikasnije prate njihov progres. Naš cilj je da se terapeut opremi softverom koji bi mu omogućio da prilagodi, odnosno personalizuje, sadržaj terapije za svako dete. Na primer, uz pomoć naših modela za robotsku percepciju nivoa angažovanja dece, terapeut nakon terapije može jednostavno da vidi u kojim fazama je dete bilo najviše anagažovano i da na osnovu toga odluči koja vrsta terapije bi bila najefikasnija za njega. Planiramo da ovaj sistem testiramo kroz klinička ispitivanja koja će se sledeće godine sprovesti u bolnicama u Evropi, Americi i Japanu. Nameravamo da uključimo i zemlje iz našeg regiona u ova ispitivanja, a o tome ćemo blagovremeno obavestiti zainteresovane škole i roditelje dece sa autizmom.
Zanimljiva je i vaša studija NAO – Dance Therapy for Children with ASD, gde roboti učestvuju u plesnoj terapiji dece sa autizmom. S obzirom na to da ste u studiji upoređivali ponašanje dece tokom terapije sa robotom, terapeutom i nepoznatom osobom, do kojih ste zaključaka došli? Šta je bilo najdelotvornije?
Reč je o maloj studiji koju sam sproveo sa kolegama iz Japana. Cilj je bio da vidimo kako ovakva vrsta terapije za autizam, kao što je terapija igranja (uz muziku) sa robotom i poznatom/nepoznatom osobom može kontekst u kome deca uče da učini interesantnijim. Merili smo motoričke aktivnosti dece (specifični pokreti tela) i ispitivali koliko se dužina trajanja reakcije dece razlikovala onda kada su igrala sa robotom i onda kada su to činila sa ljudima. Utvrdili smo da je dužina reakcije bila slična u oba konteksta, što ukazuje na to da robot može da se primenjuje u segmentima terapije koji se fokusiraju na motoričke sposobnosti dece sa autizmom.
Osim interesovanja u polju autizma, zanimljiv je i vaš rad na algoritmu DeepFaceLift, koji uči da prepoznaje bol na ljudskom licu. Na koji način algoritam to postiže, najjednostavnijim jezikom objašnjeno?
Interpretacija bola je veoma kompleksan proces, pre svega zbog toga što je bol veoma subjektivan osećaj koji zavisi od dosta faktora (na primer, koliko dugo neka osoba živi sa određenom vrstom bola). Naš rad na ovu temu bio je fokusiran na istraživanje „objektivnih“ mera za bol. Ranija istraživanja iz oblasti psihologije pokazala su da određena grupa mišića na licu, kada se aktivira, može dati pouzdane mere o nivou bola koji osoba oseća u tom trenutku. Naravno, bol je i dalje subjektivan osećaj, ali ovo nam omogućava da standardizujemo interpretacije bola. U cilju toga, zajedno sa mojim studentima i kolegama sa MIT-a, razvili smo metod za automatsku interpretaciju bola iz slika lica. Ovaj metod koristi algoritme za mašinsko učenje i kompjutersku viziju (computer vision) da direktno iz piksela slika osoba koje učestvuju u fizioterapiji detektuje nivoe aktivacije mišića na licu, i na osnovu toga proceni intenzitet bola koji oseća osoba čije se slike koriste za analizu. Primena ove metode je višestruka – kod pasivnog praćenja nivoa bola osoba pod lekovima i za vreme boravka u bolnici, kao i kod osoba koje ne mogu da govore pa zbog toga nisu sposobne da ukažu na bol koji osećaju (na primer, zbog posledica moždanog udara).
Naše istraživanje u ovoj oblasti ide u jasnom smeru: da se razvije tehnologija koja bi pomogla terapeutima i deci sa autizmom da terapija bude interesantnija, a u isto vreme i analizirana na način koji je objektivan i usklađen sa potrebama. Dakle, iako se mogu pojaviti različita robotska rešenja za koja se tvrdi da mogu da vrše terapiju za autizam, pre će biti da je reč samo o još jednom marketinškom potezu, nego o nečemu što može da unapredi terapiju za decu sa autizmom.
– Ognjen Rudović
Postoji svojevrsna bojazan u javnosti da će jednog dana roboti ljudima „ukrasti“ poslove. Da li postoji šansa da se to desi u ovoj sferi, ukoliko jednog dana istraživači do te mere usavrše robote koji pomažu deci sa autizmom da im ljudska pomoć više uopšte ne bude potrebna?
Iako robotska tehnologija, koja se izuzetno brzo razvija, unosi nadu da će se mnoge vrste poslova koje ljudi danas mehanički obavljaju automatizovati, ona takođe unosi strah da će roboti osvojiti svet i „ukrasti“ poslove. Smatram da je takvo mišljenje iracionalno i da je ono posledica neinformisanosti o ciljevima, a i trenutnim mogućnostima robotske tehnologije. Kada je konkretno reč o autizmu, ne smatram da će roboti biti u stanju da zamene terapeute: nivo praktičnog znanja potreban za rad sa decom sa autizmom, kao i ljudski kontakt (što je uostalom glavni cilj terapije) biće veoma teško automatizovati, ako je to uopšte i moguće. Naše istraživanje u ovoj oblasti ide u jasnom smeru: da se razvije tehnologija koja bi pomogla terapeutima i deci sa autizmom da terapija bude interesantnija, a u isto vreme i analizirana na način koji je objektivan i usklađen sa potrebama. Dakle, iako se mogu pojaviti različita robotska rešenja za koja se tvrdi da mogu da vrše terapiju za autizam, pre će biti da je reč samo o još jednom marketinškom potezu, nego o nečemu što može da unapredi terapiju za decu sa autizmom.
S obzirom na to da ste imali priliku da studirate i radite van Srbije i to na nekoliko različitih mesta, gde biste pozicionirali Srbiju kada je reč o radu u oblasti veštačke inteligencije?
Veštačka intelegencija se tokom proteklih godina vrlo intenzivno razvijala, i vremenom postaje sastavni deo skoro svih oblasti istraživanja. Ova istraživanja se finansiraju kroz velike (međunarodne) projekte ili sredstvima kompanija kao što su Majkrosoft, Gugl i Amazon. U poređenju sa glavnim centrima u Americi i Evropi, Srbija je trenutno, nažalost, u zaostatku sa istraživanjima iz oblasti veštačke inteligencije, što je, između ostalog, posledica ograničenih budžeta i projekata dostupnih Srbiji. Ipak, situacija se dosta promenila u poslednjih nekoliko godina, pogotovo jer je Srbija dobila pristup evropskim fondovima za istraživanja (Horizont 2020). Pozitivno je i to što je naš sistem obrazovanja (pogotovo na ETF-u i FON-u) veoma detaljan i sistematičan i pruža odličnu podlogu za istraživanje u oblasti veštačke inteligencije, o čemu svedoči činjenica da veliki broj naših ljudi radi u ovoj oblasti na vodećim fakultetima i u kompanijama širom sveta. Ipak, da bi se približili svetskoj sceni, prvi korak je da se mlađim školarcima ukaže na značaj i potencijal veštačke inteligencije i mašinskog učenja, ali i da se istovremeno osveži nastavni materijal koji bi novim studentima omogućio da se direktno i aktivno uključe u ovu oblast nakon osnovnih studija.
Da li planirate da se vratite u Srbiju, i gde vidite sebe nakon MIT-a?
Za sada nemam definitivne planove, ali svakako nameravam da deo svog istraživanja nastavim u Srbiji, uglavnom kroz saradnju sa medicinskim ustanovama i tehničkim fakultetima. Nakon MIT-a nameravam da nastavim svoja istraživanja u Evropi ili Americi, ali nikad se ne zna.
Intervju je izvorno objavljen u 14. broju časopisa Elementi.