Огњен Рудовић је завршио аутоматику на Електротехничком факултету у Београду, и, жедан знања из области вештачке интелигенције и машинског учења, решио да се отисне у свет. Најпре је завршио мастер студије из области Компјутерске визије и Вештачке интелигенције на Аутономном универзитету у Барселони, да би 2014. године стекао докторат на Империјал колеџу у Лондону на тему аутоматског препознавања експресија лица помоћу машинског учења. Од 2016. године, када је добио стипендију „Марија Кири“ од Европске комисије, Огњен се налази у престижном МИТ Медија лабу Технолошког института у Масачусетсу, где, заједно са својим тимом, ради на усавршавању и развоју роботских асистивних технологија са циљем да се унапреди терапија за децу са аутизмом. Осим аутизма, Огњена занимају и друге примене машинског учења, а у области Алцхајмерове болести и аутоматске анализе бола из експресија лица. Стручним језиком речено, Огњенова област назива се affective computing, и почива на идеји да се из података о понашању субјеката процењују њихова афективна стања, попут нивоа узбуђења и ангажовања. Његова студија Personalized machine learning for robot perception of affect and engagement in autism therapy, која је недавно објављена у престижном часопису „Сајенс роботикс“, привукла је огромну пажњу јавности.
У последње време, главни фокус вашег рада јесте усавршавање робота који помажу деци са аутизмом. Одакле интересовање за рад баш у тој области?
Моје интересовање за аутизам почело је током докторских студија на Империјал колеџу у Лондону, где сам радио тезу на тему аутоматске анализе фацијалних експресија уз помоћ машинског учења. Иако то већ има примену у маркетингу и у другим индустријама, здравство је област која ме је одувек привлачила јер верујем да технологије које развијамо могу доста унапредити третмане који се данас примењују. Аутизам ме је фасцинирао из два разлога. Прво, особе са аутизмом имају изазов да „читају” експресије лица типичних особа (neurotypicals). Због тога сам желео да своја истраживања усмерим ка помоћним средставима за особе са аутизмом. која би им омогућила да лакше науче да интерпретирају изразе лица и друге социјалне знакове, попут покрета тела и гласова. Други разлог је био мој иницијални сусрет са децом и њиховим родитељима у Удружењу за аутизам у Београду. Након тог сусрета схватио сам колико је заправо терапија за децу са аутизмом комплексна и колико ствари се може побољшати. То ме је мотивисало да своје истраживање посветим развоју и унапређењу технологија за аутизам. Чланак на тему робота за аутизам, који смо објавили у часопису „Сајенс роботикс“, јесте први рад на ту тему, и у њему смо, осим приказа технолошког решења које смо предложили, желели и да нагласимо колико ова технологија може да унапреди традиционалне терапије за аутизам. Другим речима, желели смо да укажемо на то како коришћење машинског учења може да се употреби за аутоматску анализу афективних стања и ангажовања деце у току терапије за аутизам, где је робот укључен као помоћно средство.
Недавно сте, заједно са колегама у МИТ Медија лабу, развили тип персонализованог машинског учења које помаже роботима да процене интересовање сваког детета у интеракцији, користећи податке који одговарају сваком детету понаособ. Шта су главни изазови у конструисању оваквих робота, али и у раду који обухвата проучавање деце са овим поремећајем?
Пре свега, желео бих да нагласим да ми нисмо развили робота за аутизам, већ да смо користили комерцијалног хуманоидног робота који се зове НАО. Ми смо развили софтверске алгоритме који помоћу машинског учења омогућавају роботу да врши интерпретације дететовог ангажовања, као и његових емотивних стања, јер су то неки од кључних параметара за праћење дететовог напретка током терапије. Такође, када говоримо о аутизму, уместо да га етикетирамо као поремећај, ја бих га радије назвао стање (condition), јер је аутизам спектар и свако дете одликују специфичне карактеристике и врсте понашања. Нека деца, рецимо, могу веома лепо да функционишу у свакодневном животу уз помоћ учитеља и родитеља. Баш због ових индивидуалних разлика, које су веома изражене у аутистичној популацији (у поређењу са типичном популацијом), тим са којим радим на МИТ-у и ја смо схватили да стандардни алгоритми који се користе за машинско учење нису оптималан избор у овом контексту. Управо због споменутих разлика међу децом развили смо нове алгоритме, персонализоване за свако дете које је учествовало у нашој студији, тако што смо, поред њихових израза понашања (слика лица, покрета тела, гласа и биосигнала) користили стручне процене о функционалности деце (на пример, њихових моторних и менталних способности), као и утицај различитих култура и полова. У раду који смо објавили, показали смо да је персонализација кључна ако желимо да унапредимо аутоматску интерпретацију узбуђења и ангажовања деце током терапије.
У свом раду користите врсту машинског учења која се назива „дубоко учење“ (deep learning). Да ли можете да нам објасните шта оно тачно представља и на који начин функционише?
„Дубоко учење“ је врста модела за машинско учење који су почели да се користе осамдесетих година, али њихова пуна примена није била изводљива све донедавно због хардверских и других техничких ограничења. То је врста неуралних мрежа, примењена секвенцијално како би се из прикупљених сигнала (нпр. слика и звука) научиле карактеристике (deep features) које нам омогућавају да што боље вршимо класификацију циљних стања (на пример, емотивних стања особа). Иако је „дубоко учење“ драматично побољшало системе за аутоматско препознавање говора, препознавање и детекцију објеката из слика, а и допринело другим областима као што су генетика и фармација, досад није био при мењено у области аутоматске анализе људског понашања и роботике, а у контексту аутизма.
Аутизам ме је фасцинирао из два разлога. Прво, особе са аутизмом имају изазов да ‘читају’ експресије лица типичних особа. Због тога сам желео да усмерим своје истраживање ка помоћним средствима која би им омогућила да лакше науче да интерпретирају изразе лица и друге социјалне знакове, попут покрета тела и гласова. Други разлог је био мој иницијални сусрет са децом и њиховим родитељима у Удружењу за аутизам у Београду. Након тог сусрета схватио сам колико је терапија за децу са аутизмом комплексна и колико ствари се може побољшати. То ме је мотивисало да своје истраживање посветим развоју и унапређењу технологија за аутизам.
– Огњен Рудовић
У студији коју сте објавили ове године учествовало је тридесет петоро деце са аутизмом из Србије и Јапана. Колико је била важна ова међукултурална димензија истраживања, и на који начин вам је помогла?
Досад се нико није бавио културолошким разликама у аутизму и у контексту машинског учења за терапије са помоћном роботском технологијом. Ми смо за нашу студију одабрали две земље, две културе, које су по себи већ доста различите – Јапан и Србију, баш због тога што је Јапан технолошки високо развијена земља у којој је присуство робота свакодневица. Иако смо нашу студију започели јер смо били радознали да истражимо које су то разлике у облицима понашања и реакција деце из ове две културе, испоставило се да постоје јасне и објективне разлике. Такође је битно да нагласим да су баш те разлике кључне када се прави систем за аутоматске интерпретације понашања деце са аутизмом, јер робот не зна за те разлике. Помоћу наших персонализованих алгоритама омогућили смо да роботи перципирају афективна стања и ангажовање деце са аутизмом, а интерпретације су биле адаптиране на сваку културу и дете. Показали смо да су резултат тога биле прецизније интерпретације понашања деце која су учествовала у нашој студији.
Шта су главни закључци ваше студије и који је био њен главни циљ?
Ова студија је показала техничку изводљивост система за роботску (аутоматску) перцепцију афективних стања (нивоа позитивних-негативних емоција, и узбуђења), али и перцепцију ангажовања деце са аутизмом током терапије у присуству хуманоидног робота НАО и професионалног терапеута. Како бисмо то постигли, креирали смо методу personalized perception of affect network (PPA-net), за персонализацију deep learning алгоритама за машинско учење. Ови алгоритми су базирани на неуралним мрежама које имитирају активност неурона у неокортексу људског мозга, што им омогућава да симулирају процесљудског учења и интерпретацију света око нас. Користећи овај метод, постигли смо корелацију од ~60 процената између роботовог опажања нивоа афективних стања и ангажовања деце, и процене тих истих стања од стране људских терапеута из аудио-визуелних записа терапије. За разлику од људи, који могу бити недоследни у праћењу и тумачењу малих промена у понашању, роботи могу бити прецизнији и доследнији у том задатку и помоћи терапеутима да примете чак и врло благи напредак код деце. Наш циљ био је да дизајнирамо персонализоване алгоритме машинског учења који би омогућили роботима да опазе знакове људског понашања у реалним условима терапије за децу са аутизмом, и показали смо да је то технички изводљиво.
Како изгледа једна просечна терапија детета са аутизмом и робота НАО којег сте користили у студији? Где је предност робота у односу на терапеута, уколико предности уопште има?
Комерцијалног робота НАО којег производи компанија SoftBank Robotics користили смо због тога што су нека ранија истраживања у домену интеракција човек-робот (human-robot interaction) показала да доста деце са аутизмом жели да сарађује са овом врстом хуманоидног робота. Софтвер за робота НАО такође омогућава корисницима да лако програмирају његово понашање и изражавање уобичајених емотивних стања, као што су срећа, туга, радост или зачуђеност, што је било врло важно за задатке у оквиру терапије коју смо снимили за потребе наше студије. Ове експресије код робота манифестују се кроз покрете тела, тон гласа и боју очију. Жута, рецимо, изражава „срећу“, а црвена „љутњу“. Друга роботска решења су такође могућа, али њихова употреба зависи од специфичних циљева терапије, као и од тога да ли је њихова намена да се користе као интерактивни алати, или као алати за праћење понашања, или за обе ове намене. Персонализована роботска перцепција коју смо предложили у нашем раду може се применити на било ком роботу и уз помоћ видео, аудио и биофизиолошких сензора. Ова нова технологија такође може да омогући терапеутима и лекарима да уз помоћ софтвера прате понашање и реакције деце са аутизмом, као и промене до којих временом долази. Са друге стране, роботске технологије могу помоћи да се дизајнирају ефикасније терапије за аутизам. Примера ради, процењена афективна стања и ниво ангажовања деце могу помоћи терапеутима да персонализују садржај терапије према потребама сваког детета.
Када се може очекивати примена ових робота у свакодневном животу?
Тренутно радимо на имплементацији система за праћење активности деце у реалном времену у току терапије за аутизам, са циљем да омогућимо терапеутима да брже и ефикасније прате њихов прогрес. Наш циљ је да се терапеут опреми софтвером који би му омогућио да прилагоди, односно персонализује, садржај терапије за свако дете. На пример, уз помоћ наших модела за роботску перцепцију нивоа ангажовања деце, терапеут након терапије може једноставно да види у којим фазама је дете било највише анагажовано и да на основу тога одлучи која врста терапије би била најефикаснија за њега. Планирамо да овај систем тестирамо кроз клиничка испитивања која ће се следеће године спровести у болницама у Европи, Америци и Јапану. Намеравамо да укључимо и земље из нашег региона у ова испитивања, а о томе ћемо благовремено обавестити заинтересоване школе и родитеље деце са аутизмом.
Занимљива је и ваша студија NАО – Dance Therapy for Children with ASD, где роботи учествују у плесној терапији деце са аутизмом. С обзиром на то да сте у студији упоређивали понашање деце током терапије са роботом, терапеутом и непознатом особом, до којих сте закључака дошли? Шта је било најделотворније?
Реч је о малој студији коју сам спровео са колегама из Јапана. Циљ је био да видимо како оваква врста терапије за аутизам, као што је терапија играња (уз музику) са роботом и познатом/непознатом особом може контекст у коме деца уче да учини интересантнијим. Мерили смо моторичке активности деце (специфични покрети тела) и испитивали колико се дужина трајања реакције деце разликовала онда када су играла са роботом и онда када су то чинила са људима. Утврдили смо да је дужина реакције била слична у оба контекста, што указује на то да робот може да се примењује у сегментима терапије који се фокусирају на моторичке способности деце са аутизмом.
Осим интересовања у пољу аутизма, занимљив је и ваш рад на алгоритму DeepFaceLift, који учи да препознаје бол на људском лицу. На који начин алгоритам то постиже, најједноставнијим језиком објашњено?
Интерпретација бола је веома комплексан процес, пре свега због тога што је бол веома субјективан осећај који зависи од доста фактора (на пример, колико дуго нека особа живи са одређеном врстом бола). Наш рад на ову тему био је фокусиран на истраживање „објективних“ мера за бол. Ранија истраживања из области психологије показала су да одређена група мишића на лицу, када се активира, може дати поуздане мере о нивоу бола који особа осећа у том тренутку. Наравно, бол је и даље субјективан осећај, али ово нам омогућава да стандардизујемо интерпретације бола. У циљу тога, заједно са мојим студентима и колегама са МИТ-а, развили смо метод за аутоматску интерпретацију бола из слика лица. Овај метод користи алгоритме за машинско учење и компјутерску визију (computer vision) да директно из пиксела слика особа које учествују у физиотерапији детектује нивое активације мишића на лицу, и на основу тога процени интензитет бола који осећа особа чије се слике користе за анализу. Примена ове методе је вишеструка – код пасивног праћења нивоа бола особа под лековима и за време боравка у болници, као и код особа које не могу да говоре па због тога нису способне да укажу на бол који осећају (на пример, због последица можданог удара).
Наше истраживање у овој области иде у јасном смеру: да се развије технологија која би помогла терапеутима и деци са аутизмом да терапија буде интересантнија, а у исто време и анализирана на начин који је објективан и усклађен са потребама. Дакле, иако се могу појавити различита роботска решења за која се тврди да могу да врше терапију за аутизам, пре ће бити да је реч само о још једном маркетиншком потезу, него о нечему што може да унапреди терапију за децу са аутизмом.
– Огњен Рудовић
Постоји својеврсна бојазан у јавности да ће једног дана роботи људима „украсти“ послове. Да ли постоји шанса да се то деси у овој сфери, уколико једног дана истраживачи до те мере усаврше роботе који помажу деци са аутизмом да им људска помоћ више уопште не буде потребна?
Иако роботска технологија, која се изузетно брзо развија, уноси наду да ће се многе врсте послова које људи данас механички обављају аутоматизовати, она такође уноси страх да ће роботи освојити свет и „украсти“ послове. Сматрам да је такво мишљење ирационално и да је оно последица неинформисаности о циљевима, а и тренутним могућностима роботске технологије. Када је конкретно реч о аутизму, не сматрам да ће роботи бити у стању да замене терапеуте: ниво практичног знања потребан за рад са децом са аутизмом, као и људски контакт (што је уосталом главни циљ терапије) биће веома тешко аутоматизовати, ако је то уопште и могуће. Наше истраживање у овој области иде у јасном смеру: да се развије технологија која би помогла терапеутима и деци са аутизмом да терапија буде интересантнија, а у исто време и анализирана на начин који је објективан и усклађен са потребама. Дакле, иако се могу појавити различита роботска решења за која се тврди да могу да врше терапију за аутизам, пре ће бити да је реч само о још једном маркетиншком потезу, него о нечему што може да унапреди терапију за децу са аутизмом.
С обзиром на то да сте имали прилику да студирате и радите ван Србије и то на неколико различитих места, где бисте позиционирали Србију када је реч о раду у области вештачке интелигенције?
Вештачка интелегенција се током протеклих година врло интензивно развијала, и временом постаје саставни део скоро свих области истраживања. Ова истраживања се финансирају кроз велике (међународне) пројекте или средствима компанија као што су Мајкрософт, Гугл и Амазон. У поређењу са главним центрима у Америци и Европи, Србија је тренутно, нажалост, у заостатку са истраживањима из области вештачке интелигенције, што је, између осталог, последица ограничених буџета и пројеката доступних Србији. Ипак, ситуација се доста променила у последњих неколико година, поготово јер је Србија добила приступ европским фондовима за истраживања (Хоризонт 2020). Позитивно је и то што је наш систем образовања (поготово на ЕТФ-у и ФОН-у) веома детаљан и систематичан и пружа одличну подлогу за истраживање у области вештачке интелигенције, о чему сведочи чињеница да велики број наших људи ради у овој области на водећим факултетима и у компанијама широм света. Ипак, да би се приближили светској сцени, први корак је да се млађим школарцима укаже на значај и потенцијал вештачке интелигенције и машинског учења, али и да се истовремено освежи наставни материјал који би новим студентима омогућио да се директно и активно укључе у ову област након основних студија.
Да ли планирате да се вратите у Србију, и где видите себе након МИТ-а?
За сада немам дефинитивне планове, али свакако намеравам да део свог истраживања наставим у Србији, углавном кроз сарадњу са медицинским установама и техничким факултетима. Након МИТ-а намеравам да наставим своја истраживања у Европи или Америци, али никад се не зна.
Интервју је изворно објављен у 14. броју часописа Елементи.