Multimedijsko prostorno interaktivno beskontaktno sučelje

Tibor Skala, Andrej Božić, Vladimir Cviljušac

Sažetak

Novim hardverskim i softverskim rješenjem stvoren je tehnički sustav u obliku interaktivnog radnog okruženja na način da je površina stola pretvorena u beskontaktno, multimedijski interaktivno, višekorisničko računalno sučelje. Pod pojmom inteligentno misli se na mogućnost prepoznavanja osoba i značajki korisnika, kao adaptabilna komunikativnost. Sučelje je beskontaktno, što znači da nije potrebno fizički dodirivati površinu sučelja pošto se vrši beskontaktna detekcija položaja prstiju. Također sučelje je multimedijski interaktivno jer se upravljanje procesima na sučelju vrši gestom i glasom te višekorisničko jer dajemogućnost razlikovanja više korisnika istovremeno.
Nova generacija sučelja je tehnički razvedena u  radno okruženje u formi sučelja u obliku stola koji otvara nove aplikativne mogućnosti u raznim područjima primjene. Sučelje se temelji na principu spajanja elemenata površine u interakciju stvarajući proširenu stvarnost s ciljem da prirodnoj podlozi (mutno staklo) daje svojstvo potpune interaktivnosti. Koncept transformira površinsko sučeljno računarstvo (multitouch) u novo područje prostornog sučeljskog računarstva. Rješenje spada u područje analize dubine slika pomoću prostornog senzora (infracrveni dubinski skener). Snimanjem dubinske mape (pomoću strukturiranog svjetla) prostora moguće je pratiti prostornu dinamiku kretanja prirodnih objekata (pomak ekstremiteta čovjeka) i na taj način formirati novu prostornu interakciju koja se vizualizira projekcijom. Kamere za stvaranje dubinske mape su kalibrirane sa projekcijskom slikom projektora. Tako se stvara aktivan, interaktivan prostor proširene stvarnosti (augment reality) s mogućnošću emulacije široke palete prostorne doticajne beskontaktne interakcije.

Ključne riječi: multitouch, multiuser, ekran osjetljiv na dodir, API, sučelje, Flash, IR kamera, dubinski senzor

Uvod

Današnja prijenosna računala i smartphone mobilni telefoni pružaju sveprisutan pristup u vremenu i prostoru informacijama i multimedijskim sadržajima. Zauvijek je promjenjen način na koji radimo i živimo. Međutim, mobilne interakcije još nisu riješene. Nužno je pronaći nove mogućnosti iznad klasičnih tipkovnica, miša i zaslona.
Rješenje je u pretvaranju površina u interaktivne sfere odnosno komunikacijske platforme. To je danas moguće s naprednim hardverskim i programskim rješenjima. Ideja je da se stvori grafički beskontaktni interaktivni multitouch sustav na proizvoljnim površinama u 3D prostoru.
Kao nadogradnja multitouch-u i ne korištenju prstiju koje služe za senzoriranje po kapacitivoj površini uvodi se beskontaktno prostorno sučelje za non-multitouch komunikaciju. Potojeći uređaji koriste kapacitivne ekrane i folije i količinom hardvera stvaraju nepraktičan i skupi medij.
Novost se očituje u hardverskoj i programskoj integraciji naprednih senzorskih i vizualizacijskih tehnika i tehnologija na način da se stvara beskontaktni sustav multimedijske komunikacije i interakcije korisnika sa sučeljem. Više različitih korisnika može gestikulacijama i zvukom upravljati i vršiti interakciju. S tim u svezi se prepoznaje čitava gama novih aplikativnih mogućnosti u svim sferama rada i života.

Tehnička izvedba i opis sučelja

Princip rada

Inteligentno projekcijsko sučelje čini projektor koji stvara sliku na mlječnom staklu stola na temelju interakcije korisnika. 3D prostorni senzor sastavljen je od kamere i infracrvenog senzora laserskog strukturnog svjetla, te mikrofona koji omogućuju prihvaćanja audio signala iz okoline.

Slika 1. Višekorisnička aplikacijska skica sučelja

Pomoću 3D prostornog senzora snimamo i evidentiramo lokomocijske značajke ekstremiteta (ruka/prsti) korisnika te obradom takvih podataka raspolažemo informacijama kao što su položaj u prostoru, odnosi i omjeri pojedinih ekstremiteta tijela, brzina reakcije i kretanja u prostoru. Audio input kao multimedijski input omogućava da osim gestikulacijom, sustavom možemo upravljati i govorom. Spektar različitih informacija nam omogućava da se uspostavi baza u koju trodimenzionalni sustav sprema podatke i konstantno ih analizira na principu razvijenih algoritama. To nam omogućava konstantim korištenjem prilagođavnje korisniku na taj način da „uči“ odnosno evidentira gestikulacije, boju glasa, spektar glasa, kinetiku tijela, masu i osnovne karakteristike vanjštine korisnika (boja i položaj očiju, dužina kose, boja odjeće itd.). U konačnici dobivamo sustav koji je brži i efikasniji što se više koristi, dobivamo savršeno prilagodljiv sustav.

Prikaz sustava

Na slici je prikazana beta verzija rada sustava. Prikazano je kako se vrši detekcija korisnika na temelju algoritma, te je prikazano kako izgledaju te informacije u sustavu odnosno koliko točaka je sustav u mogućnosti pratiti za pojedinog usera.

Slika 2. prikaz površine stola

Slika 3. prikaz informacija primljenih u računalo

Korisnik micanjem ruku iznad površine stola generira preko prostornog senzora (3D depth sensor) dubinsku i koordinatnu mapu ruku i prstiju. To služi za obradu i server podataka koji ulazi u obradno i upravljačko računalo.

Slika 4. Blok shema – shematski prikaz rada sustava

Obrada se provodi pomoću složenog računalnog programa sa nizom kompleksnih algoritama. Obrada provodi slikovnu obradu, 3D dubinsku mapu, koordinatnu ekstrakciju, zvučnu obradu, lokaciju i formira interaktivne vektore. Temeljem tako dobivenih informacija se ide u driver sučelja i formira kompozicija i segmentacija slikovnih sadržaja za projektor. Inteligencija se ostvaruje baznim taloženjem značajki korisnika. Naprednim algoritmom obrade utječe se na odziv drajvera projektora.
Cijeli sustav je masimalno integriran i kompaktan i nema pokretnih i doticajnih elemenata. Otporan je na klimomehanička opterećenja i ima veliki vijek trajanja.

Stanje tehnike i usporedba postojećih sučelja na tržištu

Postojeći multitouch displayi su rađeni na kapacitivnoj osnovi i osjetljivi su na mehanička naprezanja te imaju ograničenu površinu dimenzija do 50 incha. Isti su interaktivni samo na razini dubine. Za razliku od navedenih sučelja naše rješenje se bazira na 3D Depth senzoru koji nam omogućava da svaku površinu učinimo interaktivnom te kao takav ima neograničene mogućnosti. Koristi se napredna tehnologija koja pokušava ostvariti maksimalnu interaktivnost  između stola i korisnika. U usporedbi sa multitouch stolovima i aplikacijama ima prednost što nije vezan za jedno mjesto, lakši je, izvedba je puno jeftinija i u konačnici ukupna cijena je puno manja. Velika prednost ovog sustava je u tome što konstantnim uzorkovanjem inputnih informacija sam sebe doinformirava i prilagođava korisniku što nema nitko na tržištu. Značajka našeg sustava je jednostavna implementacija na postojeće sustave (baze podataka) te mogućnost multimedijske interakcije više korisnika u isto vrijeme. Nema doticaja ni mehaničkih dijelova. Jednostavan je za rukovanje i održavanje.

Tržište Multitouch aplikacija i hardverskih rješenja za primjene novih tehnologija smatra se jednom od najbrže rastućih u ICT industriji. Prema analizi Displaybanka tržište touch screen panela do 2014. godine imat će godišnju stopu rasta prihoda od 36%, a godišnju stopu rasta uređaja od čak 42%. Prihod na ukupnom tržište touch screen panela u 2011. godini iznosit će 6,09 milijardi eura, a do 2014. godine pretpostavlja se rast do 9,65 milijardi eura (prikazano u Tablici 1). Ova financijska projekcija nalazi se u novo dostupnom izvješću Displaybanka, lidera na tržištu u području multitouch tehnologija. Za razliku od prethodnih studija i analiza, izvješće Displaybanka pokriva cijelo svjetsko tržište uređaja osjetljivih na dodir i temelji se na stvarnim rezultatima dobavljača. Ostali pokazatelji vidljivi su u tablici 2.

Tablica 1. Izvješće Displaybanka (lidera na tržištu u području multitouch tehnologija) o stanju na tržištu multitouch aplikacija i hardverskih rješenja

Tablica 2. Rast tržišta mobilnih telefona i smartphone uređaja

Tablica 3. Prikaz postojećih tvrtki u svijetu koje se bave mobilnim multitouch aplikacijama

Zaključak

U radu je dat prikaz razvijenog beskontaktnog sučelja kao beta verzije koja još nije u potpunosti funkcionalna ali osnovne aplikativne mogućnosti su primjenjive. Daljnjim radom planira se razvoj i nadogradnja korisničkog sučelja primjenjivog u raznim sferama i područjima struke. To znači da će svaki korisnik biti u mogućnosti upoznati se sa tehničkim specifikacijama, aplikacijama i donekle smjera u kojem se razvijamo. U izradi su i nacrti budućih strategija koje će se primjenjivati prilikom usavršavanja i primjene sučelja na različitim poljima i područjima od grafičke struke, arhitekture, 3D simuulacija u aeronautici, strojarskim nacrtnim rješenjima... Tako prilikom korištenja ovog sučelja na području zdravstva i rehabilitacije imamo namjenu uključiti stručnjake van tehnoloških domena kao i same korisnike u ovom slučaju slabovidne osobe. Planira se provedba odražavanja i nadogradnje sustava, edukacije korištenja sustava, kontakt centar u slučaju nejasnoća.

Literatura

Kevin Roebuck  Multitouch: High-impact Strategies - What You Need to Know: Definitions, Adoptions, Impact, Benefits, Maturity, Vendors, 2011
Elad Elrom  AdvancED Flash on Devices: Mobile Development with Flash Lite and Flash 10 (Friends of Ed Abobe Learning Library), 2009
Roger Jennings  Microsoft Access 2010 In Depth, 2011
John A. Sokolowski and Catherine M. Banks Principles of Modeling and Simulation: A Multidisciplinary Approach, 2009
Hamid K. Aghajan  Human-Centric Interfaces for Ambient Intelligence, 2009