Multimedijsko prostorno interaktivno beskontaktno sučelje Tibor Skala, Andrej Božić, Vladimir Cviljušac Sažetak Novim hardverskim i softverskim rješenjem stvoren je tehnički sustav u obliku interaktivnog radnog okruženja na način da je površina stola pretvorena u beskontaktno, multimedijski interaktivno, višekorisničko računalno sučelje. Pod pojmom inteligentno misli se na mogućnost prepoznavanja osoba i značajki korisnika, kao adaptabilna komunikativnost. Sučelje je beskontaktno, što znači da nije potrebno fizički dodirivati površinu sučelja pošto se vrši beskontaktna detekcija položaja prstiju. Također sučelje je multimedijski interaktivno jer se upravljanje procesima na sučelju vrši gestom i glasom te višekorisničko jer dajemogućnost razlikovanja više korisnika istovremeno. Ključne riječi: multitouch, multiuser, ekran osjetljiv na dodir, API, sučelje, Flash, IR kamera, dubinski senzor Uvod Današnja prijenosna računala i smartphone mobilni telefoni pružaju sveprisutan pristup u vremenu i prostoru informacijama i multimedijskim sadržajima. Zauvijek je promjenjen način na koji radimo i živimo. Međutim, mobilne interakcije još nisu riješene. Nužno je pronaći nove mogućnosti iznad klasičnih tipkovnica, miša i zaslona. Tehnička izvedba i opis sučelja Princip rada Inteligentno projekcijsko sučelje čini projektor koji stvara sliku na mlječnom staklu stola na temelju interakcije korisnika. 3D prostorni senzor sastavljen je od kamere i infracrvenog senzora laserskog strukturnog svjetla, te mikrofona koji omogućuju prihvaćanja audio signala iz okoline. Slika 1. Višekorisnička aplikacijska skica sučelja Pomoću 3D prostornog senzora snimamo i evidentiramo lokomocijske značajke ekstremiteta (ruka/prsti) korisnika te obradom takvih podataka raspolažemo informacijama kao što su položaj u prostoru, odnosi i omjeri pojedinih ekstremiteta tijela, brzina reakcije i kretanja u prostoru. Audio input kao multimedijski input omogućava da osim gestikulacijom, sustavom možemo upravljati i govorom. Spektar različitih informacija nam omogućava da se uspostavi baza u koju trodimenzionalni sustav sprema podatke i konstantno ih analizira na principu razvijenih algoritama. To nam omogućava konstantim korištenjem prilagođavnje korisniku na taj način da „uči“ odnosno evidentira gestikulacije, boju glasa, spektar glasa, kinetiku tijela, masu i osnovne karakteristike vanjštine korisnika (boja i položaj očiju, dužina kose, boja odjeće itd.). U konačnici dobivamo sustav koji je brži i efikasniji što se više koristi, dobivamo savršeno prilagodljiv sustav. Prikaz sustava Na slici je prikazana beta verzija rada sustava. Prikazano je kako se vrši detekcija korisnika na temelju algoritma, te je prikazano kako izgledaju te informacije u sustavu odnosno koliko točaka je sustav u mogućnosti pratiti za pojedinog usera.
Korisnik micanjem ruku iznad površine stola generira preko prostornog senzora (3D depth sensor) dubinsku i koordinatnu mapu ruku i prstiju. To služi za obradu i server podataka koji ulazi u obradno i upravljačko računalo.
Obrada se provodi pomoću složenog računalnog programa sa nizom kompleksnih algoritama. Obrada provodi slikovnu obradu, 3D dubinsku mapu, koordinatnu ekstrakciju, zvučnu obradu, lokaciju i formira interaktivne vektore. Temeljem tako dobivenih informacija se ide u driver sučelja i formira kompozicija i segmentacija slikovnih sadržaja za projektor. Inteligencija se ostvaruje baznim taloženjem značajki korisnika. Naprednim algoritmom obrade utječe se na odziv drajvera projektora. Stanje tehnike i usporedba postojećih sučelja na tržištu Postojeći multitouch displayi su rađeni na kapacitivnoj osnovi i osjetljivi su na mehanička naprezanja te imaju ograničenu površinu dimenzija do 50 incha. Isti su interaktivni samo na razini dubine. Za razliku od navedenih sučelja naše rješenje se bazira na 3D Depth senzoru koji nam omogućava da svaku površinu učinimo interaktivnom te kao takav ima neograničene mogućnosti. Koristi se napredna tehnologija koja pokušava ostvariti maksimalnu interaktivnost između stola i korisnika. U usporedbi sa multitouch stolovima i aplikacijama ima prednost što nije vezan za jedno mjesto, lakši je, izvedba je puno jeftinija i u konačnici ukupna cijena je puno manja. Velika prednost ovog sustava je u tome što konstantnim uzorkovanjem inputnih informacija sam sebe doinformirava i prilagođava korisniku što nema nitko na tržištu. Značajka našeg sustava je jednostavna implementacija na postojeće sustave (baze podataka) te mogućnost multimedijske interakcije više korisnika u isto vrijeme. Nema doticaja ni mehaničkih dijelova. Jednostavan je za rukovanje i održavanje. Tržište Multitouch aplikacija i hardverskih rješenja za primjene novih tehnologija smatra se jednom od najbrže rastućih u ICT industriji. Prema analizi Displaybanka tržište touch screen panela do 2014. godine imat će godišnju stopu rasta prihoda od 36%, a godišnju stopu rasta uređaja od čak 42%. Prihod na ukupnom tržište touch screen panela u 2011. godini iznosit će 6,09 milijardi eura, a do 2014. godine pretpostavlja se rast do 9,65 milijardi eura (prikazano u Tablici 1). Ova financijska projekcija nalazi se u novo dostupnom izvješću Displaybanka, lidera na tržištu u području multitouch tehnologija. Za razliku od prethodnih studija i analiza, izvješće Displaybanka pokriva cijelo svjetsko tržište uređaja osjetljivih na dodir i temelji se na stvarnim rezultatima dobavljača. Ostali pokazatelji vidljivi su u tablici 2.
Tablica 1. Izvješće Displaybanka (lidera na tržištu u području multitouch tehnologija) o stanju na tržištu multitouch aplikacija i hardverskih rješenja
Tablica 2. Rast tržišta mobilnih telefona i smartphone uređaja
Tablica 3. Prikaz postojećih tvrtki u svijetu koje se bave mobilnim multitouch aplikacijama Zaključak U radu je dat prikaz razvijenog beskontaktnog sučelja kao beta verzije koja još nije u potpunosti funkcionalna ali osnovne aplikativne mogućnosti su primjenjive. Daljnjim radom planira se razvoj i nadogradnja korisničkog sučelja primjenjivog u raznim sferama i područjima struke. To znači da će svaki korisnik biti u mogućnosti upoznati se sa tehničkim specifikacijama, aplikacijama i donekle smjera u kojem se razvijamo. U izradi su i nacrti budućih strategija koje će se primjenjivati prilikom usavršavanja i primjene sučelja na različitim poljima i područjima od grafičke struke, arhitekture, 3D simuulacija u aeronautici, strojarskim nacrtnim rješenjima... Tako prilikom korištenja ovog sučelja na području zdravstva i rehabilitacije imamo namjenu uključiti stručnjake van tehnoloških domena kao i same korisnike u ovom slučaju slabovidne osobe. Planira se provedba odražavanja i nadogradnje sustava, edukacije korištenja sustava, kontakt centar u slučaju nejasnoća. Literatura Kevin Roebuck Multitouch: High-impact Strategies - What You Need to Know: Definitions, Adoptions, Impact, Benefits, Maturity, Vendors, 2011
|