Multimedijsko prostorno interaktivno beskontaktno sučelje

Tibor Skala

Novim hardverskim i softverskim rješenjem stvoren je tehnički sustav u obliku interaktivnog radnog okruženja na način da je površina stola pretvorena u beskontaktno, multimedijski interaktivno, višekorisničko računalno sučelje. Pod pojmom inteligentno misli se na mogućnost prepoznavanja osoba i značajki korisnika, kao adaptabilna komunikativnost. Sučelje je beskontaktno, što znači da nije potrebno fizički dodirivati površinu sučelja pošto se vrši beskontaktna detekcija položaja prstiju. Također sučelje je multimedijski interaktivno jer se upravljanje procesima na sučelju vrši gestom i glasom te višekorisničko jer daje mogućnost razlikovanja više korisnika istovremeno. Nova generacija sučelja je tehnički razvedena u radno okruženje u formi sučelja u obliku stola koji otvara nove aplikativne mogućnosti u raznim područjima primjene. Sučelje se temelji na principu spajanja elemenata površine u interakciju stvarajući proširenu stvarnost s ciljem da prirodnoj podlozi (mutno staklo) daje svojstvo potpune interaktivnosti. Koncept transformira površinsko sučeljno računarstvo (multitouch) u novo područje prostornog sučeljskog računarstva. Rješenje spada u područje analize dubine slika pomoću prostornog senzora (infracrveni dubinski skener). Snimanjem dubinske mape (pomoću strukturiranog svjetla) prostora moguće je pratiti prostornu dinamiku kretanja prirodnih objekata (pomak ekstremiteta čovjeka) i na taj način formirati novu prostornu interakciju koja se vizualizira projekcijom. Kamere za stvaranje dubinske mape su kalibrirane sa projekcijskom slikom projektora. Tako se stvara aktivan, interaktivan prostor proširene stvarnosti (augment reality) s mogućnošću emulacije široke palete prostorne doticajne beskontaktne interakcije.

Ključne riječi: multitouch, multiuser, ekran osjetljiv na dodir, API, sučelje, Flash, IR kamera, dubinski senzor

Media spatial interactive touchless interface

Tibor Skala

With new hardware and software designs a technical system in the form of an interactive job environment has been created, in such a way that the table surface has been turned into a touchless, multimedia, interactive, multiuser computer interface. Under the term intelligent it is comprehended that there is possibility of recognizing person and user characteristics, as an adaptable communication ability. The interface is touchless, and this means that it is not necessary to physically touch the interface surface because touchless detection of fingers position is carried out. Also, the interface is multimedia interactive because process control is done with gestures and voice, and it is also multiuser because it provides the possibility of distinguishing several users at the same time. The new interface generation is technically developed for the work environment in the form of an interface table that opens new application possibilities in various areas. The interface is based on the principle of joining surface elements into interaction creating an extended reality with the goal to provide a natural substrate (opaque glass) with the characteristic of full interactivity. The concept transforms surface interface computer science (multitouch) into a new area of spatial interface computing. The design falls into the area of analyzing the image depth with the help of a spatial sensor (infrared depth scanner). By recording the depth map of the area (with the help of structured light), it is possible to follow area dynamics of natural object motion (moving of a person's extremities), and thereby form a new spatial interaction that is visualized by projection. Cameras for making depth maps are calibrated with a projector projection image. In this way an active, interactive space of extended reality (augment reality) is created, with the possibility of emulating a wide range of spatial touchless interaction.

Key words: multitouch, multiuser, touch-sensible screen, API, interface, Flash, IR camera, depth sensor