Jeder hat schon mal Klavier gespielt auf einem Tisch oder Körperteil. Aber wohl bei keinem hat's auch geklungen. Dank einer Erfindung der ETH Zürich geht das nun: mittels eines Handgelenksensors, der Fingerbewegungen in Computerbefehle umwandelt - mobil und billig.

Die Simulation von Umgebungen, gekoppelt mit Technologien wie Virtual-Reality-Brillen​, bietet schier unbegrenzte Möglichkeiten. Im Alltag werden VR-​Systeme dennoch nicht viel genutzt. "Bei produktiven Tätigkeiten, etwa bei klassischen Büroarbeiten, haben sich die Technologien noch nicht etabliert", hat Christian Holz, Professor am Institut für intelligente interaktive Systeme an der ETH Zürich, beobachtet.

Dabei bestünde auch hier großes Potenzial: Inhalte sind nicht mehr an einen Bildschirm gebunden, Nutzerinnen und Nutzer können dreidimensional, hochflexibel und intuitiv mit den Händen agieren. Das zentrale Problem liege bei der Interaktion zwischen Mensch und Technologie, sagt Holz.

Bisher wurden die Geräte mit Controllern bedient oder freihändig in der Luft, indem die Bewegungen abgefilmt werden. Stehend und mit erhobenen Händen zu arbeiten, ist ermüdend. "Ein normaler Arbeitsprozess, also die Interaktion mit dem System über mehrere Stunden, ist so nicht denkbar". Und bei virtuellen Tastaturen sind die Fingerbewegungen zu kleinräumig, um von Kameras exakt umgesetzt zu werden.

Klopf auf Holz

Für beide Probleme bieten passive Oberflächen eine sinnvolle Alternative, finden Holz und sein Team. Das kann die klassische Tischplatte sein, aber auch eine Wand oder der eigene Körper. Das Sensorikprinzip namens "TapID", eingebettet in ein billiges Gummi-Armband, vermag winzige Unterschiede im Vibrationsprofil am Handgelenk aufzulösen, die jedem Finger charakteristisch sind. Die Regung jedes einzelnen Fingers manifestiert sich am Handgelenk unterschiedlich, und das "TapID"-Gerät nutzt diese Differenzen.

Eine eigens entwickelte Machine-​Learning-Pipeline verarbeitet dabei die gemessenen Daten in Echtzeit. In Kombination mit dem Kamerasystem einer VR-​Brille, das die Position der Hände erfasst, wird so eine äußerst exakte Eingabe möglich. Die Forschenden demonstrieren das in einigen Anwendungen, die sie für ihre Entwicklung programmiert haben, etwa einer virtuellen Tastatur und einem Klavier.

In einer technischen Evaluation mit 18 Teilnehmenden konnten die Entwickler zeigen, dass das Prinzip nicht nur mit der eigens konstruierten Elektronik im Armband zuverlässig funktioniert, sondern auch mit Fitness-​Armbändern und Smartwatches von etablierten Anbietern, die mit Trägheitssensoren ausgestattet sind.

Außerdem sei das Armband billig in der Herstellung und überallhin leicht mitzuführen, rühmt Informatikprofessor Holz. Er sieht die Zukunft der virtuellen Realität darin, unabhängig von der physischen Position zusammenarbeiten zu können - nicht durch Hardware eingeschränkt, sondern so, als wäre man im selben Raum.

Service: Video zur Anwendung unter http://go.apa.at/t3npN4HE