HeadGaze – Steuerung per Kopftracking

von Jan Gruber
11. Oktober 2018

Während sich der Touchscreen bei den meisten Nutzern als fixes Eingabekonzept durchgesetzt hat, gibt es auf der anderen Seite auch Nutzer, die diesen nicht bedienen können. Viele Systeme bieten sogenannte Bedienungshilfen für Menschen mit Einschränkungen, eine interessante neue Alternative kommt jetzt von Ebay.

Die Welt von AR und VR eröffnet uns nicht nur neue Horizonte, sondern auch neue Möglichkeiten, um Inhalte zu steuern. Während die Frontkamera der neuen iPhone-Modelle bereits zur Steuerung von Medien mit Hilfe der Augen genutzt wird, setzt HeadGaze auf die Eingabe via Kopfbewegung. Dazu trackt eine Frontkamera den Nutzer und stellt die Inhalte kontextsensitiv auf dem Smartphone-Bildschirm dar. Durch das Auswählen per Kopfbewegung und Verweilen auf dem jeweiligen Element wird die Auswahl dann betätigt.

Das Projekt entstand im Rahmen von Ebay. Muratcan Cicek war bei dem Konzern als Praktikant tätig, er leidet an einer körperlichen Behinderung. Bei vielen Aufgaben des Alltags ist er auf Hilfe angewiesen – gemeinsam mit Ebay hat er das Projekt HeadGaze entwickelt. Es setzt auf die Face-ID-Sensorik des iPhone und Apples AR-Kit.

"Unser Team hat ein Modell entworfen, das einen virtuellen Stift erstellt, der der Bewegung Ihres Kopfes folgt (nach oben, unten, von Seite zu Seite), die 3D-Informationen des Kopfes aus ARKit entnimmt und 3D-Geometrie-Mapping anwendet, um die Position des „Cursors“ auf dem Bildschirm zu ermitteln. Darüber hinaus haben wir neue Widgets für die Benutzeroberfläche entwickelt und implementiert, die die „Cursor“-Interaktion erfassen und darauf reagieren. Ähnlich wie eine Maus den Cursor auf einem Desktop navigiert, können Sie mit diesem Design mit dem Kopf auf eine beliebige Stelle auf dem Bildschirm zeigen und bestimmte „Tasten“ aktivieren."

Und die beste Nachricht zum Schluss: Das Projekt steht völlig kostenlos auf Github zur Verfügung!

More
Kommentare