UIG2020 - Marcus Jenke: Künstliche Intelligenz zur Detektion von Bedienintensionen bei NUIs am Beispiel blickgesteuerter Systeme

Mensch-Technik-Schnittstellen, welche keine direkte physische Interaktion mit dem interaktiven System besitzen, bieten eine Vielzahl von realen Einsatzmöglichkeiten. Gerade in Situationen, in welcher eine ruhige steuernde Handlung durch direkte Berührung nicht möglich, schwierig oder nicht erwünscht ist, bieten sich berührungslose Betätigungsmöglichkeiten über so genannte „Natural User Interactions“ (kurz. NUIs) an. Dabei wird im Wesentlichen kategorisch zwischen Interaktionen über Körpergesten, Sprache und Blickbewegungen unterschieden. Mögliche Szenarien, abgesehen von dem eher experimentellen Consumer-Markt, stellt der Einsatz in öffentlichen Orten (Bahn, Museen) oder in klinischen Umgebungen (OP, Labor) dar. Bei ersterem können Faktoren wie öffentliche Bloßstellung und Erreichbarkeit eine wichtige Rolle spielen, wohingegen bei letzterem vor allem die sterile Interaktion zu sehen ist. Die direkte und vermeintlich einfache Erreichbarkeit steht dabei auf Seiten des Nutzers über allem.

Doch genau um dies zu ermöglichen, entstehen für das interaktive System und deren Entwicklern neue große Herausforderungen. In dem hier betrachteten Fall geht es insbesondere um die Modalität der Blicksteuerung, bei welcher ein interaktives System, ausgestattet mit einem geeigneten Kamerasystem, die Blickbewegungen des Nutzers innerhalb eines virtuellen Interfaces verfolgt und Interaktionshandlungen (sog. Blickgesten) erkennt um Einstellungen im Interface vorzunehmen.

Die Forschung von Blicksteuerung brachte bereits verschiedene Interaktionsprinzipien hervor. Alle basieren jedoch darauf, bestimmte Indikatoren im Blickverhalten sensorisch zu erfassen und zu deuten, sei es eine Fixation auf einem interaktiven Element, oder die Bewegung entlang eines Fades.

Jeder Nutzer ist allerdings anders - ob Augenfarbe, Augengeometrie, Blickverhalten oder mentale Einstellung zu dem interaktiven System – daher kommen klassische Algorithmen schnell an ihre Grenzen. Ein „KI“-basierter Ansatz, z.B. über das Anlernen von neuronalen Netzen, vermag diesem Dilemma Abhilfe zu verschaffen – Wenn man die richtigen Rahmenbedingen im Blick behält.

Eine Experimentreihe in den Laboren der Universität Stuttgart beschäftigte sich mit genau dieser Herausforderung. Um eine einsatzfähige „KI“ für eine Menüinteraktion zu entwickeln, wurden mehrere Datengenerierungsreihen mit Probanden durchgeführt, um in der Trainingsphase in Form eines „Supervised Learnings“ das neuronale Modell anzulernen und zu testen. Durch mehrere iterative Anpassungen der Topologie des neuronalen Netzes konnten für diesen konkreten Anwendungsfall herausragende Erkennungsraten ermöglicht werden. Diese Ansätze lassen sich durch weitere Aspekte des „Machine Learnings“ wie kontinuierliches und kompetitives Lernen der KI weiter verbessert werden. Die jüngsten Erfolge in der Erforschung und Entwicklung von KI-basierter Mensch-Computer-Interaktion geben klare Rückschlüsse über die zukünftigen Trends in diesem Bereich.

Der Online-Vortrag von Marcus Jenke findet im Rahmen der digitalen UIG-Tagung am Donnerstag, den 5. November 2020 im Themenblock II “Future of Work” (13.00 – 14.30 Uhr) statt.

Über Marcus Jenke:

Marcus Jenke absolvierte sein Ingenieursstudium an der Universität Stuttgart mit dem Schwerpunkt auf mensch-zentrierter Produktentwicklung. Sein Promotionsthema befasst sich mit der visuellen Unterstützung des Menschen während der Bedienung von blickgesteuerten Systemen. Im Anschluss an seine universitären Forschungstätigkeiten übernahm er mit die Geschäftsleitung der USE-Ing. GmbH.

Über die USE-Ing. GmbH:

Die USE-Ing. GmbH bietet Dienstleistungen für nutzerzentrierte Produktentwicklung, UX-Design und Usability-Optimierung an. Im Kontext von Digitalisierung, Automatisierung und demografischem Wandel unterstützt sie Industrieunternehmen bei der ergonomischen, gebrauchstauglichen und ansprechenden Mensch-Technik-Gestaltung. Ihre Leistungen umfassen expertenbasierte normative und heuristische Analysen, Akquise von Fachpersonal für Nutzertests, praktische Usability-Evaluationen sowie Interaction- und Interface-Design.

Weitere Informationen zur UIG-Tagung 2020 und die Möglichkeit zur kostenfreien Anmeldung finden Sie hier.