Intelligentes Motion-Capturing - Erforschung und Entwicklung von Methoden, Algorithmen, Workflows und Plattformen für expressive, nonverbale Mensch-Maschine-Interaktion Drittmittelprojekt uri icon

Abstract

  • In unserer heutigen Zeit, in der die Interaktion zwischen Mensch und Computer in immer mehr Bereichen ein unersetzlicher Bestandteil geworden ist, wird die Frage nach der Gestaltung dieses Verhältnisses immer wichtiger. Die menschliche Lebensqualität definiert sich aufgrund dieser Durchdringung der Welt mit künstlichen Schnittstellen zunehmend über die Qualität dieser Interaktion zwischen Mensch und Maschine. Diese Qualität ist heute immer noch dadurch eingeschränkt, dass der Computer verbale und insbesondere nonverbale Äußerungen zwar digitalisieren aber nicht semantisch interpretieren kann. Heutige Ansätze (bspw. im Bereich der Unterhaltungselektronik) sind meist limitiert auf die Erkennung einer Auswahl definierter Gesten, welche vom Benutzer gelernt werden müssen. Eine wirklich intuitive und expressive Interaktion wird dadurch nicht möglich, da sich hier der Mensch der Maschine anpasst und nicht die Maschine die menschlichen Bewegungen interpretiert. Ohne ein Bewusstsein für non-verbale Äußerungen kann jedoch weder menschliche noch Mensch-Maschine Kommunikation vollständig reibungslos verlaufen. Eine Erforschung dieser Problematik schließt Betrachtungen in beinah allen relevanten Wissenschaftszweigen ein. Nirgendwo tritt sie aber so anschaulich zutage wie im Bereich der interaktiven und virtuellen Medien. Speziell im Bereich des trifft dies auf Motion-Capturing Verfahren zu, bei denen die Bewegungen Digitalisiert und auf virtuelle Avatare übertragen werden. Der Forschungsgenstand des Projektes ist Gestenerkennung und Interpretation expressiver Sub-Gesten sowie deren technische Umsetzung im Bereich Echtzeit-Animation. Die forscherische Herausforderung des Vorhabens besteht einerseits in der Grundlagenforschung im Bereich Verhaltensforschung und non-verbale Kommunikation. Hier muss zunächst ein geeignetes Modell zur Kategorisierung expressiver menschlicher Sub-Gesten herausgebildet werden, welches derzeit noch nicht allgemeingültig besteht. Die Anzahl der zu erkennenden Gesten ist hierbei wesentlich höher als in derzeitig verwendeten Anwendungsszenarien für Gestenerkennung (z.B. Samsung smartTV). Andererseits müssen entsprechende Gesten als eine zu interpretierende Geste erkannt und klassifiziert werden. Dies ist ein Problem der Mustererkennung. Probleme dabei sind die sehr große Anzahl an Sub-Gesten, die in Echtzeit und mit ausreichend hoher Konfidenz erkannt werden müssen. Als Lösungsansatz sollen klassische Motion Capturing-Verfahren weiterentwickelt und mit einer Echtzeitmustererkennung der Bewegung kombiniert werden. Der Einsatz von Methoden des maschinellen Lernens und der Computational Intelligence zur adaptiven Mustererkennung scheinen hier geeignete mathematische Ansätze bereitzustellen. Ziel im avisierten Projekt ist die Entwicklung geeigneter Algorithmen sowie Hardware-/Softwarelösungen zur adaptiven Gestenerkennung, um ein expressives Grundalphabet der menschlichen non-verbalen Kommunikation automatisiert erkennen zu können. Durch diese robusten Verfahren der Mustererkennung sollen Sub-Gesten darstellerunabhängig zuverlässig erkannt werden. Dies stellt eine Weiterentwicklung und einen Innovationssprung der Motion Capturing Methoden in Richtung eines „intelligenten Motion-Capturings“ bzw. einer Art „Emotion-Capturing“ dar. Gleichzeitig soll in Echtzeit eine Abrufung der entsprechenden Bewegung aus einer Bibliothek mit hochwertigen Animationen (Verhaltensbibliothek) erfolgen, welche wie mit den beschriebenen Techniken zur Echtzeitadaption von Animationen an den 3D-Raum angepasst werden. Im Vergleich zu preisintensiven professionellen Capturingsystemen soll in diesem Projekt jedoch vornehmlich mit preisgünstigen Interfaces, wie Microsoft Kinect, gearbeitet werden. Mit diesem Vorhaben sollen Lösungsansätze für das beschriebene, grundlegende Problem künstlicher Animation exemplarisch erarbeitet werden: das Fehlen eines expressiven Verständnisses in der Bewegungserkennung und den Mangel an emotionalen Ausdruck in vielen Computeranimationen. Mit Abschluss des Vorhabens soll ein an die Szenarien angepasster Prototyp bereit stehen. Innerhalb von Testszenarien (hier: einer Produktion von Animationsszenen), soll der Lösungsansatz und der Prototyp validiert werden. Langfristig ergibt sich aus dem Vorhaben die Chance auf eine allgemeine Anhebung der Qualität der Mensch-Machine-Interaktion mit dem Ziel dem Computer ein grundsätzliches Verständnis nicht nur für das semantische Vokabular der menschlichen Sprache und Mimik sondern auch für menschliche Gestik und Körperhaltung zu vermitteln. Dadurch ließe sich langfristig eine Steigerung der Qualität und der Akzeptanz des Verhaltens künstlicher Agenten (wie Roboter) und Assistenzsysteme erreichen. Dies hätte besondere Bedeutung in Bereichen in denen Roboter direkt mit Menschen interagieren müssen, wie im Feld der Betreuung alter oder körperlich eingeschränkter Menschen.

Projektbeteiligte

  • Geißler, Mario   Projektleitung  

Laufzeit

  • Februar 1, 2012 - Dezember 31, 2012

Projektnummer

  • 8240501