PUB - Publikationen an der Universität Bielefeld

The question addressed in this thesis is how to make use of gestures in a multimodal human-machine interaction. To interact with current computer systems the human still has to adopt himself to the interfaces of the system. The underlying vision of this work is to enable computer systems to interpret the typical human forms of interaction. Based on this question and vision the goal of this work was developed: Build a robust recognition of human gestures for a multimodal system. Thus the interactive competences of the system can be broadend and improved. Focussing this goal this work examines the theoretic basis of the human-machine interaction as well as the practical implementation and evaluation of an automatic recognition of gestures. The guideline for the implementation is a flexible and modular architecture. This work presents novel approaches in taking the symbolic and situational context of gesture into account. Continuative work in deriving humans intent of gestures is depicted. This work concentrates on the interactional behaviour and gestures of humans, thus mostly deictic and manipulative gestures are considered. Their context is the main aspect of these gestures, it allows reasoning about their meaning and intention. As mentioned above the gesture recognition system is intended to be part of a multimodal system. This integration is shown by the successful use of the developed system within a mobile, social, and multimodal robot and within an wearable assistant system. Human-human communication and the field of gestures are in the focus of research for many years. Hence this work gives an overview on communication theory and psychological research relevant for the human-machine interaction. A young and challenging aspect is the research on the topic: "How do children learn the manipulation of objects from their parents." The theory developed by Brand et al. [2002] is the basis for an automatic analysis of parents behaviour presented in this work. This work is a contribution to the vision of a natural human-machine interaction. The emphasis lies on the video-based recognition of human actions and gestures.

---

Die Fragestellung, unter der diese Dissertation steht, ist, wie sich das Erkennen von Gestik als sinnvoller und gewinnbringender Teil einer multimodalen Interaktion zwischen Menschen und Maschinen erreichen und nutzen lässt. Die Vision besteht darin, dass sich nicht mehr der Mensch an das System anpassen muss, sondern die üblichen und natürlichen Fähigkeiten und Modalitäten des Menschen vom Computersystem unterstützt werden. Das in dieser Arbeit angestrebte Ziel hat sich aus der Fragestellung und der Vision entwickelt: Es soll eine robuste sowie fehlerarme Erkennung menschlicher Gesten für multimodale Systeme möglich sein. Die interaktionalen Fähigkeiten eines solchen Systems sollen so erweitert und verbessert werden. Im Blick auf dieses Ziel beschäftigt sich die Arbeit einerseits mit den Grundlagen der Gestik in der Mensch-Maschine-Interaktion, andererseits wird aber auch die praktische Realisierung und Anwendung einer automatischen Gestenerkennung verwirklicht. Bedingung für die Gestenerkennung ist ein flexibler, modularer Aufbau, der eine gute Adaption an unterschiedliche Bedingungen in verschiedenen Systemen gewährleistet. Des Weiteren werden innovative Lösungen für die Interpretation von Handlungen in ihrem symbolischen und situativen Kontext entwickelt. Deshalb wird der Fokus dieser Arbeit auf besonders wichtige Gesten der Interaktion gelegt. Das Merkmal dieser deiktischen und manipulativen Gesten ist, dass sie in einem Kontext mit Objekten der Umgebung auftreten und in diesem interpretierbar sind. Die zwischenmenschliche Kommunikation und insbesondere das umfangreiche Gebiet des gestischen Repertoires des Menschen sind Gegenstand langjähriger wissenschaftlicher Untersuchungen. In dieser Arbeit werden deshalb Betrachtungen und Theorien der Kommunikationsforschung und Psychologie mit einbezogen und im Kontext der MMI diskutiert. Als junges und spannendes Gebiet ist insbesondere die Erforschung des kindlichen Lernens von Objektmanipulationen zu nennen. Theorien dieses Gebiets werden in dieser Arbeit aufgegriffen und mit automatisierten Verfahren untersucht und nachvollzogen. Die Forschungsergebnisse der Psychologie sind von grundlegender Bedeutung für das automatische Interpretieren von Gesten und Erschließen ihrer Intention. Die im Rahmen dieser Dissertation für dieses Themengebiet durchgeführten Untersuchungen konzentrieren sich auf Grundlagenforschungen in diesem für die Informatik neuen und vielversprechenden Gebiet. Diese Arbeit leistet einen Beitrag zur Vision einer natürlichen Interaktion des Menschen mit Maschinen. Der Schwerpunkt wird auf das Erkennen und Interpretieren von Gesten und Handlungen gelegt.