GREFIT : ein System zur visuellen Erkennung von Handposturen

Nölker C (2000)
Bielefeld (Germany): Bielefeld University.

Download
OA
Bielefeld Dissertation | German
Author
Supervisor
Ritter, Helge (Prof. Dr.)
Abstract
Unsere Hände benutzen wir alltäglich und ständig, ohne uns dessen bewusst zu sein, zur Interaktion mit Objekten oder zur Kommunikation - sowohl von Mensch zu Mensch als auch von Mensch zu Maschine. Die Kommunikation mit dem Computer verläuft derzeit jedoch zumeist nur indirekt durch Verwendung von Eingabegeräten wie Maus oder Tastatur. Die Fragestellung, die in der vorliegenden Arbeit untersucht werden sollte, ist, inwieweit auch eine direkte Nutzung der Hand als "Eingabegerät" realisierbar ist. Die Schwerpunkte in dieser Arbeit liegen zum Einen auf der visuellen Erkennung der Handpostur ohne Verwendung von Markern oder sonstigen Segmentierungshilfen an den Fingern. Die menschliche Hand ist dabei aufgrund ihrer Komplexität und Beweglichkeit bei der visuellen Erkennung ein besonders schwieriges Objekt. Um diese Variabilität wiederzugeben, sollte zum Anderen nicht die übliche Klassifikation in eine Anzahl von fest vorgegebenen Handposturen, sondern eine kontinuierliche Parametrisierung durchgeführt werden. Untersucht wurden in dieser Arbeit die Auswertungsmöglichkeiten mit einem Mono- als auch einem Stereo-Kamerasystem. Basis ist dabei nicht die holistische Erkennung der Gesamthandpostur aus dem Bild, sondern die Detektion der Fingerspitzenpositionen als charakteristische Landmarken zur Beschreibung der Stellung der Hand, aus denen im zweiten Schritt die Handpostur rekonstruiert wird. Als Entwicklungs-Szenario für die Exploration wird eine "Handbox" vorgestellt. Die System-Architektur ist eine hierarchische Struktur aus mehreren Schichten, welche eine sukzessive Verbesserung der Lokalisation der Fingerspitzenpositionen im Bild erzielt. Nach der Vorverarbeitung folgt zunächst die globale Verarbeitungsstufe, in der ein neuronales LLM-Netz einen Merkmalsvektor des Bildes in eine grobe Positionierung aller fünf Fingerspitzenpositionen überführt. Das Ergebnis der globalen Verarbeitung gibt den Bildausschnitt für die lokale Verarbeitung vor, in welcher eine genauere Lokalisation der Fingerspitzenpositionen erfolgt. Durch Integration von Vorwissen und Kontextwissen kann die erzielte Genauigkeit nochmals verbessert werden. Für das Mono-System bilden diese 2-D-Fingerspitzenpositionen die Grundlage für die weitere Berechnung. Im Falle des Stereo-Systems erfolgt zunächst eine Korrespondenzanalyse zur Lokalisation der zugehörigen Fingerspitzenpositionen im Stereo-Bild. Nachfolgend berechnet ein neuronales PSOM-Netz die entsprechende 3-D-Position im Raum. Zur Rekonstruktion der Handpostur aus den zwei- bzw. dreidimensionalen Positionsdaten werden die Winkel der Fingergelenke durch Verwendung eines Handmodells berechnet. Dieses Handmodell ist als kinematischer Baum konstruiert, welcher den Proportionen und Bewegungsmöglichkeiten der menschlichen Hand entspricht. Ein neuronales PSOM-Netzwerk führt die inverse Kinematik zur Berechnung der Gelenkwinkel aus den Positionsdaten durch. Zum Test der Einhaltung der anatomischen Kopplungen zwischen den erhaltenen Fingergelenkwinkeln werden diese auf ihre Plausibilität geprüft, bevor das Ergebnis mit dem künstlichen Handmodell visualisiert wird. Das System liefert präzise Resultate und ist robust gegenüber leichten Drehungen und Größenvariationen der Hand. Die Vorteile der entstandenen Gestik-Schnittstelle zum Computer werden insbesondere bei solchen Anwendungen klar, bei denen mehrere Parameter gleichzeitig kontrolliert werden müssen. Abschließend werden daher in dieser Arbeit die Interaktionsmöglichkeiten bei der Sonifikation der Handpostur vorgestellt und an zwei Beispielen exploriert.
Year
PUB-ID

Cite this

Nölker C. GREFIT : ein System zur visuellen Erkennung von Handposturen. Bielefeld (Germany): Bielefeld University; 2000.
Nölker, C. (2000). GREFIT : ein System zur visuellen Erkennung von Handposturen. Bielefeld (Germany): Bielefeld University.
Nölker, C. (2000). GREFIT : ein System zur visuellen Erkennung von Handposturen. Bielefeld (Germany): Bielefeld University.
Nölker, C., 2000. GREFIT : ein System zur visuellen Erkennung von Handposturen, Bielefeld (Germany): Bielefeld University.
C. Nölker, GREFIT : ein System zur visuellen Erkennung von Handposturen, Bielefeld (Germany): Bielefeld University, 2000.
Nölker, C.: GREFIT : ein System zur visuellen Erkennung von Handposturen. Bielefeld University, Bielefeld (Germany) (2000).
Nölker, Claudia. GREFIT : ein System zur visuellen Erkennung von Handposturen. Bielefeld (Germany): Bielefeld University, 2000.
Main File(s)
File Name
Access Level
OA Open Access

This data publication is cited in the following publications:
This publication cites the following data publications:

Export

0 Marked Publications

Open Data PUB

Search this title in

Google Scholar