GREFIT : ein System zur visuellen Erkennung von Handposturen

Nölker C (2000)
Bielefeld (Germany): Bielefeld University.

Bielefelder E-Dissertation | Deutsch
 
Download
OA
Autor*in
Nölker, Claudia
Gutachter*in / Betreuer*in
Ritter, Helge (Prof. Dr.)
Abstract / Bemerkung
Unsere Hände benutzen wir alltäglich und ständig, ohne uns dessen bewusst zu sein, zur Interaktion mit Objekten oder zur Kommunikation - sowohl von Mensch zu Mensch als auch von Mensch zu Maschine. Die Kommunikation mit dem Computer verläuft derzeit jedoch zumeist nur indirekt durch Verwendung von Eingabegeräten wie Maus oder Tastatur. Die Fragestellung, die in der vorliegenden Arbeit untersucht werden sollte, ist, inwieweit auch eine direkte Nutzung der Hand als "Eingabegerät" realisierbar ist. Die Schwerpunkte in dieser Arbeit liegen zum Einen auf der visuellen Erkennung der Handpostur ohne Verwendung von Markern oder sonstigen Segmentierungshilfen an den Fingern. Die menschliche Hand ist dabei aufgrund ihrer Komplexität und Beweglichkeit bei der visuellen Erkennung ein besonders schwieriges Objekt. Um diese Variabilität wiederzugeben, sollte zum Anderen nicht die übliche Klassifikation in eine Anzahl von fest vorgegebenen Handposturen, sondern eine kontinuierliche Parametrisierung durchgeführt werden. Untersucht wurden in dieser Arbeit die Auswertungsmöglichkeiten mit einem Mono- als auch einem Stereo-Kamerasystem. Basis ist dabei nicht die holistische Erkennung der Gesamthandpostur aus dem Bild, sondern die Detektion der Fingerspitzenpositionen als charakteristische Landmarken zur Beschreibung der Stellung der Hand, aus denen im zweiten Schritt die Handpostur rekonstruiert wird. Als Entwicklungs-Szenario für die Exploration wird eine "Handbox" vorgestellt. Die System-Architektur ist eine hierarchische Struktur aus mehreren Schichten, welche eine sukzessive Verbesserung der Lokalisation der Fingerspitzenpositionen im Bild erzielt. Nach der Vorverarbeitung folgt zunächst die globale Verarbeitungsstufe, in der ein neuronales LLM-Netz einen Merkmalsvektor des Bildes in eine grobe Positionierung aller fünf Fingerspitzenpositionen überführt. Das Ergebnis der globalen Verarbeitung gibt den Bildausschnitt für die lokale Verarbeitung vor, in welcher eine genauere Lokalisation der Fingerspitzenpositionen erfolgt. Durch Integration von Vorwissen und Kontextwissen kann die erzielte Genauigkeit nochmals verbessert werden. Für das Mono-System bilden diese 2-D-Fingerspitzenpositionen die Grundlage für die weitere Berechnung. Im Falle des Stereo-Systems erfolgt zunächst eine Korrespondenzanalyse zur Lokalisation der zugehörigen Fingerspitzenpositionen im Stereo-Bild. Nachfolgend berechnet ein neuronales PSOM-Netz die entsprechende 3-D-Position im Raum. Zur Rekonstruktion der Handpostur aus den zwei- bzw. dreidimensionalen Positionsdaten werden die Winkel der Fingergelenke durch Verwendung eines Handmodells berechnet. Dieses Handmodell ist als kinematischer Baum konstruiert, welcher den Proportionen und Bewegungsmöglichkeiten der menschlichen Hand entspricht. Ein neuronales PSOM-Netzwerk führt die inverse Kinematik zur Berechnung der Gelenkwinkel aus den Positionsdaten durch. Zum Test der Einhaltung der anatomischen Kopplungen zwischen den erhaltenen Fingergelenkwinkeln werden diese auf ihre Plausibilität geprüft, bevor das Ergebnis mit dem künstlichen Handmodell visualisiert wird. Das System liefert präzise Resultate und ist robust gegenüber leichten Drehungen und Größenvariationen der Hand. Die Vorteile der entstandenen Gestik-Schnittstelle zum Computer werden insbesondere bei solchen Anwendungen klar, bei denen mehrere Parameter gleichzeitig kontrolliert werden müssen. Abschließend werden daher in dieser Arbeit die Interaktionsmöglichkeiten bei der Sonifikation der Handpostur vorgestellt und an zwei Beispielen exploriert.
Stichworte
Mensch-Maschine-Kommunikation , Hand , Gestik , Bilderkennung , Neuronales Netz , Handposturerkennung , Computer Vision , Neuronale Netze ,
Jahr
2000
Page URI
https://pub.uni-bielefeld.de/record/2304372

Zitieren

Nölker C. GREFIT : ein System zur visuellen Erkennung von Handposturen. Bielefeld (Germany): Bielefeld University; 2000.
Nölker, C. (2000). GREFIT : ein System zur visuellen Erkennung von Handposturen. Bielefeld (Germany): Bielefeld University.
Nölker, Claudia. 2000. GREFIT : ein System zur visuellen Erkennung von Handposturen. Bielefeld (Germany): Bielefeld University.
Nölker, C. (2000). GREFIT : ein System zur visuellen Erkennung von Handposturen. Bielefeld (Germany): Bielefeld University.
Nölker, C., 2000. GREFIT : ein System zur visuellen Erkennung von Handposturen, Bielefeld (Germany): Bielefeld University.
C. Nölker, GREFIT : ein System zur visuellen Erkennung von Handposturen, Bielefeld (Germany): Bielefeld University, 2000.
Nölker, C.: GREFIT : ein System zur visuellen Erkennung von Handposturen. Bielefeld University, Bielefeld (Germany) (2000).
Nölker, Claudia. GREFIT : ein System zur visuellen Erkennung von Handposturen. Bielefeld (Germany): Bielefeld University, 2000.
Alle Dateien verfügbar unter der/den folgenden Lizenz(en):
Copyright Statement:
Dieses Objekt ist durch das Urheberrecht und/oder verwandte Schutzrechte geschützt. [...]
Volltext(e)
Access Level
OA Open Access
Zuletzt Hochgeladen
2019-09-06T08:57:45Z
MD5 Prüfsumme
791c3805b06b07d3624f336eb54171ca

Automatisch aus der Originaldatei erzeugtes PDF
Name
0001.pdf 2.00 MB
Access Level
OA Open Access
Zuletzt Hochgeladen
2023-08-03T15:16:36Z
MD5 Prüfsumme
750cac7579039b5d79fbe60b7f9bb637

Export

Markieren/ Markierung löschen
Markierte Publikationen

Open Data PUB

Suchen in

Google Scholar