Publications at Bielefeld University

PUB

Hintergrundbild
Hintergrundbild
University from A-Z

Multimodale Aufmerksamkeitssteuerung für einen mobilen Roboter

Lang S (2005)
Bielefeld (Germany): Bielefeld University.
Download
1.71 MB
Bielefeld Doctoral Thesis | German
 
Authors
Supervisors
Fink, Gernot A.
Department
AG Angewandte Informatik
Abstract:
Diese Arbeit beschreibt ein System zur Steuerung der Aufmerksamkeit eines mobilen Roboters, das es ihm erlaubt, sich aktiv auf einzelne Personen für die Interaktion zu fokussieren. Diese Fähigkeit ist insbesondere dann erforderlich, wenn sich mehrere Personen in der Nähe des Roboters aufhalten, von denen jede potenziell einen Interaktionspartner darstellt. Die Aufmerksamkeitssteuerung entscheidet dann darüber, auf wen die Kamera des Roboters gerichtet wird und welche mit den Mikrofonen erfasste Äußerung verarbeitet wird.
Die grundlegende Voraussetzung für die Steuerung der Aufmerksamkeit ist die Fähigkeit des Roboters, Personen in seiner Nähe zu detektieren und über die Zeit zu verfolgen. Der in dieser Arbeit eingesetzte Roboter verfügt dazu über eine Kamera, zwei Mikrofone und einen Laser-Entfernungsmesser. Die Kamera, die den oberen Bereich von Menschen erfasst, dient zur Detektion von Gesichtern und zur Lokalisation des Oberkörpers. Mit den Mikrofonen werden Sprachquellen geortet. Der Laser-Entfernungsmesser wird zur Detektion von menschlichen Beinpaaren eingesetzt. Die Integration der verschiedenen Erkennungsergebnisse erfolgt über ein in dieser Arbeit neu entwickeltes Verfahren zum Verfolgen von Personen. Es erweitert den Anchoring-Ansatz von Coradeschi und Saffiotti auf die gleichzeitige Verwendung mehrerer Sensoren und wird entsprechend als multimodales Anchoring bezeichnet. Eine zentrale Rolle bei der Erweiterung spielen dabei drei Modelle, die die räumlichen Relationen der beobachteten Einzelbestandteile und ihre Bewegung über die Zeit beschreiben, sowie die Fusion neuer Messdaten zu einer multimodalen Gesamthypothese definieren. Darüber hinaus stellt die Erweiterung Funktionalitäten zur Verwaltung von einer variablen Anzahl von Personenhypothesen zur Verfügung.
Die Aufmerksamkeitssteuerung setzt auf den Ergebnissen des Verfahrens zum Verfolgen von Personen auf. Sie selektiert aus der Menge der wahrgenommenen Personen diejenige, die für den Roboter die höchste Relevanz hat. In der Interaktionsphase ist dies immer der Benutzer, was zu einer dauerhaften Aufmerksamkeit führt. In der Bereitschaftsphase bestimmt sich die Relevanz jeder Person anhand der Merkmale "sprechen" und "zum Roboter schauen". Somit werden bevorzugt jene Personen selektiert, die beabsichtigen, mit dem Roboter zu interagieren. Die Aufmerksamkeitssteuerung fokussiert die Aufmerksamkeit des Roboters auf die selektierte Person. Dies geschieht durch aktives Ausrichten der Roboterbasis und der separat beweglichen Kamera. Dadurch wird sowohl die selektierte Person optimal mit den Sensoren wahrgenommen als auch der Aufmerksamkeitsfokus des Roboters intuitiv verständlich nach außen hin dargestellt. Das genaue Verhalten des Roboters ist situationsabhängig und durch so genannte Aufmerksamkeitszustände definiert. Es gibt vier Zustände in der Bereitschaftsphase, die den Roboter schlafend, wach, wachsam oder zuhörend darstellen. In der Interaktionsphase sind die Zustände an die Dialogsituation gebunden, wobei der Roboter auf eine Anweisung wartet, dem Benutzer folgt, eine Zeigegeste erwartet oder auf ein Objekt schaut. Eine weitere Aufgabe der Aufmerksamkeitssteuerung ist die Aktivierung und Deaktivierung der Sprachverarbeitung. Hiermit wird die auditive Aufmerksamkeit des Roboters realisiert, die dazu dient, nur solche Äußerungen zu verarbeiten, die an den Roboter gerichtet sind.
Fünf verschiedene Experimente demonstrieren die Leistungsfähigkeit des entwickelten Systems. Sie zeigen sowohl die Robustheit des Verfahrens zum Verfolgen von Personen als auch die Effektivität der Aufmerksamkeitssteuerung im praktischen Einsatz. Die Auswertung von Benutzerbefragungen hat ergeben, dass die Aufmerksamkeit in der Mehrheit als eine besonders interessante Fähigkeit des Roboters bewertet wird, was auf eine hohe Akzeptanz des vorgestellten Ansatzes bei Benutzern schließen lässt.
Keywords
BIRON (Bielefeld Robot Companion) ; Mensch-Maschine-Kommunikation ; Mensch-Roboter-Interaktion ; Aufmerksamkeit ; Schallortung ; Personen-Tracking ; Aufmerksamkeitssteuerung ; Serviceroboter ; Mobiler Roboter ; Multimodales System ; Person ; Bilderkennung ; Lokalisation ; Objektverfolgung ; Situationsanalyse
Year
2005
File Name
Access Level
Open Access
 
This data publication is cited in the following publications:
This publication cites the following data publications:
 
Lang S. Multimodale Aufmerksamkeitssteuerung für einen mobilen Roboter. Bielefeld (Germany): Bielefeld University; 2005.
Lang, S. (2005). Multimodale Aufmerksamkeitssteuerung für einen mobilen Roboter. Bielefeld (Germany): Bielefeld University.
Lang, S. (2005). Multimodale Aufmerksamkeitssteuerung für einen mobilen Roboter. Bielefeld (Germany): Bielefeld University.
Lang, S., 2005. Multimodale Aufmerksamkeitssteuerung für einen mobilen Roboter. Bielefeld (Germany): Bielefeld University.
S. Lang, “Multimodale Aufmerksamkeitssteuerung für einen mobilen Roboter”, Bielefeld University, 2005.
Lang, S.: Multimodale Aufmerksamkeitssteuerung für einen mobilen Roboter, (2005).
Lang, Sebastian. “Multimodale Aufmerksamkeitssteuerung für einen mobilen Roboter”. Bielefeld (Germany): Bielefeld University, 2005.
@phdthesis{2305675,
  abstract     = {Diese Arbeit beschreibt ein System zur Steuerung der Aufmerksamkeit eines mobilen Roboters, das es ihm erlaubt, sich aktiv auf einzelne Personen f{\"u}r die Interaktion zu fokussieren. Diese F{\"a}higkeit ist insbesondere dann erforderlich, wenn sich mehrere Personen in der N{\"a}he des Roboters aufhalten, von denen jede potenziell einen Interaktionspartner darstellt. Die Aufmerksamkeitssteuerung entscheidet dann dar{\"u}ber, auf wen die Kamera des Roboters gerichtet wird und welche mit den Mikrofonen erfasste {\"A}u{\ss}erung verarbeitet wird.
Die grundlegende Voraussetzung f{\"u}r die Steuerung der Aufmerksamkeit ist die F{\"a}higkeit des Roboters, Personen in seiner N{\"a}he zu detektieren und {\"u}ber die Zeit zu verfolgen. Der in dieser Arbeit eingesetzte Roboter verf{\"u}gt dazu {\"u}ber eine Kamera, zwei Mikrofone und einen Laser-Entfernungsmesser. Die Kamera, die den oberen Bereich von Menschen erfasst, dient zur Detektion von Gesichtern und zur Lokalisation des Oberk{\"o}rpers. Mit den Mikrofonen werden Sprachquellen geortet. Der Laser-Entfernungsmesser wird zur Detektion von menschlichen Beinpaaren eingesetzt. Die Integration der verschiedenen Erkennungsergebnisse erfolgt {\"u}ber ein in dieser Arbeit neu entwickeltes Verfahren zum Verfolgen von Personen. Es erweitert den Anchoring-Ansatz von Coradeschi und Saffiotti auf die gleichzeitige Verwendung mehrerer Sensoren und wird entsprechend als multimodales Anchoring bezeichnet. Eine zentrale Rolle bei der Erweiterung spielen dabei drei Modelle, die die r{\"a}umlichen Relationen der beobachteten Einzelbestandteile und ihre Bewegung {\"u}ber die Zeit beschreiben, sowie die Fusion neuer Messdaten zu einer multimodalen Gesamthypothese definieren. Dar{\"u}ber hinaus stellt die Erweiterung Funktionalit{\"a}ten zur Verwaltung von einer variablen Anzahl von Personenhypothesen zur Verf{\"u}gung.
Die Aufmerksamkeitssteuerung setzt auf den Ergebnissen des Verfahrens zum Verfolgen von Personen auf. Sie selektiert aus der Menge der wahrgenommenen Personen diejenige, die f{\"u}r den Roboter die h{\"o}chste Relevanz hat. In der Interaktionsphase ist dies immer der Benutzer, was zu einer dauerhaften Aufmerksamkeit f{\"u}hrt. In der Bereitschaftsphase bestimmt sich die Relevanz jeder Person anhand der Merkmale {\textacutedbl}sprechen{\textacutedbl} und {\textacutedbl}zum Roboter schauen{\textacutedbl}. Somit werden bevorzugt jene Personen selektiert, die beabsichtigen, mit dem Roboter zu interagieren. Die Aufmerksamkeitssteuerung fokussiert die Aufmerksamkeit des Roboters auf die selektierte Person. Dies geschieht durch aktives Ausrichten der Roboterbasis und der separat beweglichen Kamera. Dadurch wird sowohl die selektierte Person optimal mit den Sensoren wahrgenommen als auch der Aufmerksamkeitsfokus des Roboters intuitiv verst{\"a}ndlich nach au{\ss}en hin dargestellt. Das genaue Verhalten des Roboters ist situationsabh{\"a}ngig und durch so genannte Aufmerksamkeitszust{\"a}nde definiert. Es gibt vier Zust{\"a}nde in der Bereitschaftsphase, die den Roboter schlafend, wach, wachsam oder zuh{\"o}rend darstellen. In der Interaktionsphase sind die Zust{\"a}nde an die Dialogsituation gebunden, wobei der Roboter auf eine Anweisung wartet, dem Benutzer folgt, eine Zeigegeste erwartet oder auf ein Objekt schaut. Eine weitere Aufgabe der Aufmerksamkeitssteuerung ist die Aktivierung und Deaktivierung der Sprachverarbeitung. Hiermit wird die auditive Aufmerksamkeit des Roboters realisiert, die dazu dient, nur solche {\"A}u{\ss}erungen zu verarbeiten, die an den Roboter gerichtet sind.
F{\"u}nf verschiedene Experimente demonstrieren die Leistungsf{\"a}higkeit des entwickelten Systems. Sie zeigen sowohl die Robustheit des Verfahrens zum Verfolgen von Personen als auch die Effektivit{\"a}t der Aufmerksamkeitssteuerung im praktischen Einsatz. Die Auswertung von Benutzerbefragungen hat ergeben, dass die Aufmerksamkeit in der Mehrheit als eine besonders interessante F{\"a}higkeit des Roboters bewertet wird, was auf eine hohe Akzeptanz des vorgestellten Ansatzes bei Benutzern schlie{\ss}en l{\"a}sst.},
  author       = {Lang, Sebastian},
  language     = {German},
  publisher    = {Bielefeld University},
  school       = {Bielefeld University},
  title        = {Multimodale Aufmerksamkeitssteuerung f{\"u}r einen mobilen Roboter},
  year         = {2005},
}

TY  - GEN
AB  - Diese Arbeit beschreibt ein System zur Steuerung der Aufmerksamkeit eines mobilen Roboters, das es ihm erlaubt, sich aktiv auf einzelne Personen für die Interaktion zu fokussieren. Diese Fähigkeit ist insbesondere dann erforderlich, wenn sich mehrere Personen in der Nähe des Roboters aufhalten, von denen jede potenziell einen Interaktionspartner darstellt. Die Aufmerksamkeitssteuerung entscheidet dann darüber, auf wen die Kamera des Roboters gerichtet wird und welche mit den Mikrofonen erfasste Äußerung verarbeitet wird.
Die grundlegende Voraussetzung für die Steuerung der Aufmerksamkeit ist die Fähigkeit des Roboters, Personen in seiner Nähe zu detektieren und über die Zeit zu verfolgen. Der in dieser Arbeit eingesetzte Roboter verfügt dazu über eine Kamera, zwei Mikrofone und einen Laser-Entfernungsmesser. Die Kamera, die den oberen Bereich von Menschen erfasst, dient zur Detektion von Gesichtern und zur Lokalisation des Oberkörpers. Mit den Mikrofonen werden Sprachquellen geortet. Der Laser-Entfernungsmesser wird zur Detektion von menschlichen Beinpaaren eingesetzt. Die Integration der verschiedenen Erkennungsergebnisse erfolgt über ein in dieser Arbeit neu entwickeltes Verfahren zum Verfolgen von Personen. Es erweitert den Anchoring-Ansatz von Coradeschi und Saffiotti auf die gleichzeitige Verwendung mehrerer Sensoren und wird entsprechend als multimodales Anchoring bezeichnet. Eine zentrale Rolle bei der Erweiterung spielen dabei drei Modelle, die die räumlichen Relationen der beobachteten Einzelbestandteile und ihre Bewegung über die Zeit beschreiben, sowie die Fusion neuer Messdaten zu einer multimodalen Gesamthypothese definieren. Darüber hinaus stellt die Erweiterung Funktionalitäten zur Verwaltung von einer variablen Anzahl von Personenhypothesen zur Verfügung.
Die Aufmerksamkeitssteuerung setzt auf den Ergebnissen des Verfahrens zum Verfolgen von Personen auf. Sie selektiert aus der Menge der wahrgenommenen Personen diejenige, die für den Roboter die höchste Relevanz hat. In der Interaktionsphase ist dies immer der Benutzer, was zu einer dauerhaften Aufmerksamkeit führt. In der Bereitschaftsphase bestimmt sich die Relevanz jeder Person anhand der Merkmale "sprechen" und "zum Roboter schauen". Somit werden bevorzugt jene Personen selektiert, die beabsichtigen, mit dem Roboter zu interagieren. Die Aufmerksamkeitssteuerung fokussiert die Aufmerksamkeit des Roboters auf die selektierte Person. Dies geschieht durch aktives Ausrichten der Roboterbasis und der separat beweglichen Kamera. Dadurch wird sowohl die selektierte Person optimal mit den Sensoren wahrgenommen als auch der Aufmerksamkeitsfokus des Roboters intuitiv verständlich nach außen hin dargestellt. Das genaue Verhalten des Roboters ist situationsabhängig und durch so genannte Aufmerksamkeitszustände definiert. Es gibt vier Zustände in der Bereitschaftsphase, die den Roboter schlafend, wach, wachsam oder zuhörend darstellen. In der Interaktionsphase sind die Zustände an die Dialogsituation gebunden, wobei der Roboter auf eine Anweisung wartet, dem Benutzer folgt, eine Zeigegeste erwartet oder auf ein Objekt schaut. Eine weitere Aufgabe der Aufmerksamkeitssteuerung ist die Aktivierung und Deaktivierung der Sprachverarbeitung. Hiermit wird die auditive Aufmerksamkeit des Roboters realisiert, die dazu dient, nur solche Äußerungen zu verarbeiten, die an den Roboter gerichtet sind.
Fünf verschiedene Experimente demonstrieren die Leistungsfähigkeit des entwickelten Systems. Sie zeigen sowohl die Robustheit des Verfahrens zum Verfolgen von Personen als auch die Effektivität der Aufmerksamkeitssteuerung im praktischen Einsatz. Die Auswertung von Benutzerbefragungen hat ergeben, dass die Aufmerksamkeit in der Mehrheit als eine besonders interessante Fähigkeit des Roboters bewertet wird, was auf eine hohe Akzeptanz des vorgestellten Ansatzes bei Benutzern schließen lässt.
AU  - Lang, Sebastian
ID  - 2305675
KW  - BIRON (Bielefeld Robot Companion)
KW  - Mensch-Maschine-Kommunikation
KW  - Mensch-Roboter-Interaktion
KW  - Aufmerksamkeit
KW  - Schallortung
KW  - Personen-Tracking
KW  - Aufmerksamkeitssteuerung
KW  - Serviceroboter
KW  - Mobiler Roboter
KW  - Multimodales System
KW  - Person
KW  - Bilderkennung
KW  - Lokalisation
KW  - Objektverfolgung
KW  - Situationsanalyse
PB  - Bielefeld University
PY  - 2005
TI  - Multimodale Aufmerksamkeitssteuerung für einen mobilen Roboter
U3  - PUB:ID 2305675
UR  - http://nbn-resolving.de/urn:nbn:de:hbz:361-6792
ER  - 
Export
0 Marked Publication

Open Data PUB

Search this title in

Google Scholar
BASE
Google