PUB - Publikationen an der Universität Bielefeld

Menschen sind in der Lage, mentale Modelle von Informationen, die sie aus der Umwelt aufnehmen, aufzubauen. Solche mentalen Modelle bilden die Grundlage für die Organisation und Strukturierung von sensorischer Information und Wissen und sind damit wesentlich, um Gedächtnisaufgaben ausführen zu können. Sie können in so genannten cell assemblies, also wechselseitig miteinander verschalteten Neuronen, realisiert werden. Für den Aufbau von mentalen Modellen muss das neuronale System adaptive Fähigkeiten besitzen, d.h. die Fähigkeit zu lernen. Eine wesentliche Voraussetzung für diese Lernfähigkeit ist die Anpassung der synaptischen Übertragungsstärke in Abhängigkeit von der jeweiligen Situation. Die Informationen aus der Umwelt, mit denen der Mensch und damit sein neuronales System in einzelnen Situationen konfrontiert ist, können verschiedengestaltig sein: Es kann sich zum Beispiel um statische Muster handeln, wie z.B. einen Baum oder einen Stuhl, aber auch um dynamische Szenen wie etwa ein vorbeifahrendes Auto oder ein auf und ab hüpfender Ball. In dieser Arbeit werden zwei Ansätze vorgeschlagen, die eine Modellierung mentaler Modelle sowohl statischer als auch dynamischer Informationen mit Hilfe von rekurrenten neuronalen Netzen ermöglichen. Beiden Modellen ist gemein, dass die Lernprozesse selbstorganisiert und nur in Abhängigkeit von lokaler Information ablaufen. Da die Lerndynamik und die rekurrente Dynamik bei Online-Lernverfahren eng miteinander verwoben sind, ist der Erfolg des ersten Modells (Kapitel 2) stark abhängig von der Anpassung der Lernrate. Mit der Input Compensation (IC) Struktur wird in Kapitel 3 und 4 eine biologisch inspirierte Neuronenstruktur vorgeschlagen, die Lern- und rekurrente Dynamik voneinander entkoppelt und somit Online-Lernen in sehr effizienter Weise erlaubt. Rekurrente Netze, die mit solchen IC Neuronen ausgestattet sind, können erfolgreich trainiert werden, um sowohl statische als auch dynamische Situationen abzubilden. Somit bietet dieses Modell eine Grundlage für sehr vielfältige Gedächtnisleistungen.

---

Humans are able to form internal representations of the information they process - a capability which enables them to perform many different memory tasks. Therefore, the neural system has to learn somehow to represent aspects of the environmental situation; this process is assumed to be based on synaptic changes. The situations to be represented are various as for example different types of static patterns but also dynamic scenes. How are neural networks consisting of mutually connected neurons capable of performing such tasks? Here we propose two approaches which are suitable to model internal representations of static as well as dynamic information with recurrent neural networks. Both models adapt in a self-organised way using local information only. Especially the new neuronal structure for artificial neurons proposed allows to disentangle the dynamics of the recurrent connectivity from the dynamics induced by synaptic changes due to the learning processes. The error signal is computed locally within the individual neuron. Thus, online learning is possible without any additional structures. Recurrent neural networks equipped with these computational units are able to cope with different memory tasks. Examples illustrate how information is extracted from environmental situations comprising fixed patterns to produce sustained activity and to deal with simple algebraic relations. Thus, these models provide the basis for various memory tasks.