next up previous contents
Next: Der Backpropagation Algorithmus Up: Neuronale Netzarten Previous: Rekurrentes Multilayer Perceptron

Elman Netz

Beim Elman Netz, siehe Elma89 und Elma90, einem speziellen rekurrenten Netz, wird die gesamte verdeckte Schicht einen Zeitschritt versetzt ,,gespeichert``. Dies wird dadurch erreicht, siehe Abbildung gif, daß man in der Eingangsschicht eine Kontextschicht anlegt, die dieselbe Größe wie die verdeckte Schicht hat. Die Verbindungen von der verdeckten Schicht zur Kontextschicht sind fest mit 1 gewichtet. Die Neuronen der Kontextschicht sind zu sich selbst mit einem vorgegebenen konstanten Gewicht rückgekoppelt. Es liegt an den Neuronen der Kontextschicht also immer der Wert einer ,,Zeitreihe`` über die Werte des zugehörigen Neurons der verdeckten Schicht an. Dadurch ist das Netz in der Lage, seinen inneren Zustand zu speichern. Mit dem Gewicht der Verbindungen der Neuronen in der Kontextschicht zu sich selbst kann man somit steuern, wie stark sich ein Elman Netz ,,erinnern`` kann. Ein Wert von 1 bedeutet, daß ein Neuron der Kontextschicht zum Bestimmen seines neuen Zustandes immer seinen alten Zustand mitberücksichtigt. Dieser alte Zustand entspricht einer Zeitreihe über alle vorherigen Zustände des zugehörigen Neurons der Hiddenschicht. Das Elman-Netz merkt sich also in der Kontextschicht eine Zeitreihe über alle Zustände der Hiddenschicht. Im Gegensatz dazu bedeudet ein Wert von 0, daß ein Neuron der Kontextschicht nur den letzten Zustand des zugehörigen Neurons der Hiddenschicht beachtet, und somit das Elman-Netz in der Kontextschicht nur den jeweils vorherigen Zustand der Hiddenschicht speichert. Der Hauptunterschied zu dem rekurrenten Netz in Abbildung gif besteht darin, daß die Neuronen der verdeckten Schicht rückgekoppelt werden, und nicht speziell für diesen Zweck in die verdeckte Schicht und Ausgabeschicht eingefügte Neuronen. Gelernt wird das Elman Netz mit dem Backpropagation-Verfahren.

   figure240
Abbildung: Prinzip des Elman Netzes: Parallel zur Eingabeschicht ist eine Kontextschicht, in der die verdeckte Schicht rückgekoppelt ist.



Marius Heuler
Tue Jan 7 12:05:27 MET 1997