Beim Elman Netz, siehe Elma89 und Elma90, einem speziellen
rekurrenten Netz, wird die gesamte verdeckte Schicht einen Zeitschritt
versetzt ,,gespeichert``. Dies wird dadurch erreicht, siehe Abbildung
, daß man in der Eingangsschicht eine
Kontextschicht anlegt, die dieselbe Größe wie die verdeckte Schicht hat.
Die Verbindungen von der verdeckten Schicht zur Kontextschicht sind fest
mit 1 gewichtet. Die Neuronen der Kontextschicht sind zu sich selbst mit
einem vorgegebenen konstanten Gewicht rückgekoppelt. Es liegt an den
Neuronen der Kontextschicht also immer der Wert einer ,,Zeitreihe`` über
die Werte des zugehörigen Neurons der verdeckten Schicht an. Dadurch ist
das Netz in der Lage, seinen inneren Zustand zu speichern. Mit dem Gewicht
der Verbindungen der Neuronen in der Kontextschicht zu sich selbst kann
man somit steuern, wie stark sich ein Elman Netz ,,erinnern`` kann. Ein
Wert von 1 bedeutet, daß ein Neuron der Kontextschicht zum Bestimmen
seines neuen Zustandes immer seinen alten Zustand mitberücksichtigt.
Dieser alte Zustand entspricht einer Zeitreihe über alle vorherigen
Zustände des zugehörigen Neurons der Hiddenschicht. Das Elman-Netz
merkt sich also in der Kontextschicht eine Zeitreihe über alle Zustände
der Hiddenschicht. Im Gegensatz dazu bedeudet ein Wert von 0, daß ein
Neuron der Kontextschicht nur den letzten Zustand des zugehörigen Neurons
der Hiddenschicht beachtet, und somit das Elman-Netz in der
Kontextschicht nur den jeweils vorherigen Zustand der Hiddenschicht
speichert. Der Hauptunterschied zu dem rekurrenten Netz in Abbildung
besteht darin, daß die Neuronen der verdeckten
Schicht rückgekoppelt werden, und nicht speziell für diesen Zweck in die
verdeckte Schicht und Ausgabeschicht eingefügte Neuronen. Gelernt wird
das Elman Netz mit dem Backpropagation-Verfahren.
Abbildung: Prinzip des Elman Netzes: Parallel zur Eingabeschicht ist
eine Kontextschicht, in der die verdeckte Schicht rückgekoppelt
ist.