Das Lernproblem des neuronalen Netzes besteht darin, die Gewichte unter den Neuronen so anzupassen, so daß ein definiertes Fehlermaß minimiert wird. Backpropagation, oder Fehlerrückführung, ist eine der am meisten verwendeten Lernmethoden zum Trainieren Neuronaler Netze. Die Backpropagation-Methode ist ein Gradientenabstiegsverfahren und wurde von Hint86 ausführlich beschrieben.
Der Algorithmus findet ein lokales Minimum der Fehlerfunktion, indem die
anfangs zufällig initialisierten Gewichte nach jedem Schritt durch
Berechnung des Gradienten der Fehlerfunktion korrigiert werden.
Der Algorithmus sieht folgendermaßen aus:
Sei 
der Eingang des Netzes an Knoten j in Schicht i.
Berechnet wird nach folgender Formel:
wobei 
die Aktivierung des Knotens j in Schicht i,
ein vorwärtsgerichtetes Gewicht von Knoten k in Schicht
(i-1) zu Knoten j in Schicht i, 
ein rekurrentes
Gewicht von Knoten k in Schicht i zu Knoten j in Schicht i und
die Anzahl der Knoten im Unternetz i ist. Der Zeitindex (n-1)
zeigt an, daß die Rückkopplung um einen Zeitschritt verzögert ist. Die
Aktivierung 
des Knotens j in Schicht i ist:
wobei der Operator 
die Aktivierungsfunktion des Knotens
beschreibt. Hier wurde die logistische Aktivierungsfunktion, auch
Sigmoidfunktion, verwendet:
Um den Lernprozeß durchführen zu können, benötigt man ein Qualitätsmaß für das Verhalten des Netzes. Üblicherweise wird hierfür eine Kostenfunktion basierend auf einem Fehlermaß definiert. Der quadratische Fehler für ein Element der Testmenge zum Zeitschritt n lautet:
mit
wobei k ein Element der Indexmenge aller Ausgabeneuronen ist, 
die aktuelle Ausgabe des Neurons k zum Zeitschritt n und 
die erwünschte Ausgabe von k. Der Netzfehler für eine Testmenge der
Länge N ist:
Die Fehlermaße der Gleichungen 
und nähern
sich 0, wenn die Lernmethode eine
Lösung findet. Die Gewichtsanpassungsfunktion lautet:
Mit Hilfe dieser Formeln läßt sich nun der Backpropagation-Algorithmus formulieren:
)., bis ein Abbruchkriterium erfüllt
ist.
Mögliche Abbruchkriterien sind eine untere Grenze für den Fehler, eine feste Anzahl von Iterationsschritten oder eine untere Grenze für die Änderung der Netzausgabe.
%
