KI SpotlightNewsTowards-AI-Artikel beleuchtet LSTM-Entstehung und Hochreiters Rolle
Ein Blick auf die frühen Arbeiten in München und das mathematische Problem des Vergessens
Mit KI erstellt◆ Fakten auf einen Blick
- Sepp Hochreiter war Doktorand Anfang der 1990er Jahre in München.
- Er arbeitete an rekurrenten neuronalen Netzen.
- Er beobachtete einen Trainingslauf, der nicht das gewünschte Verhalten zeigte.
- Seine Experimente mit sequenzlernenden Modellen bildeten den Ausgangspunkt der LSTM-Entwicklung.
Hochreiter als Schlüsselfigur der LSTM-Entwicklung
Der Towards-AI-Artikel nennt Sepp Hochreiter als Doktoranden, der Anfang der 1990er Jahre in München an rekurrenten neuronalen Netzen arbeitete. Er beobachtete dabei einen Trainingslauf, der nicht das gewünschte Verhalten zeigte. Seine Experimente mit diesen sequenzlernenden Modellen bilden den Ausgangspunkt der im Artikel erzählten LSTM-Geschichte. Der Artikel stellt ihn damit als einen der Forscher vor, deren Arbeit am Anfang der LSTM-Entwicklung stand.
Mathematisches Vergessensproblem als Auslöser
Als Motivation für die Entwicklung nennt der Artikel ein mathematisches Problem: Rekurrente Netze vergaßen Informationen aus weiter zurückliegenden Schritten einer Sequenz. Je weiter die relevante Information entfernt lag, desto weniger behielt das Netz. Ursache waren schwindende Gradienten, durch die frühe Zeitschritte beim Training kaum noch Einfluss hatten. LSTM sollte genau dieses Vergessen langer Sequenzen lösen.
