Adam
Weit verbreiteter, adaptiver Optimierer.
Adam ist ein beliebter Optimierungsalgorithmus, der die Schrittweite für jeden Parameter automatisch anpasst und dabei Informationen aus vergangenen Schritten nutzt. Er macht das Training oft schneller und stabiler und ist in vielen Projekten die Standardwahl.