KI SpotlightNewsGating
Steuerung, welche Information durchgelassen wird.
Gating bezeichnet Mechanismen in neuronalen Netzen, die steuern, welche Informationen weitergegeben, behalten oder verworfen werden. Solche Tore sind das Kernprinzip von LSTM-Netzen und tauchen auch in Mixture-of-Experts-Modellen auf, um passende Experten auszuwählen.