KI SpotlightNewsKL-Divergenz
Maß für den Abstand zweier Verteilungen.
Die KL-Divergenz misst, wie stark sich zwei Wahrscheinlichkeitsverteilungen unterscheiden. In der KI dient sie unter anderem dazu, ein feinjustiertes Modell nicht zu weit von seinem Ausgangszustand abweichen zu lassen, etwa beim RLHF, und taucht in vielen Trainingszielen auf.