Direct Preference Optimization (DPO)

DPO ist ein Verfahren, um ein Sprachmodell direkt anhand von Präferenzdaten auszurichten, also anhand von Beispielen, welche Antwort Menschen jeweils bevorzugen. Es gilt als einfachere Alternative zu klassischem RLHF, weil es ohne separates Belohnungsmodell auskommt, und wird beim Feinschliff moderner Modelle häufig eingesetzt.