Präferenzdaten

Präferenzdaten entstehen, wenn Menschen angeben, welche von zwei KI-Antworten sie besser finden. Aus solchen Vergleichen lernt ein Belohnungsmodell, was gewünscht ist. Sie sind die Grundlage von RLHF und prägen maßgeblich das Verhalten moderner Chatassistenten.