Byte-Pair-Encoding (BPE)

Byte-Pair-Encoding ist ein verbreitetes Verfahren der Tokenisierung, das häufig gemeinsam auftretende Zeichenfolgen schrittweise zu Einheiten zusammenfasst. So entstehen Token für ganze Wörter, Wortteile oder Zeichen. BPE erlaubt es, auch unbekannte Wörter aus bekannten Bausteinen darzustellen.