KI SpotlightNewsSubword-Tokenisierung
Zerlegen von Wörtern in Wortteile.
Die Subword-Tokenisierung zerlegt Wörter in kleinere, wiederverwendbare Bausteine statt in ganze Wörter oder einzelne Zeichen. Das hält den Wortschatz eines Modells überschaubar und ermöglicht den Umgang mit seltenen und zusammengesetzten Wörtern, was gerade für das Deutsche wichtig ist.