KI SpotlightNewsTokenizer
Werkzeug, das Text in Token zerlegt.
Ein Tokenizer zerlegt Text in die Token, mit denen ein Modell arbeitet, und wandelt sie in Zahlen um. Wie er zerlegt, beeinflusst, wie effizient ein Modell mit einer Sprache umgeht. Für Deutsch mit seinen langen Wörtern ist die Tokenisierung oft weniger sparsam als für Englisch.