KI SpotlightNewsToken
Kleinste Verarbeitungseinheit eines Sprachmodells.
Ein Token ist die Einheit, in die ein Sprachmodell Text zerlegt, meist ein Wort, ein Wortteil oder ein Zeichen. Modelle rechnen nicht mit Buchstaben, sondern mit Token. Ihre Zahl bestimmt Kontextgrenzen und Kosten, denn viele Dienste rechnen pro Token ab.