Token Counter
v0.1.0Hinzugefügt am 26. Sept. 2026BeispieldatenZählt BPE-Tokens für OpenAI-kompatible Kodierungen (cl100k_base, o200k_base), ohne die Token-Liste aufzubauen.
cargo install kura-rs
kura add token-counterKopiert 3 Quelldateien in dein Projekt. Ab dann gehört der Code dir.
Wenn ein anderes Tool bereits einen kura-Befehl installiert, führe cargo install kura-rs --bin kura-rs aus und nutze stattdessen kura-rs add.
use crate::parts::token_counter::{Encoding, count};
let n = count(Encoding::O200kBase, &prompt);
assert!(n <= 128_000, "prompt too long: {n} tokens");Verifikation
BeispieldatenGeprüft gegen tiktoken 0.9.0 (Python). Verfahren: Differenzielles Testen. Beide Implementierungen erhalten dieselben Eingaben, die Ausgaben werden verglichen.
Diese Werte sind Platzhalter. Sie wurden noch nicht gemessen und dürfen nicht als echte Ergebnisse gelesen werden. Dieser Baustein ist in seiner Registry-Datei mit "sample": true markiert.
Benchmarks
Beispieldatenkura-rs (Rust) im Vergleich zu tiktoken über verschiedene Eingabegrößen. Schneller ab etwa 1.285 Eingaben, bis zu 1.7× schneller.
Diese Werte sind Platzhalter. Sie wurden noch nicht gemessen und dürfen nicht als echte Ergebnisse gelesen werden. Dieser Baustein ist in seiner Registry-Datei mit "sample": true markiert.
Datentabelle anzeigen
| Eingabegröße | kura-rs (Rust) | tiktoken | Speedup |
|---|---|---|---|
| 100 | 0,05 ms | 0,03 ms | 1.7× langsamer |
| 1.000 | 0,31 ms | 0,3 ms | 1.0× langsamer |
| 10.000 | 2,6 ms | 3,4 ms | 1.3× |
| 100.000 | 24 ms | 36 ms | 1.5× |
| 1.000.000 | 235 ms | 390 ms | 1.7× |
Dateien
- parts/token_counter/mod.rs
- parts/token_counter/bpe.rs
- parts/token_counter/ranks.rs