Token Counter
v0.1.0Añadido el 26 sept 2026Datos de ejemploCuenta tokens BPE para codificaciones compatibles con OpenAI (cl100k_base, o200k_base) sin construir la lista de tokens.
cargo install kura-rs
kura add token-counterCopia 3 archivos de código fuente en tu proyecto. A partir de ahí, el código es tuyo.
Si otra herramienta ya instala un comando kura, ejecuta cargo install kura-rs --bin kura-rs y usa kura-rs add en su lugar.
use crate::parts::token_counter::{Encoding, count};
let n = count(Encoding::O200kBase, &prompt);
assert!(n <= 128_000, "prompt too long: {n} tokens");Verificación
Datos de ejemploVerificado frente a tiktoken 0.9.0 (Python). Método: Pruebas diferenciales. Las mismas entradas se pasan a ambas implementaciones y se comparan las salidas.
Estas cifras son provisionales. Todavía no se han medido y no deben interpretarse como resultados reales. Esta pieza está marcada con "sample": true en su archivo del registro.
Benchmarks
Datos de ejemplokura-rs (Rust) frente a tiktoken con distintos tamaños de entrada. Más rápido a partir de unas 1285 entradas, hasta 1.7× más rápido.
Estas cifras son provisionales. Todavía no se han medido y no deben interpretarse como resultados reales. Esta pieza está marcada con "sample": true en su archivo del registro.
Mostrar tabla de datos
| Tamaño de entrada | kura-rs (Rust) | tiktoken | Aceleración |
|---|---|---|---|
| 100 | 0,05 ms | 0,03 ms | 1.7× más lento |
| 1000 | 0,31 ms | 0,3 ms | 1.0× más lento |
| 10.000 | 2,6 ms | 3,4 ms | 1.3× |
| 100.000 | 24 ms | 36 ms | 1.5× |
| 1.000.000 | 235 ms | 390 ms | 1.7× |
Archivos
- parts/token_counter/mod.rs
- parts/token_counter/bpe.rs
- parts/token_counter/ranks.rs