Token Counter
v0.1.0Adicionado em 26 de set. de 2026Dados de exemploConta tokens BPE para codificações compatíveis com a OpenAI (cl100k_base, o200k_base) sem montar a lista de tokens.
cargo install kura-rs
kura add token-counterCopia 3 arquivos de código-fonte para o seu projeto. A partir daí, o código é seu.
Se outra ferramenta já instala um comando kura, execute cargo install kura-rs --bin kura-rs e use kura-rs add no lugar.
use crate::parts::token_counter::{Encoding, count};
let n = count(Encoding::O200kBase, &prompt);
assert!(n <= 128_000, "prompt too long: {n} tokens");Verificação
Dados de exemploVerificado com tiktoken 0.9.0 (Python). Método: Teste diferencial. As mesmas entradas são enviadas às duas implementações e as saídas são comparadas.
Estes números são provisórios. Eles ainda não foram medidos e não devem ser lidos como resultados reais. Esta peça está marcada como "sample": true no seu arquivo do registry.
Benchmarks
Dados de exemplokura-rs (Rust) comparado com tiktoken em vários tamanhos de entrada. Mais rápido a partir de cerca de 1.285 entradas, até 1.7× mais rápido.
Estes números são provisórios. Eles ainda não foram medidos e não devem ser lidos como resultados reais. Esta peça está marcada como "sample": true no seu arquivo do registry.
Mostrar tabela de dados
| Tamanho da entrada | kura-rs (Rust) | tiktoken | Aceleração |
|---|---|---|---|
| 100 | 0,05 ms | 0,03 ms | 1.7× mais lento |
| 1.000 | 0,31 ms | 0,3 ms | 1.0× mais lento |
| 10.000 | 2,6 ms | 3,4 ms | 1.3× |
| 100.000 | 24 ms | 36 ms | 1.5× |
| 1.000.000 | 235 ms | 390 ms | 1.7× |
Arquivos
- parts/token_counter/mod.rs
- parts/token_counter/bpe.rs
- parts/token_counter/ranks.rs