Token Counter

v0.1.02026년 9월 26일 추가샘플 데이터

OpenAI 호환 인코딩(cl100k_base, o200k_base)의 BPE 토큰 수를 셉니다. 토큰 목록은 만들지 않습니다.

tiktoken와(과) 일치

5,000 / 5,000케이스

샘플 데이터입니다. 이 수치는 측정값이 아닌 임시 값입니다.

참조 구현: tiktoken ↗

설치

cargo install kura-rs
kura add token-counter

소스 파일 3개를 프로젝트에 복사합니다. 이후 코드는 여러분의 것입니다.

다른 도구가 이미 kura 명령을 설치했다면 cargo install kura-rs --bin kura-rs로 설치하고 kura-rs add를 사용하세요.

사용법

use crate::parts::token_counter::{Encoding, count};

let n = count(Encoding::O200kBase, &prompt);
assert!(n <= 128_000, "prompt too long: {n} tokens");

검증

샘플 데이터

tiktoken 0.9.0 (Python)와(과) 차분 테스트(으)로 대조했습니다. 두 구현에 같은 입력을 넣고 출력을 비교합니다.

참조 구현

tiktoken

Python 0.9.0

테스트 케이스

5,000

차분 테스트

통과

5,000 / 5,000

모든 케이스 일치

마지막 실행

2026년 9월 26일

UTC

이 수치는 임시 값입니다. 아직 측정되지 않았으므로 실제 결과로 해석해서는 안 됩니다. 이 부품은 registry 파일에서 "sample": true(으)로 표시되어 있습니다.

벤치마크

샘플 데이터

다양한 입력 크기에서 kura-rs (Rust)와 tiktoken을(를) 비교합니다. 입력 약 1,285개부터 더 빠름, 최대 1.7× 빠름.

kura-rs (Rust)tiktoken

1회 실행당 소요 시간 (낮을수록 좋음). 음영 영역은 참조 구현이 더 빠른 구간입니다.

데이터 표 보기

입력 크기	kura-rs (Rust)	tiktoken	속도 향상
100	0.05 ms	0.03 ms	1.7× 느림
1,000	0.31 ms	0.3 ms	1.0× 느림
10,000	2.6 ms	3.4 ms	1.3×
100,000	24 ms	36 ms	1.5×
1,000,000	235 ms	390 ms	1.7×

Token Counter

설치

사용법

검증

벤치마크

소스 및 의존성

파일

crate 의존성