Unicode Normalize
v0.1.0Ajouté le 26 sept. 2026Données d'exempleNettoyage Unicode pour les pipelines de texte : normalisation NFC/NFKC, regroupement des espaces et suppression des caractères invisibles.
cargo install kura-rs
kura add unicode-normalizeCopie le fichier source dans votre projet. Le code vous appartient ensuite.
Si un autre outil installe déjà une commande kura, lance cargo install kura-rs --bin kura-rs et utilise kura-rs add à la place.
use crate::parts::unicode_normalize::{normalize, Options};
let clean = normalize(&raw, Options::nfkc().fold_whitespace().strip_invisible());Vérification
Données d'exempleVérifié par rapport à unicodedata 3.12 (Python). Méthode : Tests basés sur les propriétés. Les mêmes entrées sont fournies aux deux implémentations, puis leurs sorties sont comparées.
Ces valeurs sont fictives. Elles n'ont pas encore été mesurées et ne doivent pas être lues comme des résultats réels. Ce composant est marqué "sample": true dans son fichier de registre.
Benchmarks
Données d'exemplekura-rs (Rust) comparé à unicodedata sur plusieurs tailles d'entrée. Plus rapide à partir d'environ 143 entrées, jusqu'à 2.2× plus rapide.
Ces valeurs sont fictives. Elles n'ont pas encore été mesurées et ne doivent pas être lues comme des résultats réels. Ce composant est marqué "sample": true dans son fichier de registre.
Afficher le tableau de données
| Taille d'entrée | kura-rs (Rust) | unicodedata | Accélération |
|---|---|---|---|
| 10 | 0,01 ms | 0 ms | 3.0× plus lent |
| 100 | 0,02 ms | 0,02 ms | 1.1× plus lent |
| 1 000 | 0,09 ms | 0,16 ms | 1.8× |
| 10 000 | 0,8 ms | 1,7 ms | 2.1× |
| 100 000 | 7,9 ms | 17 ms | 2.2× |
| 1 000 000 | 78 ms | 172 ms | 2.2× |
Fichiers
- parts/unicode_normalize/mod.rs