MinHash
v0.1.0Ajouté le 26 sept. 2026Détection de quasi-doublons à l'aide de signatures MinHash, identique bit à bit à datasketch. Estime la similarité de Jaccard entre des ensembles de tokens en espace constant, pour dédupliquer les corpus RAG et les données d'entraînement.
cargo install kura-rs
kura add minhashCopie 2 fichiers source dans votre projet. Le code vous appartient ensuite.
Si un autre outil installe déjà une commande kura, lance cargo install kura-rs --bin kura-rs et utilise kura-rs add à la place.
use crate::parts::minhash::MinHasher;
// Same num_perm and seed as datasketch.MinHash() → identical signatures
let hasher = MinHasher::new(128, 1);
let a = hasher.signature("the quick brown fox jumps".split_whitespace());
let b = hasher.signature("the quick brown fox leaps".split_whitespace());
println!("estimated jaccard = {:.3}", a.jaccard(&b));Vérifié par rapport à datasketch 2.0.0 (Python). Méthode : Tests différentiels. Les mêmes entrées sont fournies aux deux implémentations, puis leurs sorties sont comparées.
kura-rs (Rust) comparé à datasketch sur plusieurs tailles d'entrée. Plus rapide pour toutes les tailles d'entrée mesurées, jusqu'à 19× plus rapide.
Afficher le tableau de données
| Taille d'entrée | kura-rs (Rust) | datasketch | Accélération |
|---|---|---|---|
| 10 | 0 ms | 0,01 ms | 19× |
| 100 | 0 ms | 0,04 ms | 9.9× |
| 1 000 | 0,04 ms | 0,37 ms | 8.8× |
| 10 000 | 0,42 ms | 3,73 ms | 9.0× |
| 100 000 | 4,14 ms | 37 ms | 8.9× |
Taille d'entrée : tokens per document (num_perm = 128).
Mesuré sur Apple M4 Pro, macOS 27.0 (arm64). kura-rs avec rustc 1.98.1 ; la référence avec Python 3.14.6, numpy 2.5.3.
Fichiers
- parts/minhash/mod.rs
- parts/minhash/permutation.rs
Dépendances (crates)
- sha10.11