MinHash
v0.1.0Añadido el 26 sept 2026Detección de casi duplicados con firmas MinHash, idéntica bit a bit a datasketch. Estima la similitud de Jaccard entre conjuntos de tokens en espacio constante, para deduplicar corpus de RAG y datos de entrenamiento.
cargo install kura-rs
kura add minhashCopia 2 archivos de código fuente en tu proyecto. A partir de ahí, el código es tuyo.
Si otra herramienta ya instala un comando kura, ejecuta cargo install kura-rs --bin kura-rs y usa kura-rs add en su lugar.
use crate::parts::minhash::MinHasher;
// Same num_perm and seed as datasketch.MinHash() → identical signatures
let hasher = MinHasher::new(128, 1);
let a = hasher.signature("the quick brown fox jumps".split_whitespace());
let b = hasher.signature("the quick brown fox leaps".split_whitespace());
println!("estimated jaccard = {:.3}", a.jaccard(&b));Verificado frente a datasketch 2.0.0 (Python). Método: Pruebas diferenciales. Las mismas entradas se pasan a ambas implementaciones y se comparan las salidas.
kura-rs (Rust) frente a datasketch con distintos tamaños de entrada. Más rápido en todos los tamaños de entrada medidos, hasta 19× más rápido.
Mostrar tabla de datos
| Tamaño de entrada | kura-rs (Rust) | datasketch | Aceleración |
|---|---|---|---|
| 10 | 0 ms | 0,01 ms | 19× |
| 100 | 0 ms | 0,04 ms | 9.9× |
| 1000 | 0,04 ms | 0,37 ms | 8.8× |
| 10.000 | 0,42 ms | 3,73 ms | 9.0× |
| 100.000 | 4,14 ms | 37 ms | 8.9× |
Tamaño de entrada: tokens per document (num_perm = 128).
Medido en Apple M4 Pro, macOS 27.0 (arm64). kura-rs con rustc 1.98.1; la referencia con Python 3.14.6, numpy 2.5.3.
Archivos
- parts/minhash/mod.rs
- parts/minhash/permutation.rs
Dependencias (crates)
- sha10.11