Ricerca e ranking
Ricerca per termini (IDF) dentro il file
jsonW conserva il vettore sparso dei termini con i pesi IDF nella riga stessa e calcola il punteggio con il comando avaliar, senza un motore di ricerca separato.
· jsonW 1.3.11
Il problema
Per trovare documenti per parola, la maggior parte dei sistemi mantiene un indice in un motore di ricerca separato e lo sincronizza con i dati. Quando i dati cambiano e l'indice no, la ricerca restituisce risultati vecchi.
Come lo risolve jsonW
Una colonna di tipo mapa<i64,f32> conserva il vettore sparso di ogni riga: il numero del termine e il suo peso, calcolato con IDF, lo stesso calcolo dei motori di ricerca. La query porta i propri termini e pesi, e avaliar fa il prodotto scalare con ogni riga e restituisce le migliori. Legge solo la colonna richiesta, in parallelo.
$ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2],nota:f64,vet:vf16[4],termos:mapa<i64,f32>" prod.jsonl prod.jsw
5 linhas -> prod.jsw
$ wjsw avaliar prod.jsw esparso termos "12=1,90=0.5" 2
1.2000000476837158 0 {id:1,produto:"Café especial",…,termos:[[12,1.2000000476837158],[40,0.4000000059604645]]}
1.0 4 {id:5,produto:"Suco de uva",…,termos:[[12,0.30000001192092896],[90,1.399999976158142]]}
Output reale di wjsw: punteggio, posizione della riga e la riga. La query ha chiesto il termine 12 con peso 1 e il termine 90 con peso 0,5.
Dove si trova
Nello strumento, wjsw avaliar … esparso; nell'ABI e nei 10 SDK, la stessa richiesta in JSON, con lo stesso risultato byte per byte. jsonW conserva e valuta i termini; trasformare il testo in numeri di termine è compito della vostra applicazione.