Saltar al contenido
jsonW Artículo GitHub

Búsqueda y ranking

Búsqueda por términos (IDF) dentro del archivo

jsonW guarda el vector disperso de términos con los pesos IDF en la propia fila y calcula la nota con el comando avaliar, sin un motor de búsqueda aparte.

· jsonW 1.3.11

El problema

Para encontrar documentos por palabra, la mayoría de los sistemas mantiene un índice en un motor de búsqueda aparte y lo sincroniza con los datos. Cuando los datos cambian y el índice no, la búsqueda devuelve resultados viejos.

Cómo lo resuelve jsonW

Una columna de tipo mapa<i64,f32> guarda el vector disperso de cada fila: el número del término y su peso, calculado con IDF, el mismo cálculo de los buscadores. La consulta trae sus términos y pesos, y avaliar hace el producto escalar con cada fila y devuelve las mejores. Lee solo la columna pedida, en paralelo.

$ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2],nota:f64,vet:vf16[4],termos:mapa<i64,f32>" prod.jsonl prod.jsw
5 linhas -> prod.jsw
$ wjsw avaliar prod.jsw esparso termos "12=1,90=0.5" 2
1.2000000476837158	0	{id:1,produto:"Café especial",…,termos:[[12,1.2000000476837158],[40,0.4000000059604645]]}
1.0	4	{id:5,produto:"Suco de uva",…,termos:[[12,0.30000001192092896],[90,1.399999976158142]]}

Salida real de wjsw: nota, posición de la fila y la fila. La consulta pidió el término 12 con peso 1 y el término 90 con peso 0,5.

Dónde está

En la herramienta, wjsw avaliar … esparso; en la ABI y en los 10 SDK, el mismo pedido en JSON, con el mismo resultado byte a byte. jsonW guarda y puntúa los términos; convertir el texto en números de término es trabajo de su aplicación.

Lea la sección completa en el artículo →