Pular para o conteúdo
jsonW Paper GitHub

Busca e ranking

Busca por termos (IDF) dentro do arquivo

O jsonW guarda o vetor esparso de termos com os pesos IDF na própria linha e calcula a nota com o comando avaliar, sem um motor de busca separado.

· jsonW 1.3.11

O problema

Para achar documentos por palavra, a maioria dos sistemas mantém um índice num motor de busca à parte e sincroniza esse índice com o dado. Quando o dado muda e o índice não, a busca devolve resultado velho.

Como o jsonW resolve

Uma coluna do tipo mapa<i64,f32> guarda o vetor esparso de cada linha: o número do termo e o peso dele, calculado por IDF, o mesmo cálculo dos buscadores. A consulta traz os seus termos e pesos, e o avaliar faz o produto escalar com cada linha e devolve as melhores. O cálculo lê só a coluna do pedido, em paralelo.

$ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2],nota:f64,vet:vf16[4],termos:mapa<i64,f32>" prod.jsonl prod.jsw
5 linhas -> prod.jsw
$ wjsw avaliar prod.jsw esparso termos "12=1,90=0.5" 2
1.2000000476837158	0	{id:1,produto:"Café especial",…,termos:[[12,1.2000000476837158],[40,0.4000000059604645]]}
1.0	4	{id:5,produto:"Suco de uva",…,termos:[[12,0.30000001192092896],[90,1.399999976158142]]}

Saída real do wjsw: nota, posição da linha e a linha. A consulta pediu o termo 12 com peso 1 e o termo 90 com peso 0,5.

Onde está

Na ferramenta, wjsw avaliar … esparso; na ABI e nos 10 SDKs, o mesmo pedido em JSON, com o mesmo resultado byte a byte. O jsonW guarda e pontua os termos; quem transforma o texto em números de termo é a sua aplicação.

Leia a seção completa no paper →