Pular para o conteúdo
jsonW Paper GitHub

Busca e ranking

Busca por significado com vetores de 32, 16, 8 e 4 bits

Embeddings ficam numa coluna de vetores contínua no arquivo, e o avaliar calcula o cosseno com a consulta e devolve as k mais parecidas.

· jsonW 1.3.11

O problema

A busca por significado costuma exigir um banco de vetores ao lado do banco principal. O mesmo registro passa a morar em dois lugares, com duas permissões e duas cópias para manter iguais.

Como o jsonW resolve

O vetor é um tipo do formato: vf32[n], vf16[n], vq8[n] e vq4[n], gravado contínuo no arquivo. O avaliar … cosseno compara a consulta com a coluna inteira e devolve as k linhas mais próximas, com a linha completa ao lado.

$ wjsw avaliar prod.jsw cosseno vet "1,0,0.2,0.1" 2
0.9869597291884717	2	{id:3,produto:"Chá verde",…,vet:vf16[0.7998046875,0,0.300048828125,0.0999755859375],…}
0.9681576829495052	0	{id:1,produto:"Café especial",…}

Saída real. O valor 0,8 gravado em vf16 volta como 0,7998046875: meia precisão guarda cerca de três dígitos decimais.

Onde está

Na ferramenta, wjsw avaliar … cosseno, e nos SDKs. Quando a exatidão do vetor importa, use vf32; vq8 e vq4 trocam precisão por tamanho. Gerar o embedding continua com o seu modelo; o jsonW guarda e compara.

Leia a seção completa no paper →