Búsqueda y ranking
Búsqueda por significado con vectores de 32, 16, 8 y 4 bits
Los embeddings quedan en una columna de vectores contigua en el archivo, y avaliar calcula el coseno con la consulta y devuelve las k filas más parecidas.
· jsonW 1.3.11
El problema
La búsqueda por significado suele exigir una base de vectores al lado de la base principal. El mismo registro pasa a vivir en dos lugares, con dos permisos y dos copias que mantener iguales.
Cómo lo resuelve jsonW
El vector es un tipo del formato: vf32[n], vf16[n], vq8[n] y vq4[n], guardado de forma contigua en el archivo. avaliar … cosseno compara la consulta con toda la columna y devuelve las k filas más cercanas, con la fila completa al lado.
$ wjsw avaliar prod.jsw cosseno vet "1,0,0.2,0.1" 2
0.9869597291884717 2 {id:3,produto:"Chá verde",…,vet:vf16[0.7998046875,0,0.300048828125,0.0999755859375],…}
0.9681576829495052 0 {id:1,produto:"Café especial",…}
Salida real. El valor 0,8 guardado en vf16 vuelve como 0,7998046875: la media precisión guarda unos tres dígitos decimales.
Dónde está
En la herramienta, wjsw avaliar … cosseno, y en los SDK. Cuando la exactitud del vector importa, use vf32; vq8 y vq4 cambian precisión por tamaño. Generar el embedding sigue siendo trabajo de su modelo; jsonW guarda y compara.