Saltar al contenido
jsonW Artículo GitHub

Búsqueda y ranking

Búsqueda por significado con vectores de 32, 16, 8 y 4 bits

Los embeddings quedan en una columna de vectores contigua en el archivo, y avaliar calcula el coseno con la consulta y devuelve las k filas más parecidas.

· jsonW 1.3.11

El problema

La búsqueda por significado suele exigir una base de vectores al lado de la base principal. El mismo registro pasa a vivir en dos lugares, con dos permisos y dos copias que mantener iguales.

Cómo lo resuelve jsonW

El vector es un tipo del formato: vf32[n], vf16[n], vq8[n] y vq4[n], guardado de forma contigua en el archivo. avaliar … cosseno compara la consulta con toda la columna y devuelve las k filas más cercanas, con la fila completa al lado.

$ wjsw avaliar prod.jsw cosseno vet "1,0,0.2,0.1" 2
0.9869597291884717	2	{id:3,produto:"Chá verde",…,vet:vf16[0.7998046875,0,0.300048828125,0.0999755859375],…}
0.9681576829495052	0	{id:1,produto:"Café especial",…}

Salida real. El valor 0,8 guardado en vf16 vuelve como 0,7998046875: la media precisión guarda unos tres dígitos decimales.

Dónde está

En la herramienta, wjsw avaliar … cosseno, y en los SDK. Cuando la exactitud del vector importa, use vf32; vq8 y vq4 cambian precisión por tamaño. Generar el embedding sigue siendo trabajo de su modelo; jsonW guarda y compara.

Lea la sección completa en el artículo →