Recherche et classement
Recherche par le sens avec des vecteurs de 32, 16, 8 et 4 bits
Les embeddings sont rangés dans une colonne de vecteurs contiguë dans le fichier, et avaliar calcule le cosinus avec la requête et renvoie les k lignes les plus proches.
· jsonW 1.3.11
Le problème
La recherche par le sens exige en général une base vectorielle à côté de la base principale. Le même enregistrement vit alors à deux endroits, avec deux systèmes de permissions et deux copies à garder identiques.
Comment jsonW le résout
Le vecteur est un type du format : vf32[n], vf16[n], vq8[n] et vq4[n], écrit de façon contiguë dans le fichier. avaliar … cosseno compare la requête à toute la colonne et renvoie les k lignes les plus proches, avec la ligne complète à côté.
$ wjsw avaliar prod.jsw cosseno vet "1,0,0.2,0.1" 2
0.9869597291884717 2 {id:3,produto:"Chá verde",…,vet:vf16[0.7998046875,0,0.300048828125,0.0999755859375],…}
0.9681576829495052 0 {id:1,produto:"Café especial",…}
Sortie réelle. La valeur 0,8 écrite en vf16 revient sous la forme 0,7998046875 : la demi-précision garde environ trois chiffres décimaux.
Où la trouver
Dans l'outil, wjsw avaliar … cosseno, et dans les SDK. Quand l'exactitude du vecteur compte, utilisez vf32 ; vq8 et vq4 échangent de la précision contre de la place. Produire l'embedding reste le travail de votre modèle ; jsonW conserve et compare.