检索与排序
用 32、16、8 和 4 位向量按语义检索
嵌入向量保存在文件中连续存放的向量列里,avaliar 计算它与查询的余弦相似度,并返回最接近的 k 行。
· jsonW 1.3.11
问题
按语义检索通常需要在主数据库旁边再放一个向量数据库。同一条记录于是存在两个地方,有两套权限,还要让两份副本保持一致。
jsonW 的做法
向量是格式自带的类型:vf32[n]、vf16[n]、vq8[n] 和 vq4[n],在文件中连续存放。avaliar … cosseno 把查询与整列比较,返回最接近的 k 行,并附上完整的行。
$ wjsw avaliar prod.jsw cosseno vet "1,0,0.2,0.1" 2
0.9869597291884717 2 {id:3,produto:"Chá verde",…,vet:vf16[0.7998046875,0,0.300048828125,0.0999755859375],…}
0.9681576829495052 0 {id:1,produto:"Café especial",…}
真实输出。以 vf16 写入的 0.8 读回时是 0.7998046875:半精度大约保留三位十进制有效数字。
在哪里
在工具中是 wjsw avaliar … cosseno,SDK 中也有。需要向量精确时,请用 vf32;vq8 和 vq4 用精度换空间。生成嵌入向量仍是您的模型的工作;jsonW 负责保存和比较。