跳到正文
jsonW 论文 GitHub

检索与排序

用 32、16、8 和 4 位向量按语义检索

嵌入向量保存在文件中连续存放的向量列里,avaliar 计算它与查询的余弦相似度,并返回最接近的 k 行。

· jsonW 1.3.11

问题

按语义检索通常需要在主数据库旁边再放一个向量数据库。同一条记录于是存在两个地方,有两套权限,还要让两份副本保持一致。

jsonW 的做法

向量是格式自带的类型:vf32[n]、vf16[n]、vq8[n] 和 vq4[n],在文件中连续存放。avaliar … cosseno 把查询与整列比较,返回最接近的 k 行,并附上完整的行。

$ wjsw avaliar prod.jsw cosseno vet "1,0,0.2,0.1" 2
0.9869597291884717	2	{id:3,produto:"Chá verde",…,vet:vf16[0.7998046875,0,0.300048828125,0.0999755859375],…}
0.9681576829495052	0	{id:1,produto:"Café especial",…}

真实输出。以 vf16 写入的 0.8 读回时是 0.7998046875:半精度大约保留三位十进制有效数字。

在哪里

在工具中是 wjsw avaliar … cosseno,SDK 中也有。需要向量精确时,请用 vf32;vq8 和 vq4 用精度换空间。生成嵌入向量仍是您的模型的工作;jsonW 负责保存和比较。

在论文中阅读完整章节 →