检索与排序
文件内的按词检索(IDF)
jsonW 把带 IDF 权重的稀疏词向量直接存在行里,用 avaliar 命令计算得分,不需要单独的搜索引擎。
· jsonW 1.3.11
问题
要按词查找文档,大多数系统会在单独的搜索引擎里维护索引,再与数据同步。数据变了而索引没变时,检索就会返回过时的结果。
jsonW 的做法
类型为 mapa<i64,f32> 的列保存每一行的稀疏向量:词的编号和它的权重,权重用 IDF 计算,与搜索引擎的算法相同。查询带上自己的词和权重,avaliar 与每一行做点积并返回最好的几行。它只读取请求的那一列,并行进行。
$ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2],nota:f64,vet:vf16[4],termos:mapa<i64,f32>" prod.jsonl prod.jsw
5 linhas -> prod.jsw
$ wjsw avaliar prod.jsw esparso termos "12=1,90=0.5" 2
1.2000000476837158 0 {id:1,produto:"Café especial",…,termos:[[12,1.2000000476837158],[40,0.4000000059604645]]}
1.0 4 {id:5,produto:"Suco de uva",…,termos:[[12,0.30000001192092896],[90,1.399999976158142]]}
wjsw 的真实输出:得分、行的位置和该行。查询请求了权重为 1 的第 12 号词和权重为 0.5 的第 90 号词。
在哪里
在工具中是 wjsw avaliar … esparso;在 ABI 和 10 个 SDK 中是同一个 JSON 请求,结果逐字节相同。jsonW 负责保存词并打分;把文本转换成词编号是您的应用程序的工作。