Newsroom
jsonW 的 19 项功能,逐一介绍。
每项功能一篇文章:它解决的问题、展示结果的命令,以及它目前还做不到的事。所有输出都是真实的,来自公开的二进制程序或论文。
· jsonW 1.4.1
检索与排序
文件内的按词检索(IDF)
jsonW 把带 IDF 权重的稀疏词向量直接存在行里,用 avaliar 命令计算得分,不需要单独的搜索引擎。
02用 32、16、8 和 4 位向量按语义检索
嵌入向量保存在文件中连续存放的向量列里,avaliar 计算它与查询的余弦相似度,并返回最接近的 k 行。
03多线性网格:直接从文件插值
一张按坐标轴排列的数值表,例如按距离和重量计算的运费,可以在评估请求中通过双线性、三线性或更多维的插值变成得分。
04按请求打分:权重、余弦、稀疏或网格,写在一行里
一行请求就能给文件中的每条记录打分并返回最好的几条,在工具、ABI 和 10 个 SDK 中结果相同。
05前 k 名,顺序始终一致
jsonW 的 top-k 使用堆,结果是确定的:得分高的在前,得分相同时行号小的在前。两次运行返回同一个列表。
文件组织
区间:检索直接跳过整个块
文件的每个块都保存每一列的最小值和最大值。在一个 100,000 条记录的文件里,一次过滤跳过了 103 个块中的 102 个。
07字典:重复的文本只存一次
dic 类型的列在每个文件中只保存一次每个不同的文本。城市、状态和类别不再在每一行占用空间。
08按键索引:直达那一行,无需扫描
格式中有一个索引,可以不读文件就直接定位某个键所在的行。在公开工具中,键出现在 comparar 命令里。
词表
写入与历史
实时写入与原子发布
.jsw 文件只追加:一个进程写入时,另一个进程可以同时读取,而不会读到半个块。在 SDK 中,文件只在 fechar() 时完整出现。
11在只追加的文件中保存当前值、删除记录和历史
再次写入同一个键就是修改,带 _apagado: true 写入该键就是删除,每次变更的历史都留在文件里。
权限、完整性与远程访问
按权限的视图:列、行和单元格
权限在模式中声明,由提供文件的一方在响应之前执行。没有相应范围,该列输出为空;没有对应租户,该行不会输出。
13完整性:每个块都有链式 CRC32C 和 SHA-256
每个块都带有 CRC32C 和 SHA-256(或 BLAKE3)哈希,并在整个文件中形成链。改动一个字节,conferir 就会失败。
14远程部分读取:只下载 79.1 MB 文件的 0.98%
借助文件头、文件尾和 HTTP Range 请求,读取程序只下载所读行所在的块。适用于任何 Web 服务器、R2 和 S3。
拼写、信号与按块列
相近的拼写和读音:"Kokakola" 能找到 "Coca-Cola"
过滤器的 ~~ 运算符按拼写和语音键给每个值打 0 到 1 的分,支持巴西葡萄牙语、美式英语、西班牙语和中文。
16一行 jsonW 中的音频信号
jsonW 从 16 位 PCM 中测量音高、停顿、强度、jitter、shimmer、HNR、共振峰、MFCC、频谱质心、发音速率和呼吸。
17葡萄牙语、英语、西班牙语和中文的文本信号
强化词、弱化词、情感极性、否定、被动语态、代词、全大写、标点、表情符号、笑声和反讽迹象,在一行中测量。
18按场景切分的视频,附每一段的测量值
输入视频帧和声音;输出场景切点、亮度、对比度、运动、颜色、形状、dHash、每一段的音频信号和一张拼图。
19按块和按租户的列:其他客户的块根本不会被打开
每块的本地字典、定宽数字,以及块区间中的租户信息。在 INPI 数据集上,有效商标计数从 54 毫秒降到 43 毫秒。