# jsonW 新闻中心 jsonW 新闻中心:格式的每项功能一篇文章(按词检索、按语义检索、权限、完整性校验、远程部分读取、相近拼写、音频、文本和视频信号),附真实的命令和输出。 ## 检索与排序 01 | 文件内的按词检索(IDF) | https://jsonw.org/zh/newsroom/term-search | jsonW 把带 IDF 权重的稀疏词向量直接存在行里,用 avaliar 命令计算得分,不需要单独的搜索引擎。 02 | 用 32、16、8 和 4 位向量按语义检索 | https://jsonw.org/zh/newsroom/semantic-search | 嵌入向量保存在文件中连续存放的向量列里,avaliar 计算它与查询的余弦相似度,并返回最接近的 k 行。 03 | 多线性网格:直接从文件插值 | https://jsonw.org/zh/newsroom/multilinear-grid | 一张按坐标轴排列的数值表,例如按距离和重量计算的运费,可以在评估请求中通过双线性、三线性或更多维的插值变成得分。 04 | 按请求打分:权重、余弦、稀疏或网格,写在一行里 | https://jsonw.org/zh/newsroom/scoring-by-request | 一行请求就能给文件中的每条记录打分并返回最好的几条,在工具、ABI 和 10 个 SDK 中结果相同。 05 | 前 k 名,顺序始终一致 | https://jsonw.org/zh/newsroom/top-k | jsonW 的 top-k 使用堆,结果是确定的:得分高的在前,得分相同时行号小的在前。两次运行返回同一个列表。 ## 文件组织 06 | 区间:检索直接跳过整个块 | https://jsonw.org/zh/newsroom/zone-maps | 文件的每个块都保存每一列的最小值和最大值。在一个 100,000 条记录的文件里,一次过滤跳过了 103 个块中的 102 个。 07 | 字典:重复的文本只存一次 | https://jsonw.org/zh/newsroom/dictionary | dic 类型的列在每个文件中只保存一次每个不同的文本。城市、状态和类别不再在每一行占用空间。 08 | 按键索引:直达那一行,无需扫描 | https://jsonw.org/zh/newsroom/key-index | 格式中有一个索引,可以不读文件就直接定位某个键所在的行。在公开工具中,键出现在 comparar 命令里。 ## 词表 09 | 词表:无需训练的文本分类器 | https://jsonw.org/zh/newsroom/lexicon | 一张词表会变成 Aho-Corasick 自动机,一次扫描就能找出文本中的所有词,不区分重音和大小写。 ## 写入与历史 10 | 实时写入与原子发布 | https://jsonw.org/zh/newsroom/live-writing | .jsw 文件只追加:一个进程写入时,另一个进程可以同时读取,而不会读到半个块。在 SDK 中,文件只在 fechar() 时完整出现。 11 | 在只追加的文件中保存当前值、删除记录和历史 | https://jsonw.org/zh/newsroom/live-deleted-history | 再次写入同一个键就是修改,带 _apagado: true 写入该键就是删除,每次变更的历史都留在文件里。 ## 权限、完整性与远程访问 12 | 按权限的视图:列、行和单元格 | https://jsonw.org/zh/newsroom/permission-views | 权限在模式中声明,由提供文件的一方在响应之前执行。没有相应范围,该列输出为空;没有对应租户,该行不会输出。 13 | 完整性:每个块都有链式 CRC32C 和 SHA-256 | https://jsonw.org/zh/newsroom/custody | 每个块都带有 CRC32C 和 SHA-256(或 BLAKE3)哈希,并在整个文件中形成链。改动一个字节,conferir 就会失败。 14 | 远程部分读取:只下载 79.1 MB 文件的 0.98% | https://jsonw.org/zh/newsroom/partial-remote-reading | 借助文件头、文件尾和 HTTP Range 请求,读取程序只下载所读行所在的块。适用于任何 Web 服务器、R2 和 S3。 ## 拼写、信号与按块列 15 | 相近的拼写和读音:"Kokakola" 能找到 "Coca-Cola" | https://jsonw.org/zh/newsroom/similar-spelling-and-sound | 过滤器的 ~~ 运算符按拼写和语音键给每个值打 0 到 1 的分,支持巴西葡萄牙语、美式英语、西班牙语和中文。 16 | 一行 jsonW 中的音频信号 | https://jsonw.org/zh/newsroom/audio-signals | jsonW 从 16 位 PCM 中测量音高、停顿、强度、jitter、shimmer、HNR、共振峰、MFCC、频谱质心、发音速率和呼吸。 17 | 葡萄牙语、英语、西班牙语和中文的文本信号 | https://jsonw.org/zh/newsroom/text-signals | 强化词、弱化词、情感极性、否定、被动语态、代词、全大写、标点、表情符号、笑声和反讽迹象,在一行中测量。 18 | 按场景切分的视频,附每一段的测量值 | https://jsonw.org/zh/newsroom/video-scenes | 输入视频帧和声音;输出场景切点、亮度、对比度、运动、颜色、形状、dHash、每一段的音频信号和一张拼图。 19 | 按块和按租户的列:其他客户的块根本不会被打开 | https://jsonw.org/zh/newsroom/block-and-tenant-columns | 每块的本地字典、定宽数字,以及块区间中的租户信息。在 INPI 数据集上,有效商标计数从 54 毫秒降到 43 毫秒。 ## 版本与安全 20 | jsonW 1.4.0:静态加密、文档掩码与代理协议配置文件 | https://jsonw.org/zh/newsroom/version-1-4-0-jiami-yanma-peizhi | .jsw 文件可以在磁盘上保持加密,密钥存放在文件之外。CPF 与 CNPJ 使用掩码,遇到无效值时会拒绝写入。49 个代理协议对象各自有一份经往返验证的配置文件。 21 | jsonW 1.4.1:权限视图适用于每一个读取数值的命令 | https://jsonw.org/zh/newsroom/version-1-4-1-quanxian-shitu | 在 1.4.0 中,只有 ver 和 Web 服务器会隐藏个人信息列。1.4.1 在所有读取数值的命令中都做了修正:同一测试文件上,修正前 37 项检查中有 23 项失败,修正后 0 项失败。