拼写、信号与按块列
按块和按租户的列:其他客户的块根本不会被打开
每块的本地字典、定宽数字,以及块区间中的租户信息。在 INPI 数据集上,有效商标计数从 54 毫秒降到 43 毫秒。
· jsonW 1.3.11
问题
在包含许多客户数据的文件中,一个客户的查询不应该为读取其他客户的数据付出代价。而只由数字组成的编码,例如案卷号,以文本存储时会占用不必要的空间。
jsonW 的做法
1.3.11 版本带来了三种编码:每块的本地字典(有熵编码和无熵编码两种)以及定宽数字。每个块的区间还保存了租户。过滤器用 SSE2 指令批量比较字典编码,并一次在整个块上计算"包含"。
$ wjsw calcular DADOS_BIBLIOGRAFICOS.jsw --onde "codigo_situacao = IPAS023"
1 grupo(s) em 44.0 ms
total: 2343607 linha(s)
$ wjsw calcular DESPACHOS.jsw --onde "numero_inpi = 818602856"
1 grupo(s) em 277.1 ms
total: 10 linha(s)
$ wjsw calcular CLASSIFICACOES_NICE.jsw --onde "classe_nice = 35"
1 grupo(s) em 145.3 ms
total: 1076928 linha(s)
表 5D 中三个查询在 INPI(巴西商标局)完整商标数据集(5530 万行)上的真实输出,文件由 1.3.11 以最高压缩级别写入,本次运行时文件已在缓存中。三个答案都正确。论文取 5 次运行中的最好成绩:43、207 和 142 毫秒。
在哪里
在写入时(编码自动生效)以及 filtrar 和 calcular 中。在 INPI 数据集上使用 8 个核心,有效商标计数用时 43 毫秒,快于 DuckDB 读取 Parquet(54 毫秒)、DuckDB 读取 CSV(375 毫秒)和在 CSV 上运行 grep(519 毫秒)。案卷号这一列从 53.0 MB 降到 25.7 MB。用新编码写入的文件无法在 1.2.x 的读取程序中打开。