跳到正文
jsonW 论文 GitHub

文件组织

区间:检索直接跳过整个块

文件的每个块都保存每一列的最小值和最大值。在一个 100,000 条记录的文件里,一次过滤跳过了 103 个块中的 102 个。

· jsonW 1.3.11

问题

在 JSONL 或 CSV 中,要找出满足过滤条件的行,读取程序必须打开并拆分每一行,即使答案只在文件末尾。

jsonW 的做法

.jsw 文件按块写入,每个块保存每一列的最小值和最大值。如果过滤条件在某个块里不可能成立,读取程序就跳过这个块,完全不解压。

$ wjsw filtrar com.jsw "id > 99990"
9 de 100000 linhas em 1.7 ms · blocos 103, pulados pela zona 102 · linhas lidas 833
$ wjsw info prod.jsw
…
zona      preco        890 .. 2400
zona      nota         3.8999999999999999 .. 4.9000000000000004

真实输出,使用论文第 5 节中 100,000 条记录的文件:读了 833 行就找到了 9 行。info 命令显示的是另一个文件的区间,实数以双精度显示。

在哪里

filtrar 和 calcular 会自动使用区间,info 会显示这些值。效果取决于数据的顺序:按顺序写入的列能跳过很多块,打乱的列能跳过的很少。

在论文中阅读完整章节 →