文件组织
字典:重复的文本只存一次
dic 类型的列在每个文件中只保存一次每个不同的文本。城市、状态和类别不再在每一行占用空间。
· jsonW 1.3.11
问题
在 JSON 和 CSV 中,像"状态"或"城市"这样的字段会在数百万行里重复同样的文本。这会占用磁盘、内存和读取时间。
jsonW 的做法
声明为 dic 的列把每个不同的文本只保存一次,每一行只存一个短编码。查询时,过滤器在字典里查一次文本,之后只比较编码。
$ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2]" prod.jsonl prod.jsw
5 linhas -> prod.jsw
$ wjsw info prod.jsw
…
dicionario 2 textos
真实输出:5 个商品的 categoria 列有 2 个不同的文本。在论文的 100,000 条记录中,tipo 和 fonte 两列共有 10 个。
在哪里
它是模式中的一个类型(categoria:dic),info 会显示字典里有多少个文本。在 1.3.11 版本中,第 19 项功能增加了按块的本地字典,用于只在块内重复、而不是在整个文件中重复的文本。