# 字典:重复的文本只存一次 dic 类型的列在每个文件中只保存一次每个不同的文本。城市、状态和类别不再在每一行占用空间。 2026年11月13日 · jsonW 1.3.11 · https://jsonw.org/zh/newsroom/dictionary ## 问题 在 JSON 和 CSV 中,像"状态"或"城市"这样的字段会在数百万行里重复同样的文本。这会占用磁盘、内存和读取时间。 ## jsonW 的做法 声明为 dic 的列把每个不同的文本只保存一次,每一行只存一个短编码。查询时,过滤器在字典里查一次文本,之后只比较编码。 ``` $ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2]" prod.jsonl prod.jsw 5 linhas -> prod.jsw $ wjsw info prod.jsw … dicionario 2 textos ``` 真实输出:5 个商品的 categoria 列有 2 个不同的文本。在论文的 100,000 条记录中,tipo 和 fonte 两列共有 10 个。 ## 在哪里 它是模式中的一个类型(categoria:dic),info 会显示字典里有多少个文本。在 1.3.11 版本中,第 19 项功能增加了按块的本地字典,用于只在块内重复、而不是在整个文件中重复的文本。 在论文中阅读完整章节: https://jsonw.org/zh/paper#organizacao