Pular para o conteúdo
jsonW Paper GitHub

Organização do arquivo

Dicionário: texto repetido guardado uma vez

Uma coluna do tipo dic guarda cada texto distinto uma vez por arquivo. Cidade, status e categoria deixam de ocupar espaço a cada linha.

· jsonW 1.3.11

O problema

Em JSON e CSV, um campo como "status" ou "cidade" repete o mesmo texto em milhões de linhas. Isso ocupa disco, memória e tempo de leitura.

Como o jsonW resolve

A coluna declarada como dic guarda cada texto distinto uma vez e, em cada linha, só um código curto. Na consulta, o filtro procura o texto uma vez no dicionário e passa a comparar códigos.

$ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2]" prod.jsonl prod.jsw
5 linhas -> prod.jsw
$ wjsw info prod.jsw
…
dicionario 2 textos

Saída real: a coluna categoria, de 5 produtos, tem 2 textos distintos. Nos 100 mil registros do paper, as colunas tipo e fonte somam 10.

Onde está

É um tipo do esquema (categoria:dic), e o info mostra quantos textos o dicionário tem. Na versão 1.3.11, o recurso 19 acrescentou um dicionário local por bloco, para o texto que se repete dentro do bloco, mas não no arquivo inteiro.

Leia a seção completa no paper →