Organização do arquivo
Dicionário: texto repetido guardado uma vez
Uma coluna do tipo dic guarda cada texto distinto uma vez por arquivo. Cidade, status e categoria deixam de ocupar espaço a cada linha.
· jsonW 1.3.11
O problema
Em JSON e CSV, um campo como "status" ou "cidade" repete o mesmo texto em milhões de linhas. Isso ocupa disco, memória e tempo de leitura.
Como o jsonW resolve
A coluna declarada como dic guarda cada texto distinto uma vez e, em cada linha, só um código curto. Na consulta, o filtro procura o texto uma vez no dicionário e passa a comparar códigos.
$ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2]" prod.jsonl prod.jsw
5 linhas -> prod.jsw
$ wjsw info prod.jsw
…
dicionario 2 textos
Saída real: a coluna categoria, de 5 produtos, tem 2 textos distintos. Nos 100 mil registros do paper, as colunas tipo e fonte somam 10.
Onde está
É um tipo do esquema (categoria:dic), e o info mostra quantos textos o dicionário tem. Na versão 1.3.11, o recurso 19 acrescentou um dicionário local por bloco, para o texto que se repete dentro do bloco, mas não no arquivo inteiro.