Organización del archivo
Diccionario: el texto repetido se guarda una vez
Una columna de tipo dic guarda cada texto distinto una vez por archivo. Ciudad, estado y categoría dejan de ocupar espacio en cada fila.
· jsonW 1.3.11
El problema
En JSON y CSV, un campo como "estado" o "ciudad" repite el mismo texto en millones de filas. Eso ocupa disco, memoria y tiempo de lectura.
Cómo lo resuelve jsonW
La columna declarada como dic guarda cada texto distinto una vez y, en cada fila, solo un código corto. En la consulta, el filtro busca el texto una vez en el diccionario y pasa a comparar códigos.
$ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2]" prod.jsonl prod.jsw
5 linhas -> prod.jsw
$ wjsw info prod.jsw
…
dicionario 2 textos
Salida real: la columna categoria, de 5 productos, tiene 2 textos distintos. En los 100.000 registros del artículo, las columnas tipo y fonte suman 10.
Dónde está
Es un tipo del esquema (categoria:dic), e info muestra cuántos textos tiene el diccionario. En la versión 1.3.11, la función 19 añadió un diccionario local por bloque, para el texto que se repite dentro del bloque, pero no en todo el archivo.