Saltar al contenido
jsonW Artículo GitHub

Organización del archivo

Diccionario: el texto repetido se guarda una vez

Una columna de tipo dic guarda cada texto distinto una vez por archivo. Ciudad, estado y categoría dejan de ocupar espacio en cada fila.

· jsonW 1.3.11

El problema

En JSON y CSV, un campo como "estado" o "ciudad" repite el mismo texto en millones de filas. Eso ocupa disco, memoria y tiempo de lectura.

Cómo lo resuelve jsonW

La columna declarada como dic guarda cada texto distinto una vez y, en cada fila, solo un código corto. En la consulta, el filtro busca el texto una vez en el diccionario y pasa a comparar códigos.

$ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2]" prod.jsonl prod.jsw
5 linhas -> prod.jsw
$ wjsw info prod.jsw
…
dicionario 2 textos

Salida real: la columna categoria, de 5 productos, tiene 2 textos distintos. En los 100.000 registros del artículo, las columnas tipo y fonte suman 10.

Dónde está

Es un tipo del esquema (categoria:dic), e info muestra cuántos textos tiene el diccionario. En la versión 1.3.11, la función 19 añadió un diccionario local por bloque, para el texto que se repite dentro del bloque, pero no en todo el archivo.

Lea la sección completa en el artículo →