Organizzazione del file
Dizionario: il testo ripetuto salvato una volta
Una colonna di tipo dic conserva ogni testo distinto una volta per file. Città, stato e categoria smettono di occupare spazio in ogni riga.
· jsonW 1.3.11
Il problema
In JSON e CSV, un campo come "stato" o "città" ripete lo stesso testo su milioni di righe. Occupa disco, memoria e tempo di lettura.
Come lo risolve jsonW
La colonna dichiarata come dic conserva ogni testo distinto una volta e, in ogni riga, solo un codice breve. Nella query, il filtro cerca il testo una volta nel dizionario e poi confronta codici.
$ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2]" prod.jsonl prod.jsw
5 linhas -> prod.jsw
$ wjsw info prod.jsw
…
dicionario 2 textos
Output reale: la colonna categoria, di 5 prodotti, ha 2 testi distinti. Nei 100.000 record dell'articolo, le colonne tipo e fonte ne contano 10.
Dove si trova
È un tipo dello schema (categoria:dic), e info mostra quanti testi ha il dizionario. Nella versione 1.3.11, la funzione 19 ha aggiunto un dizionario locale per blocco, per il testo che si ripete dentro il blocco ma non in tutto il file.