Organisation du fichier
Dictionnaire : le texte répété est stocké une fois
Une colonne de type dic garde chaque texte distinct une seule fois par fichier. Ville, statut et catégorie cessent d'occuper de la place à chaque ligne.
· jsonW 1.3.11
Le problème
En JSON et en CSV, un champ comme « statut » ou « ville » répète le même texte sur des millions de lignes. Cela coûte du disque, de la mémoire et du temps de lecture.
Comment jsonW le résout
La colonne déclarée dic garde chaque texte distinct une fois et, dans chaque ligne, seulement un code court. À la requête, le filtre cherche le texte une fois dans le dictionnaire puis compare des codes.
$ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2]" prod.jsonl prod.jsw
5 linhas -> prod.jsw
$ wjsw info prod.jsw
…
dicionario 2 textos
Sortie réelle : la colonne categoria, sur 5 produits, compte 2 textes distincts. Dans les 100 000 enregistrements de l'article, les colonnes tipo et fonte en comptent 10.
Où la trouver
C'est un type du schéma (categoria:dic), et info indique combien de textes contient le dictionnaire. Dans la version 1.3.11, la fonction 19 a ajouté un dictionnaire local par bloc, pour le texte qui se répète dans un bloc mais pas dans tout le fichier.