Aller au contenu
jsonW Article GitHub

Organisation du fichier

Dictionnaire : le texte répété est stocké une fois

Une colonne de type dic garde chaque texte distinct une seule fois par fichier. Ville, statut et catégorie cessent d'occuper de la place à chaque ligne.

· jsonW 1.3.11

Le problème

En JSON et en CSV, un champ comme « statut » ou « ville » répète le même texte sur des millions de lignes. Cela coûte du disque, de la mémoire et du temps de lecture.

Comment jsonW le résout

La colonne déclarée dic garde chaque texte distinct une fois et, dans chaque ligne, seulement un code court. À la requête, le filtre cherche le texte une fois dans le dictionnaire puis compare des codes.

$ wjsw de-texto "id:i64,produto:texto,categoria:dic,preco:decimal[2]" prod.jsonl prod.jsw
5 linhas -> prod.jsw
$ wjsw info prod.jsw
…
dicionario 2 textos

Sortie réelle : la colonne categoria, sur 5 produits, compte 2 textes distincts. Dans les 100 000 enregistrements de l'article, les colonnes tipo et fonte en comptent 10.

Où la trouver

C'est un type du schéma (categoria:dic), et info indique combien de textes contient le dictionnaire. Dans la version 1.3.11, la fonction 19 a ajouté un dictionnaire local par bloc, pour le texte qui se répète dans un bloc mais pas dans tout le fichier.

Lire la section complète dans l'article →