Organisation du fichier
Zones : la recherche saute des blocs entiers
Chaque bloc du fichier garde le minimum et le maximum de chaque colonne. Dans un fichier de 100 000 enregistrements, un filtre a sauté 102 blocs sur 103.
· jsonW 1.3.11
Le problème
En JSONL ou en CSV, pour trouver les lignes qui passent un filtre, le lecteur doit ouvrir et découper toutes les lignes, même si la réponse se trouve seulement à la fin du fichier.
Comment jsonW le résout
Le fichier .jsw est écrit par blocs, et chaque bloc garde le minimum et le maximum de chaque colonne. Si le filtre ne peut pas être vrai dans un bloc, le lecteur saute ce bloc sans rien en décompresser.
$ wjsw filtrar com.jsw "id > 99990"
9 de 100000 linhas em 1.7 ms · blocos 103, pulados pela zona 102 · linhas lidas 833
$ wjsw info prod.jsw
…
zona preco 890 .. 2400
zona nota 3.8999999999999999 .. 4.9000000000000004
Sortie réelle, sur le fichier de 100 000 enregistrements de la section 5 de l'article : 833 lignes lues pour en trouver 9. La commande info montre les zones d'un autre fichier, avec les réels en double précision.
Où la trouver
filtrar et calcular utilisent les zones d'eux-mêmes, et info affiche les valeurs. Le gain dépend de l'ordre des données : une colonne écrite dans l'ordre saute beaucoup de blocs, une colonne mélangée en saute peu.