Aller au contenu
jsonW Article GitHub

Graphie, signaux et colonne par bloc

Colonne par bloc et par tenant : le bloc d'un autre client n'est jamais ouvert

Un dictionnaire local par bloc, des chiffres à largeur fixe et le tenant dans la zone du bloc. Sur la base de l'INPI, le comptage des marques en vigueur est passé de 54 à 43 ms.

· jsonW 1.3.11

Le problème

Dans un fichier contenant les données de nombreux clients, la requête d'un client ne devrait pas payer la lecture des autres. Et les codes faits uniquement de chiffres, comme un numéro de dossier, prennent plus de place que nécessaire quand ils sont stockés en texte.

Comment jsonW le résout

La version 1.3.11 a apporté trois codecs : le dictionnaire local de chaque bloc, avec et sans codage entropique, et les chiffres à largeur fixe. La zone de chaque bloc garde aussi le tenant. Le filtre compare les codes du dictionnaire par lots, avec des instructions SSE2, et évalue le « contient » sur tout le bloc d'un coup.

$ wjsw calcular DADOS_BIBLIOGRAFICOS.jsw --onde "codigo_situacao = IPAS023"
1 grupo(s) em 44.0 ms
total: 2343607 linha(s)
$ wjsw calcular DESPACHOS.jsw --onde "numero_inpi = 818602856"
1 grupo(s) em 277.1 ms
total: 10 linha(s)
$ wjsw calcular CLASSIFICACOES_NICE.jsw --onde "classe_nice = 35"
1 grupo(s) em 145.3 ms
total: 1076928 linha(s)

Sortie réelle des trois requêtes de la table 5D sur la base complète des marques de l'INPI (l'office brésilien des marques), 55,3 millions de lignes, écrite par la 1.3.11 au niveau maximal, lors d'une exécution avec le fichier en cache. Les trois réponses sont justes. L'article retient la meilleure de 5 exécutions : 43, 207 et 142 ms.

Où la trouver

À l'écriture (les codecs s'appliquent d'eux-mêmes) et dans filtrar et calcular. Sur la base de l'INPI, avec 8 cœurs, le comptage des marques en vigueur a pris 43 ms, devant Parquet lu par DuckDB (54 ms), DuckDB lisant le CSV (375 ms) et grep sur le CSV (519 ms). La colonne du numéro de dossier est passée de 53,0 à 25,7 Mo. Un fichier écrit avec les nouveaux codecs ne s'ouvre pas dans les lecteurs 1.2.x.

Lire la section complète dans l'article →