Grafia, segnali e colonna per blocco
Colonna per blocco e per tenant: il blocco di un altro cliente non si apre
Dizionario locale per blocco, cifre a larghezza fissa e il tenant nella zona del blocco. Sulla base dell'INPI, il conteggio dei marchi in vigore è sceso da 54 a 43 ms.
· jsonW 1.3.11
Il problema
In un file con i dati di molti clienti, la query di un cliente non dovrebbe pagare il costo di leggere gli altri. E i codici fatti solo di cifre, come il numero di una pratica, occupano più del necessario quando sono salvati come testo.
Come lo risolve jsonW
La versione 1.3.11 ha portato tre codec: il dizionario locale di ogni blocco, con e senza codifica entropica, e le cifre a larghezza fissa. La zona di ogni blocco conserva anche il tenant. Il filtro confronta il codice del dizionario a lotti, con istruzioni SSE2, e valuta il "contiene" sull'intero blocco in una volta.
$ wjsw calcular DADOS_BIBLIOGRAFICOS.jsw --onde "codigo_situacao = IPAS023"
1 grupo(s) em 44.0 ms
total: 2343607 linha(s)
$ wjsw calcular DESPACHOS.jsw --onde "numero_inpi = 818602856"
1 grupo(s) em 277.1 ms
total: 10 linha(s)
$ wjsw calcular CLASSIFICACOES_NICE.jsw --onde "classe_nice = 35"
1 grupo(s) em 145.3 ms
total: 1076928 linha(s)
Output reale delle tre query della Tabella 5D sulla base completa dei marchi dell'INPI (l'ufficio marchi del Brasile), 55,3 milioni di righe, scritta dalla 1.3.11 al livello massimo, in un'esecuzione con il file in cache. Le tre risposte sono corrette. L'articolo usa la migliore di 5 esecuzioni: 43, 207 e 142 ms.
Dove si trova
Nella scrittura (i codec entrano da soli) e in filtrar e calcular. Sulla base dell'INPI, con 8 core, il conteggio dei marchi in vigore è uscito in 43 ms, davanti a Parquet letto da DuckDB (54 ms), a DuckDB che legge il CSV (375 ms) e a grep sul CSV (519 ms). La colonna del numero di pratica è scesa da 53,0 a 25,7 MB. Un file con i codec nuovi non si apre nei lettori 1.2.x.