Vai al contenuto
jsonW Articolo GitHub

Organizzazione del file

Zone: la ricerca salta blocchi interi

Ogni blocco del file conserva il minimo e il massimo di ogni colonna. In un file di 100.000 record, un filtro ha saltato 102 blocchi su 103.

· jsonW 1.3.11

Il problema

In JSONL o CSV, per trovare le righe che passano un filtro il lettore deve aprire e separare tutte le righe, anche se la risposta è solo alla fine del file.

Come lo risolve jsonW

Il file .jsw è scritto in blocchi, e ogni blocco conserva il minimo e il massimo di ogni colonna. Se il filtro non può essere vero in un blocco, il lettore salta il blocco senza decomprimerne nulla.

$ wjsw filtrar com.jsw "id > 99990"
9 de 100000 linhas em 1.7 ms · blocos 103, pulados pela zona 102 · linhas lidas 833
$ wjsw info prod.jsw
…
zona      preco        890 .. 2400
zona      nota         3.8999999999999999 .. 4.9000000000000004

Output reale, sul file di 100.000 record della Sezione 5 dell'articolo: 833 righe lette per trovarne 9. Il comando info mostra le zone di un altro file, con i reali in doppia precisione.

Dove si trova

filtrar e calcular usano le zone da soli, e info mostra i valori. Il guadagno dipende dall'ordine dei dati: una colonna scritta in ordine salta molti blocchi, una colonna mescolata ne salta pochi.

Leggi la sezione completa nell'articolo →