Organizzazione del file
Zone: la ricerca salta blocchi interi
Ogni blocco del file conserva il minimo e il massimo di ogni colonna. In un file di 100.000 record, un filtro ha saltato 102 blocchi su 103.
· jsonW 1.3.11
Il problema
In JSONL o CSV, per trovare le righe che passano un filtro il lettore deve aprire e separare tutte le righe, anche se la risposta è solo alla fine del file.
Come lo risolve jsonW
Il file .jsw è scritto in blocchi, e ogni blocco conserva il minimo e il massimo di ogni colonna. Se il filtro non può essere vero in un blocco, il lettore salta il blocco senza decomprimerne nulla.
$ wjsw filtrar com.jsw "id > 99990"
9 de 100000 linhas em 1.7 ms · blocos 103, pulados pela zona 102 · linhas lidas 833
$ wjsw info prod.jsw
…
zona preco 890 .. 2400
zona nota 3.8999999999999999 .. 4.9000000000000004
Output reale, sul file di 100.000 record della Sezione 5 dell'articolo: 833 righe lette per trovarne 9. Il comando info mostra le zone di un altro file, con i reali in doppia precisione.
Dove si trova
filtrar e calcular usano le zone da soli, e info mostra i valori. Il guadagno dipende dall'ordine dei dati: una colonna scritta in ordine salta molti blocchi, una colonna mescolata ne salta pochi.