Organização do arquivo
Zonas: a busca pula blocos inteiros
Cada bloco do arquivo guarda o mínimo e o máximo de cada coluna. Num arquivo de 100 mil registros, um filtro pulou 102 dos 103 blocos.
· jsonW 1.3.11
O problema
Em JSONL ou CSV, para achar as linhas que passam num filtro, o leitor precisa abrir e separar todas as linhas, mesmo que a resposta esteja só no fim do arquivo.
Como o jsonW resolve
O arquivo .jsw é gravado em blocos, e cada bloco guarda o mínimo e o máximo de cada coluna. Se o filtro não pode ser verdadeiro num bloco, o leitor pula o bloco sem descomprimir nada dele.
$ wjsw filtrar com.jsw "id > 99990"
9 de 100000 linhas em 1.7 ms · blocos 103, pulados pela zona 102 · linhas lidas 833
$ wjsw info prod.jsw
…
zona preco 890 .. 2400
zona nota 3.8999999999999999 .. 4.9000000000000004
Saída real, no arquivo de 100 mil registros da Seção 5 do paper: 833 linhas lidas para achar 9. O info mostra as zonas de outro arquivo, com os reais em precisão dupla.
Onde está
O filtrar e o calcular usam as zonas sozinhos, e o info mostra os valores. O ganho depende da ordem dos dados: uma coluna gravada em ordem pula muitos blocos, e uma coluna embaralhada pula poucos.