Pular para o conteúdo
jsonW Paper GitHub

Organização do arquivo

Zonas: a busca pula blocos inteiros

Cada bloco do arquivo guarda o mínimo e o máximo de cada coluna. Num arquivo de 100 mil registros, um filtro pulou 102 dos 103 blocos.

· jsonW 1.3.11

O problema

Em JSONL ou CSV, para achar as linhas que passam num filtro, o leitor precisa abrir e separar todas as linhas, mesmo que a resposta esteja só no fim do arquivo.

Como o jsonW resolve

O arquivo .jsw é gravado em blocos, e cada bloco guarda o mínimo e o máximo de cada coluna. Se o filtro não pode ser verdadeiro num bloco, o leitor pula o bloco sem descomprimir nada dele.

$ wjsw filtrar com.jsw "id > 99990"
9 de 100000 linhas em 1.7 ms · blocos 103, pulados pela zona 102 · linhas lidas 833
$ wjsw info prod.jsw
…
zona      preco        890 .. 2400
zona      nota         3.8999999999999999 .. 4.9000000000000004

Saída real, no arquivo de 100 mil registros da Seção 5 do paper: 833 linhas lidas para achar 9. O info mostra as zonas de outro arquivo, com os reais em precisão dupla.

Onde está

O filtrar e o calcular usam as zonas sozinhos, e o info mostra os valores. O ganho depende da ordem dos dados: uma coluna gravada em ordem pula muitos blocos, e uma coluna embaralhada pula poucos.

Leia a seção completa no paper →