Pular para o conteúdo
jsonW Paper GitHub

Permissão, custódia e acesso remoto

Leitura remota parcial: baixar 0,98% de um arquivo de 79,1 MB

Com cabeçalho e rodapé e pedidos HTTP Range, o leitor baixa só os blocos das linhas lidas. Funciona com qualquer servidor web, R2 e S3.

· jsonW 1.3.11

O problema

Para ler uma linha de um arquivo guardado num servidor ou num bucket, a maior parte dos formatos obriga a baixar o arquivo inteiro antes. Isso custa tempo e tráfego pago.

Como o jsonW resolve

O leitor baixa o cabeçalho e o rodapé, onde estão o esquema, o índice dos blocos e as zonas, e depois pede só os blocos de que precisa, por HTTP Range. As zonas descartam blocos antes do download.

$ wremoto info http://127.0.0.1:18099/cartoes.jsw
… 100000 linhas em 103 blocos · arquivo 79.1 MB · abrir baixou 8.7 KB (cabecalho + rodape)
$ wremoto ver http://127.0.0.1:18099/cartoes.jsw 50000 1
{id:50000,tipo:"fator de emissão",titulo:"Fator de emissão de CO₂ do combustível nº 50000",…}
baixado no total: 777.8 KB em 5 pedidos (0.98% do arquivo)
$ wremoto filtrar http://127.0.0.1:18099/cartoes.jsw "id > 99990"
…
baixado no total: 667.7 KB em 5 pedidos (0.84% do arquivo)

Saída real do wremoto contra um nginx local: abrir baixou 8,7 KB; ler uma linha do meio, 0,98% do arquivo; o filtro, 0,84%.

Onde está

O wremoto, para macOS e Linux, lê por HTTP, por file:// e no Cloudflare R2 ou em qualquer S3, com cada pedido assinado em AWS SigV4.

Leia a seção completa no paper →