Saltar al contenido
jsonW Artículo GitHub

Permisos, custodia y acceso remoto

Lectura remota parcial: descargar el 0,98 % de un archivo de 79,1 MB

Con cabecera, pie y pedidos HTTP Range, el lector descarga solo los bloques de las filas que lee. Funciona con cualquier servidor web, R2 y S3.

· jsonW 1.3.11

El problema

Para leer una fila de un archivo guardado en un servidor o en un bucket, la mayoría de los formatos obliga a descargar el archivo entero antes. Eso cuesta tiempo y tráfico pagado.

Cómo lo resuelve jsonW

El lector descarga la cabecera y el pie, donde están el esquema, el índice de los bloques y las zonas, y después pide solo los bloques que necesita, por HTTP Range. Las zonas descartan bloques antes de la descarga.

$ wremoto info http://127.0.0.1:18099/cartoes.jsw
… 100000 linhas em 103 blocos · arquivo 79.1 MB · abrir baixou 8.7 KB (cabecalho + rodape)
$ wremoto ver http://127.0.0.1:18099/cartoes.jsw 50000 1
{id:50000,tipo:"fator de emissão",titulo:"Fator de emissão de CO₂ do combustível nº 50000",…}
baixado no total: 777.8 KB em 5 pedidos (0.98% do arquivo)
$ wremoto filtrar http://127.0.0.1:18099/cartoes.jsw "id > 99990"
…
baixado no total: 667.7 KB em 5 pedidos (0.84% do arquivo)

Salida real de wremoto contra un nginx local: abrir descargó 8,7 KB; leer una fila del medio, el 0,98 % del archivo; el filtro, el 0,84 %.

Dónde está

wremoto, para macOS y Linux, lee por HTTP, por file:// y en Cloudflare R2 o en cualquier S3, con cada pedido firmado con AWS SigV4.

Lea la sección completa en el artículo →