Vai al contenuto
jsonW Articolo GitHub

Permessi, custodia e accesso remoto

Lettura remota parziale: scaricare lo 0,98% di un file di 79,1 MB

Con intestazione, piè di file e richieste HTTP Range, il lettore scarica solo i blocchi delle righe lette. Funziona con qualsiasi server web, R2 e S3.

· jsonW 1.3.11

Il problema

Per leggere una riga di un file conservato su un server o in un bucket, la maggior parte dei formati obbliga a scaricare prima tutto il file. Costa tempo e traffico a pagamento.

Come lo risolve jsonW

Il lettore scarica l'intestazione e il piè di file, dove stanno lo schema, l'indice dei blocchi e le zone, e poi chiede solo i blocchi che gli servono, tramite HTTP Range. Le zone scartano blocchi prima del download.

$ wremoto info http://127.0.0.1:18099/cartoes.jsw
… 100000 linhas em 103 blocos · arquivo 79.1 MB · abrir baixou 8.7 KB (cabecalho + rodape)
$ wremoto ver http://127.0.0.1:18099/cartoes.jsw 50000 1
{id:50000,tipo:"fator de emissão",titulo:"Fator de emissão de CO₂ do combustível nº 50000",…}
baixado no total: 777.8 KB em 5 pedidos (0.98% do arquivo)
$ wremoto filtrar http://127.0.0.1:18099/cartoes.jsw "id > 99990"
…
baixado no total: 667.7 KB em 5 pedidos (0.84% do arquivo)

Output reale di wremoto contro un nginx locale: l'apertura ha scaricato 8,7 KB; leggere una riga dal mezzo, lo 0,98% del file; il filtro, lo 0,84%.

Dove si trova

wremoto, per macOS e Linux, legge via HTTP, via file:// e su Cloudflare R2 o qualsiasi S3, con ogni richiesta firmata con AWS SigV4.

Leggi la sezione completa nell'articolo →