Aller au contenu
jsonW Article GitHub

Permissions, intégrité et accès distant

Lecture distante partielle : télécharger 0,98 % d'un fichier de 79,1 Mo

Avec un en-tête, un pied de fichier et des requêtes HTTP Range, le lecteur ne télécharge que les blocs des lignes lues. Cela marche avec tout serveur web, R2 et S3.

· jsonW 1.3.11

Le problème

Pour lire une ligne d'un fichier stocké sur un serveur ou dans un bucket, la plupart des formats obligent à télécharger tout le fichier d'abord. Cela coûte du temps et du trafic payant.

Comment jsonW le résout

Le lecteur télécharge l'en-tête et le pied de fichier, où se trouvent le schéma, l'index des blocs et les zones, puis ne demande que les blocs dont il a besoin, par HTTP Range. Les zones écartent des blocs avant le téléchargement.

$ wremoto info http://127.0.0.1:18099/cartoes.jsw
… 100000 linhas em 103 blocos · arquivo 79.1 MB · abrir baixou 8.7 KB (cabecalho + rodape)
$ wremoto ver http://127.0.0.1:18099/cartoes.jsw 50000 1
{id:50000,tipo:"fator de emissão",titulo:"Fator de emissão de CO₂ do combustível nº 50000",…}
baixado no total: 777.8 KB em 5 pedidos (0.98% do arquivo)
$ wremoto filtrar http://127.0.0.1:18099/cartoes.jsw "id > 99990"
…
baixado no total: 667.7 KB em 5 pedidos (0.84% do arquivo)

Sortie réelle de wremoto contre un nginx local : l'ouverture a téléchargé 8,7 Ko ; lire une ligne du milieu, 0,98 % du fichier ; le filtre, 0,84 %.

Où la trouver

wremoto, pour macOS et Linux, lit par HTTP, par file:// et sur Cloudflare R2 ou n'importe quel S3, chaque requête étant signée en AWS SigV4.

Lire la section complète dans l'article →