跳到正文
jsonW 论文 GitHub

权限、完整性与远程访问

远程部分读取:只下载 79.1 MB 文件的 0.98%

借助文件头、文件尾和 HTTP Range 请求,读取程序只下载所读行所在的块。适用于任何 Web 服务器、R2 和 S3。

· jsonW 1.3.11

问题

要读取存放在服务器或存储桶里的文件中的一行,大多数格式都要求先下载整个文件。这既耗时间,又产生付费流量。

jsonW 的做法

读取程序先下载文件头和文件尾,其中有模式、块索引和区间,然后通过 HTTP Range 只请求需要的块。区间会在下载前排除不相关的块。

$ wremoto info http://127.0.0.1:18099/cartoes.jsw
… 100000 linhas em 103 blocos · arquivo 79.1 MB · abrir baixou 8.7 KB (cabecalho + rodape)
$ wremoto ver http://127.0.0.1:18099/cartoes.jsw 50000 1
{id:50000,tipo:"fator de emissão",titulo:"Fator de emissão de CO₂ do combustível nº 50000",…}
baixado no total: 777.8 KB em 5 pedidos (0.98% do arquivo)
$ wremoto filtrar http://127.0.0.1:18099/cartoes.jsw "id > 99990"
…
baixado no total: 667.7 KB em 5 pedidos (0.84% do arquivo)

wremoto 访问本地 nginx 的真实输出:打开时下载了 8.7 KB;读取中间的一行,下载了文件的 0.98%;过滤,下载了 0.84%。

在哪里

wremoto 支持 macOS 和 Linux,可以通过 HTTP、file:// 以及在 Cloudflare R2 或任何 S3 上读取,每个请求都使用 AWS SigV4 签名。

在论文中阅读完整章节 →