跳到正文
jsonW 论文 GitHub

jsonW · json Wondrous

JSON 不是为 AI 设计的。
jsonW 是。

今天,数据要经过 JSON、CSV、Parquet 和向量数据库。在 jsonW 里,搜索、权限和后量子加密都在文件本身之中。

  • 比 JSONL 小 6.6×
  • 读取一列快 2,310×
  • 所有 JSON 都已经是 jsonW

19 项功能

今天要用四种工具才能做到的事,一种格式全部包含。

行、列、文本和传输放进同一个模型,搜索和权限都在文件里。

  1. 按词搜索带 IDF 的稀疏向量,与搜索引擎相同的算法
  2. 语义搜索在 vf16 和 vq8 稠密向量上计算余弦
  3. 多线性网格N 线性插值:双线性、三线性以及更高维
  4. 按请求评分权重、余弦、稀疏或网格,一行请求即可
  5. 前 k 名基于堆的 top-k,顺序始终一致
  6. 区间每个数据块的最小值和最大值:搜索跳过用不上的部分
  7. 字典重复的文本在每个文件中只存一次
  8. 按键索引直接定位到某个键所在的行,无需扫描
  9. 词表直接从磁盘读取的 Aho-Corasick 自动机,不区分重音和大小写
  10. 实时写入另一个进程写入的同时就能读取
  11. 有效、删除与历史在只追加的文件中按键修改和删除
  12. 按权限的视图按列、行和单元格,取决于凭证
  13. 存证链式 SHA-256 或 BLAKE3:任何改动都会被发现
  14. 远程部分读取打开云端的文件,只下载要读的数据块
  15. 拼写与读音相近~~ 过滤器在搜索 "Kokakola" 时能找到 "Coca-Cola",支持葡萄牙语、英语、西班牙语和中文
  16. 音频信号音高、停顿、强度、jitter、shimmer、共振峰和语速,输出为一行 jsonW
  17. 文本信号强化词、极性、否定、被动语态、代词、笑声和反讽迹象,支持四种语言
  18. 视频分镜镜头切换、每一段的信号以及帧的拼图
  19. 按数据块和按租户的列按数据块的字典和租户区间:其他客户的数据块根本不会被打开

三种形式

同一份数据,按每个场景需要的方式使用。

三种形式是同一个模型。在它们之间转换不会丢失任何内容,也不会改变任何值的类型。

行

一个值接一个值的二进制形式。用于消息、事件和实时场景。

取代今天使用 JSON、MessagePack、CBOR 或 Protobuf 的地方。

列

.jsw 文件:按列分块,通过 mmap 直接从磁盘读取,无需复制。

取代今天使用 JSONL、CSV 或 Parquet 的地方。

文本

jsonW 文本,供人阅读和书写。每个合法的 JSON 都已经是合法的 jsonW 文本。

取代今天使用 JSON、TOML 或 YAML 的地方。

# 同一条记录的 jsonW 文本形式(wjsw ver 的真实输出)
{id:1,produto:"Café especial",preco:12.50 BRL,peso:250 g,sku:"CAF-0250",criado:t"2026-11-09T01:00:00.000000Z"}
{id:2,produto:"Pão de queijo",preco:8.90 BRL,peso:1000 g,sku:"PDQ-1000",criado:t"2026-11-09T01:05:00.000000Z"}

输入里写的是 "1 kg":该列是 medida[g],所以写入时值被换算成了克。金额保留币种,时间精确到微秒。

flowchart LR
    M(("一个<br/>数据模型"))
    M --- L["<b>行</b><br/>二进制,一个值接一个值<br/><i>消息 · 事件 · 实时</i>"]
    M --- C["<b>列</b><br/>分块的 .jsw 文件,通过 mmap 读取<br/><i>批处理 · 历史 · 训练 · 搜索</i>"]
    M --- T["<b>文本</b><br/>jsonW 文本,所有 JSON 都有效<br/><i>供人阅读和书写</i>"]

实测

磁盘上更小。找到一个字段快得多。

6.6×比未压缩的
JSONL 小
2,310×读取一整列
更快
0依赖:只有 C
和标准库

2026 年 11 月 13 日用 jsonW 1.3.11 测量:100,000 条记录,10 次运行,对照同一组 JSONL 数据。更快的 JSON 读取器会缩小差距。

用 zstd 或 xz 压缩后,JSONL 比默认级别的 .jsw 更小。方法和局限见论文。要在您的机器上测量,运行 wjsw medir。

jsonW 技术论文的第一页

技术论文

jsonW 论文。

  • 数据模型、19 项功能、安全与存证,附有实际运行的示例。
  • 2026 年 11 月 13 日重新测量,给出方法、复现步骤和局限,包括 INPI 整个商标数据库与 CSV、XML 和 Parquet 的对比。
  • 与 JSON、Parquet、Arrow、MessagePack、CBOR 和 Protobuf 的比较,也写明了 jsonW 落后的地方。

Wortic Tecnologia · jsonW 1.3.11 · 共六种语言:Português · English · Español · Italiano · Français

类型

JSON 没有的类型。

金额、计量、精确小数和编码都是格式自带的,写入时就会校验。每一列在一行模式里声明自己的类型。

精确小数

decimal[2] 从不经过浮点数。12.50 永远是 12.50。

金额

每个值都带 ISO 4217 币种:12.50 BRL、US$、€、₿。只在相同币种之间求和。

计量

14 种量纲的 89 个单位:长度、质量、体积、能量、数据量、碳排放等。medida[kg] 在写入时换算。

逗号还是小数点

读取时同时接受 1.234,56 和 1,234.56。设置成其他地区格式的 JVM 或 PHP 也不会搞反分隔符。

编码

codigo 保存原始字节:税号、密钥、车牌和 SKU 从不被规范化或截断。

完整文本

完整的 Unicode,包括重音、emoji 和 \0。需要时用 +nfc 规范化。

向量与张量

vf32[768]、vf16、bits、vq8 和 tensor<bf16>[768,768],在文件中连续存放。

媒体

midia 记录哈希、类型、大小和时长。编解码器仍是开放的那个:jsonW 只负责承载。

其他类型

UTC 微秒时间、uuid、经过校验的 url、列表、对象、映射、引用,以及用于开放 JSON 的 qualquer。

# 模式就是一行文本。新字段以 null 加入;一个名字永远不会改变类型。
id:i64,produto:texto,preco:dinheiro,peso:medida[g],sku:codigo,criado:tempo,cpf:codigo?+pessoal

.jsw 文件

一个不会损坏的文件。

每个数据块都能独立成立。写入中途被打断时,只会丢失最后一个数据块,wjsw reparar 会把结尾重建起来。

只追加

另一个进程写入的同时就能读取,就像一个永远看不到半个数据块的 tail -f。

直接访问

读取(行,字段)时不必解码其余部分。按数据块并行读取,并在进程之间共享 mmap。

跳过用不上的部分

每个数据块记录每一列的最小值和最大值,搜索可以跳过整个数据块。

存证

链式的 crc32c 和 SHA-256(或 BLAKE3)。任何被改动的数据都无法通过 wjsw conferir。

修改与删除

写入同一个键就是修改;_apagado: true 表示删除。压缩整理只重写仍然有效的内容。

远程打开

借助头部和尾部,通过 HTTP Range,读取器只获取您所读的那些行所在的数据块。

wjsw 工具

从您已有的 JSONL 到 .jsw,只需一条命令。

也能无损地转回 JSON。同一个工具还能过滤、求和、比较和校验。

# JSON/JSONL 转为 .jsw(--max:最高压缩)
wjsw de-texto "id:i64,produto:texto,preco:dinheiro,peso:medida[g]" dados.jsonl dados.jsw

wjsw ver dados.jsw                         # 以 jsonW 文本显示各行
wjsw info dados.jsw                        # 模式、数据块、大小和哈希
wjsw conferir dados.jsw                    # ok: 2 linhas, 1 blocos, sha256 e crc32c conferidos
wjsw para-texto dados.jsw --json           # 无损转回 JSON

wjsw filtrar dados.jsw "peso > 500"        # 区间跳过整个数据块
wjsw filtrar marcas.jsw "nome ~~en Kokakola" # 拼写与读音相近
wjsw calcular dados.jsw --por produto --valor id
wjsw comparar ontem.jsw hoje.jsw id        # 只在一边、只在另一边、有变化、相同
wjsw reparar dados.jsw                     # 文件被截断:重建结尾

为 AI 而生

排序、向量和分类都在文件之内。

专家路由器以及任何基于 .jsw 的排序所需的组件,只读取请求的列,并行执行。

评分

每行一个分数,可用权重、向量余弦、稀疏向量或 N 线性插值网格。

选取

前 k 名,顺序始终一致:分数高的在前,分数相同时行号小的在前。

识别

一张词表在打开时变成 Aho-Corasick 自动机。按整词匹配,不区分重音和大小写。

信号

一个人如何说话、书写或出镜,在音频、文本(pt、en、es、zh)和视频中测量,输出为声明模式中的行。

wjsw avaliar dados.jsw pesos "preco=-1,nota=2" 10
wjsw avaliar dados.jsw cosseno vet "0.5,-1,2,0.25" 5
wjsw escolher dados.jsw preco 10
wjsw reconhecer termos.jsw "要分类的文本" --json

为未来而生

为 AI 和量子计算时代做好准备。

AI 模型的数据、它搜索的向量和它发送的回答都能放进同一种格式,并由量子计算机无法破解的密码学保护。

后量子传输

jsonW 的传输协议运行在 QUIC 和 TLS 1.3 之上,使用后量子密钥交换 X25519MLKEM768,一个连接中多个数据流,支持流量额度和断点续传。

没有量子计算机能破解的密钥

存证和凭证只使用 256 位的哈希和 HMAC。面对量子计算机,它们仍有 128 位的安全强度。

AI 生成的媒体

bf16 和 f16 张量,生成过程中的进度,以及分段传输的音频、图像和视频,封装开销只有 0.04%。

安全

会话无权看到的内容,不会离开服务器。

权限就在格式本身之中,按列、按行、按单元格。

签名凭证

HMAC-SHA256,以恒定时间校验,用 nonce 和序号防重放,运行在 TLS 之上。

按权限的视图

+escopo(x) 和 +pessoal 会隐藏该列。有 tenant 时,只显示凭证所属客户的行。

加固的读取器

每个索引都做边界检查,嵌套最多 1000 层,测试中包含模糊测试。

sequenceDiagram
    autonumber
    participant App as 应用
    participant S as 服务器(wjsw、wjsw-cgi 或 SDK)
    participant F as .jsw 文件
    App->>S: 请求 + 签名凭证(HMAC-SHA256)
    S->>S: 校验签名、有效期、nonce 和序号
    S->>F: 只打开凭证所属租户的数据块
    F-->>S: 该客户的行
    S->>S: 没有相应范围时隐藏 +pessoal 和 +escopo(x) 列
    S-->>App: 只返回这个会话可以看到的内容

数据库

使用您已有的数据库。往返无损。

wcon 把数据从数据库带到 .jsw 再带回去,模式取自每一列的类型。值始终作为数据传输,从不拼进命令里,回写在一个事务中完成。

flowchart LR
    PG[(PostgreSQL)] <--> W{{wcon}}
    MY[(MySQL · MariaDB)] <--> W
    SQ[(SQLite)] <--> W
    RD[(Redis · Valkey)] <--> W
    MG[(MongoDB)] <--> W
    W <--> J[".jsw 文件"]
    J -- "HTTP Range" --> R["wremoto<br/>R2 · S3 · HTTP"]

精确数值

numeric 变成精确小数,bigint 仍是 64 位整数。没有任何值经过浮点数。

向量直接可用

pgvector 的 vector 和 halfvec 变成 vf32 和 vf16,可直接用于语义搜索。

真正测过

PostgreSQL 14、16 和 18 两端 md5 一致,MariaDB 11.8、SQLite、Redis 7 和 MongoDB 7,均经过恶意负载测试。

# Postgres 到 jsonW 再回去(密码放在 PGPASSWORD 或 ~/.pgpass 中)
WSQL_URL=postgresql://papel@host:5432/banco wcon pg "select * from vendas" vendas.jsw
wcon pg-gravar vendas.jsw public.vendas
wcon sqlite app.db "select * from clientes" clientes.jsw

Cloudflare R2 和 S3

数据放在 Cloudflare R2,直接在那里查询。

.jsw 文件存放在 R2(Cloudflare 的文件存储)里,直接在那里查询,不必整个下载。wremoto 先读索引,再只读包含答案的部分。由于 R2 不收数据流出费用,查询一个 10 GB 的文件只花读取那一部分的钱。

sequenceDiagram
    autonumber
    participant W as wremoto
    participant R as R2 / S3
    W->>R: Range:头部和尾部(模式、数据块、区间)
    R-->>W: 几 KB
    W->>W: 区间:哪些数据块可能有 "preco > 100"?
    W->>R: Range:只读这些数据块
    R-->>W: 请求的数据块,仅此而已
# 每个请求都用 AWS SigV4 签名;密钥放在文件里
export WJSW_R2_CRED=~/.cred/r2
wremoto info    r2://my-bucket/vendas.jsw
wremoto filtrar r2://my-bucket/vendas.jsw "preco > 100"

SDK

用您已经在用的语言。

一个稳定的 C ABI,上面每种语言一个 SDK。每个 SDK 都能读、写和执行运算,并且都通过同一套逐字节的测试。

CC++17Node.jsPython 3PHP 8GoRustJava 22+KotlinSwift
# Node.js 通过 npm 安装:已为 macOS 和 Linux 预编译,附带类型和 jsonw 命令
npm install @wortictecnologia/jsonw   # 1.4.1
import jsonw

with jsonw.Escritor("vendas.jsw", "id:i64,produto:texto,preco:dinheiro") as w:
    w.gravar({"id": 1, "produto": "Café especial", "preco": "12,50 BRL"})

with jsonw.Leitor("vendas.jsw") as r:
    print(r.campo(0, "preco"))   # 直接访问,不必解码其余部分
    r.conferir()

许可与透明

免费使用。清楚说明会统计什么。

jsonW 持久使用许可允许把它作为组件用在您的产品中。没有与 Wortic 的协议,不得向第三方提供 jsonW 本身或功能相同的服务,也不得对二进制文件进行逆向工程。

wjsw 在每台机器上第一次运行时,只发送版本和平台(v=1.4.1&so=linux-x86_64),用来统计安装数量。不保存任何名称、路径、数据或 IP,也不会再次发送。如需关闭:设置 JSONW_SEM_PING=1 或创建 ~/.jsonw/sem-ping。库和各个 SDK 从不访问网络。