jsonW · json Wondrous
JSON 不是为 AI 设计的。
jsonW 是。
今天,数据要经过 JSON、CSV、Parquet 和向量数据库。在 jsonW 里,搜索、权限和后量子加密都在文件本身之中。
- 比 JSONL 小 6.6×
- 读取一列快 2,310×
- 所有 JSON 都已经是 jsonW
19 项功能
今天要用四种工具才能做到的事,一种格式全部包含。
行、列、文本和传输放进同一个模型,搜索和权限都在文件里。
- 按词搜索带 IDF 的稀疏向量,与搜索引擎相同的算法
- 语义搜索在
vf16和vq8稠密向量上计算余弦 - 多线性网格N 线性插值:双线性、三线性以及更高维
- 按请求评分权重、余弦、稀疏或网格,一行请求即可
- 前 k 名基于堆的 top-k,顺序始终一致
- 区间每个数据块的最小值和最大值:搜索跳过用不上的部分
- 字典重复的文本在每个文件中只存一次
- 按键索引直接定位到某个键所在的行,无需扫描
- 词表直接从磁盘读取的 Aho-Corasick 自动机,不区分重音和大小写
- 实时写入另一个进程写入的同时就能读取
- 有效、删除与历史在只追加的文件中按键修改和删除
- 按权限的视图按列、行和单元格,取决于凭证
- 存证链式 SHA-256 或 BLAKE3:任何改动都会被发现
- 远程部分读取打开云端的文件,只下载要读的数据块
- 拼写与读音相近
~~过滤器在搜索 "Kokakola" 时能找到 "Coca-Cola",支持葡萄牙语、英语、西班牙语和中文 - 音频信号音高、停顿、强度、jitter、shimmer、共振峰和语速,输出为一行 jsonW
- 文本信号强化词、极性、否定、被动语态、代词、笑声和反讽迹象,支持四种语言
- 视频分镜镜头切换、每一段的信号以及帧的拼图
- 按数据块和按租户的列按数据块的字典和租户区间:其他客户的数据块根本不会被打开
三种形式
同一份数据,按每个场景需要的方式使用。
三种形式是同一个模型。在它们之间转换不会丢失任何内容,也不会改变任何值的类型。
行
一个值接一个值的二进制形式。用于消息、事件和实时场景。
取代今天使用 JSON、MessagePack、CBOR 或 Protobuf 的地方。
列
.jsw 文件:按列分块,通过 mmap 直接从磁盘读取,无需复制。
取代今天使用 JSONL、CSV 或 Parquet 的地方。
文本
jsonW 文本,供人阅读和书写。每个合法的 JSON 都已经是合法的 jsonW 文本。
取代今天使用 JSON、TOML 或 YAML 的地方。
# 同一条记录的 jsonW 文本形式(wjsw ver 的真实输出) {id:1,produto:"Café especial",preco:12.50 BRL,peso:250 g,sku:"CAF-0250",criado:t"2026-11-09T01:00:00.000000Z"} {id:2,produto:"Pão de queijo",preco:8.90 BRL,peso:1000 g,sku:"PDQ-1000",criado:t"2026-11-09T01:05:00.000000Z"}
输入里写的是 "1 kg":该列是 medida[g],所以写入时值被换算成了克。金额保留币种,时间精确到微秒。
flowchart LR
M(("一个<br/>数据模型"))
M --- L["<b>行</b><br/>二进制,一个值接一个值<br/><i>消息 · 事件 · 实时</i>"]
M --- C["<b>列</b><br/>分块的 .jsw 文件,通过 mmap 读取<br/><i>批处理 · 历史 · 训练 · 搜索</i>"]
M --- T["<b>文本</b><br/>jsonW 文本,所有 JSON 都有效<br/><i>供人阅读和书写</i>"]
实测
磁盘上更小。找到一个字段快得多。
JSONL 小
更快
和标准库
2026 年 11 月 13 日用 jsonW 1.3.11 测量:100,000 条记录,10 次运行,对照同一组 JSONL 数据。更快的 JSON 读取器会缩小差距。
用 zstd 或 xz 压缩后,JSONL 比默认级别的 .jsw 更小。方法和局限见论文。要在您的机器上测量,运行 wjsw medir。
类型
JSON 没有的类型。
金额、计量、精确小数和编码都是格式自带的,写入时就会校验。每一列在一行模式里声明自己的类型。
精确小数
decimal[2] 从不经过浮点数。12.50 永远是 12.50。
金额
每个值都带 ISO 4217 币种:12.50 BRL、US$、€、₿。只在相同币种之间求和。
计量
14 种量纲的 89 个单位:长度、质量、体积、能量、数据量、碳排放等。medida[kg] 在写入时换算。
逗号还是小数点
读取时同时接受 1.234,56 和 1,234.56。设置成其他地区格式的 JVM 或 PHP 也不会搞反分隔符。
编码
codigo 保存原始字节:税号、密钥、车牌和 SKU 从不被规范化或截断。
完整文本
完整的 Unicode,包括重音、emoji 和 \0。需要时用 +nfc 规范化。
向量与张量
vf32[768]、vf16、bits、vq8 和 tensor<bf16>[768,768],在文件中连续存放。
媒体
midia 记录哈希、类型、大小和时长。编解码器仍是开放的那个:jsonW 只负责承载。
其他类型
UTC 微秒时间、uuid、经过校验的 url、列表、对象、映射、引用,以及用于开放 JSON 的 qualquer。
# 模式就是一行文本。新字段以 null 加入;一个名字永远不会改变类型。 id:i64,produto:texto,preco:dinheiro,peso:medida[g],sku:codigo,criado:tempo,cpf:codigo?+pessoal
.jsw 文件
一个不会损坏的文件。
每个数据块都能独立成立。写入中途被打断时,只会丢失最后一个数据块,wjsw reparar 会把结尾重建起来。
只追加
另一个进程写入的同时就能读取,就像一个永远看不到半个数据块的 tail -f。
直接访问
读取(行,字段)时不必解码其余部分。按数据块并行读取,并在进程之间共享 mmap。
跳过用不上的部分
每个数据块记录每一列的最小值和最大值,搜索可以跳过整个数据块。
存证
链式的 crc32c 和 SHA-256(或 BLAKE3)。任何被改动的数据都无法通过 wjsw conferir。
修改与删除
写入同一个键就是修改;_apagado: true 表示删除。压缩整理只重写仍然有效的内容。
远程打开
借助头部和尾部,通过 HTTP Range,读取器只获取您所读的那些行所在的数据块。
wjsw 工具
从您已有的 JSONL 到 .jsw,只需一条命令。
也能无损地转回 JSON。同一个工具还能过滤、求和、比较和校验。
# JSON/JSONL 转为 .jsw(--max:最高压缩) wjsw de-texto "id:i64,produto:texto,preco:dinheiro,peso:medida[g]" dados.jsonl dados.jsw wjsw ver dados.jsw # 以 jsonW 文本显示各行 wjsw info dados.jsw # 模式、数据块、大小和哈希 wjsw conferir dados.jsw # ok: 2 linhas, 1 blocos, sha256 e crc32c conferidos wjsw para-texto dados.jsw --json # 无损转回 JSON wjsw filtrar dados.jsw "peso > 500" # 区间跳过整个数据块 wjsw filtrar marcas.jsw "nome ~~en Kokakola" # 拼写与读音相近 wjsw calcular dados.jsw --por produto --valor id wjsw comparar ontem.jsw hoje.jsw id # 只在一边、只在另一边、有变化、相同 wjsw reparar dados.jsw # 文件被截断:重建结尾
为 AI 而生
排序、向量和分类都在文件之内。
专家路由器以及任何基于 .jsw 的排序所需的组件,只读取请求的列,并行执行。
评分
每行一个分数,可用权重、向量余弦、稀疏向量或 N 线性插值网格。
选取
前 k 名,顺序始终一致:分数高的在前,分数相同时行号小的在前。
识别
一张词表在打开时变成 Aho-Corasick 自动机。按整词匹配,不区分重音和大小写。
信号
一个人如何说话、书写或出镜,在音频、文本(pt、en、es、zh)和视频中测量,输出为声明模式中的行。
wjsw avaliar dados.jsw pesos "preco=-1,nota=2" 10 wjsw avaliar dados.jsw cosseno vet "0.5,-1,2,0.25" 5 wjsw escolher dados.jsw preco 10 wjsw reconhecer termos.jsw "要分类的文本" --json
为未来而生
为 AI 和量子计算时代做好准备。
AI 模型的数据、它搜索的向量和它发送的回答都能放进同一种格式,并由量子计算机无法破解的密码学保护。
后量子传输
jsonW 的传输协议运行在 QUIC 和 TLS 1.3 之上,使用后量子密钥交换 X25519MLKEM768,一个连接中多个数据流,支持流量额度和断点续传。
没有量子计算机能破解的密钥
存证和凭证只使用 256 位的哈希和 HMAC。面对量子计算机,它们仍有 128 位的安全强度。
AI 生成的媒体
bf16 和 f16 张量,生成过程中的进度,以及分段传输的音频、图像和视频,封装开销只有 0.04%。
安全
会话无权看到的内容,不会离开服务器。
权限就在格式本身之中,按列、按行、按单元格。
签名凭证
HMAC-SHA256,以恒定时间校验,用 nonce 和序号防重放,运行在 TLS 之上。
按权限的视图
+escopo(x) 和 +pessoal 会隐藏该列。有 tenant 时,只显示凭证所属客户的行。
加固的读取器
每个索引都做边界检查,嵌套最多 1000 层,测试中包含模糊测试。
sequenceDiagram
autonumber
participant App as 应用
participant S as 服务器(wjsw、wjsw-cgi 或 SDK)
participant F as .jsw 文件
App->>S: 请求 + 签名凭证(HMAC-SHA256)
S->>S: 校验签名、有效期、nonce 和序号
S->>F: 只打开凭证所属租户的数据块
F-->>S: 该客户的行
S->>S: 没有相应范围时隐藏 +pessoal 和 +escopo(x) 列
S-->>App: 只返回这个会话可以看到的内容
数据库
使用您已有的数据库。往返无损。
wcon 把数据从数据库带到 .jsw 再带回去,模式取自每一列的类型。值始终作为数据传输,从不拼进命令里,回写在一个事务中完成。
flowchart LR
PG[(PostgreSQL)] <--> W{{wcon}}
MY[(MySQL · MariaDB)] <--> W
SQ[(SQLite)] <--> W
RD[(Redis · Valkey)] <--> W
MG[(MongoDB)] <--> W
W <--> J[".jsw 文件"]
J -- "HTTP Range" --> R["wremoto<br/>R2 · S3 · HTTP"]
精确数值
numeric 变成精确小数,bigint 仍是 64 位整数。没有任何值经过浮点数。
向量直接可用
pgvector 的 vector 和 halfvec 变成 vf32 和 vf16,可直接用于语义搜索。
真正测过
PostgreSQL 14、16 和 18 两端 md5 一致,MariaDB 11.8、SQLite、Redis 7 和 MongoDB 7,均经过恶意负载测试。
# Postgres 到 jsonW 再回去(密码放在 PGPASSWORD 或 ~/.pgpass 中) WSQL_URL=postgresql://papel@host:5432/banco wcon pg "select * from vendas" vendas.jsw wcon pg-gravar vendas.jsw public.vendas wcon sqlite app.db "select * from clientes" clientes.jsw
Cloudflare R2 和 S3
数据放在 Cloudflare R2,直接在那里查询。
.jsw 文件存放在 R2(Cloudflare 的文件存储)里,直接在那里查询,不必整个下载。wremoto 先读索引,再只读包含答案的部分。由于 R2 不收数据流出费用,查询一个 10 GB 的文件只花读取那一部分的钱。
sequenceDiagram
autonumber
participant W as wremoto
participant R as R2 / S3
W->>R: Range:头部和尾部(模式、数据块、区间)
R-->>W: 几 KB
W->>W: 区间:哪些数据块可能有 "preco > 100"?
W->>R: Range:只读这些数据块
R-->>W: 请求的数据块,仅此而已
# 每个请求都用 AWS SigV4 签名;密钥放在文件里 export WJSW_R2_CRED=~/.cred/r2 wremoto info r2://my-bucket/vendas.jsw wremoto filtrar r2://my-bucket/vendas.jsw "preco > 100"
SDK
用您已经在用的语言。
一个稳定的 C ABI,上面每种语言一个 SDK。每个 SDK 都能读、写和执行运算,并且都通过同一套逐字节的测试。
# Node.js 通过 npm 安装:已为 macOS 和 Linux 预编译,附带类型和 jsonw 命令 npm install @wortictecnologia/jsonw # 1.4.1
import jsonw with jsonw.Escritor("vendas.jsw", "id:i64,produto:texto,preco:dinheiro") as w: w.gravar({"id": 1, "produto": "Café especial", "preco": "12,50 BRL"}) with jsonw.Leitor("vendas.jsw") as r: print(r.campo(0, "preco")) # 直接访问,不必解码其余部分 r.conferir()
许可与透明
免费使用。清楚说明会统计什么。
jsonW 持久使用许可允许把它作为组件用在您的产品中。没有与 Wortic 的协议,不得向第三方提供 jsonW 本身或功能相同的服务,也不得对二进制文件进行逆向工程。
wjsw 在每台机器上第一次运行时,只发送版本和平台(v=1.4.1&so=linux-x86_64),用来统计安装数量。不保存任何名称、路径、数据或 IP,也不会再次发送。如需关闭:设置 JSONW_SEM_PING=1 或创建 ~/.jsonw/sem-ping。库和各个 SDK 从不访问网络。
