Vai al contenuto
jsonW Articolo GitHub

jsonW · json Wondrous

JSON non è nato per l'IA.
jsonW sì.

Oggi il dato passa per JSON, CSV, Parquet e un database vettoriale. In jsonW, ricerca, permessi e crittografia post-quantistica stanno nel file stesso.

  • 6,6× più piccolo del JSONL
  • 2.310× più veloce a leggere una colonna
  • Ogni JSON è già jsonW

19 funzioni

Quattro strumenti per gli stessi dati? Un solo formato.

Riga, colonna, testo e trasmissione in un solo modello, con ricerca e permessi dentro il file.

  1. Ricerca per terminivettore sparso con IDF, lo stesso calcolo dei motori di ricerca
  2. Ricerca per significatocoseno su vettori densi vf16 e vq8
  3. Griglia multilineareinterpolazione N-lineare: bilineare, trilineare e oltre
  4. Punteggio su richiestapesi, coseno, sparso o griglia, in una richiesta di una riga
  5. I k miglioritop-k con heap, sempre nello stesso ordine
  6. Zoneminimo e massimo per blocco: la ricerca salta ciò che non serve
  7. Dizionariotesto ripetuto conservato una sola volta per file
  8. Indice per chiaveva dritto alla riga di una chiave, senza scorrere
  9. Lessicoautoma Aho-Corasick letto direttamente dal disco, senza accenti né maiuscole
  10. Scrittura dal vivolegge mentre un altro processo scrive, in tempo reale
  11. Valido, cancellato e cronologiamodificare e cancellare per chiave in un file che solo aggiunge
  12. Vista per permessocolonna, riga e cella, secondo la credenziale
  13. CustodiaSHA-256 o BLAKE3 a catena: nulla cambia senza che lo si noti
  14. Lettura remota parzialeapre un file nel cloud e scarica solo i blocchi che legge
  15. Grafia e suono similiil filtro ~~ trova "Coca-Cola" quando si cerca "Kokakola", in portoghese, inglese, spagnolo e cinese
  16. Segnali dell'audiotono, pause, intensità, jitter, shimmer, formanti e ritmo del parlato, in una riga di jsonW
  17. Segnali del testointensificatori, polarità, negazione, voce passiva, pronomi, risate e indizi di ironia, in quattro lingue
  18. Video in scenetagli di scena, i segnali di ogni tratto e un mosaico dei fotogrammi
  19. Colonna per blocco e per tenantdizionario per blocco e zona del tenant: il blocco di un altro cliente non viene nemmeno aperto

Tre forme

Riga, colonna o testo? Gli stessi dati, come ogni momento li richiede.

Le tre forme sono lo stesso modello. Passare dall'una all'altra non perde nulla e non cambia il tipo di nessun valore.

Riga

Un valore dopo l'altro, in binario. Per messaggi, eventi e tempo reale.

Dove oggi si usa JSON, MessagePack, CBOR o Protobuf.

Colonna

Il file .jsw: blocchi per colonna, letti direttamente dal disco con mmap, senza copia.

Dove oggi si usa JSONL, CSV o Parquet.

Testo

Il jsonW-testo, per le persone che leggono e scrivono. Ogni JSON valido è già jsonW-testo valido.

Dove oggi si usa JSON, TOML o YAML.

# lo stesso record, in jsonW-testo (uscita reale di wjsw ver)
{id:1,produto:"Café especial",preco:12.50 BRL,peso:250 g,sku:"CAF-0250",criado:t"2026-11-09T01:00:00.000000Z"}
{id:2,produto:"Pão de queijo",preco:8.90 BRL,peso:1000 g,sku:"PDQ-1000",criado:t"2026-11-09T01:05:00.000000Z"}

In ingresso c'era "1 kg": la colonna è medida[g], quindi il valore è stato convertito in grammi in scrittura. Il denaro conserva la valuta, e il tempo è esatto al microsecondo.

flowchart LR
    M(("un modello<br/>di dati"))
    M --- L["<b>Riga</b><br/>binaria, valore dopo valore<br/><i>messaggio · evento · tempo reale</i>"]
    M --- C["<b>Colonna</b><br/>file .jsw a blocchi, letto con mmap<br/><i>lotto · cronologia · addestramento · ricerca</i>"]
    M --- T["<b>Testo</b><br/>jsonW-testo, ogni JSON vale<br/><i>persone che leggono e scrivono</i>"]

Misurato

Quanto occupa e quanto è veloce? Più piccolo su disco, molto più veloce a trovare un campo.

6,6×più piccolo del JSONL
non compresso
2.310×più veloce a leggere
una colonna intera
0dipendenze: solo C
e la libreria standard

Misurato il 13/11/2026 con jsonW 1.3.11, su 100.000 record e 10 esecuzioni, rispetto allo stesso insieme in JSONL. Lettori JSON più veloci riducono la differenza.

Con zstd o xz, il JSONL è più piccolo del .jsw al livello predefinito. Metodologia e limiti sono nell'articolo. Per misurare sulla vostra macchina, eseguite wjsw medir.

La prima pagina dell'articolo tecnico di jsonW

Articolo tecnico

Dov'è lo studio? Nell'articolo di jsonW.

  • Il modello di dati, le 19 funzioni, la sicurezza e la custodia, con esempi eseguiti.
  • Misure rifatte il 13/11/2026, con la metodologia, la ricetta per ripeterle e i limiti. Compresa la base intera dei marchi dell'INPI contro CSV, XML e Parquet.
  • Confronto con JSON, Parquet, Arrow, MessagePack, CBOR e Protobuf, anche dove jsonW perde.

Wortic Tecnologia · jsonW 1.3.11 · in sei lingue: Português · English · Español · Français · 中文

Tipi

Quali tipi mancano a JSON? Questi.

Denaro, misura, decimale esatto e codice sono già nel formato, verificati in scrittura. Ogni colonna dichiara il suo tipo in uno schema di una riga.

Decimale esatto

decimal[2] non passa mai per la virgola mobile. 12,50 resta 12,50.

Denaro

Valuta ISO 4217 in ogni valore: 12,50 BRL, US$, €, ₿. Somma solo nella stessa valuta.

Misura

89 unità in 14 grandezze: lunghezza, massa, volume, energia, dati, carbonio e altre. medida[kg] converte in scrittura.

Virgola o punto

Chi legge accetta 1.234,56 e 1,234.56. Una JVM o un PHP con un'altra impostazione regionale non scambia il separatore.

Codice

codigo conserva i byte esatti: codici fiscali, chiavi, targhe e SKU non vengono mai normalizzati né tagliati.

Testo intero

Unicode completo, con accenti, emoji e \0. +nfc normalizza quando lo chiedete.

Vettore e tensore

vf32[768], vf16, bits, vq8 e tensor<bf16>[768,768], contigui nel file.

Media

midia con hash, tipo, dimensione e durata. Il codec resta quello aperto: jsonW lo trasporta soltanto.

E il resto

Tempo in µs UTC, uuid, url validata, lista, oggetto, mappa, riferimento e qualquer per JSON aperto.

# lo schema è una riga di testo. Un campo nuovo entra con null; un nome non cambia mai tipo.
id:i64,produto:texto,preco:dinheiro,peso:medida[g],sku:codigo,criado:tempo,cpf:codigo?+pessoal

File .jsw

E se la scrittura si interrompe? Il file non si rompe.

Ogni blocco si regge da solo. Se la scrittura si interrompe a metà, si perde solo l'ultimo blocco, e wjsw reparar rifà la fine.

Solo aggiunta

Si può leggere mentre un altro processo scrive, come un tail -f che non vede mai un blocco a metà.

Accesso diretto

Legge (riga, campo) senza decodificare il resto. Lettura parallela per blocco e mmap tra processi.

Salta ciò che non serve

Ogni blocco conserva il minimo e il massimo di ogni colonna, e la ricerca salta blocchi interi.

Custodia

crc32c e SHA-256 (o BLAKE3) a catena. Qualsiasi dato cambiato fallisce in wjsw conferir.

Modificare e cancellare

Scrivere la stessa chiave modifica; _apagado: true cancella. La compattazione riscrive solo ciò che vale.

Si apre da lontano

Con l'intestazione e il piè di pagina, via HTTP Range, il lettore scarica solo i blocchi delle righe che leggete.

Lo strumento wjsw

Avete già del JSONL? Diventa .jsw con un comando.

E di nuovo a JSON, senza perdere nulla. Lo stesso strumento filtra, somma, confronta e verifica.

# JSON/JSONL in .jsw (--max: compressione massima)
wjsw de-texto "id:i64,produto:texto,preco:dinheiro,peso:medida[g]" dados.jsonl dados.jsw

wjsw ver dados.jsw                         # righe in jsonW-testo
wjsw info dados.jsw                        # schema, blocchi, dimensione e hash
wjsw conferir dados.jsw                    # ok: 2 linhas, 1 blocos, sha256 e crc32c conferidos
wjsw para-texto dados.jsw --json           # di nuovo a JSON, senza perdita

wjsw filtrar dados.jsw "peso > 500"        # le zone saltano blocchi interi
wjsw filtrar marcas.jsw "nome ~~en Kokakola" # grafia e suono simili
wjsw calcular dados.jsw --por produto --valor id
wjsw comparar ontem.jsw hoje.jsw id        # solo in uno, solo nell'altro, cambiato, uguali
wjsw reparar dados.jsw                     # file troncato: rifà la fine

Fatto per l'IA

Si può ordinare e classificare nel file? Sì, con i vettori dentro.

I pezzi di un instradatore di specialisti e di qualsiasi ranking su un .jsw, leggendo solo le colonne richieste, in parallelo.

Valutare

Punteggio per riga con pesi, coseno su vettori, vettore sparso o griglia di interpolazione N-lineare.

Scegliere

I k migliori, sempre nello stesso ordine: punteggio più alto prima e, a parità, la riga minore.

Riconoscere

Una tabella di termini diventa un automa Aho-Corasick all'apertura. Riconosce parole intere, senza accenti né maiuscole.

Segnali

Come la persona ha parlato, scritto o è apparsa, misurato nell'audio, nel testo (pt, en, es, zh) e nel video, in righe dello schema dichiarato.

wjsw avaliar dados.jsw pesos "preco=-1,nota=2" 10
wjsw avaliar dados.jsw cosseno vet "0.5,-1,2,0.25" 5
wjsw escolher dados.jsw preco 10
wjsw reconhecer termos.jsw "testo da classificare" --json

Fatto per ciò che verrà

E il calcolo quantistico? jsonW è già pronto.

I dati di un modello di IA, i vettori che cerca e le risposte che trasmette stanno nello stesso formato. La crittografia è di quelle che il computer quantistico non rompe.

Trasmissione post-quantistica

Il protocollo di jsonW viaggia su QUIC con TLS 1.3 e scambio di chiavi post-quantistico X25519MLKEM768, più flussi in una connessione, credito e ripresa.

Nessuna chiave che il quantistico rompa

La custodia e la credenziale usano solo hash e HMAC a 256 bit. Contro il computer quantistico, restano a 128 bit di sicurezza.

Media generati dall'IA

Tensori bf16 e f16, avanzamento durante la generazione e audio, immagine e video a pezzi, con lo 0,04% di involucro.

Sicurezza

Chi vede cosa? Ciò che la sessione non può vedere non esce dal server.

Il permesso è nel formato stesso, per colonna, per riga e per cella.

Credenziale firmata

HMAC-SHA256 con verifica a tempo costante, nonce e sequenza contro la ripetizione, sopra TLS.

Vista per permesso

+escopo(x) e +pessoal nascondono la colonna. Con tenant, compaiono solo le righe del cliente della credenziale.

Lettore blindato

Limiti verificati su ogni indice, annidamento massimo di 1000 livelli e fuzzing nella prova.

sequenceDiagram
    autonumber
    participant App as Applicazione
    participant S as Server (wjsw, wjsw-cgi o SDK)
    participant F as file .jsw
    App->>S: richiesta + credenziale firmata (HMAC-SHA256)
    S->>S: verifica firma, validità, nonce e sequenza
    S->>F: apre solo i blocchi del tenant della credenziale
    F-->>S: righe del cliente
    S->>S: nasconde le colonne +pessoal e +escopo(x) senza l'ambito
    S-->>App: solo ciò che questa sessione può vedere

Database

Funziona con il vostro database? Andata e ritorno senza perdita.

wcon porta i dati dal database a un .jsw e ritorno, con lo schema preso dal tipo di ogni colonna. Il valore viaggia come dato, mai montato dentro un comando, e il ritorno è un'unica transazione.

flowchart LR
    PG[(PostgreSQL)] <--> W{{wcon}}
    MY[(MySQL · MariaDB)] <--> W
    SQ[(SQLite)] <--> W
    RD[(Redis · Valkey)] <--> W
    MG[(MongoDB)] <--> W
    W <--> J["file .jsw"]
    J -- "HTTP Range" --> R["wremoto<br/>R2 · S3 · HTTP"]

Numero esatto

numeric diventa decimale esatto e bigint resta intero a 64 bit. Nulla passa per la virgola mobile.

Vettori pronti

Il vector e l'halfvec di pgvector diventano vf32 e vf16, pronti per la ricerca per significato.

Provato davvero

PostgreSQL 14, 16 e 18 con lo stesso md5 da entrambe le parti, MariaDB 11.8, SQLite, Redis 7 e MongoDB 7, con carico ostile.

# da Postgres a jsonW e ritorno (la password resta in PGPASSWORD o ~/.pgpass)
WSQL_URL=postgresql://papel@host:5432/banco wcon pg "select * from vendas" vendas.jsw
wcon pg-gravar vendas.jsw public.vendas
wcon sqlite app.db "select * from clientes" clientes.jsw

Cloudflare R2 e S3

I vostri dati sono su Cloudflare R2? Interrogateli direttamente lì.

Il file .jsw resta in R2, lo spazio dei file di Cloudflare, e viene interrogato da lì senza scaricarlo tutto. wremoto legge l'indice e poi solo le parti con la risposta. Poiché R2 non fa pagare l'uscita dei dati, interrogare un file di 10 GB costa solo il pezzo letto.

sequenceDiagram
    autonumber
    participant W as wremoto
    participant R as R2 / S3
    W->>R: Range: intestazione e piè di pagina (schema, blocchi, zone)
    R-->>W: pochi KB
    W->>W: zone: quali blocchi possono avere "preco > 100"?
    W->>R: Range: solo quei blocchi
    R-->>W: i blocchi richiesti, nient'altro
# ogni richiesta è firmata con AWS SigV4; la chiave resta in un file
export WJSW_R2_CRED=~/.cred/r2
wremoto info    r2://mio-bucket/vendas.jsw
wremoto filtrar r2://mio-bucket/vendas.jsw "preco > 100"

SDK

Funziona nel vostro linguaggio? In quello che usate già.

Un'ABI in C stabile e, sopra di essa, un SDK per linguaggio. Ognuno legge, scrive ed esegue le operazioni, e tutti passano la stessa prova, byte per byte.

CC++17Node.jsPython 3PHP 8GoRustJava 22+KotlinSwift
# Node.js da npm: già compilato per macOS e Linux, con i tipi e il comando jsonw
npm install @wortictecnologia/jsonw   # 1.4.1
import jsonw

with jsonw.Escritor("vendas.jsw", "id:i64,produto:texto,preco:dinheiro") as w:
    w.gravar({"id": 1, "produto": "Café especial", "preco": "12,50 BRL"})

with jsonw.Leitor("vendas.jsw") as r:
    print(r.campo(0, "preco"))   # accesso diretto, senza decodificare il resto
    r.conferir()

Licenza e trasparenza

Quanto costa? Gratuito da usare, chiaro su ciò che conta.

La Licenza d'uso sostenibile di jsonW permette di usarlo nel vostro prodotto, come componente. Senza un accordo con Wortic, non si può offrire a terzi jsonW stesso, né un servizio che faccia ciò che fa, né fare reverse engineering dei binari.

La prima volta che viene eseguito su una macchina, wjsw comunica solo la versione e la piattaforma (v=1.4.1&so=linux-x86_64), per contare le installazioni. Nessun nome, percorso, dato o IP viene conservato, e l'avviso non si ripete. Per disattivarlo: JSONW_SEM_PING=1 o ~/.jsonw/sem-ping. La libreria e gli SDK non accedono mai alla rete.