Aller au contenu
jsonW Article GitHub

jsonW · json Wondrous

JSON n'a pas été conçu pour l'IA.
jsonW, si.

Aujourd'hui, la donnée passe par JSON, CSV, Parquet et une base vectorielle. Dans jsonW, la recherche, les permissions et le chiffrement post-quantique sont dans le fichier lui-même.

  • 6,6× plus petit que le JSONL
  • 2 310× plus rapide pour lire une colonne
  • Tout JSON est déjà du jsonW

19 fonctions

Quatre outils pour les mêmes données ? Un seul format.

Ligne, colonne, texte et transport dans un seul modèle, avec recherche et permissions dans le fichier.

  1. Recherche par termesvecteur creux avec IDF, le même calcul que les moteurs de recherche
  2. Recherche sémantiquecosinus sur des vecteurs denses vf16 et vq8
  3. Grille multilinéaireinterpolation N-linéaire : bilinéaire, trilinéaire et au-delà
  4. Note par requêtepoids, cosinus, creux ou grille, dans une requête d'une ligne
  5. Les k meilleurstop-k par tas, toujours dans le même ordre
  6. Zonesminimum et maximum par bloc : la recherche saute ce qui ne sert pas
  7. Dictionnairetexte répété stocké une seule fois par fichier
  8. Index par cléva droit à la ligne d'une clé, sans parcourir
  9. Lexiqueautomate Aho-Corasick lu directement sur le disque, sans accents ni majuscules
  10. Écriture en directlit pendant qu'un autre processus écrit, en temps réel
  11. En vigueur, effacé et historiquemodifier et effacer par clé dans un fichier qui ne fait qu'ajouter
  12. Vue par permissioncolonne, ligne et cellule, selon l'identifiant
  13. GardeSHA-256 ou BLAKE3 en chaîne : rien ne change sans qu'on le remarque
  14. Lecture distante partielleouvre un fichier dans le cloud et ne télécharge que les blocs qu'il lit
  15. Graphie et son prochesle filtre ~~ trouve « Coca-Cola » quand on cherche « Kokakola », en portugais, anglais, espagnol et chinois
  16. Signaux de l'audiohauteur, pauses, intensité, jitter, shimmer, formants et débit de parole, en une ligne de jsonW
  17. Signaux du texteintensificateurs, polarité, négation, voix passive, pronoms, rires et indices d'ironie, en quatre langues
  18. Vidéo en scènescoupes de scène, les signaux de chaque passage et une mosaïque des images
  19. Colonne par bloc et par tenantdictionnaire par bloc et zone du tenant : le bloc d'un autre client n'est même pas ouvert

Trois formes

Ligne, colonne ou texte ? Les mêmes données, comme chaque moment les demande.

Les trois formes sont le même modèle. Passer de l'une à l'autre ne perd rien et ne change le type d'aucune valeur.

Ligne

Une valeur après l'autre, en binaire. Pour les messages, les événements et le temps réel.

Là où l'on utilise aujourd'hui JSON, MessagePack, CBOR ou Protobuf.

Colonne

Le fichier .jsw : des blocs par colonne, lus directement sur le disque par mmap, sans copie.

Là où l'on utilise aujourd'hui JSONL, CSV ou Parquet.

Texte

Le jsonW-texte, pour que les gens lisent et écrivent. Tout JSON valide est déjà du jsonW-texte valide.

Là où l'on utilise aujourd'hui JSON, TOML ou YAML.

# le même enregistrement, en jsonW-texte (sortie réelle de wjsw ver)
{id:1,produto:"Café especial",preco:12.50 BRL,peso:250 g,sku:"CAF-0250",criado:t"2026-11-09T01:00:00.000000Z"}
{id:2,produto:"Pão de queijo",preco:8.90 BRL,peso:1000 g,sku:"PDQ-1000",criado:t"2026-11-09T01:05:00.000000Z"}

L'entrée indiquait "1 kg" : la colonne est medida[g], donc la valeur a été convertie en grammes à l'écriture. L'argent garde sa devise, et le temps est exact à la microseconde.

flowchart LR
    M(("un modèle<br/>de données"))
    M --- L["<b>Ligne</b><br/>binaire, valeur après valeur<br/><i>message · événement · temps réel</i>"]
    M --- C["<b>Colonne</b><br/>fichier .jsw en blocs, lu par mmap<br/><i>lot · historique · entraînement · recherche</i>"]
    M --- T["<b>Texte</b><br/>jsonW-texte, tout JSON est valide<br/><i>des gens qui lisent et écrivent</i>"]

Mesuré

Quelle taille et quelle vitesse ? Plus petit sur le disque, bien plus rapide pour trouver un champ.

6,6×plus petit que le
JSONL non compressé
2 310×plus rapide pour lire
une colonne entière
0dépendance : seulement C
et la bibliothèque standard

Mesuré le 13/11/2026 avec jsonW 1.3.11, sur 100 000 enregistrements et 10 exécutions, face au même ensemble en JSONL. Des lecteurs JSON plus rapides réduisent l'écart.

Avec zstd ou xz, le JSONL est plus petit que le .jsw au niveau par défaut. La méthodologie et les limites sont dans l'article. Pour mesurer sur votre machine, lancez wjsw medir.

La première page de l'article technique de jsonW

Article technique

Où est l'étude ? Dans l'article de jsonW.

  • Le modèle de données, les 19 fonctions, la sécurité et la garde, avec des exemples exécutés.
  • Mesures refaites le 13/11/2026, avec la méthodologie, la recette pour les refaire et les limites. Y compris la base entière des marques de l'INPI face au CSV, au XML et au Parquet.
  • Comparaison avec JSON, Parquet, Arrow, MessagePack, CBOR et Protobuf, y compris là où jsonW perd.

Wortic Tecnologia · jsonW 1.3.11 · en six langues : Português · English · Español · Italiano · 中文

Types

Quels types manquent à JSON ? Ceux-ci.

L'argent, la mesure, le décimal exact et le code sont déjà dans le format, vérifiés à l'écriture. Chaque colonne déclare son type dans un schéma d'une ligne.

Décimal exact

decimal[2] ne passe jamais par la virgule flottante. 12,50 reste 12,50.

Argent

Devise ISO 4217 sur chaque valeur : 12,50 BRL, US$, €, ₿. Ne s'additionne que dans la même devise.

Mesure

89 unités en 14 grandeurs : longueur, masse, volume, énergie, données, carbone et plus. medida[kg] convertit à l'écriture.

Virgule ou point

Le lecteur accepte 1.234,56 et 1,234.56. Une JVM ou un PHP réglé sur une autre langue n'inverse pas le séparateur.

Code

codigo garde les octets exacts : identifiants fiscaux, clés, plaques et SKU ne sont jamais normalisés ni rognés.

Texte complet

Unicode complet, avec accents, emoji et \0. +nfc normalise quand vous le demandez.

Vecteur et tenseur

vf32[768], vf16, bits, vq8 et tensor<bf16>[768,768], contigus dans le fichier.

Médias

midia avec hachage, type, taille et durée. Le codec reste l'ouvert : jsonW ne fait que le transporter.

Et le reste

Temps en µs UTC, uuid, url validée, liste, objet, map, référence et qualquer pour le JSON ouvert.

# le schéma est une ligne de texte. Un nouveau champ arrive à null ; un nom ne change jamais de type.
id:i64,produto:texto,preco:dinheiro,peso:medida[g],sku:codigo,criado:tempo,cpf:codigo?+pessoal

Fichier .jsw

Et si l'écriture s'arrête en cours ? Le fichier ne casse pas.

Chaque bloc tient tout seul. Si l'écriture est coupée au milieu, seul le dernier bloc est perdu, et wjsw reparar refait la fin.

Ajout seul

On peut lire pendant qu'un autre processus écrit, comme un tail -f qui ne voit jamais un bloc à moitié.

Accès direct

Lit (ligne, champ) sans décoder le reste. Lecture parallèle par bloc et mmap entre processus.

Saute ce qui ne sert pas

Chaque bloc garde le minimum et le maximum de chaque colonne, et la recherche saute des blocs entiers.

Garde

crc32c et SHA-256 (ou BLAKE3) en chaîne. Toute donnée changée échoue au wjsw conferir.

Modifier et effacer

Écrire la même clé modifie ; _apagado: true efface. Le compactage ne réécrit que ce qui vaut.

S'ouvre à distance

Avec l'en-tête et le pied, par HTTP Range, le lecteur ne récupère que les blocs des lignes que vous lisez.

L'outil wjsw

Vous avez déjà du JSONL ? Il devient .jsw en une commande.

Et retour vers JSON, sans rien perdre. Le même outil filtre, additionne, compare et vérifie.

# JSON/JSONL vers .jsw (--max : compression maximale)
wjsw de-texto "id:i64,produto:texto,preco:dinheiro,peso:medida[g]" dados.jsonl dados.jsw

wjsw ver dados.jsw                         # lignes en jsonW-texte
wjsw info dados.jsw                        # schéma, blocs, taille et hachage
wjsw conferir dados.jsw                    # ok: 2 linhas, 1 blocos, sha256 e crc32c conferidos
wjsw para-texto dados.jsw --json           # retour vers JSON, sans perte

wjsw filtrar dados.jsw "peso > 500"        # les zones sautent des blocs entiers
wjsw filtrar marcas.jsw "nome ~~en Kokakola" # graphie et son proches
wjsw calcular dados.jsw --por produto --valor id
wjsw comparar ontem.jsw hoje.jsw id        # seulement dans l'un, seulement dans l'autre, changé, égaux
wjsw reparar dados.jsw                     # fichier coupé : refait la fin

Fait pour l'IA

Peut-on classer et trier dans le fichier ? Oui, avec des vecteurs dedans.

Les pièces d'un routeur de spécialistes et de tout classement sur un .jsw, en ne lisant que les colonnes demandées, en parallèle.

Évaluer

Une note par ligne avec des poids, le cosinus sur des vecteurs, un vecteur creux ou une grille d'interpolation N-linéaire.

Choisir

Les k meilleurs, toujours dans le même ordre : la note la plus haute d'abord et, à égalité, la ligne la plus petite.

Reconnaître

Une table de termes devient un automate Aho-Corasick à l'ouverture. Reconnaît des mots entiers, sans accents ni majuscules.

Signaux

Comment la personne a parlé, écrit ou est apparue, mesuré dans l'audio, le texte (pt, en, es, zh) et la vidéo, en lignes du schéma déclaré.

wjsw avaliar dados.jsw pesos "preco=-1,nota=2" 10
wjsw avaliar dados.jsw cosseno vet "0.5,-1,2,0.25" 5
wjsw escolher dados.jsw preco 10
wjsw reconhecer termos.jsw "texte à classer" --json

Fait pour ce qui vient

Et l'informatique quantique ? jsonW est déjà prêt.

Les données d'un modèle d'IA, les vecteurs qu'il cherche et les réponses qu'il transmet tiennent dans le même format. La cryptographie est de celles que l'ordinateur quantique ne casse pas.

Transport post-quantique

Le protocole de jsonW passe par QUIC avec TLS 1.3 et l'échange de clés post-quantique X25519MLKEM768, plusieurs flux sur une connexion, crédit et reprise.

Aucune clé que le quantique casse

La garde et l'identifiant n'utilisent que des hachages et des HMAC de 256 bits. Face à l'ordinateur quantique, ils gardent 128 bits de sécurité.

Médias générés par l'IA

Tenseurs bf16 et f16, progression pendant la génération et audio, image et vidéo par morceaux, avec 0,04 % d'enveloppe.

Sécurité

Qui voit quoi ? Ce que la session ne peut pas voir ne sort pas du serveur.

La permission est dans le format lui-même, par colonne, par ligne et par cellule.

Identifiant signé

HMAC-SHA256 vérifié en temps constant, nonce et séquence contre le rejeu, par-dessus TLS.

Vue par permission

+escopo(x) et +pessoal cachent la colonne. Avec tenant, seules les lignes du client de l'identifiant apparaissent.

Lecteur blindé

Limites vérifiées sur chaque index, imbrication maximale de 1000 niveaux et fuzzing dans les tests.

sequenceDiagram
    autonumber
    participant App as Application
    participant S as Serveur (wjsw, wjsw-cgi ou SDK)
    participant F as fichier .jsw
    App->>S: requête + identifiant signé (HMAC-SHA256)
    S->>S: vérifie la signature, la validité, le nonce et la séquence
    S->>F: n'ouvre que les blocs du tenant de l'identifiant
    F-->>S: lignes du client
    S->>S: cache les colonnes +pessoal et +escopo(x) sans la portée
    S-->>App: seulement ce que cette session peut voir

Bases de données

Ça marche avec votre base ? Aller-retour sans perte.

wcon emmène les données de la base vers un .jsw et retour, avec le schéma tiré du type de chaque colonne. La valeur voyage comme une donnée, jamais collée dans une commande, et le retour se fait en une seule transaction.

flowchart LR
    PG[(PostgreSQL)] <--> W{{wcon}}
    MY[(MySQL · MariaDB)] <--> W
    SQ[(SQLite)] <--> W
    RD[(Redis · Valkey)] <--> W
    MG[(MongoDB)] <--> W
    W <--> J["fichier .jsw"]
    J -- "HTTP Range" --> R["wremoto<br/>R2 · S3 · HTTP"]

Nombre exact

numeric devient un décimal exact et bigint reste un entier de 64 bits. Rien ne passe par la virgule flottante.

Vecteurs prêts

Le vector et le halfvec de pgvector deviennent vf32 et vf16, prêts pour la recherche sémantique.

Vraiment testé

PostgreSQL 14, 16 et 18 avec le même md5 des deux côtés, MariaDB 11.8, SQLite, Redis 7 et MongoDB 7, sous charge hostile.

# de Postgres vers jsonW et retour (le mot de passe reste dans PGPASSWORD ou ~/.pgpass)
WSQL_URL=postgresql://papel@host:5432/banco wcon pg "select * from vendas" vendas.jsw
wcon pg-gravar vendas.jsw public.vendas
wcon sqlite app.db "select * from clientes" clientes.jsw

Cloudflare R2 et S3

Vos données sont sur Cloudflare R2 ? Interrogez-les sur place.

Le fichier .jsw reste dans R2, l'espace de fichiers de Cloudflare, et y est interrogé sans tout télécharger. wremoto lit l'index, puis seulement les parties qui contiennent la réponse. Comme R2 ne facture pas la sortie des données, interroger un fichier de 10 Go ne coûte que le morceau lu.

sequenceDiagram
    autonumber
    participant W as wremoto
    participant R as R2 / S3
    W->>R: Range : en-tête et pied (schéma, blocs, zones)
    R-->>W: quelques Ko
    W->>W: zones : quels blocs peuvent avoir "preco > 100" ?
    W->>R: Range : seulement ces blocs
    R-->>W: les blocs demandés, rien de plus
# chaque requête est signée en AWS SigV4 ; la clé reste dans un fichier
export WJSW_R2_CRED=~/.cred/r2
wremoto info    r2://mon-bucket/vendas.jsw
wremoto filtrar r2://mon-bucket/vendas.jsw "preco > 100"

SDK

Ça marche dans votre langage ? Celui que vous utilisez déjà.

Une ABI C stable et, par-dessus, un SDK par langage. Chacun lit, écrit et exécute les opérations, et tous passent le même test, octet par octet.

CC++17Node.jsPython 3PHP 8GoRustJava 22+KotlinSwift
# Node.js par npm : déjà compilé pour macOS et Linux, avec les types et la commande jsonw
npm install @wortictecnologia/jsonw   # 1.4.1
import jsonw

with jsonw.Escritor("vendas.jsw", "id:i64,produto:texto,preco:dinheiro") as w:
    w.gravar({"id": 1, "produto": "Café especial", "preco": "12,50 BRL"})

with jsonw.Leitor("vendas.jsw") as r:
    print(r.campo(0, "preco"))   # accès direct, sans décoder le reste
    r.conferir()

Licence et transparence

Combien ça coûte ? Gratuit à utiliser, clair sur ce qu'il compte.

La Licence d'usage durable de jsonW permet de l'utiliser dans votre produit, comme composant. Sans accord avec Wortic, on ne peut pas proposer à des tiers jsonW lui-même, ni un service qui fait ce qu'il fait, ni faire de rétro-ingénierie des binaires.

La première fois qu'il s'exécute sur une machine, wjsw n'envoie que la version et la plateforme (v=1.4.1&so=linux-x86_64), pour compter les installations. Aucun nom, chemin, donnée ni IP n'est conservé, et l'envoi ne se répète pas. Pour le couper : JSONW_SEM_PING=1 ou ~/.jsonw/sem-ping. La bibliothèque et les SDK n'accèdent jamais au réseau.