Newsroom
Les 19 fonctions de jsonW, une par une.
Un article par fonction du format : le problème qu'elle résout, la commande qui montre le résultat et ce qu'elle ne fait pas encore. Les sorties sont réelles, issues du binaire public ou de l'article scientifique.
· jsonW 1.4.1
Recherche et classement
Recherche par termes (IDF) dans le fichier
jsonW conserve le vecteur creux des termes avec les poids IDF dans la ligne même et calcule le score avec la commande avaliar, sans moteur de recherche séparé.
02Recherche par le sens avec des vecteurs de 32, 16, 8 et 4 bits
Les embeddings sont rangés dans une colonne de vecteurs contiguë dans le fichier, et avaliar calcule le cosinus avec la requête et renvoie les k lignes les plus proches.
03Grille multilinéaire : l'interpolation directement depuis le fichier
Une table de valeurs sur des axes, comme le coût de livraison par distance et par poids, devient un score par interpolation bilinéaire, trilinéaire ou à plus d'axes, dans la requête d'évaluation.
04Score par requête : poids, cosinus, creux ou grille, en une ligne
Une requête d'une ligne note chaque enregistrement du fichier et renvoie les meilleurs, avec le même résultat dans l'outil, l'ABI et les 10 SDK.
05Les k meilleurs, toujours dans le même ordre
Le top-k de jsonW utilise un tas et il est déterministe : le score le plus haut d'abord et, en cas d'égalité, la ligne la plus petite. Deux exécutions renvoient la même liste.
Organisation du fichier
Zones : la recherche saute des blocs entiers
Chaque bloc du fichier garde le minimum et le maximum de chaque colonne. Dans un fichier de 100 000 enregistrements, un filtre a sauté 102 blocs sur 103.
07Dictionnaire : le texte répété est stocké une fois
Une colonne de type dic garde chaque texte distinct une seule fois par fichier. Ville, statut et catégorie cessent d'occuper de la place à chaque ligne.
08Index par clé : directement à la ligne, sans parcours
Le format a un index qui mène à la ligne d'une clé sans lire le fichier. Dans l'outil public, la clé apparaît dans la commande comparar.
Lexique
Écriture et historique
Écriture en direct et publication atomique
Le fichier .jsw ne fait qu'ajouter : un processus peut lire pendant qu'un autre écrit, sans voir de bloc à moitié écrit. Dans les SDK, le fichier n'apparaît, complet, qu'au fechar().
11Vivant, supprimé et historique dans un fichier qui ne fait qu'ajouter
Réécrire la même clé la modifie, l'écrire avec _apagado: true la supprime, et l'historique de chaque changement reste dans le fichier.
Permissions, intégrité et accès distant
Vue par permission : colonne, ligne et cellule
La permission est déclarée dans le schéma et appliquée par celui qui sert le fichier, avant de répondre. Sans la portée, la colonne sort nulle ; sans le tenant, la ligne ne sort pas.
13Intégrité : CRC32C et SHA-256 en chaîne sur chaque bloc
Chaque bloc porte un CRC32C et un hash SHA-256 (ou BLAKE3), chaînés sur tout le fichier. Un seul octet modifié fait échouer conferir.
14Lecture distante partielle : télécharger 0,98 % d'un fichier de 79,1 Mo
Avec un en-tête, un pied de fichier et des requêtes HTTP Range, le lecteur ne télécharge que les blocs des lignes lues. Cela marche avec tout serveur web, R2 et S3.
Graphie, signaux et colonne par bloc
Graphie et son proches : « Kokakola » trouve « Coca-Cola »
L'opérateur ~~ du filtre donne à chaque valeur un score de 0 à 1 par la graphie et par une clé phonétique, en portugais du Brésil, anglais américain, espagnol et chinois.
16Signaux de l'audio dans une ligne jsonW
À partir d'un PCM 16 bits, jsonW mesure la hauteur, les pauses, l'intensité, le jitter, le shimmer, le HNR, les formants, les MFCC, le centroïde, le débit articulatoire et les respirations.
17Signaux du texte en portugais, anglais, espagnol et chinois
Intensificateurs, atténuateurs, polarité, négation, voix passive, pronoms, majuscules, ponctuation, emoji, rires et indices d'ironie, mesurés dans une ligne.
18La vidéo en scènes, avec les mesures de chaque séquence
Les images et le son entrent ; sortent les coupes de scène, la lumière, le contraste, le mouvement, les couleurs, la forme, le dHash, les signaux audio de chaque séquence et une mosaïque.
19Colonne par bloc et par tenant : le bloc d'un autre client n'est jamais ouvert
Un dictionnaire local par bloc, des chiffres à largeur fixe et le tenant dans la zone du bloc. Sur la base de l'INPI, le comptage des marques en vigueur est passé de 54 à 43 ms.
Versions et sécurité
jsonW 1.4.0 : chiffrement au repos, masques de documents et profils des protocoles d'agents
Le fichier .jsw peut rester chiffré sur le disque, la clé étant conservée à part. Le CPF et le CNPJ reçoivent un masque qui refuse une valeur invalide. Et 49 objets des protocoles d'agents ont un profil éprouvé par aller-retour.
02jsonW 1.4.1 : la vue par permission s'applique à toute commande qui lit des valeurs
Dans la 1.4.0, seuls ver et le serveur web masquaient les colonnes personnelles. La 1.4.1 corrige cela dans toutes les commandes qui lisent des valeurs : sur le même fichier de test, 23 vérifications sur 37 échouaient avant, et 0 sur 37 échouent maintenant.