Newsroom
Le 19 funzioni di jsonW, una per una.
Un post per ogni funzione del formato: il problema che risolve, il comando che mostra il risultato e ciò che ancora non fa. Gli output sono reali, dal binario pubblico o dall'articolo.
· jsonW 1.4.1
Ricerca e ranking
Ricerca per termini (IDF) dentro il file
jsonW conserva il vettore sparso dei termini con i pesi IDF nella riga stessa e calcola il punteggio con il comando avaliar, senza un motore di ricerca separato.
02Ricerca per significato con vettori a 32, 16, 8 e 4 bit
Gli embedding stanno in una colonna di vettori contigua nel file, e avaliar calcola il coseno con la query e restituisce le k righe più simili.
03Griglia multilineare: interpolazione direttamente dal file
Una tabella di valori su assi, come il costo di spedizione per distanza e peso, diventa un punteggio con interpolazione bilineare, trilineare o con più assi, dentro la richiesta di valutazione.
04Punteggio per richiesta: pesi, coseno, sparso o griglia, in una riga
Una richiesta di una riga assegna un punteggio a ogni record del file e restituisce i migliori, con lo stesso risultato nello strumento, nell'ABI e nei 10 SDK.
05I k migliori, sempre nello stesso ordine
Il top-k di jsonW usa un heap ed è deterministico: punteggio più alto prima e, a parità, la riga con posizione minore. Due esecuzioni restituiscono la stessa lista.
Organizzazione del file
Zone: la ricerca salta blocchi interi
Ogni blocco del file conserva il minimo e il massimo di ogni colonna. In un file di 100.000 record, un filtro ha saltato 102 blocchi su 103.
07Dizionario: il testo ripetuto salvato una volta
Una colonna di tipo dic conserva ogni testo distinto una volta per file. Città, stato e categoria smettono di occupare spazio in ogni riga.
08Indice per chiave: dritto alla riga, senza scansione
Il formato ha un indice che porta alla riga di una chiave senza leggere il file. Nello strumento pubblico, la chiave compare nel comando comparar.
Lessico
Scrittura e storico
Scrittura dal vivo e pubblicazione atomica
Il file .jsw si scrive solo in coda: un processo può leggere mentre un altro scrive, senza vedere mezzo blocco. Negli SDK il file compare, completo, solo con fechar().
11Vivo, cancellato e storico in un file che si scrive solo in coda
Scrivere di nuovo la stessa chiave la modifica, scriverla con _apagado: true la cancella, e lo storico di ogni modifica resta nel file.
Permessi, custodia e accesso remoto
Vista per permesso: colonna, riga e cella
Il permesso è dichiarato nello schema e applicato da chi serve il file, prima di rispondere. Senza l'ambito, la colonna esce nulla; senza il tenant, la riga non esce.
13Custodia: CRC32C e SHA-256 in catena su ogni blocco
Ogni blocco porta un CRC32C e un hash SHA-256 (o BLAKE3), concatenati su tutto il file. Un byte cambiato fallisce in conferir.
14Lettura remota parziale: scaricare lo 0,98% di un file di 79,1 MB
Con intestazione, piè di file e richieste HTTP Range, il lettore scarica solo i blocchi delle righe lette. Funziona con qualsiasi server web, R2 e S3.
Grafia, segnali e colonna per blocco
Grafia e suono simili: "Kokakola" trova "Coca-Cola"
L'operatore ~~ del filtro dà a ogni valore un punteggio da 0 a 1 per la grafia e per una chiave fonetica, in portoghese del Brasile, inglese americano, spagnolo e cinese.
16Segnali dell'audio in una riga di jsonW
Da PCM a 16 bit, jsonW misura tono, pause, intensità, jitter, shimmer, HNR, formanti, MFCC, centroide, velocità di articolazione e respiri.
17Segnali del testo in portoghese, inglese, spagnolo e cinese
Intensificatori, attenuatori, polarità, negazione, forma passiva, pronomi, maiuscolo, punteggiatura, emoji, risate e indizi di ironia, misurati in una riga.
18Video in scene, con le misure di ogni tratto
Entrano fotogrammi e suono; escono i tagli di scena, la luce, il contrasto, il movimento, i colori, la forma, il dHash, i segnali dell'audio di ogni tratto e un mosaico.
19Colonna per blocco e per tenant: il blocco di un altro cliente non si apre
Dizionario locale per blocco, cifre a larghezza fissa e il tenant nella zona del blocco. Sulla base dell'INPI, il conteggio dei marchi in vigore è sceso da 54 a 43 ms.
Versioni e sicurezza
jsonW 1.4.0: cifratura a riposo, maschere dei documenti e profili dei protocolli degli agenti
Il file .jsw può restare cifrato sul disco, con la chiave conservata fuori. CPF e CNPJ ricevono una maschera che rifiuta il valore non valido. E 49 oggetti dei protocolli degli agenti hanno un profilo provato con andata e ritorno.
02jsonW 1.4.1: la vista per permesso vale per ogni comando che legge valori
Nella 1.4.0, solo ver e il server web nascondevano le colonne personali. La 1.4.1 corregge questo in tutti i comandi che leggono valori: sullo stesso file di prova, 23 verifiche su 37 fallivano prima, e 0 su 37 falliscono ora.