Vai al contenuto
jsonW Articolo GitHub

Grafia, segnali e colonna per blocco

Segnali dell'audio in una riga di jsonW

Da PCM a 16 bit, jsonW misura tono, pause, intensità, jitter, shimmer, HNR, formanti, MFCC, centroide, velocità di articolazione e respiri.

· jsonW 1.3.11

Il problema

Misurare come ha parlato una persona richiede di mettere insieme strumenti di fonetica e di elaborazione del segnale, ognuno con il proprio output, prima di salvare il risultato da qualche parte.

Come lo risolve jsonW

La funzione jsonw_sinal_audio riceve audio PCM a 16 bit mono e restituisce una riga di jsonW-testo nello schema dichiarato. Il tono viene dall'autocorrelazione normalizzata, lo stesso metodo di Praat; jitter e shimmer, dagli impulsi glottali; le formanti, da LPC; e le pause, dalla soglia di Otsu, che ricava il taglio dai dati stessi.

int64_t r = jsonw_sinal_audio(pcm, n, 16000, "sintetico", "a1", saida, sizeof saida, erro, sizeof erro);

{origem: "sintetico", chave: "a1", dur_s: 2, fala_s: 1.6, silencio_pct: 19.1919, pausas: 1, pausa_media_ms: 380, pausa_max_ms: 380, nucleos: 1, taxa_articulacao: 0.625, taxa_fala: 0.5, intensidade_db: -16.0177, intensidade_dp: 0.74886, f0_hz: 164.993, f0_dp: 14.9999, f0_min: 149.997, f0_max: 179.998, jitter_pct: 0.00237075, shimmer_pct: 0.123395, hnr_db: 43.8417, f1: 624.1, f2: 1124.45, f3: 3245.8, mfcc: vf32[-16.138, 14.372, 2.5701, -5.5633, -3.0267, 1.5794, 2.0231, -0.98157, -2.1028, -0.48222, 0.94709, 0.17767, -1.0651], centroide_hz: 293.164, respiracoes: 0, disfluencias: null, vocalizacoes: null, vozeados: 156, quadros: 160}

Output reale di libjsonw 1.3.11 con 2 s di audio sintetico: voce a 150 Hz, 0,4 s di silenzio e voce a 180 Hz. Ha trovato 1 pausa di 380 ms e il tono tra 150 e 180 Hz.

Dove si trova

Nell'ABI (jsonw_sinal_audio, con lo schema in jsonw_sinal_esquema). La riga può essere scritta direttamente in un .jsw. La funzione misura, non decide: chi interpreta i numeri è il vostro modello.

Leggi la sezione completa nell'articolo →