Aller au contenu
jsonW Article GitHub

Graphie, signaux et colonne par bloc

Signaux de l'audio dans une ligne jsonW

À partir d'un PCM 16 bits, jsonW mesure la hauteur, les pauses, l'intensité, le jitter, le shimmer, le HNR, les formants, les MFCC, le centroïde, le débit articulatoire et les respirations.

· jsonW 1.3.11

Le problème

Mesurer comment une personne a parlé oblige à combiner des outils de phonétique et de traitement du signal, chacun avec sa propre sortie, avant de ranger le résultat quelque part.

Comment jsonW le résout

La fonction jsonw_sinal_audio reçoit un audio PCM 16 bits mono et renvoie une ligne de jsonW-texte dans le schéma déclaré. La hauteur vient de l'autocorrélation normalisée, la même méthode que Praat ; le jitter et le shimmer, des impulsions glottiques ; les formants, de la LPC ; et les pauses, du seuil d'Otsu, qui tire la coupure des données elles-mêmes.

int64_t r = jsonw_sinal_audio(pcm, n, 16000, "sintetico", "a1", saida, sizeof saida, erro, sizeof erro);

{origem: "sintetico", chave: "a1", dur_s: 2, fala_s: 1.6, silencio_pct: 19.1919, pausas: 1, pausa_media_ms: 380, pausa_max_ms: 380, nucleos: 1, taxa_articulacao: 0.625, taxa_fala: 0.5, intensidade_db: -16.0177, intensidade_dp: 0.74886, f0_hz: 164.993, f0_dp: 14.9999, f0_min: 149.997, f0_max: 179.998, jitter_pct: 0.00237075, shimmer_pct: 0.123395, hnr_db: 43.8417, f1: 624.1, f2: 1124.45, f3: 3245.8, mfcc: vf32[-16.138, 14.372, 2.5701, -5.5633, -3.0267, 1.5794, 2.0231, -0.98157, -2.1028, -0.48222, 0.94709, 0.17767, -1.0651], centroide_hz: 293.164, respiracoes: 0, disfluencias: null, vocalizacoes: null, vozeados: 156, quadros: 160}

Sortie réelle de libjsonw 1.3.11 avec 2 s d'audio synthétique : voix à 150 Hz, 0,4 s de silence et voix à 180 Hz. Elle a trouvé 1 pause de 380 ms et une hauteur entre 150 et 180 Hz.

Où la trouver

Dans l'ABI (jsonw_sinal_audio, avec le schéma dans jsonw_sinal_esquema). La ligne peut être écrite directement dans un .jsw. La fonction mesure, elle ne décide pas : c'est votre modèle qui interprète les nombres.

Lire la section complète dans l'article →