Aller au contenu
jsonW Article GitHub

Lexique

Lexique : un classifieur de texte sans entraînement

Une table de termes devient un automate d'Aho-Corasick qui trouve tous les termes d'un texte en un seul passage, sans tenir compte des accents ni des majuscules.

· jsonW 1.3.11

Le problème

Trier les messages par intention, comme achat, résiliation ou réclamation, demande en général un modèle entraîné ou une liste d'expressions régulières qui grossit sans contrôle.

Comment jsonW le résout

Une table au schéma termo:texto,forma:dic,sinal:dic,peso:f32,idioma:dic,origem:dic est compilée, à l'ouverture, en un automate d'Aho-Corasick. Il apparie des mots entiers, sans accents ni majuscules, renvoie le passage d'origine et additionne les poids par signal.

$ wjsw reconhecer termos.jsw "Quero CANCELAR o pedido, ou então me diga quanto custa o orcamento novo"
3 termo(s), 2 sinal(is)
  intenção de compra soma 2.2  vezes 2
  risco de perda       soma 2  vezes 1
  [6..14] CANCELAR  (termo 0, risco de perda, peso 2)
  [43..55] quanto custa  (termo 3, intenção de compra, peso 1.2)
  [58..67] orcamento  (termo 2, intenção de compra, peso 1)

Sortie réelle, en portugais. « CANCELAR » a trouvé « cancelar » et « orcamento » a trouvé « orçamento ».

Où la trouver

wjsw reconhecer et le Reconhecedor des SDK. Il sert au tri et à orienter une demande vers le bon spécialiste. Il trouve des termes ; comprendre la phrase reste le travail de votre modèle.

Lire la section complète dans l'article →