Vai al contenuto
jsonW Articolo GitHub

Lessico

Lessico: un classificatore di testo senza addestramento

Una tabella di termini diventa un automa di Aho-Corasick che trova tutti i termini di un testo in un solo passaggio, ignorando accenti e maiuscole.

· jsonW 1.3.11

Il problema

Separare i messaggi per intenzione, come acquisto, disdetta o reclamo, di solito richiede un modello addestrato o un elenco di espressioni regolari che cresce senza controllo.

Come lo risolve jsonW

Una tabella con lo schema termo:texto,forma:dic,sinal:dic,peso:f32,idioma:dic,origem:dic viene compilata, all'apertura, in un automa di Aho-Corasick. Abbina parole intere, ignorando accenti e maiuscole, restituisce il frammento originale e somma i pesi per segnale.

$ wjsw reconhecer termos.jsw "Quero CANCELAR o pedido, ou então me diga quanto custa o orcamento novo"
3 termo(s), 2 sinal(is)
  intenção de compra soma 2.2  vezes 2
  risco de perda       soma 2  vezes 1
  [6..14] CANCELAR  (termo 0, risco de perda, peso 2)
  [43..55] quanto custa  (termo 3, intenção de compra, peso 1.2)
  [58..67] orcamento  (termo 2, intenção de compra, peso 1)

Output reale, in portoghese. "CANCELAR" ha trovato "cancelar" e "orcamento" ha trovato "orçamento".

Dove si trova

wjsw reconhecer e il Reconhecedor degli SDK. Serve per lo smistamento e per mandare una richiesta allo specialista giusto. Trova termini; capire la frase resta compito del vostro modello.

Leggi la sezione completa nell'articolo →