Lessico
Lessico: un classificatore di testo senza addestramento
Una tabella di termini diventa un automa di Aho-Corasick che trova tutti i termini di un testo in un solo passaggio, ignorando accenti e maiuscole.
· jsonW 1.3.11
Il problema
Separare i messaggi per intenzione, come acquisto, disdetta o reclamo, di solito richiede un modello addestrato o un elenco di espressioni regolari che cresce senza controllo.
Come lo risolve jsonW
Una tabella con lo schema termo:texto,forma:dic,sinal:dic,peso:f32,idioma:dic,origem:dic viene compilata, all'apertura, in un automa di Aho-Corasick. Abbina parole intere, ignorando accenti e maiuscole, restituisce il frammento originale e somma i pesi per segnale.
$ wjsw reconhecer termos.jsw "Quero CANCELAR o pedido, ou então me diga quanto custa o orcamento novo"
3 termo(s), 2 sinal(is)
intenção de compra soma 2.2 vezes 2
risco de perda soma 2 vezes 1
[6..14] CANCELAR (termo 0, risco de perda, peso 2)
[43..55] quanto custa (termo 3, intenção de compra, peso 1.2)
[58..67] orcamento (termo 2, intenção de compra, peso 1)
Output reale, in portoghese. "CANCELAR" ha trovato "cancelar" e "orcamento" ha trovato "orçamento".
Dove si trova
wjsw reconhecer e il Reconhecedor degli SDK. Serve per lo smistamento e per mandare una richiesta allo specialista giusto. Trova termini; capire la frase resta compito del vostro modello.