Saltar al contenido
jsonW Artículo GitHub

Léxico

Léxico: un clasificador de texto sin entrenamiento

Una tabla de términos se convierte en un autómata de Aho-Corasick que encuentra todos los términos de un texto en una pasada, sin distinguir acentos ni mayúsculas.

· jsonW 1.3.11

El problema

Separar mensajes por intención, como compra, cancelación o reclamo, suele pedir un modelo entrenado o una lista de expresiones regulares que crece sin control.

Cómo lo resuelve jsonW

Una tabla con el esquema termo:texto,forma:dic,sinal:dic,peso:f32,idioma:dic,origem:dic se compila, al abrir, en un autómata de Aho-Corasick. Empareja palabras enteras, sin acentos ni mayúsculas, devuelve el fragmento original y suma los pesos por señal.

$ wjsw reconhecer termos.jsw "Quero CANCELAR o pedido, ou então me diga quanto custa o orcamento novo"
3 termo(s), 2 sinal(is)
  intenção de compra soma 2.2  vezes 2
  risco de perda       soma 2  vezes 1
  [6..14] CANCELAR  (termo 0, risco de perda, peso 2)
  [43..55] quanto custa  (termo 3, intenção de compra, peso 1.2)
  [58..67] orcamento  (termo 2, intenção de compra, peso 1)

Salida real, en portugués. "CANCELAR" coincidió con "cancelar" y "orcamento" con "orçamento".

Dónde está

wjsw reconhecer y el Reconhecedor de los SDK. Sirve para triaje y para enviar un pedido al especialista correcto. Encuentra términos; entender la frase sigue siendo trabajo de su modelo.

Lea la sección completa en el artículo →