SPECIFICAȚIE TEHNICĂ

Suită software generică și middleware pentru SNLP. Filosofia UNIX: un set de construcție de unități mici care pot fi combinate într-un nou lanț de instrumente. Independent de limbă. Scris în Perl, test suite automatizat cu acoperire de cod ridicată, compatibil UTF-8. Bazat pe CLI, procesare eficientă și paralelă. Documentație completă. Mod interactiv disponibil.

INFORMAȚII GENERALE

Sarcina generală pentru aplicația de Categorizare a Textelor este de a categoriza diverse documente în orice limbă. S-a avut grijă deosebită de următoarele caracteristici: Modularitate ridicată. Performanță ridicată. Suport pentru procesare paralelă. Modularitatea codului sursă permite utilizatorului să schimbe comportamentul tuturor etapelor procedurale. Întreaga aplicație este extensibilă prin simple plugin-uri. Domenii de posibilă aplicare: identificarea limbii, sortarea corpusurilor, lingvistica forensică și altele.

DESCRIERE TEHNICĂ

Procesul de categorizare constă din mai multe etape: Extragerea textului din toate documentele date. Filtrarea documentelor nedorite conform criteriilor date (complet modular). Calculul unui vector pentru orice document (complet modular). Calculul distanțelor (complet modular). Clustering aglomerativ ierarhic. Metoda finală depinde de modulul implementat. Vizualizarea unui arbore binar reprezentând relațiile dintre texte (dendrogramă).

VECTORI ȘI CALCULUL DISTANȚEI

Vector: o listă de valori care caracterizează diferențele dintre texte. Exemplu de vector cu 4 elemente:

1. frecvențele apariției cuvintelor
2. numărul mediu de cuvinte într-o propoziție
3. lungimea medie a cuvintelor
4. raportul tip - token
Acest lucru va necesita 4 plugin-uri simple, fiecare calculând unul dintre vectori. Fiecare vector poate avea o greutate diferită în calculul distanței. Clusteringul începe după măsurarea distanțelor.