TECHNICKÁ ŠPECIFIKÁCIA

Generická softvérová sada a middleware pre SNLP. UNIX filozofia: stavebnica malých jednotiek, ktoré môžu byť kombinované do nového reťazca nástrojov. Jazykovo agnostická. Napísaná v jazyku Perl, automatizovaná testovacia sada s vysokým pokrytím kódu, podporuje UTF-8. Založená na CLI, efektívne a paralelné zpracovanie. Dôkladná dokumentácia. K dispozícii interaktívny režim.

VŠEOBECNÉ INFORMÁCIE

Všeobecnou úlohou aplikácie na kategorizáciu textov je kategorizovať rôzne dokumenty v akomkoľvek jazyku. Veľká pozornosť bola venovaná nasledujúcim vlastnostiam: Vysoká modularita. Vysoký výkon. Podpora paralelného spracovania. Modularita zdrojového kódu umožňuje používateľovi zmeniť správanie všetkých procedurálnych krokov. Celá aplikácia je rozšíriteľná pomocou jednoduchých pluginov. Oblasti možného použitia: identifikácia jazyka, triedenie korpusov, forenzná lingvistika a iné.

TECHNICKÝ POPIS

Proces kategorizácie pozostáva z niekoľkých krokov: Extrakcia textu zo všetkých daných dokumentov. Filtrovanie nežiaducich dokumentov podľa daných kritérií (úplne modulárne). Výpočet vektora pre akýkoľvek dokument (úplne modulárne). Výpočet vzdialeností (úplne modulárne). Hierarchické aglomeratívne zhlukovovanie. Konečná metóda závisí od nasadeného modulu. Vizualizácia binárneho stromu reprezentujúceho vzťahy medzi textami (dendrogram).

VEKTORY A VÝPOČET VZDIALENOSTI

Vektor: zoznam hodnôt, ktoré charakterizujú rozdiely medzi textami. Príklad 4-prvkového vektora:

1. frekvencie výskytov slov
2. priemerný počet slov vo vete
3. priemerná dĺžka slov
4. pomer typ - token
Toto bude vyžadovať 4 jednoduché pluginy, každý vypočítava jeden z vektorov. Každý vektor môže mať rôznu váhu vo výpočte vzdialenosti. Zhlukovanie sa začína po meraní vzdialeností.