TECHNINĖ SPECIFIKACIJA

Universali programinės įrangos paketas ir tarpinė programinė įranga SNLP. UNIX filosofija: mažų vienetų rinkinio, kurie gali būti sujungti į naują įrankių grandinę. Nepriklausoma nuo kalbos. Parašyta Perl kalba, automatizuotas testų rinkinys su aukštu kodo aprėptimi, UTF-8 suvokianti. Pagrįsta komandinė eilute, efektyvus ir lygiagretusis apdorojimas. Išsami dokumentacija. Galimas interaktyvus režimas.

BENDRA INFORMACIJA

Bendra tekstų kategorizavimo programos užduotis yra kategorizuoti įvairius dokumentus bet kuria kalba. Didžiulis dėmesys buvo skirtas šiems bruožams: Aukštas moduliškumas. Aukštas našumas. Lygiagrečiojo apdorojimo palaikymas. Šaltinio kodo moduliškumas leidžia vartotojui keisti visų procedūrų etapų elgesį. Visa programa yra išplečiama paprastais įskiepiais. Galimo pritaikymo sritys: kalbos identifikacija, korpusų rūšiavimas, teismo lingvistika ir kitos.

TECHNINIS APRAŠYMAS

Kategorizavimo procesas susideda iš kelių žingsnių: Teksto išgavimas iš visų pateiktų dokumentų. Nepageidaujamų dokumentų filtravimas pagal nurodytus kriterijus (visiškai moduliarus). Vektoriaus skaičiavimas bet kuriam dokumentui (visiškai moduliarus). Atstumų skaičiavimas (visiškai moduliarus). Hierarchinis aglomeratyvusis grupavimas. Galutinis metodas priklauso nuo naudojamo modulio. Dvejetainio medžio, atspindinčio santykius tarp tekstų, vizualizacija (dendrograma).

VEKTORIAI IR ATSTUMO SKAIČIAVIMAS

Vektorius: verčių sąrašas, kuris apibūdina skirtumus tarp tekstų. 4 elementų vektoriaus pavyzdys:

1. žodžių pasikartojimų dažnumas
2. vidutinis žodžių skaičius sakinyje
3. vidutinis žodžių ilgis
4. tipo ir žetono santykis
Tam reikės 4 paprastų įskiepių, kiekvienas skaičiuojantis vieną iš vektorių. Kiekvienas vektorius gali turėti skirtingą svorį atstumo skaičiavime. Grupavimas prasideda po atstumų matavimo.