TEHNISKĀ SPECIFIKĀCIJA

Universāls programmatūras komplekts un starpprogrammatūra statistiskajai dabiskās valodas apstrādei. UNIX filozofija: mazas vienības, kas var tikt apvienotas jaunā rīku ķēdē. Neatkarīga no valodas. Rakstīta Perl, automatizēts testu komplekts ar augstu koda pārklājumu, UTF-8 atbalsts. Balstīta uz komandrindas saskarni, efektīva un paralēla apstrāde. Rūpīga dokumentācija. Pieejams interaktīvs režīms.

VISPĀRĪGĀ INFORMĀCIJA

Vispārīgais uzdevums teksta kategorizācijas aplikācijai ir kategorizēt dažādus dokumentus jebkurā valodā. Liela uzmanība tika pievērsta šādām funkcijām: augsta modularitāte, augsta veiktspēja, paralēlās apstrādes atbalsts. Pirmkoda modularitāte ļauj lietotājam mainīt visu procedūru soļu uzvedību. Visa aplikācija ir paplašināma ar vienkāršiem spraudņiem. Iespējamās pielietojuma jomas: valodas identificēšana, korpusu šķirošana, forensiskā lingvistika un citas.

TEHNISKAIS APRAKSTS

Kategorizācijas process sastāv no vairākiem soļiem: teksta izvilkšana no visiem dotajiem dokumentiem, nevēlamo dokumentu filtrēšana saskaņā ar dotajiem kritērijiem (pilnībā modulāra), vektora aprēķināšana katram dokumentam (pilnībā modulāra), attālumu aprēķināšana (pilnībā modulāra), hierarhiskā aglomeratīvā klasterizācija. Galīgā metode ir atkarīga no izvietotā moduļa. Bināra koka vizualizācija, kas attēlo attiecības starp tekstiem (dendrogramma).

VEKTORU UN ATTĀLUMU APRĒĶINĀŠANA

Vektors: vērtību saraksts, kas raksturo atšķirības starp tekstiem. 4 elementu vektora piemērs:

1. vārdu sastopamības biežumi
2. vidējais vārdu skaits teikumā
3. vidējais vārdu garums
4. tipu-leksēmu attiecība
Šim būs nepieciešami 4 vienkārši spraudņi, katrs aprēķinot vienu no vektoriem. Katram vektoram var būt atšķirīgs svars attāluma aprēķinā. Klasterizācija sākas pēc attālumu izmērīšanas.