MŰSZAKI SPECIFIKÁCIÓ

Általános szoftvercsomag és köztes szoftver SNLP-hez. UNIX filozófia: kis egységek építőkészlete, amelyek új eszközlánchoz kombinálhatók. Nyelvfüggetlen. Perl-ben írva, automatizált tesztkészlet magas kódlefedettséggel, UTF-8 tudatos. CLI alapú, hatékony és párhuzamos feldolgozás. Alapos dokumentáció. Interaktív mód elérhető.

ÁLTALÁNOS INFORMÁCIÓ

A szövegkategorizálási alkalmazás általános feladata a különböző dokumentumok kategorizálása bármely nyelven. Nagy gondot fordítottunk a következő jellemzőkre: Magas modularitás. Magas teljesítmény. Párhuzamos feldolgozás támogatása. A forráskód modularitása lehetővé teszi a felhasználó számára az összes eljárási lépés viselkedésének megváltoztatását. Az egész alkalmazás egyszerű bővítményekkel bővíthető. Lehetséges alkalmazási területek: nyelvfelismerés, korpuszrendezés, igazságügyi nyelvészet és mások.

MŰSZAKI LEÍRÁS

A kategorizálási folyamat több lépésből áll: Szöveg kinyerése az összes megadott dokumentumból. Nem kívánt dokumentumok szűrése megadott kritériumok szerint (teljesen moduláris). Vektor számítása bármely dokumentumhoz (teljesen moduláris). Távolságok számítása (teljesen moduláris). Hierarchikus agglomeratív klaszterezés. A végső módszer a telepített modulon múlik. Bináris fa vizualizálása, amely a szövegek közötti kapcsolatokat ábrázolja (dendrogram).

VEKTOROK ÉS TÁVOLSÁGSZÁMÍTÁS

Vektor: értékek listája, amely jellemzi a szövegek közötti különbségeket. Példa 4-elemű vektorra:

1. szóelőfordulások gyakorisága
2. átlagos szószám mondatonként
3. átlagos szóhossz
4. típus-token arány
Ehhez 4 egyszerű bővítményre lesz szükség, amelyek mindegyike a vektorok egyikét számítja ki. Minden vektornak különböző súlya lehet a távolság számításában. A klaszterezés a távolságok mérése után kezdődik.