TEHNIČNA SPECIFIKACIJA

Univerzalna programska oprema in vmesna programska oprema za SNLP. UNIX filozofija: zbirka gradnikov iz majhnih enot, ki jih je mogoče kombinirati v novo orodje. Jezikovno neodvisno. Napisano v Perlu, avtomatizirano testiranje z visoko pokritostjo kode, UTF-8 podprto. Temelji na CLI, učinkovito in vzporedno procesiranje. Temeljita dokumentacija. Na voljo interaktivni način.

SPLOŠNE INFORMACIJE

Splošna naloga aplikacije za kategorizacijo besedil je kategorizacija različnih dokumentov v katerem koli jeziku. Velika skrb je bila namenjena naslednjim funkcijam: Visoka modularnost. Visoka zmogljivost. Podpora za vzporedno procesiranje. Modularnost izvorne kode uporabniku omogoča spreminjanje obnašanja vseh proceduralnih korakov. Celotna aplikacija je razširljiva z enostavnimi vtičniki. Področja možne uporabe: identifikacija jezika, razvrščanje korpusov, forenzična jezikovna znanost in drugo.

TEHNIČNI OPIS

Postopek kategorizacije sestoji iz več korakov: Ekstrahiranje besedila iz vseh danih dokumentov. Filtriranje neželenih dokumentov glede na podane kriterije (popolnoma modularno). Izračun vektorja za kateri koli dokument (popolnoma modularno). Izračun razdalj (popolnoma modularno). Hierarhično aglomerativno združevanje. Končna metoda je odvisna od uporabljenega modula. Vizualizacija binarnega drevesa, ki predstavlja odnose med besedili (dendrogram).

VEKTORJI IN IZRAČUN RAZDALJ

Vektor: seznam vrednosti, ki karakterizirajo razlike med besedili. Primer 4-elementnega vektorja:

1. frekvence pojavljanja besed
2. povprečno število besed v stavku
3. povprečna dolžina besed
4. razmerje tip - token
To bo potrebovalo 4 enostavne vtičnike, vsak izračuna enega od vektorjev. Vsak vektor ima lahko drugačno utež pri izračunu razdalje. Združevanje se začne po merjenju razdalj.