TEKNISET TIEDOT

Yleinen ohjelmistopaketti ja väliohjelmisto SNLP:lle. UNIX-filosofia: rakennuspakki pienistä yksiköistä, jotka voidaan yhdistää uudeksi työkaluketjuksi. Kieliriippumaton. Kirjoitettu Perlillä, automaattinen testipaketti korkealla koodikattavuudella, UTF-8-tietoinen. Komentorivi-pohjainen, tehokas ja rinnakkainen käsittely. Perusteellinen dokumentaatio. Interaktiivinen tila saatavilla.

YLEISET TIEDOT

Tekstin luokittelusovelluksen yleinen tehtävä on luokitella erilaisia asiakirjoja millä tahansa kielellä. Erityistä huomiota kiinnitettiin seuraaviin ominaisuuksiin: Korkea modulaarisuus. Korkea suorituskyky. Rinnakkaiskäsittelyn tuki. Lähdekoodin modulaarisuus mahdollistaa käyttäjän muuttaa kaikkien menettelyllisten vaiheiden käyttäytymistä. Koko sovellus on laajennettavissa yksinkertaisilla liitännäisillä. Mahdollisia sovellusalueita: kielen tunnistus, korpuslajittelu, oikeuslinguistiikka ja muut.

TEKNINEN KUVAUS

Luokitteluprosessi koostuu useista vaiheista: Tekstin erottaminen kaikista annetuista asiakirjoista. Ei-toivottujen asiakirjojen suodatus annettujen kriteerien mukaan (täysin modulaarinen). Vektorin laskeminen mille tahansa asiakirjalle (täysin modulaarinen). Etäisyyksien laskeminen (täysin modulaarinen). Hierarkkinen agglomeratiivinen klusterointi. Lopullinen menetelmä riippuu käytetystä moduulista. Binääripuun visualisointi, joka edustaa tekstien välisiä suhteita (dendrogrammi).

VEKTORIT JA ETÄISYYKSIEN LASKEMINEN

Vektori: luettelo arvoista, jotka kuvaavat eroja tekstien välillä. Esimerkki 4-elementtisestä vektorista:

1. sanojen esiintymien frekvenssit
2. keskimääräinen sanojen määrä lauseessa
3. keskimääräinen sanojen pituus
4. type-token-suhde
Tämä vaatii 4 yksinkertaista liitännäistä, joista jokainen laskee yhden vektorin. Jokaisella vektorilla voi olla eri paino etäisyyden laskennassa. Klusterointi alkaa etäisyyksien mittaamisen jälkeen.