TEKNISK SPESIFIKASJON

Generisk programvarepakke og mellomvare for SNLP. UNIX-filosofi: et byggesett av små enheter som kan kombineres til en ny verktøykjede. Språkagnostisk. Skrevet i Perl, automatisert testsuite med høy kodedekning, UTF-8-bevisst. CLI-basert, effektiv og parallell prosessering. Grundig dokumentasjon. Interaktiv modus tilgjengelig.

GENERELL INFORMASJON

Den generelle oppgaven for tekstkategoriseringsappen er å kategorisere forskjellige dokumenter på ethvert språk. Det ble lagt stor vekt på følgende funksjoner: Høy modularitet. Høy ytelse. Støtte for parallell prosessering. Modulariteten i kildekoden lar brukeren endre oppførselen til alle prosedyretrinn. Hele applikasjonen er utvidbar med enkle plugins. Mulige anvendelsesområder: språkidentifikasjon, korpussortering, rettsmedisinsk lingvistikk og andre.

TEKNISK BESKRIVELSE

Kategoriseringsprosessen består av flere trinn: Utvinning av tekst fra alle gitte dokumenter. Filtrering av uønskede dokumenter i henhold til gitte kriterier (helt modulært). Beregning av en vektor for ethvert dokument (helt modulært). Beregning av avstandene (helt modulært). Hierarkisk agglomerativ klustering. Den endelige metoden avhenger av deployert modul. Visualiser et binært tre som representerer relasjoner mellom tekstene (dendrogram).

VEKTORER & AVSTANDSBEREGNING

Vektor: en liste med verdier som karakteriserer forskjeller mellom tekster. Eksempel på 4-elementers vektor:

1. frekvenser av ordforekomster
2. gjennomsnittlig ordantall i setning
3. gjennomsnittlig ordlengde
4. type - token-forhold
Dette vil kreve 4 enkle plugins, hver beregner én av vektorene. Hver vektor kan ha forskjellig vekt i beregningen av avstanden. Klustringen starter etter måling av avstander.