TEKNISK SPECIFIKATION

Generisk mjukvarusvit och mellanprogramvara för SNLP. UNIX-filosofi: ett byggkit av små enheter som kan kombineras till en ny verktygskedja. Språkoberoende. Skriven i Perl, automatiserad testsvit med hög kodtäckning, UTF-8-medveten. CLI-baserad, effektiv & parallell bearbetning. Grundlig dokumentation. Interaktivt läge tillgängligt.

ALLMÄN INFORMATION

Den allmänna uppgiften för textkategoriseringsapplikationen är att kategorisera olika dokument på vilket språk som helst. Stor omsorg lades vid följande funktioner: Hög modularitet. Hög prestanda. Stöd för parallell bearbetning. Källkodens modularitet gör det möjligt för användaren att ändra beteendet för alla processteg. Hela applikationen är utökningsbar genom enkla plugins. Möjliga tillämpningsområden: språkidentifiering, korpussortering, forensisk lingvistik och andra.

TEKNISK BESKRIVNING

Kategoriseringsprocessen består av flera steg: Extrahering av text från alla givna dokument. Filtrering av oönskade dokument enligt givna kriterier (helt modulär). Beräkning av en vektor för varje dokument (helt modulär). Beräkning av avstånden (helt modulär). Hierarkisk agglomerativ klustring. Den slutliga metoden beror på distribuerad modul. Visualisera ett binärt träd som representerar relationer mellan texterna (dendrogram).

VEKTORER & AVSTÅNDSBERÄKNING

Vektor: en lista med värden som kännetecknar skillnader mellan texter. Exempel på 4-elementsvektor:

1. frekvenser av ordförekomster
2. genomsnittligt antal ord i mening
3. genomsnittlig ordlängd
4. typ-token-förhållande
Detta kräver 4 enkla plugins, var och en beräknar en av vektorerna. Varje vektor kan ha olika vikt i beräkningen av avståndet. Klustringen startar efter mätning av avstånd.