TECHNISCHE SPECIFICATIE

Generiek softwarepakket en middleware voor SNLP. UNIX-filosofie: een bouwpakket van kleine eenheden die kunnen worden gecombineerd tot een nieuwe toolchain. Taal-agnostisch. Geschreven in Perl, geautomatiseerde testsuite met hoge codecoverage, UTF-8-bewust. CLI-gebaseerd, efficiënt & parallelle verwerking. Uitgebreide documentatie. Interactieve modus beschikbaar.

ALGEMENE INFORMATIE

De algemene taak voor de Tekstcategorisatie-app is het categoriseren van verschillende documenten in elke taal. Grote zorg werd besteed aan de volgende kenmerken: Hoge modulariteit. Hoge prestaties. Ondersteuning voor parallelle verwerking. De modulariteit van de broncode stelt de gebruiker in staat om het gedrag van alle procedurele stappen te wijzigen. De hele applicatie is uitbreidbaar door middel van eenvoudige plug-ins. Mogelijke toepassingsgebieden: taalidentificatie, corpussortering, forensische taalkunde en andere.

TECHNISCHE BESCHRIJVING

Het categorisatieproces bestaat uit verschillende stappen: Extractie van tekst uit alle gegeven documenten. Filteren van ongewenste documenten volgens gegeven criteria (volledig modulair). Berekening van een vector voor elk document (volledig modulair). Berekening van de afstanden (volledig modulair). Hiërarchische agglomeratieve clustering. De uiteindelijke methode hangt af van de ingezette module. Visualiseer een binaire boom die relaties tussen de teksten weergeeft (dendrogram).

VECTOREN & AFSTANDSBEREKENING

Vector: een lijst van waarden die verschillen tussen teksten kenmerken. Voorbeeld van een 4-elementen vector:

1. frequenties van woordvoorkomens
2. gemiddeld aantal woorden per zin
3. gemiddelde woordlengte
4. type-token ratio
Dit vereist 4 eenvoudige plug-ins, elk voor de berekening van één van de vectoren. Elke vector kan een verschillend gewicht hebben in de berekening van de afstand. De clustering begint na het meten van de afstanden.