SPECYFIKACJA TECHNICZNA

Uniwersalny pakiet oprogramowania i middleware dla SNLP. Filozofia UNIX: zestaw budowy małych jednostek, które można łączyć w nowy łańcuch narzędzi. Niezależny od języka. Napisany w Perlu, zautomatyzowany zestaw testów o wysokim pokryciu kodu, obsługa UTF-8. Oparty na CLI, wydajne i równoległe przetwarzanie. Obszerna dokumentacja. Dostępny tryb interaktywny.

INFORMACJE OGÓLNE

Ogólnym zadaniem aplikacji do kategoryzacji tekstu jest kategoryzowanie różnych dokumentów w dowolnym języku. Szczególną uwagę zwrócono na następujące cechy: Wysoka modularność. Wysoka wydajność. Obsługa przetwarzania równoległego. Modularność kodu źródłowego pozwala użytkownikowi na zmianę zachowania wszystkich kroków proceduralnych. Cała aplikacja jest rozszerzalna za pomocą prostych wtyczek. Obszary możliwego zastosowania: identyfikacja języka, sortowanie korpusów, lingwistyka sądowa i inne.

OPIS TECHNICZNY

Proces kategoryzacji składa się z kilku etapów: Ekstrakcja tekstu ze wszystkich podanych dokumentów. Filtrowanie niechcianych dokumentów według podanych kryteriów (całkowicie modułowe). Obliczanie wektora dla każdego dokumentu (całkowicie modułowe). Obliczanie odległości (całkowicie modułowe). Hierarchiczne grupowanie aglomeracyjne. Ostateczna metoda zależy od wdrożonego modułu. Wizualizacja drzewa binarnego przedstawiającego relacje między tekstami (dendrogram).

WEKTORY I OBLICZANIE ODLEGŁOŚCI

Wektor: lista wartości charakteryzujących różnice między tekstami. Przykład 4-elementowego wektora:

1. częstotliwości wystąpień słów
2. średnia liczba słów w zdaniu
3. średnia długość słów
4. stosunek typ-token
Będzie to wymagać 4 prostych wtyczek, z których każda oblicza jeden z wektorów. Każdy wektor może mieć różną wagę w obliczaniu odległości. Grupowanie rozpoczyna się po zmierzeniu odległości.