ΤΕΧΝΙΚΕΣ ΠΡΟΔΙΑΓΡΑΦΕΣ

Γενικό πακέτο λογισμικού και middle-ware για SNLP. Φιλοσοφία UNIX: ένα κιτ κατασκευής μικρών μονάδων που μπορούν να συνδυαστούν σε μια νέα αλυσίδα εργαλείων. Ανεξάρτητο γλώσσας. Γραμμένο σε Perl, αυτοματοποιημένη σειρά δοκιμών υψηλής κάλυψης κώδικα, υποστήριξη UTF-8. Βασισμένο σε CLI, Αποδοτική & παράλληλη επεξεργασία. Διεξοδική τεκμηρίωση. Διαθέσιμη διαδραστική λειτουργία.

ΓΕΝΙΚΕΣ ΠΛΗΡΟΦΟΡΙΕΣ

Ο γενικός στόχος της εφαρμογής Κατηγοριοποίησης Κειμένου είναι η κατηγοριοποίηση διαφόρων εγγράφων σε οποιαδήποτε γλώσσα. Δόθηκε ιδιαίτερη προσοχή στα ακόλουθα χαρακτηριστικά: Υψηλή αρθρωτότητα. Υψηλή απόδοση. Υποστήριξη παράλληλης επεξεργασίας. Η αρθρωτότητα του πηγαίου κώδικα επιτρέπει στον χρήστη να αλλάξει τη συμπεριφορά όλων των διαδικαστικών βημάτων. Ολόκληρη η εφαρμογή είναι επεκτάσιμη με απλά plugins. Τομείς πιθανής εφαρμογής: αναγνώριση γλώσσας, ταξινόμηση σωμάτων κειμένων, δικανική γλωσσολογία και άλλοι.

ΤΕΧΝΙΚΗ ΠΕΡΙΓΡΑΦΗ

Η διαδικασία κατηγοριοποίησης αποτελείται από διάφορα βήματα: Εξαγωγή κειμένου από όλα τα δεδομένα έγγραφα. Φιλτράρισμα ανεπιθύμητων εγγράφων σύμφωνα με δεδομένα κριτήρια (πλήρως αρθρωτό). Υπολογισμός διανύσματος για οποιοδήποτε έγγραφο (πλήρως αρθρωτό). Υπολογισμός των αποστάσεων (πλήρως αρθρωτό). Ιεραρχική συγκεντρωτική ομαδοποίηση. Η τελική μέθοδος εξαρτάται από την εγκατεστημένη μονάδα. Απεικόνιση ενός δυαδικού δέντρου που αντιπροσωπεύει σχέσεις μεταξύ των κειμένων (δενδρόγραμμα).

ΔΙΑΝΥΣΜΑΤΑ & ΥΠΟΛΟΓΙΣΜΟΣ ΑΠΟΣΤΑΣΗΣ

Διάνυσμα: μια λίστα τιμών που χαρακτηρίζουν διαφορές μεταξύ κειμένων. Παράδειγμα διανύσματος 4 στοιχείων:

1. συχνότητες εμφανίσεων λέξεων
2. μέσος αριθμός λέξεων σε πρόταση
3. μέσο μήκος λέξεων
4. αναλογία τύπου - μάρκας
Αυτό θα χρειαστεί 4 απλά plugins, καθένα να υπολογίζει ένα από τα διανύσματα. Κάθε διάνυσμα μπορεί να έχει διαφορετικό βάρος στον υπολογισμό της απόστασης. Η ομαδοποίηση ξεκινά μετά τη μέτρηση των αποστάσεων.