PetaMem Scripting Environment (PMSE)
Suite software per l'elaborazione avanzata dei corpora
SPECIFICHE TECNICHE
Suite software generica e middleware per SNLP. Filosofia UNIX: un kit di piccole unità che possono essere combinate in una nuova toolchain. Indipendente dal linguaggio. Scritto in Perl, suite di test automatizzata con alta copertura del codice, supporto UTF-8. Basato su CLI, elaborazione efficiente e parallela. Documentazione completa. Modalità interattiva disponibile.
Categorizzazione del Testo
Caso di Studio
È stata eseguita una categorizzazione di 250 testi paralleli (provenienti dall'Agenzia Europea dei Medicinali - EMA) in 20 lingue europee. I grafici risultanti (alberi) mostrano somiglianze nella loro struttura.
INFORMAZIONI GENERALI
Il compito generale dell'applicazione di Categorizzazione del Testo è categorizzare vari documenti in qualsiasi lingua. È stata prestata grande attenzione alle seguenti caratteristiche: Alta modularità. Alte prestazioni. Supporto per l'elaborazione parallela. La modularità del codice sorgente consente all'utente di modificare il comportamento di tutti i passaggi procedurali. L'intera applicazione è estensibile tramite semplici plugin. Aree di possibile applicazione: identificazione della lingua, ordinamento dei corpora, linguistica forense e altro.
DESCRIZIONE TECNICA
Il processo di categorizzazione consiste in diverse fasi: Estrazione del testo da tutti i documenti forniti. Filtraggio dei documenti indesiderati secondo criteri specificati (completamente modulare). Calcolo di un vettore per qualsiasi documento (completamente modulare). Calcolo delle distanze (completamente modulare). Clustering gerarchico agglomerativo. Il metodo finale dipende dal modulo implementato. Visualizzazione di un albero binario che rappresenta le relazioni tra i testi (dendrogramma).
VETTORI E CALCOLO DELLE DISTANZE
Vettore: un elenco di valori che caratterizzano le differenze tra i testi. Esempio di vettore a 4 elementi:
1. frequenze delle occorrenze delle parole
2. conteggio medio delle parole per frase
3. lunghezza media delle parole
4. rapporto tipo-token
Ciò richiederà 4 semplici plugin, ciascuno che calcola uno dei vettori. Ogni vettore può avere un peso diverso nel calcolo della distanza. Il clustering inizia dopo la misurazione delle distanze.