Entorno de Scripting de PetaMem (PMSE)
Suite de software para procesamiento avanzado de corpus
ESPECIFICACIÓN TÉCNICA
Suite de software genérica y middleware para SNLP. Filosofía UNIX: un kit de construcción de pequeñas unidades que pueden combinarse para formar una nueva cadena de herramientas. Independiente del idioma. Escrito en Perl, suite de pruebas automatizada de alta cobertura de código, compatible con UTF-8. Basado en CLI, procesamiento eficiente y paralelo. Documentación exhaustiva. Modo interactivo disponible.
Categorización de Textos
Estudio de Caso
Se realizó una categorización de 250 textos paralelos (obtenidos de la Agencia Europea de Medicamentos - EMA) en 20 idiomas europeos. Los gráficos resultantes (árboles) muestran similitudes en su estructura.
INFORMACIÓN GENERAL
La tarea general de la aplicación de Categorización de Textos es categorizar varios documentos en cualquier idioma. Se prestó especial atención a las siguientes características: Alta modularidad. Alto rendimiento. Soporte para procesamiento paralelo. La modularidad del código fuente permite al usuario cambiar el comportamiento de todos los pasos procedimentales. Toda la aplicación es extensible mediante simples plugins. Áreas de posible aplicación: identificación de idiomas, ordenación de corpus, lingüística forense y otras.
DESCRIPCIÓN TÉCNICA
El proceso de categorización consiste en varios pasos: Extracción de texto de todos los documentos dados. Filtrado de documentos no deseados según criterios dados (completamente modular). Cálculo de un vector para cualquier documento (completamente modular). Cálculo de las distancias (completamente modular). Agrupamiento aglomerativo jerárquico. El método final depende del módulo implementado. Visualización de un árbol binario que representa las relaciones entre los textos (dendrograma).
CÁLCULO DE VECTORES Y DISTANCIAS
Vector: una lista de valores que caracterizan las diferencias entre textos. Ejemplo de vector de 4 elementos:
1. frecuencias de apariciones de palabras
2. promedio de cantidad de palabras en la oración
3. longitud promedio de palabras
4. proporción tipo - token
Esto requerirá 4 plugins simples, cada uno calculando uno de los vectores. Cada vector puede tener un peso diferente en el cálculo de la distancia. El agrupamiento comienza después de medir las distancias.