Середовище сценаріїв PetaMem (PMSE)
Програмний пакет для розширеної обробки корпусів
ТЕХНІЧНА СПЕЦИФІКАЦІЯ
Універсальний програмний пакет і проміжне програмне забезпечення для SNLP. Філософія UNIX: набір для збірки невеликих блоків, які можна комбінувати в новий інструментарій. Незалежний від мови. Написаний на Perl, автоматизований тестовий набір з високим покриттям коду, підтримка UTF-8. На основі CLI, ефективна та паралельна обробка. Ретельна документація. Доступний інтерактивний режим.
Категоризація тексту
Практичний приклад
Було виконано категоризацію 250 паралельних текстів (джерело: Європейське медичне агентство - EMA) 20 європейськими мовами. Отримані графіки (дерева) показують подібності в їх структурі.
ЗАГАЛЬНА ІНФОРМАЦІЯ
Загальним завданням застосунку категоризації тексту є категоризація різних документів будь-якою мовою. Особлива увага була приділена наступним функціям: висока модульність. Висока продуктивність. Підтримка паралельної обробки. Модульність вихідного коду дозволяє користувачеві змінювати поведінку всіх процедурних кроків. Весь застосунок розширюється простими плагінами. Галузі можливого застосування: ідентифікація мови, сортування корпусів, судова лінгвістика та інші.
ТЕХНІЧНИЙ ОПИС
Процес категоризації складається з кількох кроків: вилучення тексту з усіх наданих документів. Фільтрування небажаних документів згідно з заданими критеріями (повністю модульний). Обчислення вектора для будь-якого документа (повністю модульний). Обчислення відстаней (повністю модульний). Ієрархічна агломеративна кластеризація. Остаточний метод залежить від розгорнутого модуля. Візуалізація бінарного дерева, що представляє відношення між текстами (дендрограма).
ВЕКТОРИ ТА ОБЧИСЛЕННЯ ВІДСТАНІ
Вектор: список значень, які характеризують відмінності між текстами. Приклад вектора з 4 елементів:
1. частоти появи слів
2. середня кількість слів у реченні
3. середня довжина слів
4. співвідношення тип-токен
Для цього потрібні 4 прості плагіни, кожен з яких обчислює один з векторів. Кожен вектор може мати різну вагу при обчисленні відстані. Кластеризація починається після вимірювання відстаней.