PetaMem Scripting Environment (PMSE)
Пакет праграмнага забеспячэння для пашыранай апрацоўкі корпусаў
ТЭХНІЧНАЯ СПЕЦЫФІКАЦЫЯ
Універсальны пакет праграмнага забеспячэння і праміжнае ПЗ для SNLP. Філасофія UNIX: будаўнічы набор з невялікіх адзінак, якія могуць быць аб'яднаны ў новы набор інструментаў. Не залежыць ад мовы. Напісана на Perl, аўтаматызаваны набор тэстаў з высокім ахопам кода, падтрымлівае UTF-8. Заснавана на CLI, эфектыўная і паралельная апрацоўка. Дэталёвая дакументацыя. Даступны інтэрактыўны рэжым.
Катэгарызацыя тэкстаў
Практычны прыклад
Была выканана катэгарызацыя 250 паралельных тэкстаў (крыніца - Еўрапейская медыцынская агенцтва - EMA) на 20 еўрапейскіх мовах. Атрыманыя графікі (дрэвы) паказваюць падабенствы ў іх структуры.
АГУЛЬНАЯ ІНФАРМАЦЫЯ
Агульная задача для праграмы катэгарызацыі тэкстаў - катэгарызаваць розныя дакументы на любой мове. Асаблівая ўвага была прыцягнута да наступных функцый: высокая модульнасць. Высокая прадукцыйнасць. Падтрымка паралельнай апрацоўкі. Модульнасць зыходнага кода дазваляе карыстальніку змяняць паводзіны ўсіх працэдурных крокаў. Увесь дадатак пашыраецца простымі плагінамі. Вобласці магчымага прымянення: ідэнтыфікацыя мовы, сартаванне корпусаў, судовая лінгвістыка і іншае.
ТЭХНІЧНАЕ АПІСАННЕ
Працэс катэгарызацыі складаецца з некалькіх этапаў: Здабыванне тэксту з усіх дадзеных дакументаў. Фільтрацыя непажаданых дакументаў у адпаведнасці з дадзенымі крытэрыямі (цалкам модульная). Вылічэнне вектара для любога дакумента (цалкам модульнае). Вылічэнне адлегласцей (цалкам модульнае). Іерархічная аглямератыўная кластэрызацыя. Канчатковы метад залежыць ад разгорнутага модуля. Візуалізацыя бінарнага дрэва, якое прадстаўляе адносіны паміж тэкстамі (дэндраграма).
ВЕКТАРЫ І ВЫЛІЧЭННЕ АДЛЕГЛАСЦІ
Вектар: спіс значэнняў, якія характарызуюць адрозненні паміж тэкстамі. Прыклад 4-элементнага вектара:
1. частота сустрэчы слоў
2. сярэдняя колькасць слоў у сказе
3. сярэдняя даўжыня слоў
4. суадносіны тыпаў і токенаў
Гэта патрабуе 4 простыя плагіны, кожны з якіх вылічае адзін з вектараў. Кожны вектар можа мець розную вагу пры вылічэнні адлегласці. Кластэрызацыя пачынаецца пасля вымярэння адлегласцей.