PetaMem Scripting Environment (PMSE)
Sett ta' softwer għall-ipproċessar avanzat ta' korpusi
SPEĊIFIKAZZJONI TEKNIKA
Sett ta' softwer ġeneriku u middleware għal SNLP. Filosofija UNIX: kitt ta' bini ta' unitajiet żgħar li jistgħu jiġu kkombinati biex jiffurmaw toolchain ġdid. Agnostiku għal-lingwa. Miktub f' Perl, testsuite awtomatiku b'kopertura għolja tal-kodiċi, konxju tal-UTF-8. Ibbażat fuq CLI, ipproċessar effiċjenti u parallel. Dokumentazzjoni bir-reqqa. Modalità interattiva disponibbli.
Kategorizzazzjoni tat-Test
Każ ta' Studju
Twettqet kategorizzazzjoni ta' 250 test parallel (mill-Aġenzija Ewropea għall-Mediċini - EMA) f'20 lingwa Ewropea. Il-grafiċi (siġar) li jirriżultaw juru similaritajiet fl- istruttura tagħhom.
INFORMAZZJONI ĠENERALI
Il-kompitu ġenerali għall-applikazzjoni ta' Kategorizzazzjoni tat-Test huwa li tikkategorizza diversi dokumenti f'kwalunkwe lingwa. Ġie meħud ħsieb kbir tal-karatteristiċi li ġejjin: Modularità għolja. Prestazzjoni għolja. Appoġġ għall-ipproċessar parallel. Il- modularità tal-kodiċi tas-sors tippermetti lill-utent jibdel il- mġiba tal-passi proċedurali kollha. L-applikazzjoni kollha hi estensibbli permezz ta' plugins sempliċi. Oqsma ta' applikazzjoni possibbli: identifikazzjoni tal-lingwa, issortjar ta' korpusi, lingwistika forensika u oħrajn.
DESKRIZZJONI TEKNIKA
Il-proċess ta' kategorizzazzjoni jikkonsisti f'diversi passi: Estrazzjoni tat-test mid-dokumenti kollha mogħtija. Filtrazzjoni ta' dokumenti mhux mixtieqa skont kriterji mogħtija (kompletament modulari). Kalkolu ta' vettur għal kwalunkwe dokument (kompletament modulari). Kalkolu tad-distanzi (kompletament modulari). Clustering aglomerattiv ġerarkiku. Il-metodu finali jiddependi fuq il-modulu użat. Viżwalizzazzjoni ta' siġra binarja li tirrappreżenta r-relazzjonijiet bejn it- testi (dendrogram).
VETTURI U KALKOLU TAD-DISTANZA
Vettur: lista ta' valuri li jikkaratterizzaw
id-differenzi bejn it-testi. Eżempju ta' vettur ta' 4 elementi:
1. frekwenzi ta' okkorrenza ta' kliem
2. medja ta' għadd ta' kliem fis-sentenza
3. medja tat-tul tal-kliem
4. proporzjon tip - token
Dan se jeħtieġ 4 plugins sempliċi, kull wieħed jikkalkula wieħed mill-
vetturi. Kull vettur jista' jkollu piż differenti fil-
kalkolu tad-distanza. Il-clustering jibda wara
kejl tad-distanzi.