TEHNIČKA SPECIFIKACIJA

Generički softverski paket i middleware za SNLP. UNIX filozofija: građevni komplet malih jedinica koje se mogu kombinirati u novi lanac alata. Jezično neovisan. Napisan u Perlu, automatizirani testni paket visoke pokrivenosti koda, podržava UTF-8. Temeljen na CLI-ju, učinkovita & paralelna obrada. Detaljna dokumentacija. Dostupan je interaktivni način rada.

OPĆE INFORMACIJE

Opći zadatak aplikacije za kategorizaciju teksta je kategorizirati različite dokumente na bilo kojem jeziku. Velika pažnja bila je posvećena sljedećim značajkama: Visoka modularnost. Visoka učinkovitost. Podrška za paralelnu obradu. Modularnost izvornog koda omogućava korisniku promjenu ponašanja svih proceduralnih koraka. Cijela aplikacija je proširiva jednostavnim dodacima. Područja mogućih primjena: identifikacija jezika, sortiranje korpusa, forenzička lingvistika i druga.

TEHNIČKI OPIS

Proces kategorizacije sastoji se od nekoliko koraka: Ekstrakcija teksta iz svih danih dokumenata. Filtriranje neželjenih dokumenata prema zadanim kriterijima (potpuno modularno). Izračun vektora za bilo koji dokument (potpuno modularno). Izračun udaljenosti (potpuno modularno). Hijerarhijsko aglomerativno grupiranje. Konačna metoda ovisi o implementiranom modulu. Vizualizacija binarnog stabla koje predstavlja odnose među tekstovima (dendrogram).

VEKTORI I IZRAČUN UDALJENOSTI

Vektor: lista vrijednosti koje karakteriziraju razlike među tekstovima. Primjer vektora sa 4 elementa:

1. frekvencije pojavljivanja riječi
2. prosječan broj riječi u rečenici
3. prosječna dužina riječi
4. omjer tip - token
Za ovo će biti potrebna 4 jednostavna dodatka, svaki izračunava jedan od vektora. Svaki vektor može imati različitu težinu u izračunu udaljenosti. Grupiranje počinje nakon mjerenja udaljenosti.