Euskarazko errore sintaktikoak detektatzeko eta zuzentzeko ...

II.5 Ebaluazioa 45
Erakutsitako neurriek esaldi edo egitura okerrak detektatzeko gaitasuna
neurtzen dutela esan dugu. Era berean neur zitekeen esaldi edo egitura zuzenak
detektatzeko gaitasuna baina, gure ustez, lehen neurria ulerterrazagoa
da esku artean dugun ataza kontuan hartuta.
Riley et al. (2004) egile taldearen ustez, erabiltzaileari sistema batek
ehuneko hainbateko doitasuna eta ehuneko bestelako estaldura duela esatea
ez omen da oso esanguratsua, eta ez omen du sistemaren erabilgarritasunaren
aztarnarik ematen. Haiek, errore motako doitasuna eta estaldura emateaz
gain, orrialdeko alarma faltsu kopurua (“false flags per page”(ffpp))
neurria ematea proposatzen dute. Balio hori kalkulatzea erraza den arren,
ez ematea erabaki dugu. Beste sistemekin konparaketak egin ahal izateko,
ohikoagoak diren neurriak erabiltzea erabaki dugu.
Azkenik, gogora dezagun estalduran eta doitasunean eragin zuzena dutela
aukeratutako corpusek (corpusen deskribapena II.3.1 atalean egin da).
Ondorengo atalean, besteak beste, ebaluaziorako corpus horietan erabaki
dugun banaketa azalduko dugu.
II.5.3 Exekuzioa
Aipatutako corpusetako bakoitza (erroreduna zein errorerik gabea) bi zatitan
banatu dugu. Adibide bilduma bakoitzaren % 60 erregelen garapenerako
eta birfinketarako erabili dugu, eta gainontzeko % 40 probarako.
Garapenerako corpusa behin eta berriro aztertu dugu azterketa ziklo
bakoitzean bi urrats eginez: a) erregelak corpusean aplikatu ditugu, eta b)
emaitzak aztertu ditugu detektatu ez diren erroreen eta alarma faltsuen
bila. Topatutako hutsuneak aztertu ondoren, erregelak birfindu egin ditugu
hobetze aldera eta zikloarekin jarraitu dugu, emaitzak ahalik eta hoberenak
zirela uste izan dugun arte. Lan hau gramatiken garatzaileak egin du.
Probarako corpusean erregelak behin soilik pasa ditugu, ez dugu inolako
erregela birfinketarik egin, eta lan hau, noski, garatzailea ez den pertsona
batek egin du.
Helburu desberdinekin aztertu ditugu corpus erroreduna eta zuzena.
Lehenengoan, errore-erregelen detekzio-maila neurtzea izan dugu helburu,
eta bigarrenean, berriz, errore-erregelek sor ditzaketen alarma faltsuak neurtzea.
Helburu zehatzak horiek izan diren arren, erroreak eta alarma faltsuak
bi corpusetan aztertu ditugu (zuzenean ere erroreak topatu ditugu). Honako
neurriak kalkulatu ditugu 10 :
10 Oharra: corpus zuzenak oso handiak direnez, ez dugu bertan dagoen errore kopurua
zehaztu, ezta detektatu gabeko erroreen kopurua ere.