Počítačové zpracování přirozeného jazyka

Ve všech případech je nutná kontrola, opravy chyb, ev. konverze mezi použitými
a typicky odlišnými kódy. Výsledek se zpravidla ukládá do mezinárodního
ASCII formátu – ovšem v případě češtiny je třeba mít k dispozici vhodné
konverzní programy, protože čeština je kódována řadou způsobů: (v kódech
MJK, PCL2, IL2 a 1250 ve Windows). Vhodným řešením je v poslední době
přechod k Unicode (nejčastěji UTF-8).
V neposlední řadě se při tvorbě korpusů tvůrci musí vyrovnávat i s právními
aspekty objevujícími se při získávání dat. Týká se to copyrightu a autorských
práv a jejich uvolnění ze strany autora či vydavatele. Jednodušší bývá
situace v případě nekomerčního využití, jinak je potřeba uzavírat vhodné
typy smluv přesně stanovujících podmínky šíření korpusových dat a produktů,
které na jejich základě vznikly. U mluvených záznamů je zpravidla
potřeba zajistit zachování anonymity mluvčích.
3.2 Typy korpusů a standardizace
Textové soubory volně uložené v počítači ještě netvoří korpus. Obvykle se
setkáváme s následujícími typy uložení jazykových dat:
• elektronické archivy – volné kolekce celkově různorodých textů. Klasickým
příkladem je Oxford Text Archive – OTA, který představuje rozsáhlou
sbírku různých, většinou literárních textů, v různých formátech
a různých jazycích: v OTA najdeme asi tisícovku literárních textů v 25
jazycích a různých formátech,
• vlastní korpusy tvořící relativně úplné celky, i tak ovšem značně různorodé
a lišící se v řadě parametrů,
• podle jazyků – dnes už jen málo jazyků v Evropě nemá svůj korpus,
v r. 1990 existovaly korpusy pro:
– angličtinu: . . . . . . . . . . . . . . 220 000 000 slovních tvarů (a 20 korpusů)
– francouzštinu: . . . . . . . . . . . . . . . . . . . . . . . . . . 190 000 000 slovních tvarů
– němčinu: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 500 000 slovních tvarů
– holandštinu: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 000 000 slovních tvarů
– italštinu: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 000 000 slovních tvarů
– srbochorvatštinu: . . . . . . . . . . . . . . . . . . . . . . . . 12 000 000 slovních tvarů
– korpusy dvoujazyčné, paralelní: anglicko-francouzské, -italské, -dánské
– korpusy obecné a specifické, velké obecné korpusy obsahují subkorpusy
jazyka psaného, mluveného, nářečí, synchronní – diachronní aj.
23