Vejledning til det danske Parole-korpus - Det Danske Sprog- og ...

Startkode Slutkode Beskrivelse
omgiver en større, ikke nærmere beskrevet tekstenhed
omgiver en billedtekst*
omgiver en tekstenhed der optræder uden for den løbende tekst*
omgiver et afsnit ('paragraph')
omgiver en sætning 15
omgiver en note om teksten der er indsat af forfatteren/forfatterne til
teksten*
omgiver en note om teksten der er indsat af en DDO redaktør under
sammensætningen af DDO's tekstkorpus* (sjælden)
omgiver fremhævet tekst ('highlighted') uden nærmere angivelse af
hvordan teksten er fremhævet*
De SGML-koder, der er markeret med en stjerne (*) i Figur 9 ovenfor, er automatisk
konverteret fra allerede eksisterende SGML-koder i DDO's tekstkorpus og optræder således
kun i de korpustekster, der svarer til de første 100.000 tekstord i PAROLE-korpusset. De andre
SGML-koder kan forefindes i alle korpusteksterne.
4. Ordinddeling
En ordform er et løbende tekstord (eller evt. et symbol eller interpunktionstegn) i den skriftlige
udformning, hvormed det optræder i korpusteksten. Det er også denne form, der slås op i
DAN-TWOLs morfologiske leksikon, hvor den tildeles en eller flere lemmaformer og
morfosyntaktiske analyser. For at opslag i DAN-TWOLs leksikon er mulige, skal DAN-
TWOL-tokeniseren først udskille alle SGML-koder samt identificere alle ordformer, symboler
og interpunktionstegn i teksten. Set fra DAN-TWOL-tokeniserens synspunkt svarer en ordform
stort set til en sammenhængende sekvens af bogstaver, tal eller visse andre tegn (som f.eks.
bindestreger), der er omgivet af blanktegn og interpunktionstegn (dog kan der i visse tilfælde
optræde blanktegn inde i en ordform). Eksemplet i Figur 10 nedenfor viser hvordan DAN-
TWOL-tokeniseren har behandlet første afsnit af den første korpustekst i PAROLE-korpusset.
Figur 10: Resultat af DAN-TWOL-tokeniserens ordinddeling
To kendte russiske historikere Andronik Mirganjan
og Igor Klamkin tror ikke, at Rusland kan udvikles
uden en "jernnæve". De hævder, at Ruslands vej til
demokrati går gennem diktatur. I en af deres artikler
hedder det: "I et autoritært regime lagdel samfundet
og forskellige interesser modnes. Og når deres
repræsentanter er parate til at gå i struben på hinanden,
så stopper en jernnæve" det. På den måde skabes hele
tiden betingelserne for en harmonisering af interesser og
følgelig for demokratiske reformer".
To kendte russiske historikere Andronik Mirganjan
og Igor Klamkin tror ikke , at Rusland kan udvikles
uden en " jernnæve " . De hævder , at Ruslands vej til
demokrati går gennem diktatur . I en af deres artikler
hedder det : " I et autoritært regime lagdel samfundet
og forskellige interesser modnes . Og når deres
repræsentanter er parate til at gå i struben på hinanden ,
så stopper en jernnæve " det . På den måde skabes hele
tiden betingelserne for en harmonisering af interesser og
følgelig for demokratiske reformer " .
Som det fremgår af eksemplet ovenfor, er de ordformer, der er identificeret af DAN-TWOLtokeniseren
og vil blive slået op i DAN-TWOL-leksikonet, normalt alenestående ordformer,
der er omgivet af blanktegn og interpunktionstegn. Ordformer er således normalt ikke
flerordsforbindelser, der indeholder blanktegn. Det har således i høj grad været DAN-TWOLtokeniserens
afgørelse, hvordan ordformerne i disse tekster er blevet identificeret, evt. samlet
og så slået op i DAN-TWOL-leksikonet.
Af ovenstående eksempel i Figur 10 fremgår det, at f.eks. flerleddede navne (som Andronik
Mirganin og Igor Klamkin) ikke samles af DAN-TWOL-tokeniseren som flerordsforbindelser,
men analyseres som selvstændige ordformer. Dette gælder også for andre kendte typer af
15 Sætningerne er segmenteret automatisk efter en enkel algoritme, hvilket medfører, at der kan optræde enkelte
fejlsegmenteringer (især i forbindelse med anførselstegn).
13