The Corpus Thread - Det Danske Sprog- og Litteraturselskab

More documents

Recommendations

Info

10.2. Funktionaliteter 170 10.2.6 Konkordanssøgning i prædefinerede korpora Beskrivelse Færdige, afsluttede korpora, som er opbygget i forskellige DK-CLARINarbejdspakker eller som stilles til rådighed af andre projekter/institutioner, kan indekseres og gøres søgbare en gang for alle. Der skal kunne foretages konkordanssøgninger i dem via portalsitet. Implementering Hvis portalsitet etablerer et eget, egnet konkordansinterface, kan dette bruges som fælles interface for alle konkordanssøgbare korpora under DK-CLARIN. Korpusserveren og de binære indeksfiler kan enten ligge på portalsitet eller lokalt hos en partner. Alternativt kan et konkordansinterface ligge hos en partner og der må så henvises dertil fra portalsitet. Prioritering Denne funktionalitet henvender sig primært til sprogforskere. Den bør få høj prioritet, hvad enten den implementeres centralt på portalsitet eller lokalt hos en udbyder, fx DSL, der i forvejen hoster en sådan funktionalitet for KorpusDK og sproget.dk. 10.2.7 Annotering af et korpus Beskrivelse Både brugerdefinerede og prædefinerede korpora skal helt eller delvis kunne annoteres af brugerne på tokenniveau med annotationssystemer opstillet af brugeren og ved hjælp af annotationsværktøjer stillet til rådighed på portalsitet eller brugerens egne værktøjer. Hvis brugeren ikke ønsker at opmærke et helt korpus, skal der være en mulighed for at specificere, hvilke dele af korpusset der ikke er opmærket, dvs. der skal skabes en mulighed for nul-annotering. Implementering Brugerannotering, som skal harmonere med allerede eksisterende annoteringer, forudsætter, at tekstenhederne i et korpus én gang for alle er blevet inddelt i tokens, der hvert især har et unikt id, som forbliver konstant over tid. Da en tekstenheds annotationer – også på tokenniveau – opbevares/registreres i tilknytning til tekstsamlingen (men ikke nødvendigvis på samme maskine som samlingen), bør tekstenheder tokenopdeles allerede i
10.2. Funktionaliteter 171 forbindelse med indlemmelsen af dem i en samling. 8 Det er hensigtsmæssigt, at DK-CLARIN definerer, hvordan tekst tokenopdeles. 9 Da hvert token via tekst-id’et og tokenindekset i så fald vil kunne udpeges entydigt på tværs af DK-CLARIN, kan en ny, brugerspecifik annotering på tokenniveau nemt linkes til de eksisterende tokens i en tekstsamling uden selv nødvendigvis at skulle indlemmes heri. Hvis der skulle blive brug for at adressere på subtokenniveau, kan der overvejes karaktervis adressering inden for hvert token som supplement til den allerede beskrevne tokenadressering. Der kan skelnes mellem to typer for annotation: manuel eller automatisk. Til den manuelle annotation kræves et annoteringsinterface på portalsitet, hvori brugeren kan fastlægge sine annotationer, og som han kan anvende til at gå tekstmaterialet igennem med og for de enkelte tokens i det sætte de annotationer, han ønsker. Annotationen kan gemmes på portalsitet. Et sådant annoteringsinterface kan evt. bygges oven på en konkordansgrænseflade. Den manuelle annotering kan i princippet også udføres på brugerens lokale maskine. Dette kræver dog, at han har ret til (temporært) at downloade korpusset tekstord for tekstord, tekstenhed for tekstenhed. Han kan så udføre annoteringerne i sit eget annoteringsværktøj og uploade dem i et fastlagt format. Hvis det er muligt at finde en måde at tilgå tekstmaterialet, uden at det skal gemmes lokalt, ville denne løsning måske være interessant. Ellers må man forudse alvorlige ophavsretlige problemer. Den maskinelle annotering vil typisk foregå efter algoritmer, som brugeren selv fastlægger, hvorfor den medfører de samme problemstillinger som manuel annotering på brugerens lokale maskine. Hvis man kan sikre, at tekstmaterialet forbliver på udbyderens site, hvis ikke det må downloades, kan der muligvis defineres et webservice-agtigt interface, hvorigennem annoteringen kan udføres. Prioritering Funktionaliteterne 7–9 kan betragtes som en helhed. Målgruppen for disse funktionaliteter er især sprogteknologer. At implementere værktøjer til annotering, herunder administration af annoteringer, er en ikke-triviel opgave, og det er tvivlsomt, om den kan udføres som led i det løbende DK-CLARIN-projekt. Opgaven bliver ikke lettere af, at annotering kan ske enten manuelt eller maskinelt. WP 5 magter ikke selv at udvikle værktøjer til maskinel, ofte lingvistisk, annotering, men bør i stedet koncentrere anstrengelserne om at offent- 8 En samling tekster, hvor teksterne ligger i en fastlagt struktur bestående af metadata og header, betegnes også tekstbank. jf. ?. 9 Jf. under token i ?.
Page 1 and 2:
The Corpus Thread “Reference corp
Page 3 and 4:
Chapter 1 Aim and concepts Sketchin
Page 5 and 6:
1.1. Aim of the project 5 Metadata
Page 7 and 8:
1.2. Project tasks and documentatio
Page 9 and 10:
Page 11 and 12:
Page 13 and 14:
1.3. Text collection, text bank, co
Page 15 and 16:
Chapter 2 The text bank A platform
Page 17 and 18:
2.2. Implementation 17 and metadata
Page 19 and 20:
Chapter 3 Text metadata What the he
Page 21 and 22:
3.1. Concepts 21 Section 3.3 starts
Page 23 and 24:
3.2. Header structure 23 (file des
Page 25 and 26:
3.2. Header structure 25 great verb
Page 27 and 28:
3.2. Header structure 27 The follow
Page 29 and 30:
3.2. Header structure 29 deprecated
Page 31 and 32:
3.2. Header structure 31 the text i
Page 33 and 34:
3.2. Header structure 33 Another el
Page 35 and 36:
3.2. Header structure 35 appDesc
Page 37 and 38:
3.2. Header structure 37 informal p
Page 39 and 40:
3.2. Header structure 39 3.2.3.4 Te
Page 41 and 42:
3.3. Filling in the header 41 revi
Page 43 and 44:
3.3. Filling in the header 43 samp
Page 45 and 46:
3.3. Filling in the header 45 and 9
Page 47 and 48:
3.3. Filling in the header 47 descr
Page 49 and 50:
3.3. Filling in the header 49 ⊲ a
Page 51 and 52:
3.3. Filling in the header 51 Legal
Page 53 and 54:
3.3. Filling in the header 53 ⊲ a
Page 55 and 56:
Page 57 and 58:
Page 59 and 60:
Page 61 and 62:
3.3. Filling in the header 61 Value
Page 63 and 64:
Page 65 and 66:
3.3. Filling in the header 65 ⊲ p
Page 67 and 68:
3.3. Filling in the header 67 Prope
Page 69 and 70:
Page 71 and 72:
Page 73 and 74:
Page 75 and 76:
Page 77 and 78:
Page 79 and 80:
Page 81 and 82:
Page 83 and 84:
3.3. Filling in the header 83 3.3.3
Page 85 and 86:
4.1. Basic considerations 85 Outlin
Page 87 and 88:
4.2. Formatting text 87 russiske hi
Page 89 and 90:
4.2. Formatting text 89 Mirganjan
Page 91 and 92:
4.2. Formatting text 91 udvikle ude
Page 93 and 94:
4.2. Formatting text 93 4.2.3.4 Add
Page 95 and 96:
4.2. Formatting text 95 i dag . T
Page 97 and 98:
Part III Collecting 97
Page 99 and 100:
5.1. Implementation 99 5.5.2 Implem
Page 101 and 102:
5.1. Implementation 101 [request c
Page 103 and 104:
5.2. Header constructor:make-header
Page 105 and 106:
Page 107 and 108:
Page 109 and 110:
Page 111 and 112:
Page 113 and 114:
Page 115 and 116:
5.3. Pre-tokenizer:pretokenize 115
Page 117 and 118:
5.3. Pre-tokenizer:pretokenize 117
Page 119 and 120: 5.4. Text id registry:register-text
Page 121 and 122: 5.4. Text id registry:register-text
Page 123 and 124: 5.5. id dispatcher:make-id 123 0 11
Page 125 and 126: Part IV Markup 125
Page 127 and 128: 6.1. Requirements 127 Outline of th
Page 129 and 130: 6.2. Survey 129 1. IMS’s TreeTagg
Page 131 and 132: 6.2. Survey 131 Code: Java. Assessm
Page 133 and 134: 6.2. Survey 133 9. alias-i’s Ling
Page 135 and 136: 6.3. Case study 135 lemmatization c
Page 137 and 138: 6.4. Further reading 137 disambigua
Page 139 and 140: 7.1. Modifications of the PAROLE Co
Page 141 and 142: 7.2. The ePOS tag set for Danish 14
Page 153 and 154: Chapter 8 The full-form lexicon Sam
Page 155 and 156: 8.1. Enhancing existing material 15
Page 157 and 158: 8.1. Enhancing existing material 15
Page 159 and 160: Part V Deployment 159
Page 161 and 162: 9.2. Text material 161 Type Source
Page 163 and 164: 10.2. Funktionaliteter 163 2. The u
Page 165 and 166: 10.2. Funktionaliteter 165 fortolke
Page 167 and 168: 10.2. Funktionaliteter 167 teknolog
Page 169: 10.2. Funktionaliteter 169 Implemen
Page 173 and 174: 10.2. Funktionaliteter 173 10.2.9 K
Page 175 and 176: Bibliography Andersen, M. S., Asmus
show all

The Corpus Thread - Det Danske Sprog- og Litteraturselskab

Create successful ePaper yourself

Delete template?

Save as template?