Norsk i den digitale tidsalderen - Meta-Net

More documents

Recommendations

Info

Tekstinput Preprosessering Grammatisk analyse Semantisk analyse For å avdekke slike feil trengs en analyse av konteksten, for eksempel for å avgjøre om et norsk ord skal staves med enkel eller dobbel konsonant i norsk, som i vil vs. vill. Denne typen analyse må enten baseres på språkspe- sifikke grammatikker som eksperter møysommelig har kodet i programvaren, eller på en statistisk språkmodell. I en statistisk modell beregnes da sannsynligheten for at et bestemt ord forekommer i en bestemt posisjon i teksten. For eksempel er jeg vil ha en mye mer sannsyn- lig ordsekvens enn jeg vill ha. En statistisk språkmodell kan genereres automatisk ved hjelp av en stor mengde av (riktige) språkdata, et tekstkorpus. Disse to tilnærmingene har i hovedsak blitt utviklet med utgangspunkt i materiale fra engelsk. Imidlertid kan ingen av dem enkelt overføres til norsk, siden norsk har an- nerledes ordstilling, sammensatte ord og et mer omfat- tende bøyningsmønster for visse ordklasser enn engelsk. Studier med utgangspunkt i norsk er derfor nødvendig. Siden norsk har to offisielle målformer, hvorav den ene er mindre brukt, er behovet for gode korrekturverktøy for hver av målformene betydelig. Korrekturlesningsverktøy er ikke begrenset til tekstbe- handlingsprogrammer, det er også brukt i “skrivestøtte- systemer”, dvs. programvaresystemer som brukes for å skrive manualer og andre typer teknisk dokumentasjon som må oppfylle spesielle standarder for eksempel innen IT- og helsesektoren og innen ingeniørvirksomhet. I frykt for kundeklager og skadekrav som følge av ukla- 2: En typisk applikasjonsarkitektur for tekstprosessering Output Oppgavespesifikke modular re instruksjoner, fokuserer næringslivet i økende grad på teknisk dokumentasjonskvalitet, samtidig som de retter seg mot et internasjonalt marked (via oversettelses- eller lokaliseringstjenester). Fremskritt innen prosessering av naturlig språk har ført til utvikling av programvare for skrivestøtte. Slik programvare hjelper forfattere av teknisk dokumentasjon til å bruke ordforråd og setnings- strukturer som er i samsvar med industriregler og (be- drisinterne) terminologiske restriksjoner. Korrekturlesningsverktøy brukes ikke bare til tekstbehandling, det brukes også i skrivestøttesystemer. Gode korrekturlesningsverktøy kan være et viktig red- skap for personer med skrivevansker, det være seg dyslektikere eller andrespråkselever, siden en kontekstsensi- tiv analyse gjør det mulig å foreslå færre og mer relevante stavemåter; det motsatte, mange valg, krever nettopp et høyt nivå av leseferdighet og språklig bevissthet. Enkelte norske selskaper og språktjenesteleverandører utvikler produkter på dette området. I forskningssek- toren utvikles grunnleggende språkteknologiske ressurser som kan være av nytte for grammatikk- og stavekontroll (leksikon, ordlister, tekstkorpus, analyseverktøy for sammensatte ord); disse er i hovedsak utviklet ved Uni- versitetet i Oslo, Universitetet i Bergen og Uni Research i Bergen. 18
Statistisk språkmodell Tekstinput Stavekontroll Grammatikkontroll Korreksjonsforslag Det mest brukte korrekturverktøyet for norsk finnes i Microso Office-pakken, og er laget av det finske fir- maet Lingso, mens deler av grammatikkontrollen for bokmål ble utviklet av forskere ved Universitetet i Oslo. Stavekontroll for bokmål og nynorsk med åpen kilde- teknologi, som Hunspell, er også tilgjengelig. En annen norsk kommersiell aktør er Tansa, som spesia- liserer seg på korrekturverktøy tilpasset større bedriers spesifikke behov og ordforråd. De dekker flere språk i tillegg til norsk bokmål og nynorsk (for eksempel engelsk, tysk, spansk og fransk), og kundene spenner fra NRK til Financial Times. Nynodata AS tilbyr et oversettelses- verktøy fra bokmål til nynorsk som samtidig hjelper bru- keren å følge en konsekvent formbruk. Tre selskaper retter seg spesifikt mot skrilige hjelpe- midler for dyslektikere. To av dem, Lingit og Inclu- de, inneholder en stavekontrollmodul i tillegg til andre lese- og skriveverktøy (ordprediksjon, tekst-til-tale- komponenter), mens MikroVerkstedet tilbyr fullføring av ord og ordprediksjon. Ved første øyekast fremstår dermed situasjonen for kor- rekturverktøy på norsk som god. Men samtidig er flere av initiativene nokså sårbare. For eksempel er norsk korrekturlesning basert på åpen kildekode (aspell, Hun- spell) drevet av tre enkeltpersoner som gjør dette på fri- tiden. Med andre ord er en av de viktigste norske kon- kurrentene til Microsos programvare avhengig av et personlig initiativ fra en håndfull idealistiske enkeltpersoner, snarere enn en systematisk innsats for å utvikle moduler med åpen kildekode. Videre er det en viktig 3: Korrekturlesning (over: statistisk; under: regelbasert) utfordring for de fleste norske korrekturlesningsverk- tøyene å forbedre eksisterende ressurser ved å utvikle mer avanserte språkteknologiske verktøy. Det mangler også språkspesifikke verktøy for automatisk oversettel- se og oversettelsesstøtte. Verktøy med oversettelsesmin- ne som Trados finnes, men de har ingen språkspesifikk tilpasning til norsk utover en grunnleggende stavekontroll. Utover korrekturlesning og skrivestøtte er korrektur- verktøy også viktig innenfor data-assistert språklæring. Korrekturverktøy kan også automatisk korrigere nett- søk, som i Googles Mente du… – forslag til korrekte nett- søk. 4.2.2 Nettsøk Digitale søk er sannsynligvis den mest brukte språktek- nologiske applikasjonen, men den er samtidig i stor grad underutviklet. Søkemotoren Google, som ble opprettet i 1998, utfører nå omtrent 80% av alle nettsøk [24]. Googles søkegrensesnitt og resultatvisning har ikke end- ret seg vesentlig siden den første versjonen. Men i den nåværende versjonen tilbyr Google stavekorrigering for feilstavede ord, og har innarbeidet grunnleggende se- mantiske søkemuligheter som kan forbedre nøyaktighe- ten gjennom analyser av ordets betydning i en gitt søke- kontekst [25]. Googles suksess viser at med store meng- der tilgjengelige data kan statistiske metoder gi relativt gode resultater. For mer sofistikerte informasjonssøk er det imidlertid avgjørende å integrere dypere lingvistiske analyser 19
Page 1: White Paper Series THE NORWEGIAN LA
Page 5 and 6: FORORD PREFACE Dette dokumentet er
Page 7 and 8: INNHOLD CONTENTS NORSK I DEN DIGITA
Page 9 and 10: SAMMENDRAG Informasjonsteknologi p
Page 11 and 12: er etter hvert mestrer menneskelig
Page 13 and 14: ke for innbyggerne i et flerspråkl
Page 15 and 16: teknologier som kan overvåke innle
Page 17 and 18: 3 NORSK I DET EUROPEISKE INFORMASJO
Page 19 and 20: grammer er vanligvis ikke dubbet ti
Page 21 and 22: har fått mindre opplæring og vær
Page 23 and 24: Når det gjelder parallell eller ov
Page 25: Multimedia og multimodale teknologi
Page 29 and 30: tekst (eller fonetiske representasj
Page 31 and 32: ligvis også påvirke bruken av tal
Page 33 and 34: ponent som genererer oversatt tekst
Page 35 and 36: kan ekstraheres fra et dokument med
Page 37 and 38: ke ressurser og verktøy til intern
Page 39 and 40: 1. Fremragende støtte 2. God støt
Page 41 and 42: Fremragende God Middels god Fragmen
Page 43: OM META-NET META-NET er et forsknin
Page 46 and 47: technology will feature soware that
Page 48 and 49: LANGUAGES AT RISK: A CHALLENGE FOR
Page 50 and 51: tion. According to one estimate, th
Page 52 and 53: Humans acquire language skills in t
Page 54 and 55: Norwegian’s wide variety of diale
Page 56 and 57: way has more wide-ranging responsib
Page 58 and 59: ates take place on the Internet Dig
Page 60 and 61: LANGUAGE TECHNOLOGY SUPPORT FOR NOR
Page 62 and 63: Input Text Output Pre-processing Gr
Page 64 and 65: Web Pages Pre-processing Semantic P
Page 66 and 67: Speech Output Speech Synthesis Spee
Page 68 and 69: Statistical Machine Translation Sou
Page 70 and 71: languages that benefit from a consi
Page 72 and 73: knowledge and expertise in academia
Page 74 and 75: uantity Availability uality Languag
Page 76 and 77:
them openly available to the resear
Page 78 and 79:
Excellent Good Moderate Fragmentary
Page 81 and 82:
A LITTERATURLISTE REFERENCES [1] Al
Page 83:
[23] Jerrold H. Zar. Candidate for
Page 86 and 87:
Malta Malta Department Intelligent
Page 88 and 89:
Omtrent 100 eksperter innen språkt
Page 90:
In everyday communication, Europe
show all

Norsk i den digitale tidsalderen - Meta-Net

Create successful ePaper yourself

Delete template?

Save as template?