Evaluering af SMT (statistisk maskinoversættelse) brugt på patenttekster. Erfaringer med systemudviklingen SDMT-SMV-projektet Lene Offersgaard, Bente Maegaard.

Præsentationer af emnet: "Evaluering af SMT (statistisk maskinoversættelse) brugt på patenttekster. Erfaringer med systemudviklingen SDMT-SMV-projektet Lene Offersgaard, Bente Maegaard."— Præsentationens transcript:

1 Evaluering af SMT (statistisk maskinoversættelse) brugt på patenttekster. Erfaringer med systemudviklingen SDMT-SMV-projektet Lene Offersgaard, Bente Maegaard Center for Sprogteknologi, Københavns Universitet loff@cst.dk, bente@cst.dk

2 SDMT-SMV, januar 2007 2 Evaluering af maskinoversættelse (MT) – nogle vigtige forudsætninger Man kan ikke evaluere MT (eller noget andet) uden at definere den ramme det skal bruges i. Rammen defineres af faktorer som disse: Hvor skal MT bruges? (organisatorisk) fx i en virksomhed - af direktøren, af informationsafdelingen, af oversættelsesafdelingen - eller til private formål, til forskning, … Formålet med den oversatte tekst fx oversætte referater hurtigt til internt brug, oversætte manualer til eksternt brug, oversætte salgsmateriale,… Teksttype, domæne Nogle teksttyper og domæner egner sig bedre end andre De ressourcer der er til stede Både sprogressourcer og mennesker Tidsfrister og andre krav fx om hvor hurtigt oversættelsen skal være klar

3 SDMT-SMV, januar 2007 3 To hovedsynspunkter på evaluering Det er ikke blot rammen der bestemmer kriterierne for hvad man er interesseret i ved evalueringen Udvikleren/lingvisten Brugeren Udvikleren/lingvisten taler om hvor mange leksikalske fejl, hvor mange grammatiske fejl, af hvilken type mv. Formål: forbedre systemet Brugeren er interesseret i, om det kan bruges, hvad det koster, hvad det koster at efterredigere, om det kan hjælpe til at levere varen til tiden mv. Formål: få forretningen til at løbe rundt

4 SDMT-SMV, januar 2007 4 Metoder til evaluering Formål: objektiv evaluering Brugerevaluering På en skala fra 1 til 4 Intelligibility (er teksten forståelig?) Fidelity (har den samme betydning?) Fluency (er den grammatisk?) Måle efterredigeringstiden Automatisk evaluering Automatisk evaluering er billigere og hurtigere Kan automatiske metoder anvendes? Vi har anvendt BLEU som anvendes meget i forskningsverdenen I BLEU måles afstanden mellem MT-outputtet og det efterredigerede resultat

5 SDMT-SMV, januar 2007 5 Teksttypen patenttekster Oversættelse fra engelsk til dansk Oversættelsen for patenter skal tjeklæses – juridisk gyldighed! Tre forskellige tekstdele Beskrivelse ” Forbindelserne er ifølge opfindelsen nyttige til behandling af tilstande eller lidelser eller sygdomme, der involverer det cholinerge system af det centrale eller periferære nervesystem, smerter, inflammatoriske sygdomme, sygdomme forårsaget af sammentrækning af glat muskulatur og som assistance ved ophør af kemiske stofmisbrug.” Eksempler ” Reaktanterne blev opnået ifølge fremgangsmåde C ud fra 3-brom-5- methoxypyridin og 1- tert-butoxycarbonyl-(1,5-diazacyclooctan).” Krav ”Homopiperazinderivat ifølge krav 1, hvori R 1 betegner 3-nitrophenyl, 3- aminophenyl, 3-methoxyphenyl eller 3-hydroxyphenyl.”

6 SDMT-SMV, januar 2007 6 Vi har koncentreret os om den statistiske oversætterkerne Træning af denne kræver parallelle tekster indenfor det ønskede domæne Forbehandling og efterbehandling kan automatiseres meget mere Layout: hævet/sænket skrift, figurer mm. Formler: ”NO2” ”(PEG-IL-2)” “- CH2CH2N(R15)CH2CH2-“ “ET-743” Referencer: ”U.S. Patent 4,837,204” ”WO 93/23361” ”EP 402646” “Application No. 60/138” ”21A-21C” Workflow for at oversætte patentteksterne Forbehandling Engelsk Patent- dokument Statistisk oversætter Efterbehandling Statistiske ressourcer: ”phrasetable” ”sprogmodel” Dansk Patent- dokument Tekst- revision

7 SDMT-SMV, januar 2007 7 Resultater fra tre typer af evaluering Oversættere har vurderet oversættelseskvaliteten sætning for sætning og givet karakter til hver sætning Automatisk evaluering af forskel mellem MT-outputtet og det efterredigerede resultat Efterredigeringstiden: hvor dyrt er det at gøre teksten færdig?

8 SDMT-SMV, januar 2007 8 Oversætternes evaluering Kriterier: Intelligibility: er teksten forståelig? Fidelity: har den samme betydning? Fluency: er den grammatisk? Skalaen er 1-4 Flere oversættere i hvert firma har deltaget i evalueringen Det går bedst for eksempler og kravene TeksttypeAntal sætn.IntelligibilityFidelityFluency Beskrivelse4643,003,193,55 Eksempler5403,433,453,46 Krav1243,263,393,45 Gennemsnit3,233,343,49

9 SDMT-SMV, januar 2007 9 BLEU: A method for automatic evaluation of Machine Translation, Papineni et al., 2001 Metoden bygger på at man måler overensstemmelsen mellem det MT- oversatte og referenceoversættelser vurderet på ordniveau. Her måles for hvor stor forskel der er mellem MT-outputtet og det efterredigerede resultat, skalaen er 0-1 Kan bruges til at se hvor der er størst behov for at ændre ord. Giver ikke noget billede af hvilke ændringer der skal udføres. Kan bruges af udvikleren til at udpege problemsætninger Automatisk evaluering vha. BLEU BLEU(MT – efterred.)Lingtech-tekstP&V-tekst Beskrivelse0,65 Eksempler0,760,71 Krav0,610,79

10 SDMT-SMV, januar 2007 10 Hvor lang tid skal man bruge på at rette teksten? Hurtigst at efterredigere eksempler og krav Tallene her dækker ikke blot fejlrettelser men også korrektion af formatet Sprogrevisoren kan opøve sit blik for fejltyperne Efterredigeringstid TeksttypeAntal sætn.Efterred.tid/sætning (min) Beskrivelse2461,6 Eksempler4200,6 Krav621,2 Gennemsnit1,0

11 SDMT-SMV, januar 2007 11 Eksempler på oversættelser og demo http://www.cst.dk/SDMT/SMV/php/smtdemo.phphttp://www.cst.dk/SDMT/SMV/php/smtdemo.php SMV Engelsk: Heteroaryl diazacycloalkanes, their preparation and use The present invention relates to novel heteroaryl diazacycloalkane derivatives which are cholinergic ligands at nicotinic ACh receptors. Automatisk oversættelse: Heteroaryl diazacycloalkanes, deres fremstilling og anvendelse Den foreliggende opfindelse angår hidtil ukendte heteroaryl diazacycloalkane derivater, der er cholinerge ligander ved nikotine ACh receptorer. Efterredigeret tekst: Heteroaryldiazacycloalkanes, deres fremstilling og anvendelse Den foreliggende opfindelse angår hidtil ukendte heteroaryldiazacycloalkanderivater, som er cholinerge ligander ved nicotin-ACh-receptorer.

12 SDMT-SMV, januar 2007 12 Eksempler på oversættelser og demo Engelsk: The compounds of the invention are useful for the treatment of conditions or disorders or diseases involving the cholinergic system of the central or peripheral nervous system, pain, inflammatory diseases, diseases caused by smooth muscle contractions and as assistance in the cessation of chemical substance abuse. Automatisk oversættelse: Forbindelserne ifølge opfindelsen er nyttige til behandling af tilstande eller lidelser eller sygdomme, der involverer den cholinerge system af det centrale eller periferære nervesystem, smerte, inflammatoriske sygdomme, sygdomme forårsaget af glatte muskler sammentrækninger og som assistance i ophør af kemiske stofmisbrug. Efterredigeret tekst: Forbindelserne ifølge opfindelsen er nyttige til behandling af tilstande eller lidelser eller sygdomme, der involverer det cholinerge system af det centrale eller perifere nervesystem, smerter, inflammatoriske sygdomme, sygdomme forårsaget af sammentrækning af glat muskulatur og som assistance ved ophør af kemiske stofmisbrug.

13 SDMT-SMV, januar 2007 13 Eksempler på oversættelser og demo Engelsk: Indeed several CNS disorders can be attributed to a cholinergic deficiency, a dopaminergic deficiency, an adrenergic deficiency or a serotonergic deficiency. A reduction in the number of nicotinic ACh receptors is also observed with the progression of Alzheimer&jis disease. Automatisk oversættelse: Faktisk adskillige CNS-lidelser kan være tilskrives en cholinerge mangel, en dopaminerge mangel, en adrenerge mangel eller en serotonerge østrogenmangel. En reduktion i antallet af nikotine ACh receptorer er også observeret med fremadskridenen af Alzheimer&jis sygdom. Efterredigeret tekst: Faktisk kan adskillige CNS-lidelser tilskrives en cholinerge mangel, en dopaminerge mangel, en adrenerg mangel eller en serotonerg østrogenmangel. En reduktion i antallet af nicotin-ACh-receptorer er også observeret med fremadskridenen af Alzheimers sygdom.

14 SDMT-SMV, januar 2007 14 Eksempler på oversættelser og demo Engelsk: Alzheimer&jis disease is characterised by a profound loss of memory and cognitive functions caused by a severe depletion of cholinergic neurons, i.e. neurons that release acetylcholine. Automatisk oversættelse: Alzheimer&jis sygdom er kendetegnet ved en omfattende tab af hukommelse og kognitive funktioner, der er forårsaget af en alvorlig depletering af cholinerge neuroner, dvs. neuroner, at frigivelse acetylcholin. Efterredigeret tekst: Alzheimers sygdom er kendetegnet ved et omfattende tab af hukommelses- og kognitive funktioner, der er forårsaget af en alvorlig depletering af cholinerge neuroner, dvs. neuroner, der frigiver acetylcholin.

15 SDMT-SMV, januar 2007 15 Erfaringer fra udviklingen -1 SMV-projektet har givet en ny mulighed for direkte samarbejde mellem forskere og virksomheder: virkelige data oversætternes evaluering og efterredigering Vi kombinerede tekstmaterialet fra begge patentfirmaer for at opnå meget tekst giver uønsket variation i oversættelserne Fokus har været på kernen i oversættelsesprocessen Ønsker til kernen: Forbedring af output f.eks. færre kongruensfejl vha. brug af lingvistisk viden

16 SDMT-SMV, januar 2007 16 Erfaringer fra udviklingen -2 Integration i virksomhedens workflow kræver: Parallelle tekster af god kvalitet til opbygning af de statistiske ressourcer, helst flere mill. ord Hjælpeværktøj uden om kernen til: håndtering af ”Faste vendinger” markering af ord der ikke ønskes oversat Formler og henvisninger, især i patenttekster!! Forbehandling Engelsk Patent- dokument Statistisk oversætter Efterbehandling Statistiske ressourcer: ”phrasetable” ”sprogmodel” Dansk Patent- dokument Tekst- revision

17 SDMT-SMV, januar 2007 17 Opsummering - Patenttekster En statistisk oversættelseskerne er patentfirmaets eget aktiv bygget på firmaets egne tekstressourcer og afspejler dermed firmaets sprogpolitik er ikke omkostningstung i oprettelse kan oprettes for nye domæner og nye sprogkombinationer