Dias 1 Lene Offersgaard, Bente Maegaard Center for Sprogteknologi, Københavns Universitet Udvikling og evaluering af SMT-SMV systemet Afsluttende workshop for SDMT-SMV2-projektet

Dias 2 Center for Sprogteknologi Evaluering af maskinoversættelse (MT) – nogle vigtige forudsætninger Man kan ikke evaluere MT (eller noget andet, fx en bil) uden at definere den ramme det skal bruges i. Rammen defineres af faktorer som disse: •Hvor skal MT bruges? (organisatorisk) •fx i en virksomhed - af direktøren, af informationsafdelingen, af oversættelsesafdelingen - eller •til private formål, til forskning, … •Formålet med den oversatte tekst •fx oversætte referater hurtigt til internt brug, oversætte manualer til eksternt brug, oversætte salgsmateriale,… •Teksttype, domæne •Nogle teksttyper og domæner egner sig bedre end andre •De ressourcer der er til stede •Både sprogressourcer og mennesker •Tidsfrister og andre krav •fx om hvor hurtigt oversættelsen skal være klar

Dias 3 Center for Sprogteknologi To forskellige synspunkter på evaluering Det er ikke blot rammen der bestemmer kriterierne for hvad man er interesseret i ved evalueringen •Udvikleren/lingvisten •Brugeren Udvikleren/lingvisten taler om hvor mange leksikalske fejl, hvor mange grammatiske fejl, af hvilken type mv. •Formål: forstå systemet, forbedre systemet, - forstå oversættelsens natur Brugeren er interesseret i, om det kan bruges, hvad det koster, hvad det koster at efterredigere, om det kan hjælpe til at levere varen til tiden mv. •Formål: få forretningen til at løbe rundt

Dias 4 At sætte et evalueringssystem op Bestemme rammen •Teksttype, domæne Bestemme evaluatorsynspunktet Etablere kriterier der •kan bedømmes objektivt (samme resultat hver gang) •faktisk måler det man er interesseret i

Dias 5 Center for Sprogteknologi Projektets kriterier og målemetode – brugerevaluering Formål: objektiv, relevant evaluering Oversættelseskvalitet •tre kriterier Usability (er det værd at efterredigere?) •På en skala fra 1 til 3 •1: For dårlig til at efterredigere, det vurderes at det er hurtigere at oversætte fra input end at efterredigere •2: Kan redigeres •3: OK Adequacy (har den samme betydning?) •På en skala fra 1 til 4 Fluency (er den grammatisk?) •På en skala fra 1 til 4 Måle efterredigeringstiden

Dias 6 Værktøj til indtastning og opsummering (udlånt fra Philipp Koehn, Edinburgh Univ.)

Dias 7 Center for Sprogteknologi Metoder til evaluering – automatisk evaluering Formål: objektiv evaluering Automatisk evaluering er billigere og hurtigere •Kan automatiske metoder anvendes? – Hvad kan man måle? •Vi har anvendt BLEU som anvendes meget i forskningsverdenen •I BLEU måles afstanden mellem MT-outputtet og en referenceoversættelse/det efterredigerede resultat •Vi har anvendt TER ”Translation Edit Rate”(Snover et al, 2006) •I TER måles hvor mange editeringer der skal foretages før outputtet er magen til referencen/det efterredigerede resultat

Dias 8 Center for Sprogteknologi Teksttypen manualer Oversættelse fra engelsk til dansk Arbejdet med tekster fra 5 forskellige typer af tekst Manualer til: •Videokameraer •Software •DVD-afspillere •Kontormaskiner •Mobiltelefoni

Dias 9 Center for Sprogteknologi SMT: Statistiske resurser Oversættelses workflow Auto. forbehandling Engelsk tekst Oversætterkerne Auto. efterbehandling Dansk tekst Efter- redigering Sprogmodel ngram 5 Phrase tables MOSES Decoder Vi har koncentreret os om den statistiske oversætterkerne Træning af denne kræver parallelle tekster indenfor de ønskede domæner Forbehandling og efterbehandling kan automatiseres meget mere

Dias 10 Center for Sprogteknologi Resultater fra tre typer af evaluering Oversættererne har vurderet oversættelseskvaliteten sætning for sætning og givet karakter til hver sætning Automatisk evaluering af forskel mellem MT-outputtet og det efterredigerede resultat Efterredigeringstiden: hvor dyrt er det at gøre teksten færdig?

Dias 11 Center for Sprogteknologi Oversætternes evaluering Kriterier: •Usability: skal den postediteres •Skalaen er 1-3 •Adequacy: har den samme betydning? •Fluency: er den grammatisk? •Skalaen er 1-4 1,592,381,80197GPS 1,892,352,02117HS 2,182,301, FluencyAdequacyUsabilityAntal sætn.Teksttype

Dias 12 Center for Sprogteknologi BLEU: A method for automatic evaluation of Machine Translation, Papineni et al., 2001 Metoden bygger på at man måler overensstemmelsen mellem det MT- oversatte og referenceoversættelser vurderet på ordniveau. Her måles for hvor stor forskel der er mellem MT-outputtet og det efterredigerede resultat, skalaen er 0-1 Kan bruges til at se hvor der er størst behov for at ændre ord. Giver ikke noget billede af hvilke ændringer der skal udføres. Kan bruges af udvikleren til at udpege problemsætninger Automatisk evaluering vha. BLEU 0,790,61Krav 0,710,76Eksempler 0,65 Beskrivelse BLEU(MT – efterred.)

Dias 13 Center for Sprogteknologi A Study of Translation Edit Rate with Targeted Human Annotation Snover et al, 2006 I TER måles hvor mange editeringer der skal foretages før outputtet er magen til referencen/det efterredigerede resultat. Der må les ”insertions” ”deletion” ”substitutions” ”shifts”&”words shifted” i forhold til antal ord i referencen, skalaen er 0-100% Kan bruges til at se hvilken type af editering der skal til Giver et vist billede af hvilke ændringer der skal udføres. Kan bruges af udvikleren til at udpege problemsætninger Automatisk evaluering vha. Translation Edit Rate 0,23,8Udviklingstest 0,34,5HS 0,32,16131 TER (MT output<>HR)

Dias 14 Center for Sprogteknologi Hvor lang tid skal man bruge på at rette teksten? Tallene her dækker fejlrettelser, ikke korrektion af formatet Efterredigeringstid 1,0Gennemsnit 16K 1,0117HS 1, Efterred.tid/sætning (min)Antal sætn.Teksttype

Dias 15 Center for Sprogteknologi Hvordan fordeler matches i TM sig i forhold til evalueringen? 309 1,43 1,25 1,94 2,02 To helt forskellige opgaver, så sprogrevisoren må opøve sit blik for fejltyperne Sammenligning med Translation Memory: Usability ”Gennemsnit” ”No match” ”1” %-94% ”2” 1195%-100% ”3” HS6131Teksttype

Dias 16 Center for Sprogteknologi Eksempler på oversættelser og demo SMV Engelsk: Heteroaryl diazacycloalkanes, their preparation and use The present invention relates to novel heteroaryl diazacycloalkane derivatives which are cholinergic ligands at nicotinic ACh receptors. Automatisk oversættelse: Heteroaryl diazacycloalkanes, deres fremstilling og anvendelse Den foreliggende opfindelse angår hidtil ukendte heteroaryl diazacycloalkane derivater, der er cholinerge ligander ved nikotine ACh receptorer. Efterredigeret tekst: Heteroaryldiazacycloalkanes, deres fremstilling og anvendelse Den foreliggende opfindelse angår hidtil ukendte heteroaryldiazacycloalkanderivater, som er cholinerge ligander ved nicotin-ACh-receptorer.

Dias 17 Center for Sprogteknologi Eksempler på oversættelser og demo Engelsk: The compounds of the invention are useful for the treatment of conditions or disorders or diseases involving the cholinergic system of the central or peripheral nervous system, pain, inflammatory diseases, diseases caused by smooth muscle contractions and as assistance in the cessation of chemical substance abuse. Automatisk oversættelse: Forbindelserne ifølge opfindelsen er nyttige til behandling af tilstande eller lidelser eller sygdomme, der involverer den cholinerge system af det centrale eller periferære nervesystem, smerte, inflammatoriske sygdomme, sygdomme forårsaget af glatte muskler sammentrækninger og som assistance i ophør af kemiske stofmisbrug. Efterredigeret tekst: Forbindelserne ifølge opfindelsen er nyttige til behandling af tilstande eller lidelser eller sygdomme, der involverer det cholinerge system af det centrale eller perifere nervesystem, smerter, inflammatoriske sygdomme, sygdomme forårsaget af sammentrækning af glat muskulatur og som assistance ved ophør af kemiske stofmisbrug.

Dias 18 Center for Sprogteknologi Eksempler på oversættelser og demo Engelsk: Indeed several CNS disorders can be attributed to a cholinergic deficiency, a dopaminergic deficiency, an adrenergic deficiency or a serotonergic deficiency. A reduction in the number of nicotinic ACh receptors is also observed with the progression of Alzheimer&jis disease. Automatisk oversættelse: Faktisk adskillige CNS-lidelser kan være tilskrives en cholinerge mangel, en dopaminerge mangel, en adrenerge mangel eller en serotonerge østrogenmangel. En reduktion i antallet af nikotine ACh receptorer er også observeret med fremadskridenen af Alzheimer&jis sygdom. Efterredigeret tekst: Faktisk kan adskillige CNS-lidelser tilskrives en cholinerge mangel, en dopaminerge mangel, en adrenerg mangel eller en serotonerg østrogenmangel. En reduktion i antallet af nicotin-ACh-receptorer er også observeret med fremadskridenen af Alzheimers sygdom.

Dias 19 Center for Sprogteknologi Eksempler på oversættelser og demo Engelsk: Alzheimer&jis disease is characterised by a profound loss of memory and cognitive functions caused by a severe depletion of cholinergic neurons, i.e. neurons that release acetylcholine. Automatisk oversættelse: Alzheimer&jis sygdom er kendetegnet ved en omfattende tab af hukommelse og kognitive funktioner, der er forårsaget af en alvorlig depletering af cholinerge neuroner, dvs. neuroner, at frigivelse acetylcholin. Efterredigeret tekst: Alzheimers sygdom er kendetegnet ved et omfattende tab af hukommelses- og kognitive funktioner, der er forårsaget af en alvorlig depletering af cholinerge neuroner, dvs. neuroner, der frigiver acetylcholin.

Dias 20 Center for Sprogteknologi Erfaringer fra udviklingen -1 SMV2-projektet har givet en ny mulighed for direkte samarbejde mellem forskere og virksomheder: •virkelige data •oversætternes evaluering og efterredigering Vi kombinerede tekstmaterialet fra begge patentfirmaer for at opnå meget tekst •giver uønsket variation i oversættelserne Fokus har været på kernen i oversættelsesprocessen Ønsker til kernen: •Forbedring af output f.eks. færre kongruensfejl vha. brug af lingvistisk viden

Dias 21 Center for Sprogteknologi Erfaringer fra udviklingen -2 Integration i virksomhedens workflow kræver: Parallelle tekster af god kvalitet til opbygning af de statistiske ressourcer, helst flere mill. ord Hjælpeværktøj uden om kernen til: •håndtering af ”Faste vendinger” •markering af ord der ikke ønskes oversat •Formler og henvisninger, især i patenttekster!! Forbehandling Engelsk Patent- dokument Statistisk oversætter Efterbehandling Statistiske ressourcer: ”phrasetable” ”sprogmodel” Dansk Patent- dokument Tekst- revision

Dias 22 Center for Sprogteknologi Opsummering - Patenttekster En statistisk oversættelseskerne er patentfirmaets eget aktiv •bygget på firmaets egne tekstressourcer og afspejler dermed firmaets sprogpolitik •er ikke omkostningstung i oprettelse •kan oprettes for nye domæner og nye sprogkombinationer

Dias 23 Center for Sprogteknologi MOSES Open source system replacing Pharaoh (Koehn et al. 2007) State-of-the-art phrase-based approach Using factored translation models Comparison Pharao and Moses decoder Reuse of statistical resources possible Adding linguistic information to SMT: MOSES

Dias 24 Center for Sprogteknologi Using factored translation models Makes it possible to build translation models based on surface forms, part-of-speech, morphology etc. We use: Translation model: word->word, pos->pos Generation model determine the output Adding linguistic information using MOSES InputOutput word pos+morf word pos+morf

Dias 25 Center for Sprogteknologi Results adding pos-tags – by inspection With inclusion of morpho-syntactic information: (lit:… control of the full spectrum)... kontrol af det fulde spektrum (gender agreement) (lit: … the active ingredients)... de aktive bestanddele (number agreement) (lit:... this constant erosion)... denne konstante erosion (definiteness agreement)

Dias 26 Center for Sprogteknologi Using factored translation models Makes it possible to build translation models based on surface forms, part-of-speech, morphology etc. We use: Translation model: word->word, pos->pos Generation model determine the output Adding linguistic information using MOSES InputOutput word pos+morf word pos+morf