Dias 1 Lene Offersgaard, Bente Maegaard Center for Sprogteknologi, Københavns Universitet Udvikling og evaluering af SMT-SMV systemet Afsluttende workshop for SDMT-SMV2-projektet

Dias 2 Center for Sprogteknologi Evaluering af maskinoversættelse (MT) – nogle vigtige forudsætninger Man kan ikke evaluere MT (eller noget andet, fx en bil) uden at definere den ramme det skal bruges i. Rammen defineres af faktorer som disse: Hvor skal MT bruges? (organisatorisk) fx i en virksomhed - af direktøren, af informationsafdelingen, af oversættelsesafdelingen - eller til private formål, til forskning, … Formålet med den oversatte tekst fx oversætte referater hurtigt til internt brug, oversætte manualer til eksternt brug, oversætte salgsmateriale,… Teksttype, domæne Nogle teksttyper og domæner egner sig bedre end andre De ressourcer der er til stede Både sprogressourcer og mennesker Tidsfrister og andre krav fx om hvor hurtigt oversættelsen skal være klar

Dias 3 Center for Sprogteknologi To forskellige synspunkter på evaluering Det er ikke blot rammen der bestemmer kriterierne for hvad man er interesseret i ved evalueringen Udvikleren/lingvisten Brugeren Udvikleren/lingvisten taler om hvor mange leksikalske fejl, hvor mange grammatiske fejl, af hvilken type mv. Formål: forstå systemet, forbedre systemet, - forstå oversættelsens natur Brugeren er interesseret i, om det kan bruges, hvad det koster, hvad det koster at efterredigere, om det kan hjælpe til at levere varen til tiden mv. Formål: få forretningen til at løbe rundt

Dias 4 At sætte et evalueringssystem op Bestemme rammen Teksttype, domæne Bestemme evaluatorsynspunktet Etablere kriterier der kan bedømmes objektivt (samme resultat hver gang) faktisk måler det man er interesseret i

Dias 5 Center for Sprogteknologi Projektets kriterier og målemetode – brugerevaluering Formål: objektiv, relevant evaluering Oversættelseskvalitet tre kriterier Usability (er det værd at efterredigere?) På en skala fra 1 til 3 1: For dårlig til at efterredigere, det vurderes at det er hurtigere at oversætte fra input end at efterredigere 2: Kan redigeres 3: OK Adequacy (har den samme betydning?) På en skala fra 1 til 4 Fluency (er den grammatisk?) På en skala fra 1 til 4 Måle efterredigeringstiden

Dias 6 Værktøj til indtastning og opsummering (udlånt fra Philipp Koehn, Edinburgh Univ.)

Dias 7 Center for Sprogteknologi Metoder til evaluering – automatisk evaluering Formål: objektiv evaluering Automatisk evaluering er billigere og hurtigere Kan automatiske metoder anvendes? – Hvad kan man måle? Vi har anvendt BLEU som anvendes meget i forskningsverdenen I BLEU måles afstanden mellem MT-outputtet og en referenceoversættelse/det efterredigerede resultat Vi har anvendt TER ”Translation Edit Rate”(Snover et al, 2006) I TER måles hvor mange editeringer der skal foretages før outputtet er magen til referencen/det efterredigerede resultat

Dias 8 Center for Sprogteknologi Teksttypen manualer Oversættelse fra engelsk til dansk Arbejdet med tekster fra 5 forskellige typer af tekst Manualer til: Videokameraer Software DVD-afspillere Kontormaskiner Mobiltelefoni

Dias 9 Center for Sprogteknologi SMT: Statistiske resurser Oversættelses workflow Auto. forbehandling Engelsk tekst Oversætterkerne Auto. efterbehandling Dansk tekst Efter- redigering Sprogmodel ngram 5 Phrase tables MOSES Decoder Vi har koncentreret os om den statistiske oversætterkerne Træning af denne kræver parallelle tekster indenfor de ønskede domæner Forbehandling og efterbehandling kan automatiseres meget mere

Dias 10 Center for Sprogteknologi Resultater fra tre typer af evaluering Oversætterne har vurderet oversættelseskvaliteten sætning for sætning og givet karakter til hver sætning Automatisk evaluering af forskel mellem MT-outputtet og det efterredigerede resultat Efterredigeringstiden: hvor dyrt er det at gøre teksten færdig?

Dias 11 Center for Sprogteknologi Oversætternes evaluering Kriterier: Usability: kan sætningen efterredigeres? Skalaen er 1-3 Adequacy: har den samme betydning? Fluency: er den grammatisk? Skalaen er 1-4 Kun for sætninger på over 3 ord Testtekst Antal sætn. UsabilityAdequacyFluency ,942,302,18 HS1172,022,351,89 GPS(u.domæne)1971,802,381,59

Dias 12 Center for Sprogteknologi BLEU: A method for automatic evaluation of Machine Translation, Papineni et al., 2001 Metoden bygger på at man måler overensstemmelsen mellem det MT- oversatte og referenceoversættelser vurderet på ordniveau. Her måles for hvor stor forskel der er mellem MT-outputtet og det efterredigerede resultat, skalaen er 0-1 BLEU for samme tekst oversat af flere oversættere er jf. lit ofte % Giver ikke noget billede af hvilke ændringer der skal udføres. Kan bruges af udvikleren til at udpege problemsætninger. Automatisk evaluering vha. BLEU BLEU 6131 (SMT <>efterred.)0,57 HS (SMT <>efterred.)0,51 Udviklingstest <> Ref0,68

Dias 13 Center for Sprogteknologi A Study of Translation Edit Rate with Targeted Human Annotation Snover et al, 2006 I TER måles hvor mange editeringer der skal foretages før outputtet er magen til referencen/det efterredigerede resultat. Der måles ”insertions” ”deletion” ”substitutions” ”shifts”&”words shifted” i forhold til antal ord i referencen, skalaen er 0-100% Kan bruges til at se hvilken type af editering der skal til. Kan bruges af udvikleren til at udpege problemsætninger Sent Id | Ins | Del | Sub | Shft| WdSh| NumEr | NumWd | TER Testfil6131 | 340| 335| 1072| 135| 156| | | TestfilHS | 106| 108| 370| 62| 74| 646.0| | Udvik.test | 662| 1013| 2240| 527| 765| | | Automatisk evaluering vha. Translation Edit Rate

Dias 14 Center for Sprogteknologi Hvor lang tid skal man bruge på at rette teksten? Tallene her dækker fejlrettelser og justering af store/små bogstaver. Efterredigeringstid Teksttype Antal sætn.Efterred.tid/sætning (min) ,03 HS1171,03

Dias 15 Center for Sprogteknologi Hvordan fordeler matches i TM sig i forhold til evalueringen? fordeling af sætninger i forhold til “match”-% fordeling af sætninger i forhold til “usability”-scoring Selvom 67-81% sætninger giver “no match” i TM, så har vi kun % sætninger, der får scoren usability=1. Sammenligning med Translation Memory: Usability Teksttype6131 %sæt. HS %sæt. 95%-100% ”3” %-94% ”2” 1711 ”No match” ”1” 6781 ”Gennemsnit”1,491,25 Teksttype6131 %sæt. HS %sæt. Usability ”3” 1720 Usability ”2” 5961 Usability ”1” 2319 Gennemsnit1,942,02

Dias 16 Center for Sprogteknologi Eksempler på oversættelser og demo SMV Engelsk: Heteroaryl diazacycloalkanes, their preparation and use. Automatisk oversættelse: Heteroaryl diazacycloalkanes, deres fremstilling og anvendelse Efterredigeret tekst: Heteroaryldiazacycloalkanes, deres fremstilling og anvendelse

Dias 17 Center for Sprogteknologi Eksempler på oversættelser og demo Engelsk: A reduction in the number of nicotinic ACh receptors is also observed with the progression of Alzheimer&jis disease. Automatisk oversættelse:. En reduktion i antallet af nikotine ACh receptorer er også observeret med fremadskridenen af Alzheimer&jis sygdom. Efterredigeret tekst: En reduktion i antallet af nicotin-ACh-receptorer er også observeret med fremadskridenen af Alzheimers sygdom.

Dias 18 Center for Sprogteknologi Erfaringer fra udviklingen -1 SMV2-projektet har givet en mulighed for direkte samarbejde mellem forskere og virksomheder: virkelige data: både til træning og til test oversætternes evaluering og efterredigering Tekstmaterialet er opdelt i forskellige emneområder/domæner Typisk vil man gerne have meget tekst Blanding af emneområder giver uønsket variation i oversættelser Med lille domæne-tekstmængde fås Fokus har været på kernen i oversættelsesprocessen Fremtidige insatsområder for kernen: Færre kongruensfejl opnås vha. øget brug af lingvistisk viden Bedre hvis visse xml-tags kan udgøre en konstituent i sætningen Øvrige forbedringer: Ballanceret brug af data fra forskellige emneområder Mere data

Dias 19 Center for Sprogteknologi SMT: Statistiske resurser Erfaringer fra udviklingen -2 Auto. forbehandling Engelsk tekst Oversætterkerne Auto. efterbehandling Dansk tekst Efter- redigering Sprogmodel ngram 5 Phrase tables MOSES Decoder Integration i virksomhedens workflow kræver: Parallelle tekster af god kvalitet til opbygning af de statistiske ressourcer, helst flere mill. ord grupperet i domæner Hjælpeværktøj uden om kernen til: Løbende opdatering af de statistiske ressourcer

Dias 20 Center for Sprogteknologi Moses er open-source software til træning af “phrase tables” og til oversættelse af tekster Sprogmodellen kan også trænes ved brug af open-source sw. MOSES giver mulighed for anvende phrase-tables og sprogmodeller, der er ikke blot baserer sig på ord, men også kan omfatte part- of-speech, morfologi osv. Vi har udnyttet det under opbygning af phrase-tables, kan udnyttes langt mere… Brug af MOSES (Koehn et al. 2007)

Dias 21 Center for Sprogteknologi Opsummering – Statistisk MT En statistisk oversættelseskerne er et opnåeligt aktiv for oversættelsesvirksomheder bygges på firmaets egne tekstressourcer og afspejler dermed firmaets sprogpolitik er ikke omkostningstung i oprettelse kan oprettes for nye domæner og nye sprogkombinationer kernen i det demonstrerede system er open-source integration med TM vil give ekstra gevinst