VoiceXML og stemmestyrede interfaces VoiceXML – stemmestyrede interfaces (Voice Extensible Markup Language)

VoiceXML og stemmestyrede interfaces Stemmestyring – pro et contra Hvorfor: Det er intuitivt, ambient og ”nomadisk” og alle kan tale Det kræver ikke investering i ny teknologi for brugeren Fremtidens – især telefoni-applikationer – vil kræve andre interaktionsformer Teknologier bliver mindre og mindre Hvorfor ikke: Det kan være hunde- svært at lave (naturligt sprog er komplekst) Stemmen er ikke den mest diskrete interaktionsform Egner sig ikke til alle typer services SAS bizzline

VoiceXML og stemmestyrede interfaces Spektret af stemmestyring Ring op! Brev - Hej mormor og morfar – jeg fik min første tand i dag... Mange stemmer – få udtryk Få stemmer – rigtig mange udtryk Voice XML

VoiceXML og stemmestyrede interfaces Hvor vil det blive brugt?

VoiceXML og stemmestyrede interfaces Stemmestyring IVR (interactive voice response): Målet er næsten naturlig tale –C: Velkommen til MegaBank, hvad kan jeg gøre for dig? –B: Øh, jeg vil gerne vide hvor mange penge jeg har på min konto. –C: Du har både en kassekredit og en lønkonto – hvilken af dem mener du? –B: Nå ja, det har jeg da også. Øh, kassekreditten –C:

VoiceXML og stemmestyrede interfaces Udfordringer i VUI design Forbigående oplysninger: ”Hvad sagde du/den?” Usynlighed: ”Hvad kan jeg sige nu?” Asymmetri: Hvem siger hvor meget? Talegenkendelsens kvalitet Talesyntesens kvalitet Lange lister er kedelige tidsrøvere GUI navne (f.eks. på knapper) er ikke talesprog Kalenderprogrammer bruger absolutte datoer – mennesker bruger tit relative Menuer gør funktionalitet synlig for brugeren i en GUI – ikke muligt i en VUI

VoiceXML og stemmestyrede interfaces...i over-morgen På onsdag 14 dage... Sidst på ugen... Midten af november... I uge Eksempel: Angivelse af tid  Lidt over ti Kvart over tre – godt og vel Fem minutter over halv seks Sytten tredive Middag Efter- middag

VoiceXML og stemmestyrede interfaces Design af stemmestyring

VoiceXML og stemmestyrede interfaces Design af stemmestyring (1/3) Feedback og ventetid –Pauser til processering forvirrer brugeren –Tale er en langsom måde at videregive informationer –Behov for feedback på handlinger Bekræftelse af fremsøgte data ”Var det den?” Bekræftelse af handlinger der ændrer data ”Vil du gemme denne?” ”Vil du slette denne?” SJ Røstsvar

VoiceXML og stemmestyrede interfaces Feedback og ventetid (eksempler) Brugeren skal kende nuværende tilstand –”Regner maskinen stadig, eller venter den på at jeg siger noget?” –”Hørte den mig overhovedet? Forstod den det?” Eksplicit feedback –”Vil du betale regningen til TeleDanmark Internet på 1647 kroner? Svar med ja eller nej” Implicit feedback –”For øjeblikket er vejret i Odense blæsende og koldt” SAS

VoiceXML og stemmestyrede interfaces Design af stemmestyring (2/3) At spørge om det rigtige… –Afvejning mellem fleksibilitet og præcision –Få svarmuligheder => bedre genkendelse Eksplicitte spørgsmål begrænser brugeren Implicitte spørgsmål tillader fleksibelt input Afkortning af spørgsmål Trinvise spørgsmål kan øge hastigheden for eksperter og hjælpe begynderen...på den rigtige måde –Undgå ”min tur / din tur”-forvirring SAS

VoiceXML og stemmestyrede interfaces At spørge om det rigtige… Eksplicit spørgsmål: –”Sig ja, nej eller afbryd” Implicit spørgsmål: –Bruger: ”Send mail til Kurt” –System: ”Mener du Kurt Thorsen eller Kurt Ravn?

VoiceXML og stemmestyrede interfaces Fejlhåndtering, eksempler Øget hjælp –”Hvilken dato?” bliver til ”Undskyld, gentag lige det. Gerne lidt tydeligere” bliver til ”Det forstod jeg ikke – prøv at sige datoen som dag-måned-år” Skift til eksplicitte spørgsmål –”Sagde du kassekredit? Svar ja eller nej” –Tillad brug af trykknapper ”Du kan svare ja ved at trykke på ”1”, nej ved at trykke på ”2”

VoiceXML og stemmestyrede interfaces Brugerens rolle ved VUI design Observation af dialoger –Lad brugerne tale sammen mens en bestemt opgave løses, og udtræk dialogens ”regler” (svarer til tænke-højt-metoden) ”Manden i maskinen” –Lad en udvikler ”lege” stemmestyring Og som sædvanligt –Kan brugerne rent faktisk løse deres opgaver gennem brug af applikationen? Nannas pizzabiks

VoiceXML og stemmestyrede interfaces VoiceXML

VoiceXML og stemmestyrede interfaces Hvad er VoiceXML? En anvendelse af XML En sammenblanding af flere forskellige tale og telefoni relaterede teknologier. –Automated Speech Recognition (ASR) –Text-to-Speech Synthesis (TTS) –DTMF (Dual Tone Multi Frequency) –Interactive Voice Response (IVR)

VoiceXML og stemmestyrede interfaces The Big Picture

VoiceXML og stemmestyrede interfaces The Bigger Picture

VoiceXML og stemmestyrede interfaces Arkitektur Telefoni platform Servere Tale- genkendelse Tale- verifikation Tale-syntese Prompts Grammatiker Call Flow Session manager, ubruger profiler etc. Backend integration Business logik Publishing engine Enterprise applikationer Databaser Messaging Hardware Tale Præsentation Middleware Data

VoiceXML og stemmestyrede interfaces VoiceXML vs (X)HTML Vælg mellem Nyheder, Vejret eller Sport. [ nyheder vejret sport ] Vælg sektion Nyheder Vejret Sport

VoiceXML og stemmestyrede interfaces Dialoger 1/2 Et VoiceXML dokument er sammensat af dialoger To top-level dialog elementer –Forms: –Menus: Andre top-level elementer Metadata som kendt fra HTML Bruges til erklæring af variable ECMAScript (Client side JavaScripting) Lytter efter events (f.eks. Help) Fælles reference for alle dialoger i dette scope

VoiceXML og stemmestyrede interfaces Dialoger 2/2 Directed –Dialogen følger den orden, som informationerne (form elementerne) optræder i –C: ”Vil du have adgang til din kassekredit eller budgetkonto?” –B: ”Kassekredit” –C. ”Vil du hæve eller overføre penge?” –B: ”Hæve” Mixed Initiative –Dialogen har flere indfald og udfald –C: ”Velkommen til Mega Bank. Hvad kan vi hjælpe med?” –B: ”Jeg vil gerne overføre 1000 kroner fra min kassekredit til min budgetkonto” –C: ”Tak. Er det korrekt opfattet, at du vil overføre 1000 kroner fra konto XXXX-XXXX til budgetkonto XXXX-XXXX?” –B: ”Ja”

VoiceXML og stemmestyrede interfaces Mixed Initiative Dialog <!DOCTYPE vxml PUBLIC '-//Voxpilot/DTD VoiceXML 1.0//EN' ' Velkommen til Nannas pizza biks. Må jeg tage imod din bestilling?..... Se hele eksemplet Se grammatikken Nannas pizzabiks

VoiceXML og stemmestyrede interfaces Form Items (1/3) Field Items: Input fra bruger indsamles og videreføres i variable (field item variables) Input fra bruger via tale (ASR) eller DTMF, specificeret via en grammatik Optager lyd indtalt af bruger Overføre kald til anden telefonlinie Bruges til at kalde programmer (Java, Corba, andet) svar returneres som et ECMAScript objekt Kald til anden dialog eller dokument, svar som ECMAScript object

VoiceXML og stemmestyrede interfaces Form Items (2/3) Control Items: Blok instruktioner til gruppering Indhold udføres/oplæses, bruges til at gruppere handlinger Bruges til mixed-initiative dialoger

VoiceXML og stemmestyrede interfaces Form Items (3/3) Events: Hvis input ikke matcher grammatik, kan følgende events benyttes. Kan bruges til at specificere hjælp til brugeren. Denne del udføres hvis intet input registreres Udføres hvis input ikke matcher grammatik Hvis brugeren har svaret forkert på en gentagne gange, kan bruges

VoiceXML og stemmestyrede interfaces VoiceXML – pro et contra Pro Det er en standard Generaliseret Velkendte og velafprøvede teknologier og teknikker Det virker! Contra Kræver adgang til gateway Understøttelsen af andre sprog end engelsk er ringe Microsofts opbakning er måske ikke helhjertet

VoiceXML og stemmestyrede interfaces VoiceXML – og de andre drenge i klassen Diverse proprietære produkter – fx Phillips’ Speechmania CCXML – Call Control eXtensible Markup Language SALT - Speech Application Language Tags W3C’s Voice Browser initiativ – modulariseret XHTML

VoiceXML og stemmestyrede interfaces Links og litteratur developers.motorola.com/developers/voicexml/ (blot et eksempel på en voicegateway-udbyder) ”How to Build a Speech Recognition Application” Bruce Balentine & David P. Morgan