HCI/Hypermedie undervisning Input-/Output-devices og interaktions- stilarter

Oversigt 9.15 – 10.30Input-/Output devices og interaktions-stilarter – Input-/Output opgave – 12.30Frokost – 14.30Hypermedie-anvendelser – 16.00CSCW generelt

Input-/Output-devices og interaktions- stilarter Input-/Output devices WIMP-interfaces og direkte manipulation Post-WIMP interfaces

Input devices Diskrete (enkelte, skridtvise handlinger) enheder:  Keyboard  Knapper/kontakter Kontinuerlige (sammenhængende) enheder:  Mus  Joystick  Pen

Input devices Tastatur  Stadig hurtigste måde til input af tekst Mus/Joystick  God til at angive en retning eller hastighed Pen  Hurtig men upræcis (specielt håndskriftgenkendelse) Trykfølsom skærm  Direkte interaktion, let at lære Gestikulation – datagloves  Direkte interaktion af objekter i 3 dimensioner Audio - talegenkendelse  Interaktion som “almindelig tale” Multimodal interaktion  Kombination af f.eks. tale og trykfølsom skærm

Output devices Visuelle – skærm  Tekst og billeder Audielle  Speech – f.eks. talesyntese  Non-speech Bemærk assymetrien:  Tale input er hurtigere end at skrive  Tale output er langsommere end at læse

Non-speech output eksempler Auditory icons  Eksempler: The SonicFinder ARKola simulering Earcons

Auditory Icons Udviklet af Bill Gaver i sen-80’erne Almindelige, naturlige lyde bruges til at repræsentere objekter og aktiviteter i brugergrænsefladen  Raslen, stød, slag, skraben, ringlen, knirken…  Det er nemt muligt at knytte information om afstand, størrelse og materiale til lyde The SonicFinder  Valg – thunk  Copy – kop fyldes med vand  Drag – skrabelyd  Delete – brag (crash) Gaver. The SonicFinder: An interface that uses auditory icons. Human-Computer Interaction, 4 (1989):

ARKola Simulation - design Simulering af flaskehal  9 maskiner styret af to brugere – placeret i forskellige rum Skaber et ‘lyd-rum’ til at støtte det visuelle  heater = whoosh, flaske maskine = klirren  Lydenes rytme beskriver hastigheden  Andre lyde til spild = plasken, lyden af glas der smadres  Op til 14 lyde samtidig

ARKola Simulation - resultat Lydene forbedrede samarbejdet  Understøttede overvågning af hele værket samt de komponenter man ikke har visuel adgang til  Problemlyde (spild-lyde) blev fælles referencepunkter  MEN – brugere opdagede ikke altid fraværet af en nødvendig lyd Gaver et al. Effective sounds in complex systems: The ARKola simulation. Proceedings of CHI’91.

Earcons Blattner – udviklet af Brewster Strukturerede audio beskeder – abstrakte lyde Består af korte musikalske motives To typer:  Compound: sammensatte eller parallelle F.eks. Open-file= Open-motive + File-type motive  Hierarkiske: manipulerer individuelle parametre generalearcons1.shtml

Guidelines for at lave earcons Principper for opbygning:  Én basal mening  Korte, simple og forskellige fra andre earcons  Nemme at huske, identificere og forstå Start med lydtype, register/skala og rytme  Familie = lydtype & register og/eller spatial placering  Variér rytme for overgrupperne  Variér toneleje, intensitet, akkorder og effekt for undergrupper

Earcons vs. Auditory Icons Auditory icons  Almindelige, naturlige lyde har en intuitiv mening for folk Kun lidt eller slet ingen træning nødvendig  Komplekst at automatisere produktionen af dem (jvf. Metaforer) Earcons  Tilfældig tilordning af mening til lyde i brugergrænsefladen Træning er nødvendig  Lette at producere og modificere Ved at variere de musikalske parametre kan man skabe relaterede lyde: rytme, toneleje, lydtype, register, dynamik

Hvorfor bruge lyd? Lyds kvaliteter (tale og ikke-tale)  Uafhængighed mellem syn og hørelse  Naturlig repræsentation  Reducerer det visuelle ‘load’  Omni-directional  Øget kommunikationsbåndbredde Non-speech lyde  International – ingen sprogbarrierer  Kan være kortere og mere effektiv end tale  Kan kombineres med tale for et rigere udtryk

Hvem kan drage nytte af lyd i brugergrænsefladen? Blinde brugere Brugere af telefon-baserede brugergrænseflader Brugere af grafiske brugergrænseflader Brugere, hvis øjne er optagede (fly, biler..) Brugere af mobil teknologi (begrænset skærmplads)

Sammenligning af grafik og audio Grafiske brugergrænseflader skal håndtere begrænsede skærmressourcer Audielle brugergrænseflader skal håndtere begrænsninger i tid  Feedback skal være kort men informativ  Audio-output skal altid kunne afbrydes (barge-in) Tale vs. non-speech lyde er analog til grafik vs. tekst  Non-speech lyde kan være mere effektive end tale  Non-speech lyde kan designes så de komplimenterer tale

Audio input/-output Hvad betyder det for opbygningen af brugergrænseflader og hypermediesystemer?

Interaktions-stilarter WIMP-interfaces og direkte manipulation

I begyndelsen var der tekst… …og så kom Star-computeren (1981) Den første grafiske brugergrænseflade  Desktop metaforen - kontoromgivelse  WIMP interface  Direkte manipulation  WYSIWYG (f.eks. text editing) Brug af mus Kilde: H20. Smith, D.C.S., Irby, C., Kimball, R., Verplank, B. and Harlem, E. Designing the Star User Interface.

Star koncepter Easy Concrete Visible Copying Choosing Recognizing Editing Interactive Hard Abstract Invisible Creating Filling in Generating Programming Batch

Star UI Banebrydende og stadig dominerende måde at interagere med og visualisere på en computer “Human-machine synergism”?

Embodied User Interfaces for Really Direct Manipulation

Virtual Reality Ivan Sutherland 1968 Copyright Sun Microsystems, Inc.,

Augmented Reality

Direkte manipulation og WIMP – hvor direkte er det så? Visibility/continuous representation of objects of interest  Adgang gennem scrolling, zooming  Dialog bokse og toolbars er i vejen  Usynlige værktøjer Rapid, reversible, incremental actions with an immediately apparent effect on the objects of interest  Dialog bokse, f.eks. Til ændring af fontstørrelse.

WIMP og Direkte manipulation Replacement of complex command language syntax by direct manipulation of the object of interest  Begrænsninger I input devices  Dialog bokse Layered or spiral approach to learning  Skjulte shortcuts

Instrumentel interaktion Fra WIMP til post - WIMP WIMP ikke tro mod principperne for direkte manipulation

Instrument egenskaber Degree of indirection  Spatial offset (afstanden mellem det logiske instrument og objektet, det arbejder på)  Temporal offset (forskellen i tid mellem den fysiske handling og reaktionen fra objektet) Degree of integration  Degree of freedom mellem det logiske instrument og input devicet (det fysiske instrument) Degree of compatibility (naturalness)  Svarer til mapping – ligheden mellem den fysiske handling og objektets respons

Post-WIMP Toolglasses Marking menus (indirection -spatial)

Input/Output device opgave Find eksempler på vilde/nye/anderledes input- eller output-devices Læg links i jeres gruppefolder

FingeRing