Digital Retorik 9. kursusgang Visuel kommunikation og multimodalitet 07-04-2017

IDAG Oplæg om multimodalitet I v/Lisbeth Oplæg om Kjeldsen/visuel retorik v. grp Oplæg om visuel komm. v/Rikke Oplæg om lyd på www v/Magnus & Esben Oplæg om multimodalitet II v/Lisbeth Øvelser: kort brainstorm eksamensopgave analyse af multimodalitet på web 07-04-2017

MOTIVERENDE DESIGN: HOFMAN HANSEN 9 strategier: 1. Gør det synligt og simpelt 2. Vær illustrativ 3. Vælg en passende grafisk stilart 4. Skriv forståeligt og kortfattet 5. Skriv noget relevant 6. Vælg en passende skrivestil og genre 7. Gør grundstrukturen enkel 8. Vis informationen på rette tid og sted 9. Skab en god historie 7. april 2017

JUST IN TIME...MERKANTIL KAIROS - fremhæver billigste priser på alternative afgange for at fordele passagererne - tilbyder diverse tilvalg - CO2, forsikring mv (også indchecket bagage er et (forvalgt) tilvalg - prøver også lige at klemme en billeje oven i handelen Cf Hofman taler om de forførende øjeblikke (efter køb af den store vare...) 07-04-2017

MULTIMODALITET & DAGENS LÆREMÅL Kairotisk multimodalitet: ... rette modalitet til rette tid og sted 07-04-2017

SEMIOTIK ”Videnskab” der fokuserer på hvordan betydning skabes i et givet tegnsystem Identificere ”tegn-enheder” Skel mellem ”signifier” og ”signified” (det der repræsenterer og hvad det repræsenterer), tegn og objekt //Saussure Peirce: symbol, indeks og ikon 07-04-2017

SEMIOTIK II tegn: noget, der står for noget andet hvert medie (modalitet) sine egne tegn & ”mindste betydende” enheder, måde at skabe mening på Tekst: morfem (”ko”, ”ne” - Saussure) Film: ”skuddet” (autonome segmenter, Metz) lexia: betydningsenhed grammatik: regler for brug af ”tegn” syntaks: organisering af tegn 07-04-2017

SOCIALSEMIOTIK Semiotisk fortolkningspraksis er kulturelt og socialt bestemt & præget af repræsentationelle paradigmer Selvom tingene ”bare” er der, fortolker vi f.eks. relationer mellem genstande på billedet på bestemte måder (afstand, interaktion osv). Vores fortolkning er ”kulturlig”, ikke naturlig og åben. Hver ”modus” har sin udtryksform - og sin era. Visuel kommunikation dominerer i stigende grad over den verbale. (se f.eks. Kress & Van Leeuwen, 2001/2006: Reading Images) 07-04-2017

Peter Greenaway The Pillow Book (film) 07-04-2017

07-04-2017

07-04-2017

MULTIMODAL BETYDNINGSTEORI (VAN LEEUWEN/KRESS) semiotiske ressourcer (fremfor tegn) semiotisk ressource ~ = modalitet: verbalsprog, billeder, grafik, film, lyd, musik, gestik, arkitektur (+ digital ”simulation”??) semiotiske ressourcer (fx verbalsprog) -> materiel form (fx print) > site of "fixing", hvor mening repræsenteres (bogsiden, skærmen) - alle påvirker hvordan vi opfatter det kommunikerede en multimodal betydningsteori fremhæver det situationelle og intentionelle (”aptnes”) og hermed også design (formgivning af passende udtryk, brug af aktuelle ressourcer) som vigtigt parameter 07-04-2017

MULTIMODAL ANALYSE hvordan det enkelte element (modalitet) skaber mening (f.eks. analyse af et billedes retorik) hvordan det står i relation til andre elementer (funktionel specialisering (tid/rum), tyngde (f.eks. er dette element den der er bærer af den væsentligste information?) hvordan de bindes sammen (kommunikationel interaktion, koherens: rytme, komposition, informationskobling, dialog) hvordan forskellige modaliteter tilsammen skaber den overordnede mening (et 3. udtryk) 07-04-2017

EKSEMPEL

MULTIMODAL RETORISK ANALYSE Hvordan fungerer den sammensatte retoriske ytring i forhold til et bestemt formål? Egner teksthelheden sig f.eks. til at skape tillid til ”tekstens” afsender, og til at overbevise og bevæge dens modtagere? Skaper de forskellige modaliter en retorisk synergieffekt, hvor argumentation og følelsesappel samvirker i en fortættet og fokuseret form? Eller representerer de forskellige ”tekstelementer” (modaliteter) i den givne retoriske ytring et budskab, som taler i flere retninger og måske modsiger sig selv? (Martin Engebretsen, introduktion til norsk lærebog om multimodal analyse, forthcoming) 07-04-2017

MULTIMODAL REMEDIERING http://www.playmusicmagazine.com/ http://www.magwerk.com/mag.php?magazine=playmusic&language=en&issue=27 07-04-2017

PRÆSENTATIONER OM FORSKELLIGE MODALITETER: VISUEL RETORIK og KOMMUNIKATION LYD 07-04-2017

7. april 2017

ANDERS FAGERJORD om MULTIMODALITET typiske modaliteter på web: skrift, fotografier, tegninger, forklarende figurer, typografi layout, levende bilder og simuleret 3D en modalitet indkapsler ofte en anden (”dominerende stemme”) jvf. videoeksempler næsten altid kombi af tekst/stilbilleder (el. tale og video) kombi af modaliteter kan forankre mening i ”et 3.udtryk” Fagerjord: Web-medier – Introduksjon til sjangre og uttrykksformer på nettet, 2006 07-04-2017

TEKST/VIDEO INDKAPSLING Tekst indkapsler video: Videoillustration (som et billede, fx Trekking Nepal) Skrevet introduktion (fx BBC news) Video-på-bestilling (kræver skriftmenuer, fx Tv2 Sputnik) Video med kapitler (fx National Geograpfic) Alternative versioner Video indkapsler tekst: Introduktion til tekstmateriale (appetizer, følelsesfremkalder, ”exordium”) (fx The Meatrix, 3F selvmord) Video står med fodnote (fx ”Commanding Heights på PBS) 07-04-2017

MULTIMEDIALITET? ELLER MONOMEDIAL COLLAGE Phil MacGregor: Multimedier bruges, ”isoleret” fra teksten, dvs. mening opfattes ikke samlet ”Sensorisk” kløft/attention surplus Sammenstød mlm immediacy & hypermediacy Forventning om mulighed for handling skuffes sit-up vs. sit-back medier (jvf. Fagerjord/Liestøl: objektaktivitet, subjektaktivitet) Phil MacGregor: ”Mind the Gap – Problems of Multimedia Journalism”. I Convergence, Vol. 9, no. 9, 2003 07-04-2017

07-04-2017

07-04-2017

(VERBAL)TEKST OG BILLED SAMSPIL MLM (VERBAL)TEKST OG BILLED 07-04-2017

FUNKTIONEL SPECIALISERING Verbaltekst beskriver tidslige forhold, forløb over tid, kausalitet (”rytme”) Billedet beskriver rumlige forhold, betydningsvægt i kraft af f.eks. placering og størrelse (”komposition”) eller f.eks: billedet påkalder, skaber opmærksomhed teksten giver information, forklarer budskab 07-04-2017

Lindh, 46, was stabbed several times inside an upmarket Stockholm department store as she shopped Wednesday. She died early Thursday as a result of wounds to her abdomen. ….[] Police say the shop might have images of the killer on a video surveillance camera. Up to 50,000 people, many carrying red roses, gathered in Stockholm for Sweden's biggest political demonstration since the Vietnam War. CNN.com, 12/11-2003 07-04-2017

Illustration?

BILLEDET SOM BLIKFANG TEKST SOM HANDLINGSOPFORDRENDE Dansk Internet Award 2008 (årets bedste internetkampagner) http://www.plantcph.dk/dia08/sprite1.php 07-04-2017

FUNKTIONEL SPECIALISERING Skrevet sprog som modalitet: fra abstrakt til konkret: symbolet mand --- din mentale konkretisering af ordet – ”received” - tekst opererer typisk med metaforer (lighed) Billedtegn - filmisk fortælling: fra konkret til abstrakt: en bestemt mand --- en mental repræsentation af mand i det hele taget, hvad han er symbol for – ”perceived” - billeder opererer typisk med metonymier (nærhed) 07-04-2017

”INFORMATIONSKOBLING” billedet fungerer i forhold til tekstens ”indhold”: understøttende, supplerende el. udvidende, kommenterende Roland Barthes: ”anchorage” ¨vs ”relay” Kress & Van Leewen: ”elaboration” vs ”extension” McCloud: ”illustration” vs ”samspil” (samt også paralel) Anne Løvland: redundans (gentagelse) af budskab gennem forskellige modaliteter er også en vigtig funktion i kommunikation, måske især til yngre aldersgrupper (Løvland, 2010, forthcoming) 07-04-2017

DEN 3. MENING Scott McCloud: Interdependant (gensidigt afhængige) Billed og ord udtrykker tilsammen noget, de ikke kunne hver for sig

VISUEL KOMM PÅ WWW/ FUNKTIONEL SPECIALISERING Anders Fagerjord blikfang illustration konnotation Lisbeth Thorlacius understøtter/kommunikerer sender-image understøtter funktionalitet (navigation osv) understøtter/skaber webgenre signalerer publikumsopfattelser (aktuelle trends i visuel aesthetics) ”The Role of Aesthetics in Webdesign” Aktivitetshandlinger: grafik (f.eks. knap) og farver (f.eks. linkfarve) 07-04-2017

Polysemi fortolkning af billede, kan også give indbyrdes modsætning i kommunikativt udsagn 07-04-2017

leg m ord og billed på nathist museums forside, www.redshiftnow.ca 07-04-2017

07-04-2017

07-04-2017

INFORMATIONSKOBLING & ARGUMENTATION 07-04-2017

INFORMATIONSKOBLING & ARGUMENTATION http://www.vnnforum.com/showthread.php?t=2328 7. april 2017

INFORMATIONSKOBLING & ARGUMENTATION http://shilohmusings.blogspot.com/2007/10/catching-tails.html 7. april 2017

EKSEMPEL http://troubling.ytmnd.com/ 07-04-2017 Her godt eksempel på billedet som metafor: Objekt står for noget andet: dr. Pepper repr. Maskuline værdier og sunkist diet repr. Feminine værdier. Hvis du drikker, id. Med enten den ene type eller anden type værdi. Visuel stereotype/kulturel stereotyp: hvad henholdvis mænd og kvinder tænker på, repræsenteret ved stereotypiske ønsker, der er indirekte repræsenteret (sex, børn), dvs polysemisk, vi ved det skal forestille sex, men billedet viser det ikke, det viser et animeret symbol for sex (ind og ud), ”familie og børn” repræsenteres ved størrelsesforhold, konventionel afbildning af familien Sanselig umiddelbarhed, og høj grad af retorisk fortætning! http://troubling.ytmnd.com/ 07-04-2017

INTERAKTIV GRAFIK SOM EGEN SEMIOTISK RESSOURCE? - overblik, sammenligning (forskelle, ligheder, skala) - kan indføre temporalitet til billedoplevelsen - kan beskrive bevægelse - bruger bestemmer hvad der skal ses hvornår - hierarki af information Atlas: Valley of the Kings Fagergjord: ”Interaktiv grafik – et studie af fremtiden i dag” i Digitale Verdener (red. Engholm og Klastrup) 07-04-2017

OVERBLIK OG INFORMATION Interaktiv grafikkort over metrobyggeriet på politiken.dk http://multimedia.pol.dk/archive/00357/Metro2009_357318a.swf 07-04-2017

07-04-2017

NÅR MULTIMODALITET BLIR EN HELHED http://w2.djh.dk/hovedopgaver/2003F/02/forside.html 07-04-2017

NÅR MULTIMODALITET BLIR EN HELHED http://forsiden.3f.dk/article/20080115/WEBSPECIAL/325580391/2175/NYHEDER 07-04-2017

ONA AWARDS 2008/ MULTIMEDIA JOURNALISM WINNER http://iraq.reuters.com/ 7. april 2017

ONA AWARDS 2009/ MULTIMEDIA JOURNALISM WINNER http://waterlife.nfb.ca/ 07-04-2017

RESSOURCER gode referencer til div. tekster om visuel retorik: http://www4.ncsu.edu/~vgallagh/VisualRhetoricGradSyllabus.pdf B. Phillips & E.F. Mcquarie: Beyond Visual Metaphor: A New Typology of Visual Metaphor in Advertising (2004) Jens F. Kjeldsen: ”Visual Argumentation in Scandinavian Political Advertising” (2007) Birdsell Y Groarke: Toward a Theory of Visual Argument (1996) god opsummering af farvers betydning: http://www.yoyo-creative.dk/start/hidden/FS-Lysdesign.htm gode referencer til div. tekster/sites om lyd: http://www.gamessound.com/links.htm gode multimedia sites: http://journalists.org/news/29726/Finalists-announced-for-2009-Online-Journalism-Awards.htm Generelt: http://delicious.com/klast/digitalrhetorics

NÆSTE GANG PROCEDURAL RETORIK - SPILRETORIK Gæsteforelæser: Miguel Sicart Forberedelse: Læs tekster (Bogost, Consalvo og Dutton, Frasca) + spil spil! GRUPPE 9 FREMLÆGGER FRASCA-TEKST 07-04-2017

ØVELSER Vi mødes til startoplæg 13.00 i auditoriet Fælles brainstorm eksamensopgave (lægges på kursuswebsite) Gruppearbejde: multimodal analyse Plenum: - diskussion af analyser 7. april 2017