KURSUSGANG 4. VISUEL KOMMUNIKATION & RETORISK KONVERGENS

IDAG Lisbeth intro Gruppe 3 præsenterer McCloud (Barthes) Musik-gruppe om musik og kommunikation Multimodalitet, tekst og billed på www Øvelse: YouTube analyse

GRUPPE 3 PRÆS McCLOUD- TEKST MUSIK-GRUPPE OM MUSIK

SEMIOTIK & MULTIMODALITET

Semiotik ”Videnskab” der fokuserer på hvordan betydning skabes i et givet tegnsystem Identificere ”tegn-enheder” Skel mellem ”signifier” og ”signified” (det der repræsenterer og hvad det repræsenterer), tegn og objekt //Saussure Peirce: symbol, indeks og ikon

tegn: noget, der står for noget andet hvert medie sine egne tegn & ”mindste betydende” enheder, måde at skabe mening på Tekst: morfem (”ko”, ”ne” - Saussure) Film: ”skuddet” (autonome segmenter, Metz) lexia: betydningsenhed grammatik: regler for brug af ”tegn” syntaks: organisering af tegn Semiotik II

Semiotisk fortolkningspraksis er kulturelt og socialt bestemt & præget af repræsentationelle paradigmer Selvom tingene ”bare” er der, fortolker vi f.eks. relationer mellem genstande på billedet på bestemte måder (afstand, interaktion osv). Vores fortolkning er ”kulturlig”, ikke ”naturlig” og ”åben”. Hver ”modus” har sin udtryksform - og sin era. language and visual communication both realize the same more fundamental and far-reaching systems of meaning that constitute our cultures, but that east does so by means of its own specific forms, and independently. …(Reading Images s. 17) Socialsemiotik: Kress/Leuwen

Peter Greenaway The Pillow Book (film)

KONVERGENS & REMEDIERING Konvergens (digital retorisk) forskellige udtryksformer (multiple media og genrer) flyder sammen (det visuelle sprog, lyd som billed, interaktiv grafik) /indhold flere medier er repræsenteret på samme platform (lyd, billed, animation, text /teknologi Remediering Nye medier genbruger og remixer gamle mediers ”sprog”(film - teater, tv - radio, internet text - print text osv), ligesom gamle medier lader sig influere af nye medier Fagerjord: Rhetorical convergence is the combination in one medium of rhetorical forms or devices that were earlier only seen in separate media … emphasizing how different styles and sign systems are combined into complex texts and thus also complex significations and reader selections and processes of semiosis….(i “Rhetorical Convergence – Studying Web Media”, p. 307)

MULTIMODALITET Ikke multimedier, men multimodalitet multimedier (materielt perspektiv: kanal/medier) multimodalitet (indholds/betydningsorienteret) Multimodalitet: en kombination af modaliteter, der trækker på forskellige semiotiske ressourcer (f.eks. verbalsprog er en semiotisk ressource, der giver sig udtryk i tale og skrift, andre er lyd, stillbilleder og levende billeder) (cf Kress&Van Leeuwen, Hasn Ole Rustad)

MULTIMODAL REMEDIERING

FAGERJORD om MULTIMODALITET typiske modaliteter på web: skrift, fotografier, tegninger, forklarende figurer, typografi layout, levende bilder og simuleret 3D en modalitet indkapsler ofte en anden (”dominerende stemme”) jvf. videoeksempler næsten altid kombi af tekst/stilbilleder (el. tale og video) kombi af modaliteter kan forankre mening i ”et 3.udtryk”

TEKST/VIDEO INDKAPSLING Tekst indkapsler video: Videoillustration (som et billede, fx Trekking Nepal) Skrevet introduktion (fx BBC news) Video-på-bestilling (kræver skriftmenuer, fx Tv2 Sputnik) Video med kapitler (fx National Geograpfic) Alternative versioner Video indkapsler tekst: Introduktion til tekstmateriale (appetizer, følelsesfremkalder, ”exordium”) (fx The Meatrix, 3F selvmord) Video står med fodnote (fx ”Commanding Heights på PBS)

MULTIMEDIALITET? ELLER MONOMEDIAL COLLAGE Phil MacGregor: -Multimedier bruges, ”isoleret” fra teksten, dvs. mening opfattes ikke samlet -”Sensorisk” kløft/attention surplus -Sammenstød mlm immediacy & hypermediacy -Forventning om mulighed for handling skuffes -sit-up vs. sit-back medier -(jvf. Fagerjord/Liestøl: objektaktivitet, subjektaktivitet) Phil MacGregor: ”Mind the Gap – Problems of Multimedia Journalism”. I Convergence, Vol. 9, no. 9, 2003

NÅR MULTIMODALITET BLIR EN HELHED

NÅR MULTIMODALITET BLIR EN HELHED

SPROG OG BILLED

Sprogtegn - verbal fortælling: fra abstrakt til konkret: symbolet mand --- din mentale konkretisering af ordet – ”received” tekst opererer typisk med metaforer Billedtegn - filmisk fortælling: fra konkret til abstrakt: en bestemt mand --- en mental repræsentation af mand i det hele taget, hvad han er symbol for – ”perceived” billeder opererer typisk med metonymier SPROG OG BILLED KOMMUNIKATIVE STYRKER

Sprog - er et godt medium til at repræsentere et tidsligt forløb (sekvens af begivenheder, handlinger) Billede - er et godt medium til at repræsentere rum (arrangement, ”display”) Home SPROG OG BILLED KOMMUNIKATIVE STYRKER

Lindh, 46, was stabbed several times inside an upmarket Stockholm department store as she shopped Wednesday. She died early Thursday as a result of wounds to her abdomen. ….[] Police say the shop might have images of the killer on a video surveillance camera. Up to 50,000 people, many carrying red roses, gathered in Stockholm for Sweden's biggest political demonstration since the Vietnam War. CNN.com, 12/

KJELDSEN: BILLEDETS RETORIK Særligt kendetegnet ved evidensfunktion nærvær realisme og dokumentation umiddelbarhed fortætning (kombi æstetisk og retorisk mening) Billedet kan også have en retorisk funktion, typisk i kraft af emotionel appel, men også argumentativ Billeder fungerer også som ”troper”, metafor og symboler på f.eks. fælleskulturelle værdier

BILLEDETS FORMER Den visuelle repræsentation spænder fra det meget abstrakte til det meget konkrete Symbol - ikon - repræsentation ? Hvornår er det hensigtsmæssigt at bruge hvad

Væsentligste info, symbolkarakter Genkendelighed, illustration, dokumentation, emotionel appel

B. Phillips & E.F. Mcquarie: Beyond Visual Metaphor: A New Typology of Visual Metaphor in Advertising (2004)

ØVELSE

TEKST OG BILLED PÅ WWW

VISUEL KOMM PÅ WWW Fagerjord blikfang illustration konnotation Thorlacius understøtter/kommunikerer sender-image understøtter funktionalitet (navigation osv) understøtter/skaber webgenre signalerer publikumsopfattelser (aktuelle trends i visuel aesthetics)

LÆS LITTERATUR TIL KURSUSGANG 4 (SE KURSUSPLAN) GRUPPE 4 FREMLÆGGER TEKST OM VISUEL ARGUMENTATION NÆSTE GANG