DIGHUMLAB tema 3 – Big Video – udfordringer og muligheder Thomas Ryberg & Paul McIlvenny Aalborg Universitet D

Big Video – udfordringer og muligheder Eksempel på forskningsprojekt med ‘Big Video’ (Thomas) Big Video – konturerne af et nyt felt (Paul) Nya satsningar – nya idéer – nya möjligheter , Lund 18 maj 2016

PBL i hybride læringsrum - projekt i Aalborg fra 2015 og frem: Hvordan ibrugtager studerende IT? Hvad betyder de fysiske rammer? Hvilken rolle spiller it og andre ‘teknologier’ i projektarbejdet? Hvad sker der faktisk i et projektarbejde – når vi virkelig zoomer ind! Dataindsamling: Interview workshops med KDM og A&D studerende Studie af én gruppe af Arkitektur og Design studerendes projektarbejde over 34 dage=209 timers video 14 dages video af fem forskellige grupper – hver med 4-5 kameraer = 3-400 timers video Optagelser med 360 kamera 10-20 TB – men det er noget der skal tilgås, afspilles, processeres osv. Bevidst ukontrolleret eksperiment: Stresse eksisterende infrastruktur (lagring) DIGHUMLAB interesse: Indsamle store mængder af videodata og så finde ud af, hvordan vi faktisk kan behandle det på en fornuftig måde… (Men vi har mere specifikke spørgsmål, der kan besvares ved nedslag i data – men det kræver også overblik)

Arkitektur og Design: Statiske og mobile kameraer Aktiviteter i og udenfor grupperummet

Architect and Design students – tracing their ”knowledge spillovers” – følge fem grupper

Bevægelse over tid – hvor og hvornår foregår hvad? Segmentering

Transskriptionsudfordringer: Hvordan kan vi indfange detaljerne i de studerendes arbejde over tid? 1 times video = 12-20 timers arbejde

Muligheder og udfordringer Unikt indblik i gruppe- og samarbejdsprocesser ”Vi vil for eksempel gerne se, hvordan en god ide kan opstå i samarbejdet. Kan vi se tegn på løsningen på et problem tidligt i processen? Bliver den en del af det færdige produkt?” Udfordringer: Labour intensive! Storage: Store mængder af tunge data – fra netværk til lokal maskine til behandling/analyse Behandling: 5 kamera vinkler der skal sættes sammen i ét billede (Adobe Premiere og Pluraleyes) Brug af Computerome HPC på DTU til at samle videoerne (https://www.deic.dk/news-2016-08-29-videorender_Computerome) – fra 30-60 timer på bærbar – 8 timer på HPC og 20 minutter på HPC cloud system Editering, annotering, transkription: Ekstremt stor opgave! 1 times video kan tage 20 timer at behandle, hvis det skal transkriberes detaljeret (human work) På agendaen: Kan software/algoritmer bruges som støtte til analyse (hvem taler, ansigtsgenkendelse, eye-track, bevægelsesmønstre) Hvad sker der når vi bringer 360 graders kameraer, bio-sensing, positional data ind i legen eller skal dele og samarbejde med andre forskere (distribueret) Nya satsningar – nya idéer – nya möjligheter , Lund 18 maj 2016

Big Video – konturerne af et nyt felt Paul McIlvenny Nya satsningar – nya idéer – nya möjligheter , Lund 18 maj 2016

Enhanced digital video Big data Big video Complex data streams Human data Qualitative Enhanced digital video Large data sets Meta-data Quantitative

Qualitative tools to support analysis Capture Storage Archiving Access Collaboration Sharing Visualisation Transformation Presentation Qualitative tools to support analysis BIG VIDEO INFRASTRUCTURE

Enhanced qualitative studies BIG VIDEO Sensory ethnography Computable bodies Multi-stream data Quantifiable We Bio-sensing Rich video data Enhanced qualitative studies

Storage Collaboration Computation Data capture Storage Virtualisation Computation Visualisation Collaboration Ethics Complex human data capture scenarios (events in situ) 4k/8k Digital video + light field Spatial audio and ambisonics Senses and sensing Location and proximity Volumetric/depth capture Large databases/distributed storage P2P or federated fog Device agnostic Encrypted Virtualisation of data sources Swarm video Virtual cameras/POV Virtual microphones/sound fields Computationally intensive Supercomputer or cloud rendering Live streaming Visualisation and inhabited data Visualisation of multiple data streams, including positional and biosensing data Collaborative annotation of multiple data streams (AR) Distributed collaboration Distributed team data sessions and analysis Low-level coding of large video data sets New big video data ethics Surveillance architectures? Informed consent? Data integrity and security?