Cam Dancer Anvendelse af Billedeanalyse Teknikker

Agenda Introduktion –Formål Pixel Tracking –Overblik Over Anvendte Teknikker Pixel Gruppering –Global Gruppering hhv.

Introduktion Formål –Input fra web kamera –Isolering af spiller så spillet kan identificere krops og våben pixels Input Mekanisme –Web Kamera ( eks. Creative NX Pro ) –Java Media Framework (JMF) Der registreres et callback objekt og JMF leverer Frame Buffer objekter Buffer objekterne konverteres til Image objekter vha. en JMF hjælpe klasse Udfordringer –Web kamera billeder er spejlvendte –Oversætning af web kamera billeder til information der kan anvendes i kollisions kontrol

Pixel Tracking AbstractLevel.render(..)  AbstractLevel.updateGameState(..)  TrackingController.getTrackedImage(..) Algoritme 1.Flip Billede ( Java2D AffineTransformation ) 2.Fang Baggrund ( 5 sek. / RGB Middelværdier ) ( ”uheldige støj pixels fjernes” ) 3.Fang Pixels ( Threshold / HSV / Spil igang ) ( Krops og Våben Bunker ) 4.Plot Våben Optegning H.S.V. Konfiguration

Pixel Gruppering Anvendes af kollisions-kontrol modulet K-Means 1.Fordel pixels tilfældigt på K=2 Hobe 2.Beregn fælles centrum for hver af hobene 3.Omfordel pixels til den hob hvis’ centrum er nærmest 4.Gå til step 2 - sålænge centrum flytter sig. Global Pixel Gruppering Fordele: –Lav kompleksitet Ulemper: –Evt. våben-identificerede fejlpixels placeret udenfor spilleren kan få bolden til at eksplodere –Er få våben pixels fundet, så kan kropspixels / fejlpixels få bolden til eksplodere længe inde den skulle have ramt våbnet. K-Means Gruppering Fordele: –Fejl pixels er sorteret fra. –Våben område kan gøres stort nok til at spilleren har et godt gameplay – selv hvis han står langt fra kamera. Ulemper: –Højere tids kompleksitet. –Skulle der være nok fejlpixels, genkendt som våben, kan bolde eksplodere i et større område væk fra brugeren (end vha. GPG). Test K- Means gruppering gør frame behandlingstiden ca. 30%-50% langsommere. Større våben områder gør gameplayet mere behageligt på afstand.

Demonstration Uden Web Kamera Med Web kamera Med K-Means

Afrunding Forslag til projekter –Stabilitet Form genkendelse mv. –Baggrunds substraktion –Performance Anden platform / hardware nær

Noter RGB Threshold Beregning