Hand Tracking - Using Active Shape Models. Introduktion Vi har implementeret en applikation i C++, der ved hjælp af Active Shape Models tracker en hånd.

Præsentationer af emnet: "Hand Tracking - Using Active Shape Models. Introduktion Vi har implementeret en applikation i C++, der ved hjælp af Active Shape Models tracker en hånd."— Præsentationens transcript:

1 Hand Tracking - Using Active Shape Models

2 Introduktion Vi har implementeret en applikation i C++, der ved hjælp af Active Shape Models tracker en hånd gennem en sekvens af gråtone-billeder. Dataindsamling og pre-processering Fitting Tracking

3 Nuværende landmarks Har vi valgt de rigtige landmarks?

4 Problemer med landmarks Punkter ved håndled forstyrrer. Stiller krav om bestemt vinkel i håndledet. Generelt kunne vi ønske os et bedre fit til pegefingeren.

5 Alternative landmarks Desuden kunne landmarks vægtes indbyrdes, så dem på pegefingeren vejer tungere. [Cootes & Taylor, Appendix C1]

6 Fitting til billede Valg af fitting measure – Maximum Gradient Problemer –Baggrundsstøj –For lav kontrast (pga. konvertering til gråtone)

7 Nuværende metode – Maximum Gradient Indførsel af threshold for størrelse af gradient. Test Gik fra 23 til 13 iterationer i fittet til venstre. Andre forbedrings- muligheder Brug af farve billeder i stedet for gråtone

8 Analyse af farvekanaler RødGrønBlå Img Grå

9 Analyse af farvekanaler RødGrønBlå Img Grå

10 Analyse af farvekanaler -= RødGrøn Rød Grøn -= Gøres kun langs normalen i C++ implementation

11 Fordele/Ulemper ved brug af farvekanaler Fordele –Højere kontrast mellem hånd og baggrund  højere stabilitet ved tracking med skærm som baggrund Ulemper –Meget rødt på skærmen –Problemer med hudfarve  mindre generel implementering. –Mere tidskrævende Eksempel…

12

13 Hudfarve som fitting measure  Fordele: Man bliver ikke forstyrret af baggrunden Ulemper: Folks hudfarve er ikke ens Hudfarve i baggrunden Længere evaluerings tid

14 Tracking Frame 11, fitFrame 12, initialFrame 12, nedskaleret Final pose fra sidste frame bruges som Initial pose i aktuel frame Initial pose er afgørende for resultatet af vores tracking.

15 Initial Pose Kontinuer tid, Δt = 0. X init = X final Diskret tid, Δt = timeStep. X init = X final + d(Δt) Hvor d() er en displacement-funktion.

16 Problemer med initial pose Den diskrete tid kan give problemer ved: For lav frame rate For hurtige bevægelser Tracking er relativt ustabil ved hurtige bevægelser. Dog klarer den skalering godt: Altså nedskalering mellem frames er OK!

17 Forbedringer Diplacement, d(Δt) kan estimeres Naiv forecast (håndens fart) Ulempe: ”Forældet” data. Optic Flow

18 Fordele Forudbestemmer initial pose Ulempe Langsomt

19 Fleksibilitet i implementation Mål: At bruge hånden i stedet for en mus. Krav: En måde at ”klikke” på. Løsning: Da vores implementation kan håndtere flere forskellige shapes.