Billedsegmentering ved hjælp af grafsnit Ditte-Maria Christiansen Peter Pilgaard Rasmussen

Formål med specialet Hvorfor segmentere billeder? Segmentering og grafsnit De undersøgte metoder Brugergrænseflade Test af metoderne Konklusion Perpektivering –Pause Spørgsmål?

Formål med specialet At undersøge metoder til billed- segmentering for at finde den hurtigste og bedste. Bedste?

Hvorfor segmentere billeder Medicinsk billedbehandling Tidsserieanalyse – still-billeder Fremhævning af enkeltelementers datainformation – satellitbilleder

Segmentering og grafsnit Fra billede til graf –Graf –Minimum Cut: 4 naboer (up, down, left og right) –Normalized Cut og Average Cost Gap: Alle naboer Vægtfunktion (gaussisk)

Minimum Cut grafen 000 up leftright 661 down 000

Normalized Cut

De undersøgte metoder Grafen Minimum Cut –Minimerer Normalized Cut –Minimerer Average Cost Gap –Minimerer et gab i løftet af grafen til et hyperplan

 -parametren Estimere  [Huang og Mumford] –Implementeret i Normalized Cut

VægtfunktionMinimerer Egenværdi- problem Minimum Cut Normalized Cut Næstmindste egenværdi til: Average Cost Gap Minimerer et gab i løftet af grafen til et hyperplan Største egenværdi til:

Fordele og ulemper ved metoderne Minimum Cut –Kræver viden om objekternes placering –Mange objekter  Mange s’er og t’er –Kun en parameter Normalized Cut –Mange parametre at skrue på –Kan segmentere i flere dele (flere egenvektorer) –Kræver ingen viden om objekternes placering Average Cost Gap –Skal gange 2 n×n matricer sammen (n: antal pixel) –Deler ikke langstrakte elementer

Den grafiske brugergrænseflade Overvejelser Afprøvning Udvidelser

Overvejelser Brugervenlighed –Definition Lethed Brugbarhed Let at huske Tilfredshed Forståelighed Bekvemmelighed Hvor let det er at bruge programmet Om programmet er effektivt i brug Om det er let at huske hvordan programmet bruges efter længere tids fravær Om man generelt kan lide at arbejde med programmet Om man kan forstå hvad der sker idet man aktiverer en funktion i programmet Om man føler at alt virker som det beskrives udfra knapper og menuer

Overvejelser Brugervenlighed –Gestaltlovene Lukkethed Nærhed Lighed Linier

Overvejelser Farveopfattelse –Farveblindhed –Negativt efterbillede

Afprøvning Vi så… –Minimum Cut for 2D med : En kilde og en terminal –Grænsetilfælde –Utilstrækkelig information En kilde og to terminaler –Passende information –Normalized Cut for 2D : Flere typer afhængig af tilfældighedgenerator

Afprøvning Minimum Cut Normalized Cut

Udvidelser Farvebilleder – Farvesegmentering Visualisering af kilder og terminaler Valgmulighed: –Flere skiver efter update –Colormap Lyssætning (problem i Matlab 6.5.1) Afbryder-funktion Yderligere segmenteringstyper

Testning Det vi har testet Resultater

Det vi har testet Minimum Cut –Hvor stor betydning billedstørrelsen har på segmenteringstiden –Hvilken betydning antallet af elementer har for tidsforbrug og kvalitet af segmenteringen –Hvilken indflydelse støj har på segmenteringstid og kvalitet –4-naboskab versus 8-naboskab –Indbyrdes forhold mellem vægtfunktionens parametre –Forskellige  I ’ers indflydelse på tid og kvalitet i voluminer –Parameteren  I ’s betydning for tid og kvalitet i 2D

Det vi har testet Normalized Cut –Hvorvidt der tages højde for gråtonerne –Hvor stor betydning billedstørrelsen har på segmenteringstiden –Hvilken betydning antallet af elementer har for tidsforbrug og kvalitet af segmenteringen –Hvordan tidsforbruget er fordelt på funktionerne –Hvilken indflydelse støj har på segmenteringstid og kvalitet –Udskiftning af vægtfunktion til en generaliseret Laplace

Det vi har testet Average Cost Gap –Evne til at segmentere langstrakte elementer –Støjens indflydelse på kvaliteten

Resultater Minimum Cut –Tidsforbruget af segmenteringen er afhængig af formen og størrelsen af de elementer der skal segmenteres, samt af billedets størrelse –Støj har ikke direkte indflydelse på segmenteringstiden, men påvirker hvor meget der segmenteres, og derved påvirkes segmenteringstiden indirekte –Segmenteringstiden stiger når der introduceres flere naboer

Resultater Minimum Cut –Segmenteringstiden stiger, når afstanden mellem kilde og terminal øges, dette bliver endnu mere markant ved 8 naboer end ved 4 –Tidsforbruget ved voluminer er ligesom for billeder afhængig af størrelse af voluminet og antallet af kilder, idet dette giver flere kanter

Resultater Minimum Cut –Når 8 naboer bruges fremfor 4 naboer bliver kvaliteten god ved brug af færre terminaler –Støj forringer kvaliteten af segmenteringen i en sådan grad at det er svært at genkende objekterne –Når støjen tiltager i en billedrække er det nødvendigt at sænke  I værdien –Støj har ikke påvirket kvaliteten af de tests vi har lavet på voluminer

Resultater Minimum Cut –Både segmenteringstid og kvalitet er afhængig af  I –Man kan afgrænse intervallet af  I ved at finde intensitetsforskelle i områderne omkring kilder og terminaler. Intervallet mellem mindste kilde intensitet og mindste terminalintensitet anbefales og det anbefales at bruge størsteværdien i dette interval først

Resultater Minimum Cut –Kvaliteten falder idet segmenteringstiden falder, dette sker ved forskellig  I – afhængig af elementerne i voluminet –Der findes en nedre grænse  I hvorunder segmenteringen bliver en thresholding fremfor en segmentering. Denne grænse er afhængig af det enkelte billede eller volumen

Resultater Normalized Cut –Tidsforbruget stiger i takt med billedstørrelsen, dog kan overgangen fra normal matrix til sparse matrix ses af tidsforbruget –Hvis vi forsøger udfra tallene at udregne det videre forløb uden sparse, ser det ud til at tidsforbruget ikke ville have havnet så langt fra de tidsforbrug vi får ved sparse matricen

Resultater Normalized Cut billeden^2forholdstalsekunderforholdstalsekunder billede full32.6 billede full billede full10 udregnet billede sparse 3260 full udregnet billede sparse6 udregnet 3260 full udregnet billede sparse full udregnet

Resultater Normalized Cut –Segmenteringsfunktionen tager kun få sekunder –Udregningen af egenværdier og egenvektorer står for 74-96% af den fulde segmenteringstid –For 100 x 100 pixels ligger segmenteringstiden fra ca. 27 minutter til 9 ¾ time –For 25 x 25 pixels er segmenteringstiden nede i 2 til 18 sekunder

Resultater Normalized Cut –Opbygning af grafen og markering af pixels er uafhængig af billedets art, udregningen af egenvektorer er dog afhængig af størrelsen af elementerne i billedet –Billedets art betyder noget for beregningstiden og kvaliteten, idet selve elementernes indbyrdes placering lader til at influere på begge dele ved segmenteringen

Resultater Normalized Cut –Kvaliteten afhænger af billedets størrelse og afstanden mellem pixels, der ligner hinanden –Når støjen tiltager i en billedrække er det nødvendigt at mindske  I og hæve radius –Støjen har ikke indflydelse på om elementerne segmenteres, men segmenteringen vil indeholde mere støj –Udskiftning af gaussisk vægtfunktion med en generaliseret Laplace har ikke vist sig fordel-agtig. Dog, i de få tilfælde hvor kvaliteten var god er kanten blevet mere korrekt

Resultater Normalized Cut –Gråtoner kan adskilles, men forekomster af forskellige gråtoner kan også forekomme i samme segment

Resultater Average Cost Gap –Denne er ikke en forbedring til Normalized Cut –Finder grænser i billederne, der ikke eksisterer –Er følsom overfor støj

Væsentlige fejl Under testforløbet har der været fejl i koden til opsamling af tidsforbrug under Minimum Cut. Ved indskrivning af testresultater har vi ikke været kritiske nok overfor tallene for tidsforbruget, dette har vi fundet ud af senere. Minimum Cut er dog stadig betydeligt hurtigere end Normalized Cut.

Konklusion – generelt Det er et problem, at det tager så lang tid at segmentere billeder større end pixels Der bør bruges metoder, der søger at minimere tiden i forhold til billedstørrelsen Vi har med succes implementeret og afprøvet Minimum Cut og Normalized Cut Average Cost Gap og udskiftning af vægtfunktion til generaliseret Laplace har ikke givet gode resultater

Konklusion – Minimum Cut Minimum Cut har vist sig at være hurtigere end Normalized Cut, hvorfor vi i det tilfælde hvor billedet ikke er generet af for meget støj vil foretrække denne metode Ulempen ved metoden er, at der er 1 parameter + minimum 2 punkter der skal sættes. Det er en lang interaktionstid med GUIen

Konklusion – Normalized Cut Normalized Cut har vist sig at være bedre end Minimum Cut for billeder der er støjgenerede – kvaliteten bliver bedre Ulempen ved Normalized Cut er, at der er 4 parametre, der skal sættes, hvor de alle afhænger af hverandre

Konklusion – Average Cost Gap Metoden er kun vist i teorien i artiklen Den giver dårligt resultat i vores test Vi har muligvis ikke fundet den rette type billede Den danner grænser i billedet, der ikke eksisterer

Konklusion –  -parameteren Det er ikke lykkedes os at vise at en udskiftning af den gaussiske vægtfunktion med en generaliseret Laplace skulle være bedre til naturlige billeder

Konklusion – Brugergrænsefladen Vi ville lave en GUI, der både var funktionel og pæn Segmenteringsmetoderne skulle kunne køres deri, og der skulle være mulighed for at vælge flere kilder/terminaler og flere inddelinger end 2

Perspektivering Udvidelse med Nyström-tilnærmelsen giver mindre matricer under udregningerne Eliminering af oversegmentering ved hjælp af middelværdi og varians på segmenterne Flere  I til ét billede kan muligvis afhjælpe støjgener Eliminering af større ens områder indenfor elementerne vil kunne mindske antallet af udregninger