Få ny energi i testen Prøv en Bug Hunt Præsenteret af Klaus Olsen.

Præsentationer af emnet: "Få ny energi i testen Prøv en Bug Hunt Præsenteret af Klaus Olsen."— Præsentationens transcript:

1 Få ny energi i testen Prøv en Bug Hunt Præsenteret af Klaus Olsen

2 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Bug Hunt er præsenteret på følgende konferencer:  Testing Portugal 2013 i Lissabon, Portugal.  FiSTB Testing Assembly 2013 i Helsinki, Finland.  ANZTB Test2013 i Canberra, Australia.  Czechtest 2011 i Prag, Czech Republic.  ANZTB Test2009 i Sydney, Australien.  Test 2008 i New Delhi, Indien.  EuroSTAR´2003 i Amsterdam, Holland.  Softwaretest, Produktivitet og Effektivitet 2003 i København.

3 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Hvad er en Bug Hunt  En Bug Hunt er en jagt på fejl, med to personer sammen om en computer  Jagten foregår i et begrænset tidsrum  Udforskende test anvendes som metode til at teste  Den bedste (mest alvorlige) fejl belønnes  Det hold der har fundet flest fejl belønnes

4 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Hvad kan man opnå? Case 1; 32 fejl fundet på 45 minutter i software der skulle have været klar til accepttest Case 2; 72 fejl fundet på 2 timer i en Bug Hunt i software der blev leveret til accepttest

5 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Hvornår kan en Bug Hunt anvendes? Når en ny version software er klar til test, vil en Bug Hunt på kort tid aflæse temperaturen ~ kvaliteten af softwaren. Som entry-kriterier ved fase-skift, se det som en ”smoke test” udført af personer, frem for automatiseret test, hvis man ikke har disse. Som team-motivation, når testudførelsen bliver rent arbejde, og rutinen tager over kan en Bug Hunt giver et skud adrenalin til testen.

6 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Der indgår 3 dele i en Bug Hunt Klokker Ur Præmier

7 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Ringeklokker anvendes for at gøre opmærksom på at der er fundet en fejl Klokker

8 © Softwaretest.dk & Klaus Olsen 2013 v1.0 En Bug Hunt er altid tidsbegrænset Ur

9 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Det par som rapporter den mest alvorlige fejl, set fra et forretningssynspunkt, vinder en præmie Det par som rapporter flest fejl vinder en præmie Præmier

10 © Softwaretest.dk & Klaus Olsen 2013 v1.0 2 roller i en Bug Hunt Coach Dommer

11 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Det anbefales at anvende en coach i en Bug Hunt Coach kan anbefale nye angrebsteknikker undervejs Coaching

12 © Softwaretest.dk & Klaus Olsen 2013 v1.0 En dommer anvendes til at vurdere om en fejl er fundet Alle fejl skal kunne genskabes når dommer ser med Dommer

13 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Udforskende test, trin for trin Udforskende test kan beskrives som en målrettet vandring. Udforskningen har en mission der er beskrevet i en charter, men den har ikke en fastlagt rute Opret en charter som beskriver hvad, hvordan og på hvilke måde, der skal testes Beskriv varigheden af testen De to testere nedbryder selv charteret yderligere, hvis de har behov for det

14 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Hvornår kan udforskende test anvendes? På projekter hvor der ikke er:  tid nok til at arbejde med testplanlægning,  tid nok til at dokumenterer testcases med input data og forventet output data. På projekter hvor der ikke er mandskab nok til testen. På projekter uden dokumenterede krav og kravspecifikationer Ved Bug Hunting Anbefaling max 50% af testen bør være udforskende test

15 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Angrebsteknikker Anvend input værdier som fremprovokerer alle fejlbeskeder der kan forekomme Anvend input data der tvinger den software du tester til at gendanne default værdier Afprøv tilladt tegnsæt Tving input areal ud i ”overflow” Brug lange strenge af input, som er større end det programmet er udviklet til at håndtere Fremtving ugyldige output værdier Test med ugyldige operatorer og data

16 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Bug Hunting - regler for jagten: Sæt personerne sammen parvis Definer en periode for jagten på f.eks 60 eller 90 minutter Uddel en papirskabelon til at dokumentere fundne fejl Anvend en klokke til at markere nye fejl, og hidkalde dommeren Dommeren træffer sammen med coachen det endelige valg om hvilke fejl der var den mest alvorlige, og som derved vinder denne jagt på fejl

17 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Bug Hunting på 1 time 8 personer deltog + 1 dommer og 1 coach Der var afsat 45 minutter til selve jagten, 15 min. til optakten Test på et standard system, som var klar til accepttest, ifølge leverandøren Der blev fundet 32 fejl på de 45 minutter! Nogle ønskede mere tid, de var slet ikke færdige Alle var grebet af “ilden”, det var anderledes, men samtidig interessant Case 1

18 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Case 1 Erfaring fra case 1 med Bug Hunting At teste samme parvis fungere godt: Områdeviden blev aktivt delt i de enkle par Testteknikker blev diskuteret og anvendt Påvirkning af hinanden, et eksempel var et par der forfulgte en type fejl rundt i systemet, og som afslørede tilsvarende fejl i andre dele Klokken der lyder for hver fejl, driver adrenalin frem hos alle i samme rum Tiden løber stærkt, og test bliver en fest, frem for en pest

19 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Bug Hunting på 2 timer  12 personer deltog + 1 dommer og 1 coach, da det var en lille it-afdeling deltag alle medarbejderne  15 minutter blev brugt til en kort instruktion  3 * ½ time blev brugt til selve jagten  15 minutter blev brugt til opsamling  Test af et nyt udviklet system til anvendelse på et universitet for de studerende, hvor de kan tilmelde sig klasser til næste semester Case 2

20 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Session based TM eksempel Par 1 og 2 charter Par 3 og 4 charter Par 5 og 6 charter Første ½ time Elev data (navn, alder, adresse...) Elever vælger klasser Administration modul Par 1 og 2Par 3 og 4Par 5 og 6 Anden ½ time All rapporter fra systemet Brugervenlighed alle områder Sikkerhed alle områder Par 1 og 2Par 3 og 4Par 5 og 6 Tredje ½ time Freestyle eller gå tilbage til et område Case 2

21 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Erfaring fra case 2 med Bug Hunt  77 fejl fundet på 2 timer!  Kun 5 fejl var dobbelt registreret  Test Manageren behøvede ikke at forklare ledelsen, at kvalitet ikke var god nok til at gå videre med testen  Ledelsen var selv en del af denne Bug Hunt og de havde allerede selv draget deres konklusion  Efterfølgende har organisation brugt Bug Hunt på flere andre projekter Case 2

22 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Prøve en Bug Hunt  På vores kursus Struktureret Test er Bug Hunt en del af det vi går igennem, inklusiv en øvelse med pc´er med en Bug Hunt Se vores kursusoversigt på www.softwaretest.dk www.softwaretest.dk

23 © Softwaretest.dk & Klaus Olsen 2013 v1.0 Få hjælp til en Bug Hunt  Vi kommer også ud til virksomheder og hjælper med at planlægge og gennemføre en Bug Hunt på jeres projekt Kontakt os på klaus@softwaretest.dkklaus@softwaretest.dk

24 © Softwaretest.dk & Klaus Olsen 2013 v1.0

25 Tak fordi du så denne præsentation Vil du vide mere om test? Kontakt softwaretest.dk via email: klaus@softwaretest.dk