Learning Objectives 5 Steps of a Significance Test Assumptions Hypotheses Calculate the test statistic P-Value Conclusion and Statistic Significance 1

Significance Test A significance test is a method of using data to summarize the evidence about a hypothesis A significance test about a hypothesis has five steps Assumptions Hypotheses Test Statistic P-value Conclusion 2 2

Step 1: Assumptions A (significance) test assumes that the data production used randomization Other assumptions may include: Assumptions about the sample size Assumptions about the shape of the population distribution 3 3

Signifikanstest / Hypotesetest En hypotese er en påstand om en egenskab ved populationen, f.eks. om μ Eksempler: Brugervenligheden på en kommunes side ligger på niveau med top 10% af DK hjemmesider. Brugernes svar på spørgsmålet ”Søgefunktionen giver mig resultater jeg kan bruge” lever op til målsætningen om et gns. på min. 4,0. Formålet med (mange) undersøgelser er at undersøge om empirien understøtter ens hypoteser. 4

Signifikanstest for en middelværdi Trin 2: Hypoteser Nul hypotesen (H0) har formen: H0: µ = µ0 µ0 er en generel betegnelse for den værdi, vi tester Alternativ hypotesen skrives Ha eller H1 har formen: Ha: µ > µ0 (ensidet test) eller Ha: µ < µ0 (ensidet test) eller Ha: µ ≠ µ0 (tosidet test) 5 5

Formulering af hypoteser Formulering af hypoteser - analogi til en lovlig retssag Nul hypotesen: Den anklagede er uskyldig, der er intet sket, tingene er uændrede, ingen effekt Alternativ hypotesen: Den anklagede er skyldig Hvis juryen frikender den anklagede, betyder det ikke, at juryen accepter den anklagedes påstand om uskyldighed. Kun at beviserne ikke er der. Uskyldighed er plausibel, fordi skyld ikke har kunne bevises udover en rimelig tvivl 6 6

Teststørrelse Vi udtager en stikprøve og beregner en teststørrelse. Trin 3: Test-størrelsen Vi udtager en stikprøve og beregner en teststørrelse. Teststørrelsen angiver hvor langt stikprøvens middelværdi falder fra nul hypotesens værdi µ0, målt i antal ”standard errors. Teststørrelsen er z-scoren 7 7

Beslutninger i en hypotese test Trin 4: P-værdi Signifikansniveauet er et tal, hvor vi afviser H0 hvis P-værdien er mindre end eller lig med dette tal Vi bruger et signifikansniveau på 0,05 (5%) Når vi afviser H0 siger vi at resultatet er statistisk signifikant på et P-niveau. P-værdi: Beslutning om H0: ≤ α Afvis H0 > α Ikke muligt at afvise H0 8 8

Eksempel på hypotesetest vedr. μ Et it-konsulentfirma har forbedret en virksomheds intranet mhp. at øge brugervenligheden. Firmaet har lovet, at de ansatte på en 10 punkt skala i gns. vil svare 7 (eller højere) på et BV-spørgsmål. En undersøgelse blandt 49 ansatte viser, at de ansattes gns. på spørgsmålet er 6,6 Standardafvigelsen ifølge stikprøven er 1,9. Har firmaet holdt sit løfte? 9

Eksempel på hypotesetest vedr. μ Antagelser Stikprøven er udtaget simpelt tilfældigt Idet n > 30 kan normalfordelingen bruges som sampling distribution Hypoteser Nulhypotese, H0: μ0 = 7 Alternativ hypotese, H1: μ < 7 Beregning af teststørelse (test statistic) Gns. = 6,6. s = 1,9. n = 49. se = (s/√n) =0,257 Teststørrelsen er z z = (6,6 - 7) / 0,257 = - 1,47 Beregning af P-værdi P (-1,47 < z) = 0,070 Konklusion H0 opretholdes på et 5% niveau 10

Opgave i hypotesetest vedr. μ En ny applikation til en mobiltelefon er testet blandt 49 personer. Det blev målt, hvor hurtigt brugerne kunne udføre en række opgaver i applikationen. Det gns. tidsforbrug var 103 sekunder med en standardafvigelse på 14. Det gns. tidsforbrug på konkurrenternes applikationer er 100 sekunder. Find og fortolk P-værdien i et test af H0: µ = 100 overfor Ha: µ ≠ 100 Træf en beslutning angående H0 ved et signifkansniveau på 5%. 11

Opgave i hypotesetest vedr. μ I en stor stikprøve testes H0: µ = 0 overfor Ha: µ ≠ 0. Teststørrelsen z antager værdien 1,04. Hvad er P værdien? Vil du opretholde eller afvise H0 på et 5 % niveau? Antag at z = -2,50 i stedet for 1,04. Hvad er P-værdien? Er dette et stærkere eller svagere bevis mod H0? 12

Fremgangsmåde i en hypotesetest Antagelser Stikprøven er udtaget simpelt tilfældigt Hvis n > 30 kan normalfordelingen bruges som sampling distribution Hypoteser Nulhypotese, H0: μ = parameterværdi (for ”uændret” / ingen effekt) Alternativ hypotese, H1: μ ≠, <, > parameterværdi Teststørelse (test statistic) Stikprøvens estimat sml. med nulhypotesens parameterværdi μ Teststørrelsen er z-scoren P-værdi Sandsynligheden for at opnå en værdi af teststørrelsen så stor som den observerede eller større, under forudsætning af, at nulhypotesen er sand (skrives ofte ”under H0”) P-værdien afrapporteres Konklusion Der konkluderes (o mindre P er, des stærkere er beviserne mod H0) og resultatet fortolkes. 13