Case: Tekst på Call-To-Action link En hjemmeside, der tilbyder hjælp til træning af mave-muskler, www.sixpackabsexercises.com testede 3 varianter af teksten på et call to action link. Der stod følgende på de 3 links: ”Next page … Read Sample of Book (=Control group) Watch Video Preview Watch my #1 Abs Exercise On Video” Kilde: http://visualwebsiteoptimizer.com/split-testing-blog/video-conversion-rate, hvor der er flere cases.

Testresultater Konklusion i følge hjemmesiden Both calls to action that hinted at a video significantly increased the number of visitors who clicked to the sales page. The best-performing variation (Watch Video Preview) increased conversion by 14 %. (69,6 – 60,9)*100 / 60,9 = 14%

A/B Test Konvertering Tekst på link Ja Nej I alt Ja i %   Konvertering Tekst på link Ja Nej I alt Ja i % Next Page Read Sample of Book (=Control group) 187 120 307 60,9% Watch Video Preview 233 102 335 69,6% Watch my #1 Abs Exercise On Video 217 99 316 68,7% 637 321 958 66,5% 3 3

A/B Test Konvertering Tekst på link Ja Nej I alt Afhænger konverteringen af CTA-teksten? Definition To variable er uafhængige, hvis de betingede fordelinger er ens (statistisk set) i populationen. To variable er afhængige, hvis de betingede fordelinger afviger betydeligt fra hinanden (statistisk set) i populationen. Konvertering   Tekst på link Ja Nej I alt Read Sample of Book (=Control group) 60,9% 39,1% 100,0% Watch Video Preview 69,6% 30,4% Watch my #1 Abs Exercise On Video 68,7% 31,3% 66,5% 33,5% 4 4

A/B Test Forudsætninger Hypoteser Beregning af teststørrelse Simpel tilfældig udvælgelse. Mindst fem forventede observationer i cellerne. Hypoteser H0: De to variable er uafhængige Ha: De to variable er afhængige Beregning af teststørrelse Vi kender det observerede antal observationer i hver celle Vi beregner det forventede antal observationer i hver celle for det tilfælde, at de to variable er uafhængige. 5 5

Forventede antal observationer Ad 3: Beregning af teststørrelse Sandsynligheder P(Control group) = 307/958 P(Ja) = 637/958 Forventede antal observationer P(Control group) x P(Ja) x 958 = (307/958) x (637/958) x 958 = (307 x 637) / 958 = 207,12 Hvis de to variable er uafhængige, forventer vi at finde ca. 207 observationer i celle 1 (hvor vi faktisk observerer 187). Generel skivemåde: 6 6

A/B Test Beregning af Chi-i-anden teststørrelsen Differencen mellem ”observerede og forventede” sættes i anden for hvert par af sammenhørende celler. Chi-i-anden teststørrelsen er summen af disse celler. Den sammenfatter, hvor langt de faktiske antal ligger fra de forventede antal (nul-hypotesens ”forventning”). Observerede antal Konvertering   Tekst på link Ja Nej Read Sample of Book (=Control group) 187 120 Watch Video Preview 233 102 Watch my #1 Abs Exercise On Video 217 99 Forventede antal Konvertering   Tekst på link Ja Nej Read Sample of Book (=Control group) 204,1 102,9 Watch Video Preview 222,8 112,2 Watch my #1 Abs Exercise On Video 210,1 105,9 7

A/B Test Omregning af teststørrelsen til en sandsynlighed sker vhja. Excels funktion CHI2.TEST. Denne returnerer sandsynligheden i den højre hale. Dvs. P(X2>obs.værdi), ssh. for den observerede værdi af teststørrelse eller større. 8 8

A/B Test Konklusion: Med P værdi på 0,04134 % afvises H0. Det må formodes at konverteringen afhænger af teksten på CTA-linket. Forskellene i fordelingerne skyldes næppe tilfældigheder som følge af stikprøven. Store værdier af χ2 giver små P-værdier. Små P-værdier er beviser mod nul-hypotesen H0. Vi afviser H0, når P er mindre end 5%. Der for afviser vi i dette tilfælde . Konvertering   Tekst på link Ja Nej I alt Read Sample of Book (=Control group) 60,9% 39,1% 100,0% Watch Video Preview 69,6% 30,4% Watch my #1 Abs Exercise On Video 68,7% 31,3% 66,5% 33,5% 9 9

Opgave i A/B Test Afhænger konverteringen af kilden? Eller med andre ord, påvirker trafikkilden konverteringen? Konverterer brugeren? Trafikkilde Ja Nej Total Direkte 31 3.079 3.110 Henvisninger 63 4.668 4.731 Sociale medier 18 615 633 Undersøg om konverteringen afhænger af kilden Kilde til data, (opgave 10.11, løsning i bunden af siden): http://www.sjsu.edu/faculty/gerstman/StatPrimer/crosstabs-exercises.htm 10 10

Chi-i-anden (Ki kvadrat) ϰ2-fordelingen