Simpel Lineær Regression

Præsentationer af emnet: "Simpel Lineær Regression"— Præsentationens transcript:

1 Simpel Lineær Regression
Estimation Test i Simpel Lineær Regression Kovarians og Korrelation

2 Simpel lineær regression
Model Observation = Systematisk Tilfældig Observation = Forklaret Uforklaret

3 Estimatorer for b0 og b1 B0 og B1 er er centrale (dvs. unbiased) estimatorer for henholdsvis β0 og β1: Estimater b0 og b1 for henholdsvis β0 og β1 opnåsved at indsætte de observerede yi’er.

4 Estimatorenes fordeling
Estimatorerne B0 og B1 er begge normalfrodelte: Hvor Bemærk: Når SSx er stor så er lille!

5 Estimation af σ2 – variansen for fejlledene
I foråret estimerede vi variansen i en uafhængig stikprøve ved For simpel lineær regression bruger vi MSE = Mean Squared Error Antal frihedsgrader ”Minus én”, da s2 involverer ét estimat, nemlig . Antal frihedsgrader ”Minus to”, da s2 involverer to estimater, nemlig b0 og b1.

6 Udregning af SSE Hermed opnår vi
Som desuden er en unbiased estimator for σ2.

7 Konfidensinterval for β0
Vi har (1-α)100% konfidensinterval for β0 er hvor

8 Konfidensinterval for β1
Vi har (1-α)100% konfidensinterval for β0 er hvor

9 Eksempel: Reklame vs salg
Fra sidst har vi: Regne, regne, regne… 410 15650 5445 191325

10 Konfidensintervaller
95% konfidens interval for β0 (α=0.05): 95% konfidens interval for β1:

11 Test af hældning (β1) Test for om hældningen, β1, har en bestemt værdi, K: Hvis H0 er sand, så gælder der Teststørrelse:

12 Test af hældning (β1) Vælg et signifikansniveau, typisk α=0.05.
Udregn teststørrelsen Bestem p-værdien. Beslutning: Hvis p-værdien < α afvises H0. t-fordeling med n-2 frihedsgrader . 8 . 7 . 6 . 5 . 4 . 3 . 2 . 1 . Orange område = p-værdi

13 Særlig interessant: H0: β1=0
Er der en lineær sammenhæng mellem X og Y? H0: β1=0 ingen lineær sammenhæng H1: β1≠0 lineær sammenhæng Følgende er eksempler, hvor H0 accepteres. Konstant Y Usystematisk variation Ikke-lineær sammenhæng Y Y Y X X X

14 Eksempel: Reklame vs Salg
Test for lineær sammenhæng mellem reklame og salg: Teststørrelse: Kritisk værdier: Beslutning: Vi forkaster H0 da t > p-værdi = 0.027<0.05.

15 Test for skæringspunkt (β0)
Stort set som for β1. Hypoteser: Teststørrelsen er: Antal frihedsgrader er uændret, dvs. n-2.

16 Kovarians Antag at X og Y er stokastiske variable.
Definition af kovarians mellem X og Y: hvor Bemærk: I SLR er X ikke stokastisk!

17 Kovarians - egenskaber
Hvis store X følges med store Y Cov( X ,Y )>0 Hvis store X følges med små Y Cov( X ,Y )<0 Kovariansen mellem X og X: Cov( X ,X ) = Var(X) Variansen af X+Y: Var(X+Y) = Var(X) + Var(Y) + 2Cov(X,Y)

18 Kovarians, Uafhængighed og Korrelation
Hvis X og Y er uafhængige er Cov(X,Y)=0 Hvis X og Y er normalfordelte: X og Y er uafhængige <=> Cov(X,Y)=0 Definition af korrelationen, ρ, mellem X og Y: hvor

19 Korrelationskoefficienten
Korrelationskoefficienten, ρ, måler graden af lineær sammenhæng mellem X og Y:

20 Illustration af korrelation
Y X  = 0  = -.8  = .8  = -1  = 1

21 Estimation of korrelationskoef., ρ
Estimatet af ρ betegnes r: r er stikprøve korrelationskoefficienten.

22 Test for korrelation mellem X og Y
Hypoteser H0: r = 0 H1: r ≠ 0 Teststørrelse: Under H0:

23 Samme historie i SPSS Analyze→Regression→Linear (som sidst)
I ’Statistics…’ vælg: Estimates Confidens Intervals

24 SPSS output Teststørrelsen t. 95% Konfidens-intervaller for β0 og β1.
Parameter-estimaterne b0 og b1. Estimerede standard-afvigelser, sb0 og sb1. p-værdien svarende til det tosidede test H0: βi=0.

25 SPSS output Korrelationen mellem ’Reklame budget’ og ’Salg’.
p-værdi hørende til test af hypotesen H0: ρ=0.

26 Den totale variation Den totale variation for data er
”Variationen i data omkring datas middelværdi” SST = Sum of Squares Total

27 Opslitning af den totale variation
Den totale variation kan opslittes: er den uforklarede variation. er den forklarede variation. SSR = Sum of Squares Regression

28 Total og forklaret variation
Opslitning a variationen

29 Total og forklaret variation - illustration
Y X Den totale variation ses når vi “kigger langs” x-aksen Den uforklarede variation ses når vi “kigger langs” regressionslinien

30 SPSS output