Download præsentationen
Præsentation er lastning. Vent venligst
Offentliggjort afThomas Klausen Redigeret for ca. et år siden
1
Økonometri – lektion 4 Multipel Lineær Regression Model Estimation Inferens
2
Simpel Lineær Regression Data: Par af observationer (X i,Y i ), i=1,…,n Model: Y i = β 0 + β 1 x i + ε i ε 1,…,ε n IID ε i ~ N(0,σ 2 ) E[Y i | x ] = β 0 + β 1 x (lineær middelværdi-struktur) Estimater b 0 og b 1 af hhv. β 0 og β 1. Estimater opnås vha. Mindste Kvadraters Metode.
3
Multipel Lineær Regression Data: Sæt af observationer (x 1i, x 2i, …, x ki, y i ), i = 1,…,n y i er den afhængige variabel x 1i, x 2i, …, x ki er de k forklarende/uafhængige forklarende variable for y i. Model: Y i = β 0 + β 1 x 1i +…+ β k x ki + ε i ε 1,…,ε n IID ε i ~ N(0,σ 2 ) E[Y i | x ] = β 0 + β 1 x 1 +…+ β k x k (lineær middelværdi-struktur)
4
Eksempel Eksempel: Y = VægtY i = Vægt for i’te person X 1 = HøjdeX 1i = Højde for i’te person X 2 = AlderX 2i = Alder for i’te person Model for i’te persons vægt:
5
Multipel regression – illustration (k = 2) x2x2 x1x1 y 22 11 00 ε y
6
Parameter fortolkninger β 0 = Værdi af E(Y| x 1 =x 2 =…=x k =0) β j = Konstant der siger, hvor meget E(Y|X) ændrer sig hvis x j vokser med 1 og alle andre x j ’er forbliver uforandrede. Eks: β 2 marginal ændring i vægt som funktion af marginal ændring i alder!
7
MLR og Lineær Algebra Modellen kan skrives vha. matrixer og vektorer: Hvor Matricen X kaldes Design-matricen.
8
x2x2 x1x1 y Model: Estimeret model: Residual: eiei
9
Sum of Squared Errors Residual-vektor: Sum of Squared Errors:
10
Mindste Kvadraters Metode Som i SLR finder vi estimerer vi β vha MKM, dvs. vi finder b, så SSE er mindst mulig:
11
Geometrisk Fortolkning af MKM Antag Vi har Vi vil vælge b så e er kortest mulig. Det kræver at e er vinkelret på x 0 og x 1, dvs.
12
Geometrisk Fortolkning af MKM Mao Heraf følger Hvor er en projektions matrix.
13
MKM og Lineær Uafhængighed Hvis søjlerne i X er lineært uafhængige, så er eneste løsning til Hvis søjlerne i X er lineært afhængige, så findes c≠0, så Nu gælder Dvs. b og b+c er begge løsninger: Vi har ikke en unik løsning.
14
Opsplitning af Total Variation Sum of Squares Total er En omskrivning af y’y: Vi kan da opnår
15
Determinationskoefficienten Som i simpel lineær regression er Som før 0≤R 2 ≤1. Hvis øger antallet af uafhængige variable (x’erne) for en multipel regressionsanalyse, så vil R 2 som regel vokse! (den vil aldrig falde) Hvis vi har n observationer og bruger en model med k=n-1, så kan vi opnå R 2 =1! Er det ikke fantastisk?! Næh…
16
Justeret R 2 Adjusted R 2 Adjusted R 2 tager i nogen grad højde for, problemerne med R 2 når k er stor i forhold til n. Hvis adj R 2 vokser når nyt x i medtager, så er det nok værd at medtage det x i.
17
Stokastiske Vektorer og middelværdi Stokastisk vektor: Middelværdi: Regneregel: Stokastisk variabel
18
Stokastiske Vektorer Varians-Covarians matrix Bemærk at diagonalen indeholder varianserne. Regneregel:
19
Middelværdi af b Skriv b om: Middelværdien af b-β er: Dvs. b er en central estimator. Bemærk: E(ε) = 0 er nok, dvs. normalford. antagelse ikke nødvendig.
20
Variansen af b Varians-kovarians matricen for b er: Bemærk: Hvis søjlerne i X ikke indbyrdes vinkelrette, så kan de enkelte β i ’er være indbyrdes korrelerede.
21
MKM-estimatet b er BLUE BLUE = Best Linear Unbiased Estimator Vi har set Hvilket gør b til lineær og central estimator – men er det den bedste lineære og centrale estimator? Definer: Hvis c = (0,…,0,1,0,…,0) så er μ = β j. j’te element
22
MKM-estimatet b er BLUE Vælge lineær estimator m af μ: Estimatoren m er kun central hvis a’X=c’. Vælg a så Var(m) mindst mulig. Løsning: a=X(X’X) -1 c Dvs. m = c’b er den bedste centrale og lineære estimator.
23
Estimation of σ 2 Man kan vise Dvs. er en central estimator af σ 2. Desuden gælder
24
Multipelregression i SPSS En måde at lave mutipel regression på er vha. ’Linear Regression’ funktionen, hvor I blot indsætter flere variable som ’Independent’.
25
Eksempel Model: Y i = Vægt, X 1i = Højde og X 2i = Alder for i’te person. Regressionslinie:
26
Test: Er MLR Besværet Værd? (Vi kan lige så godt sige, at y’erne alle har en og samme middelværdi) (Der er en lineær sammenhæng mellem y og mindst ét af x j ’erne)
27
F-test Under H 0 gælder: Deraf følger: Antal β’er involveret i test Antal observationer minus total antal β’er i modellen.
28
ANOVA Tabellen Source of variation Sums of squares dfMean SquaresF-ratioP-værdi RegressionSSRkMSR=SSR/kMSR/MSE? ErrorSSEn-k-1MSE=SSE/(n-k-1) TotalSSTn-1 Store værdier af F er ufordelagtige for H 0. Hvis F > F α (k,n-k-1) afviser vi H 0, dvs. MLR er besværet værd
29
Eksempel (fortsat…) F=MSR/MSE = 104615,0/111,98=934,23 P-værdien er mindre end 0,05, så afviser vi H 0 hypotesen, dvs. vi tror på at Vægt har en lineær sammenhæng med enten Højde eller vægt – eller begge.
30
Test for regressionsparametre Som i simpel lineær regression har vi hvor σ(b i ) 2 estimeres ved s(b i ) 2. Udregningen af s(b i ) 2 overlader vi til SPSS.
31
Test for regressionsparametre Test for hypotesen Teststørrelse: Problem: Som ved varians analysen har vi problemer med det samlede signifikans-niveau når vi laver mange test. (Ingen lineær sammenhæng mellem y og x i )
32
Eksempel BetragtH 0 : β 1 =0 ( Ingen lineær samh. med højde ) H 1 : β 1 ≠0 t-teststørrelsen: Da P-værdien er mindre end 0.05, forkaster vi H 0.
Lignende præsentationer
© 2024 SlidePlayer.dk Inc.
All rights reserved.