Økonometri – lektion 4 Multipel Lineær Regression Model Estimation Inferens

Simpel Lineær Regression Data: Par af observationer (X i,Y i ), i=1,…,n Model:  Y i = β 0 + β 1 x i + ε i  ε 1,…,ε n IID ε i ~ N(0,σ 2 ) E[Y i | x ] = β 0 + β 1 x (lineær middelværdi-struktur) Estimater b 0 og b 1 af hhv. β 0 og β 1. Estimater opnås vha. Mindste Kvadraters Metode.

Multipel Lineær Regression Data: Sæt af observationer (x 1i, x 2i, …, x ki, y i ), i = 1,…,n y i er den afhængige variabel x 1i, x 2i, …, x ki er de k forklarende/uafhængige forklarende variable for y i. Model:  Y i = β 0 + β 1 x 1i +…+ β k x ki + ε i  ε 1,…,ε n IID ε i ~ N(0,σ 2 ) E[Y i | x ] = β 0 + β 1 x 1 +…+ β k x k (lineær middelværdi-struktur)

Eksempel Eksempel:  Y = VægtY i = Vægt for i’te person  X 1 = HøjdeX 1i = Højde for i’te person  X 2 = AlderX 2i = Alder for i’te person Model for i’te persons vægt:

Multipel regression – illustration (k = 2) x2x2 x1x1 y 22 11 00 ε y

Parameter fortolkninger β 0 = Værdi af E(Y| x 1 =x 2 =…=x k =0) β j = Konstant der siger, hvor meget E(Y|X) ændrer sig hvis x j vokser med 1 og alle andre x j ’er forbliver uforandrede. Eks: β 2 marginal ændring i vægt som funktion af marginal ændring i alder!

MLR og Lineær Algebra Modellen kan skrives vha. matrixer og vektorer: Hvor Matricen X kaldes Design-matricen.

x2x2 x1x1 y Model: Estimeret model: Residual: eiei

Sum of Squared Errors Residual-vektor: Sum of Squared Errors:

Mindste Kvadraters Metode Som i SLR finder vi estimerer vi β vha MKM, dvs. vi finder b, så SSE er mindst mulig:

Geometrisk Fortolkning af MKM Antag Vi har Vi vil vælge b så e er kortest mulig. Det kræver at e er vinkelret på x 0 og x 1, dvs.

Geometrisk Fortolkning af MKM Mao Heraf følger Hvor er en projektions matrix.

MKM og Lineær Uafhængighed Hvis søjlerne i X er lineært uafhængige, så er eneste løsning til Hvis søjlerne i X er lineært afhængige, så findes c≠0, så Nu gælder Dvs. b og b+c er begge løsninger: Vi har ikke en unik løsning.

Opsplitning af Total Variation Sum of Squares Total er En omskrivning af y’y: Vi kan da opnår

Determinationskoefficienten Som i simpel lineær regression er Som før 0≤R 2 ≤1. Hvis øger antallet af uafhængige variable (x’erne) for en multipel regressionsanalyse, så vil R 2 som regel vokse! (den vil aldrig falde) Hvis vi har n observationer og bruger en model med k=n-1, så kan vi opnå R 2 =1! Er det ikke fantastisk?! Næh…

Justeret R 2 Adjusted R 2 Adjusted R 2 tager i nogen grad højde for, problemerne med R 2 når k er stor i forhold til n. Hvis adj R 2 vokser når nyt x i medtager, så er det nok værd at medtage det x i.

Stokastiske Vektorer og middelværdi Stokastisk vektor: Middelværdi: Regneregel: Stokastisk variabel

Stokastiske Vektorer Varians-Covarians matrix Bemærk at diagonalen indeholder varianserne. Regneregel:

Middelværdi af b Skriv b om: Middelværdien af b-β er: Dvs. b er en central estimator. Bemærk: E(ε) = 0 er nok, dvs. normalford. antagelse ikke nødvendig.

Variansen af b Varians-kovarians matricen for b er: Bemærk: Hvis søjlerne i X ikke indbyrdes vinkelrette, så kan de enkelte β i ’er være indbyrdes korrelerede.

MKM-estimatet b er BLUE BLUE = Best Linear Unbiased Estimator Vi har set Hvilket gør b til lineær og central estimator – men er det den bedste lineære og centrale estimator? Definer: Hvis c = (0,…,0,1,0,…,0) så er μ = β j. j’te element

MKM-estimatet b er BLUE Vælge lineær estimator m af μ: Estimatoren m er kun central hvis a’X=c’. Vælg a så Var(m) mindst mulig. Løsning: a=X(X’X) -1 c Dvs. m = c’b er den bedste centrale og lineære estimator.

Estimation of σ 2 Man kan vise Dvs. er en central estimator af σ 2. Desuden gælder

Multipelregression i SPSS En måde at lave mutipel regression på er vha. ’Linear Regression’ funktionen, hvor I blot indsætter flere variable som ’Independent’.

Eksempel Model: Y i = Vægt, X 1i = Højde og X 2i = Alder for i’te person. Regressionslinie:

Test: Er MLR Besværet Værd? (Vi kan lige så godt sige, at y’erne alle har en og samme middelværdi) (Der er en lineær sammenhæng mellem y og mindst ét af x j ’erne)

F-test Under H 0 gælder: Deraf følger: Antal β’er involveret i test Antal observationer minus total antal β’er i modellen.

ANOVA Tabellen Source of variation Sums of squares dfMean SquaresF-ratioP-værdi RegressionSSRkMSR=SSR/kMSR/MSE? ErrorSSEn-k-1MSE=SSE/(n-k-1) TotalSSTn-1  Store værdier af F er ufordelagtige for H 0.  Hvis F > F α (k,n-k-1) afviser vi H 0, dvs. MLR er besværet værd

Eksempel (fortsat…) F=MSR/MSE = ,0/111,98=934,23 P-værdien er mindre end 0,05, så afviser vi H 0 hypotesen, dvs. vi tror på at Vægt har en lineær sammenhæng med enten Højde eller vægt – eller begge.

Test for regressionsparametre Som i simpel lineær regression har vi hvor σ(b i ) 2 estimeres ved s(b i ) 2. Udregningen af s(b i ) 2 overlader vi til SPSS.

Test for regressionsparametre Test for hypotesen Teststørrelse: Problem: Som ved varians analysen har vi problemer med det samlede signifikans-niveau når vi laver mange test. (Ingen lineær sammenhæng mellem y og x i )

Eksempel BetragtH 0 : β 1 =0 ( Ingen lineær samh. med højde ) H 1 : β 1 ≠0 t-teststørrelsen: Da P-værdien er mindre end 0.05, forkaster vi H 0.