Økonometri – lektion 7 Multipel Lineær Regression

Præsentationer af emnet: "Økonometri – lektion 7 Multipel Lineær Regression"— Præsentationens transcript:

1 Økonometri – lektion 7 Multipel Lineær Regression
Testbaseret Modelkontrol

2 MLR Model på Matrixform
Den multiple lineære regressions model kan skrives som Hvor og Mindste kvadraters metode giver følgende estimat

3 MLR og Antagelser b = XTX-1y central estimator af b. Linearitet
Lineær uafhængighed Middelværdi nul E[e|X] = 0 Uafhængighed og homoskedastisk E[eeT|X] = s2I Normalfordelt e|X ~ N( 0 , s2I ) b = XTX-1y central estimator af b. Var(b) = s2(XTX)-1 b = XTX-1y er BLUE (bedste lineære og centrale estimator) s2 = blabla central estimator af s2. b|X ~ N ( b , s2(xTx)-1 )

4 Varians-kovarians for Parameter-estimater.
Antag at E(e)=0 og Var(e) = s2I (uafhængige og varians-homogene fejlled). Da gælder Hvis alle xi står vinkelret på hinanden, så har vi Dvs Cov(bi,bj) = 0 (ij) og Var(bi) = s2║xi║-2.

5 Multipel lineær regression
Eksempel: Y = Export Eksport til Singapore i millioner $ M = M1 Money supply L = Lend Udlånsrente P = Price Prisindex E = Exchange Vekselkurs ml. S’pore $ og US $ Model:

6 Korrelationer ml. Parameterestimater
Forholdsvis stærke korrelationer mellem ’Lend’, ’M1’ og ’Price’. Dette er faresignaler mht. kolinearitet. Husk: Korrelation er mål får lineær sammenhæng.

7 Kolinearitet Hvis Xh er kolineær med en eller flere af de andre forklarende variable vil Var(bh) typisk være stor. Det betyder at bh ”nemt” kan have en værdi langt fra hvad man ville forvente – herundern ”galt” fortegn. Ikke noget problem, hvis vi blot skal bruge modellen til prædiktion. Hvis vi derimod vil fortolke på de enkelte parametre, så er det et problem. Enkleste løsning er at fjerne en eller flere forklarende variable. I relation til visse økonomiske modeller kan det være problematisk at fjerne variable fra analysen.

8 Variance Inflation Factor (VIF)
VIF er en indikator for kolinearitet. Definition: er determinations koefficienten opnået ved lineær regression med Xh som den afhængige og X1,…, Xh-1, Xh+1,…,Xk som forklarende. Fortolkning: VIF(Xh) angiver, hvor mange gange større Var(bh) er i forhold til, hvis Xh havde været vinkelret på X1,…, Xh-1, Xh+1,…,Xk.

9 VIF Fortsat Intuition: Hvis Xh er ca. en linear kombination af X1,…, Xh-1, Xh+1,…,Xk , så vil vi forvente Dvs: Høj VIF indikerer kolinearitet. VIF>5 problematisk.

10 VIF og SPSS Analyze → Regression → Linear
I ’Statistics’ menu vælg ’Colinearity diagnostic’ Både ’Lend’ og ’Price’ har høje VIF, men ikke ’Exchange’. Løsning: Vi fjerner ’Price’, da den er mindst signifikant.

11 Fjern ’Exchange’ ↓

12 Ramsey RESET Test: Test af Linearitet
RESET = REgressions Specification Error Test Bruges til at teste om ikke lineære transformationer af de forklarende variable ”mangler”. Hypoteser H0: e ~ N( 0, s2 I ) H1: e ~ N( m, s2 I ) m  0

13 Ramsey RESET Test: Fremgangsmåde 1/2
Udfør multipel lineære regressionsanalyse af modellen Find det tilhørende SSE* og . Udfør ny MLR analyse af modellen hvor Typisk er k = 4. Find tilhørende SSE.

14 Ramsey RESET Test: Fremgangsmåde 2/2
Vi teser hypotesen H0: a = 0 H1: a  0 Hvis H0 er sand gælder

15 Ramsey RESET Test: Eksempel
Resultat uden y-hat’erne: Resultat når y-hat’erne (k=4) er med: Tolerance = 1/VIF – de forklarende variable er så lineært afhængige at SPSS er stået af!!!

16 Varianshomogene Residualer?
Scatterplot: ei mod . Homoskedastisk?

17 White Test Formål: Test for varians homogenitet
H0: Residualerne er varianshomogene. Fremgangsmåde: (Trin 1 af 2) Udfør regressionsanalyse af modellen hvor Find residualerne

18 White Test Fremgangsmåde: (Trin 2 af 2)
Udfør ny regressionsanalyse af modellen dvs. den afhængige variabel er et kvadreret residual og design-matricen er Dvs. alle de oprindelige forklarende variable, de oprindelig forklarende variable kvadreret ,samt alle par af vekselvirkninger – i alt q led. Asymptotisk gælder: nR2 ~ c2(q).

19 White Test - Eksempel ”Model”:
q = 5, n = 67 og R2 = 0.058: nR2 = Kritiskværdi: c20.05(5) =

20 Auto-korrelation Hvis data er indsamlet over tid, er det ikke usandsynligt at ”nabo-målinger” er korrelede. Auto-korrelation: Der ligger en antagelse om at r1 ikke afhænger af i, dvs. auto-korrelationen er den samme til alle tider.

21 Lag k Auto-korrelation
Korrelationen mellem to observationer k trin fra hinanden:

22 Autokorrelation - SPSS
Analyze → Time Series → Autocorrelations… Ser ud som om der er en svag negativ lag-1 autokorrelation.

23 Durbin-Watson Test af Autokorrelation
Hypoteser: H0: r1 = 0 vs Durbin-Watson teststørrelse: Bemærk at d ikke er et estimat af lag-1 auto-korrelationen. H1: r1  0

24 Kritiske værdier for Durbin-Watson
Efter at have udregnet d finder vi dL og dU i Tabel 7 i Appendix C. Derefter sammenligner vi d med punkterne i skemaet nedenfor. Er d i det grønne område forkaster vi H0. Positive Autocorrelation Negative Test is Inconclusive No dL dU 4-dL 4-dU 4 d

25 Durbin-Watson Test: SPSS
Analyze → Regression → Linear… I ’Statistics’ menuen vælge ’Durbin-Watson’ n = 67 og a=0.05, så er kritisk værdier ca dL = 1.57 og dU = 1.63 Konklusion: Negativ auto-korrelation. Positive Autocorrelation Negative Test is Inconclusive No dL dU 4-dL 4-dU 4 d 1.57 1.63 2.37 2.43 d=2.58

26 Test af Normalfordeling
Normalfordelte residualer?

27 Skævhed / Skewness Definition: For en stokastisk variabel X er skævheden givet ved Skævhed er et mål for afvigelsen fra symmetri. Positiv skøvhed giver en højreskæv fordeling, dvs. en ”tyk hale” til højre. (+) Højreskæv (-) Venstre

28 Skævhed: Eksempler Eksempler Normal fordeling: 0 t-fordeling: 0
c2(k) -fordeling : Estimat af skævhed:

29 Kurtosis (Topstejlhed)
Definition: For en stokastisk variabel X er skævheden givet ved Jo større kurtosis jo mere spids er tætheds- funktionen.

30 Kurtosis Eksempler Normal fordeling: 3 t(n)-fordeling:
c2(k) -fordeling : Estimat af skævhed:

31 Jarque-Bera Test Definition:
JB-teststørrelsen følger asymptotisk en c2(2)-fordeling. Intuition: Hvis X1,…,Xn identisk normalfordelte, så gælder E[K] = 3 og E[S] = 0. Jo mere K og S afviger jo større JB.

32 Jarque-Bera Test: SPSS
Analyze → Frequencies… I ’Statistics’ menu vælg ’Skewness’ og ’Kurtosis’ c20.05(2) = , dvs. vi afviser norm. ford. hypotesen.