Inferens i den lineære regressionsmodel 19. marts 2007

Præsentationer af emnet: "Inferens i den lineære regressionsmodel 19. marts 2007"— Præsentationens transcript:

1 Inferens i den lineære regressionsmodel 19. marts 2007
Kvantitative metoder 2 Inferens i den lineære regressionsmodel 19. marts 2007 KM2: F13

2 Program for i dag: Opsamling vedr. inferens i en lineær regressionsmodel under Gauss-Markov antagelser (W.4-5) Eksempel med flere restriktioner (F-test) Lagrange multiplikator (LM) test Inferens uden MLR.5: Betydning for OLS af, hvis MLR.5 ikke er opfyldt (W8.1) Beregning af robuste standardfejl og kovarians under heteroskedasticitet (W8.2) KM2: F13

3 Oversigt over OLS estimatorens egenskaber
Antagelser Eksakt Asymptotisk MLR1-MLR4 Middelret (Theorem 3.1) Konsistent (Theorem 5.1) MLR1-MLR5 BLUE (efficiens) (Theorem 3.4) Asymptotisk efficiens (Theorem 5.3) +MLR6 Normal fordelt (Theorem 4.1) Asymptotisk Normalfordelt (Theorem 5.2) KM2: F13

4 Inferens i den multiple regressionsmodel med Gauss-Markov antagelser (MLR.1-5): Opsamling
Resultater om OLS med endeligt antal observationer: Normalitetsantagelse eksakte t- og F-test. Asymptotiske resultater for OLS: Konsistens under MLR.1-4. Asymptotisk normalfordelt under MLR.1-5: t- og F-test begrundes approximativt i endeligt datasæt uden at antage normalfordelte fejlled. Andre typer af test: Lagrange multiplikator testet Asymptotisk efficiens af OLS under MLR.1-5. KM2: F13

5 Eksempel: U-landsbistand (Økonometri 1 eksamen 2005I)
Virker u-landsbistanden? (SAS program aid_ext.sas) Model med mål for omfanget af bistand til en række udviklingslande og en lang række af kontrolvariabler Multipel lineær regressionsmodel: Hovedspørgsmål: Har variablerne aid og a_policy nogen signifikant effekt på væksten? Relevante hypoteser: (effekten af bistand afhænger ikke af politik) (ingen effekt af bistand) KM2: F13

6 Alternativt test i store datasæt: LM testet
Lagrange multiplikator testet (eller score testet). Generelt format: Estimation af modellen under H0 Residualer fra restrikteret model, Hjælperegression (“auxiliary regression”) af På hvad: afhænger af den specifikke hypotese. Kræver ikke estimation af den generelle (dvs.urestrikterede model): Oftest den i praksis sværeste. LM testet kan anvendes når Gauss-Markov antagelserne (MLR1-MLR5) er opfyldt. KM2: F13

7 LM testet: Udelukkelsesrestriktioner
Specifikt eksempel: Udelukkelsesrestriktion Restrikteret model: Under H0 vil være ukorreleret med de udeladte variabler: KM2: F13

8 LM testet: Hjælperegressionen
Regression af på ekskluderede og inkluderede variabler: og Registrer R2 fra hjælperegressionen: Ikke andet. Beregn teststørrelsen LM-teststørrelsen vil almindeligvis (og uanset om der antages normalfordelte fejlled eller ej) være asymptotisk fordelt som , hvor q er antallet af restriktioner. KM2: F13

9 LM testet: I praksis Regression af y på det restrikterede sæt af regressorer. Gem residualerne, Regression af på alle forklarende variabler. Gem R2 Beregn LM=n R2 Sammenlign beregnede testværdi med relevant fraktil i fordelingen. Eller beregn p-værdien for testet. Afvis H0 hvis testet falder i den kritiske region. KM2: F13

10 Inferens uden MLR.5: Heteroskedasticitet (W.8.1-2)
OLS estimation under heteroskedasticitet: Konsekvenser af heteroskedasticitet for OLS Hvordan kan man udføre gyldige test på grundlag af OLS-estimation, selvom der er heteroskedasticitet? Korrektion af variansen af OLS estimatoren Generelle hypotesetest under heteroskedasticitet Senere (efter påske): Test for heteroskedasticitet Bedre (mere efficiente) estimatorer end OLS, når der er heteroskedasticitet: Vægtning af observationerne: KM2: F13

11 Heteroskedasticitet I kapitel 2 og 3 blev antagelsen om homoskedasticitet introduceret: Samme varians på fejlleddet for alle i Antagelsen kan være temmelig restriktiv i praksis. Derfor vil vi se på tilfælde med heteroskedasticitet MLR.5 er antagelsen om homoskedasticitet: Alternativ: Modellen lider af heteroskedasticitet af ukendt form: Vi tillader altså, at fejlleddet til hver enhed (individ, firma, land) har sin egen varians (meget generel form) Homoskedasticitet kan ses som det specialtilfælde, hvor KM2: F13

12 Konsekvenser af heteroskedasticitet for OLS
Se på simpel lineær regressionsmodel Antagelserne MLR.1- MLR.4 sikrer at OLS middelret og konsistent: Vedrører ikke variansen på fejlleddet. Under MLR.1-5 er OLS efficient og dens varians er givet ved det simple udtryk fra kapitel 2. KM2: F13

13 Konsekvenser af heteroskedasticitet for OLS
Udregn variansen af OLS estimatoren, når MLR.1- MLR.4 er opfyldt, men MLR.5 ikke holder. Variansen af OLS estimatoren er i det generelle tilfælde givet ved Leddene i tælleren gives forskellig vægte, afhængig af SST led forkorter ikke ud som det er tilfældet under homoskedasticitet KM2: F13

14 Konsekvenser af heteroskedasticitet for OLS
Hvis MLR.5 ikke er opfyldt, siger vi at fejlleddene er heteroskedastiske OLS estimatorens egenskaber ved heteroskedasticitet: + OLS stadig middelret og konsistent (givet MLR.1-4) - Variansen af OLS estimaterne estimeres ikke middelret eller konsistent af de sædvanlige OLS-udtryk - Konfidensintervallet er ikke rigtigt konstrueret - t og F-test er ikke nødvendigvis t og F-fordelt, LM test er ikke nødvendigvis fordelt (og er derfor ikke pålidelige) OLS er ikke længere den bedste lineære middelrette estimator (BLUE): Der findes andre lineære middelrette estimatorer med mindre varians OLS er ikke længere asymptotisk efficient KM2: F13

15 Hvordan kan man teste i modeller med heteroskedasticitet?
Heteroskedasticitet i fejlleddet betyder, at test der er baseret på OLS estimation kun er gyldige, hvis man korrigerer standardfejlene for heteroskedasticitet. Til det formål er der udviklet såkaldt heteroskedasticitets-konsistente eller -robuste test. Antag: Modellen lider af heteroskedasticitet af ukendt form: Ideen er at opnå en estimator for variansen af OLS estimatoren, som er konsistent selvom om der er heteroskedasticitet i fejlleddet. KM2: F13

16 Korrektion af variansen i en simpel lineær regressionsmodel
White (1980) har vist, at under svage betingelser vil en konsistent estimator af OLS variansen være givet ved Heteroskedasticitets-robust varians og heterosk. robuste standardfejl (White’s standard errors, HCSE). Beregnes fx i Proc Reg med optionen ACOV i SAS. KM2: F13

17 Korrektion af variansen i en multipel lineær regressionsmodel: Forelæsningsnoten
KM2: F13

18 Test i modeller med heteroskedasticitet: Enkelt restriktion
Heteroskedasticitets-robust t-test af hypotesen: t-teststørrelse: hvor HCSE er heterosk. robust standardfejl på t-teststørrelsen er asymptotisk standard normalfordelt For små datasæt er t-teststørrelserne ikke nødvendigvis tæt på en t-fordeling Brug af ACOV optionen i SAS giver robust kovariansmatrix. HCSE beregnes som kvadratroden af diagonalelementer KM2: F13

19 Test i modeller med heteroskedasticitet: Flere restriktioner
Hypotese: hvor er en (k+1)x1 vektor af parametre, R er en q x(k+1) matrix og r er en q x1 vektor Heterosk. robust F-test kan beregnes ud fra robust kovariansmatrix Heterosk. robust Wald test: Wald-teststørrelsen Det er dette test som udføres ved brug af TEST efter Proc Reg med ACOV optionen i SAS KM2: F13

20 NB’er fra denne forelæsning
Antagelse om homoskedasticitet giver et simpelt udtryk for variansen af OLS estimatorerne og sikrer at OLS er efficient Vi har set en variansestimator, der virker uden MLR.5: Muligt at lave inferens ved hjælp af OLS estimatoren (men den ikke er efficient). KM2: F13

21 Næste gang Onsdag: Start på W.6: Flere emner i den multiple lineære regressionsmodel Kort om Obligatorisk opgave 1 KM2: F13