Kvantitative metoder 2: Inferens i den lineære regressionsmodel1 Kvantitative metoder 2 Inferens i den lineære regressionsmodel 14. marts 2007

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 2 Dagens program Asymptotisk normalitet og efficiens (kap ) Test af flere lineære restriktioner (kap og 5.2).  Eksakt F-test (4.5)  Mange observationer (5.2): Approximativt F-test Lagrange Multiplikator (LM) test Præsentation af estimationsresultater HUSK: Eksamenstilmelding HUSK: kursusevalueringer Hvis der er nogen som endnu ikke har afleveret den obligatoriske opgave og ønsker at gå til eksamen skal de kontakte Hc per mail

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 3 Asymptotisk normalfordeling for OLS: Generelt Konsistens af OLS i store datasæt under MLR.1-4: Minimumskrav opfyldt. Inferens: Vi behøver mere end det. Antager nu:  MLR.5: Homoskedasticitet:  Men ikke MLR.6: Normalitet af u i Normalfordelte fejlled er alt for stærk antagelse i en række realistiske problemstillinger:  Diskrete fordelinger: Heltallige udfald, fx antal medlemmer af en bestyrelse.  Skæve fordelinger: Asymmetriske aktieafkast.  Fordelinger med ”tunge” haler: Aktieafkast (outliers).

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 4 Asymptotisk normalfordeling for OLS: Generelt Teorem 5.2: Asymptotisk normalfordeling af OLS estimatoren Antag: Gauss-Markov antagelserne MLR.1-5. 

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 5 Asymptotisk normalfordeling for OLS: I praksis Standardiserede OLS estimater er asymptotisk standardnormalfordelt: Hvad er ”asymptotisk”?  Afhænger bl.a. af, hvor meget u’s fordeling afviger fra normalfordelingen: Ikke hårde regler.  N(0,1) >< t n-k-1 : Ikke vigtigt (for rimeligt store n og moderate værdier af k).

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 6 Asymptotisk normalfordeling for OLS: Monte Carlo experiment Lad os designe et lille eksperiment, hvor MLR.1-5 er overholdt (faktisk er u uafhængige af x her): Lineær model, ingen eksakt multikollinearitet, u har middelværdi nul og konstant varians. Men u trækkes fra en uniform (eller lige) fordeling:  Kontinuert fordeling fx på intervallet [-1,1].  Konstant tæthed f(u)=0.5 over intervallet.  Udfaldsrummet begrænset >< normalfordeling. Resultat af eksperimentet for forskellige n: SAS

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 7 Asymptotisk normalfordeling for OLS: Standardfejl OLS standardfejlen: Asymptotik: Komponenter i formlen: Betyder at går mod nul som 1/n, standardfejlen går mod nul som

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 8 Efficiens Efficiens drejer sig om at sammenligne variansen af forskellige middelrette estimatorer Definition (se appendix C.2 side 771) Man kan ikke altid sammenligne to estmator og finde en relativ efficient estimator

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 9 Efficiens Ex. Estimation af middelværdi af i.i.d. følge med middelværdi og konstant varians :  Gennemsnittet af n observationer:  Gennemsnit af første og n’te observation:  Her gælder at er relativ mere efficient end

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 10 Asymptotisk efficiens af OLS estimatoren Under Gauss-Markov antagelserne er OLS asymptotisk efficient. Theorem 5.3: Under Gauss-Markov antagelserne har OLS den mindste asymptotiske varians blandt estimatorer, der løser ligningerne OLS:

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 11 Oversigt over OLS estimatorens egenskaber AntagelserEksaktAsymptotisk MLR1- MLR4 Middelret (Theorem 3.1) Konsistent (Theorem 5.1) MLR1- MLR5 BLUE (efficens) (Theorem 3.4) Asymptotisk efficiens (Theorem 5.3) MLR1- MLR5 +MLR6 Normal fordelt (Theorem 4.1) Asymptotisk Normalfordelt (Theorem 5.2)

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 12 Flere lineære restriktioner Et fælles test af flere lineære restriktioner: F-testet. Model med tre forklarende variabler:  Ex. på nulhypoteser  Generelt format:  q lineære restriktioner på koefficienterne i den lineære model.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 13 Flere lineære restriktioner (fortsat) Alternativhypotesen: Afvis nulhypotese blot én af q restriktioner ikke holder. Restrikteret (r) vs. urestrikteret model (ur):  Ex.: Restrikterede modeller: Lineære restriktioner: Restrikteret model er lineær i parametrene: Estimeres ved OLS.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 14 Flere lineære restriktioner (fortsat) Test af flere lineære restriktioner: F-testet. Tæller altid større end eller lig nul: Restrikteret model kan ikke tilpasse data bedre end urestrikteret model. Antal frihedsgrader i tæller: Antal restriktioner, q Antal frihedsgrader i nævner: n- antal regressorer i urestrikteret model. Helt generelt format for F-testet.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 15 Flere lineære restriktioner: Eksakt inferens Under CLM antagelser følger F-testet en eksakt F-fordeling: Fordeling findes i Tabel G.3. For en restriktion og to-sidet alternativ: Ækvivalent med t-test: Men F-test af fælles hypotese på flere koefficienter kan godt give andet resultat end individuelle t-test.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 16 Alternativt test i store datasæt: Appr. F-test For mange observationer ”The asymptotic normality of the OLS estimators also implies that the F-statistics have approximate F-distributions in large sample sizes” Wooldridge (side 185, øverst) I praksis for store datasæt (når antagelserne MLR1-MLR5 er opfyldt) kan F-testene udføres på samme måde som når vi har eksakt inferens.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 17 R 2 og F-testet Samlet signifikans af regressionen Nulhypotese: Den restrikterede model: Relationen mellem R 2 og F-testet:

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 18 Alternativt test i store datasæt: LM testet Lagrange multiplikator testet eller score testet. Generelt format:  Estimation af modellen under H 0  Residualer fra restrikteret model,  Hjælperegression (“auxiliary regression”) af  På hvad: afhænger af den specifikke hypotese. Kræver ikke estimation af den generelle (dvs.urestrikterede model): Oftest den i praksis sværeste. LM testet kan anvendes når Gauss-Markov antagelserne (MLR1-MLR5) er opfyldt.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 19 LM testet: Udelukkelsesrestriktioner Specifikt eksempel: Udelukkelsesrestriktion Restrikteret model: Under H 0 vil være ukorreleret med de udeladte variabler:

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 20 LM testet: Hjælperegressionen Regression af på ekskluderede og inkluderede variabler: og Registrer R 2 fra hjælperegressionen: Ikke andet. Beregn teststørrelsen LM-teststørrelsen vil almindeligvis (og uanset om der antages normalfordelte fejlled eller ej) være asymptotisk fordelt som, hvor q er antallet af restriktioner.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 21 LM testet: I praksis Regression af y på det restrikterede sæt af regressorer. Gem residualerne, Regression af på alle forklarende variabler. Gem R 2 Beregn LM=n R 2 Sammenlign beregnede testværdi med relevant fraktil i fordelingen. Eller beregn p-værdien for testet. Afvis H 0 hvis testet falder i den kritiske region.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 22 Inferens i den multiple regressionsmodel: Opsamling Resultater om OLS med endeligt antal observationer: Normalitetsantagelse eksakte t- og F-test. Asymptotiske resultater for OLS:  Konsistens under MLR.1-4.  Asymptotisk normalfordelt under MLR.1-5: t- og F-test begrundes approximativt i endeligt datasæt uden at antage normalfordelte fejlled. Andre typer af test: Lagrange multiplikator testet  Asymptotisk efficiens af OLS under MLR.1-5.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 23 Præsentation af estimationsresultater Det er vigtigt at kunne præsentere sine estimationsresultater på en ordentlig måde  Generelt i empiriske analyser  Konkret i kurset: Eksamensopgaven Øvelserne Læs selv afsnit 4.6

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 24 Næste gang: mandag d. 19/3 HC overtager (igen) Næste gang: kap