Kvantitative metoder 2: Inferens i den lineære regressionsmodel1 Kvantitative metoder 2 Inferens i den lineære regressionsmodel 12. marts 2007

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 2 Dagens program Resultater om OLS med endeligt antal observationer (kap. 4):  Normalitetsantagelse (MLR.6).  Test af en enkelt lineær restriktion på koefficienter i lineær regressionsmodel. Asymptotiske resultater for OLS: (kap. 5).  Konsistens  Asymptotisk normalitet og efficiens  Eksempel: Monte Carlo eksperiment med uniformt fordelte fejlled (asynorm_uni.sas).

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 3 Fordeling af OLS estimatoren: Endelig stikprøve Linearitet af i u og CLM giver følgende resultat: Theorem 4.1: Under CLM antagelserne og betinget på gælder at hvor Heraf følger:

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 4 Fordeling af OLS estimatoren: Endelig stikprøve (fortsat) Theorem 4.1 indeholder den ukendte parameter, derfor ikke umiddelbart operationel. Erstattes af kan man vise at der gælder følgende resultat: Theorem 4.2: Under CLM antagelserne og betinget på gælder at hvor k+1 er antal regressorer i modellen inkl. konstantled. t-fordelingen går mod N(0,1) når antallet af frihedsgrader vokser. Fin approximation hvis større end 120.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 5 Hypotesetest: Restriktion på en enkelt koefficient Betragt en nulhypotese om en regressionskoefficient:, hvor a er en konstant. Under nulhypotesen påstår vi altså en bestemt værdi af en parameter i den sande model. Bruge afvigelsen mellem estimatet, og den postulerede værdi, a, til at vurdere gyldigheden af nulhypotesen.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 6 Hypotesetest: Restriktion på en enkelt koefficient t-testet for er givet ved og er fordelt som under nulhypotesen. Alternativhypotesen:  Ensidede alternativer: eller  Tosidet alternativ: Ex. Afkast af uddannelse: Hypotese om  Nulhypotese:  Relevant alternativ:

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 7 Hypotesetest: Restriktion på en enkelt koefficient Klassisk teststrategi:  Vælg signifikansniveau: Sandsynlighed for at afvise nulhypotesen, givet at den er sand. Typisk vælges 5 %.  Vælg alternativhypotese: Bestemmer den kritiske region, givet signifikansniveauet.  Beregn teststatistik. Afvis nulhypotesen hvis testet er i den kritiske region. Afvis ellers ikke. Alternativ: Beregn p-værdi: Marginale signifikansniveau som ville betyde at nulhypotesen netop ville blive afvist.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 8 Hypotesetest: Restriktion på en enkelt koefficient Typiske eksempler:  a=0: Standard signifikanstest.  a=1 eller a=-1: Test af homogenitet eller proportionalitet. Konfidensinterval: Givet signifikansniveau,, fx 5 %. Så er 100- % konfidensintervallet givet ved: Konstrueres intervallet således vil det i 100- % af udfaldene rumme den sande værdi. Nulhypoteser om værdier udenfor vil således blive afvist. Skitsér på tavlen.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 9 Hypotesetest: Eksempel: Lønrelationen Afhængig variabel: log(timeløn) Kilde: Output fra SAS-programmet lon_udd2.sas RegressorModel (1)Model (2) uddaar0,0452 (0,0035) 0,0485 (0,0032) erfaring_0,0139 (0,0010) konstant4,3500 (0,0420) 4,1051 (0,0424) Antal observationer1046 0,1400,275

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 10 Generel lineær restriktion Nulhypotese på linearkombination af koefficienter: Involverer flere koefficienter, men stadig kun en restriktion (et lighedstegn). Ex. Produktionsfunktion af Cobb-Douglas typen med arbejdskraft (L), kapital (K) og uobserverbare faktorer (U): I log-transformerede størrelser: Test antagelse om konstant skalaafkast:

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 11 Generel lineær restriktion (fortsat) Hypotesen er af formen: ”Linearkombination af koefficienterne er lig med konstant”. Estimere, men hvad med ? Omparameterisere modellen: OLS af I reparameterisering er hypotesen direkte en restriktion på koefficienten til : Kald den fx Test restriktionen vha. t-stat. på Hvis CLM opfyldt så eksakt t-fordelt.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 12 Eksakte versus asymptotiske egenskaber Under antagelserne MLR.1-4 er OLS en middelret estimator.  Ved uafhængige trækninger af datasæt af n observationer vil OLS–estimatoren i gennemsnit ramme den sande parameterværdi,.  Gælder for enhver størrelse n af datasættet Under CLM-antagelserne MLR.1-6 kender vi hele fordelingen eksakt:  t-test følger t-fordelingen  For enhver størrelse n af datasættet MLR.6: Normalitet er restriktivt. Nu: Se på egenskaber for OLS når vi lader

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 13 Konsistens: Generelt Wooldridge appendix C.3 definerer konsistens af en estimator, se også Berry og Lindgren kap. 9.3 Estimatoren konvergerer i sandsynlighed mod den sande værdi: Egenskab for estimatoren når antallet af observationer øges mod uendeligt. Minimalkrav til en ”fornuftig” estimator.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 14 Konsistens: Generelt (fortsat) Store tals lov: i.i.d. følge med middelværdi. Så gælder Anvendes på en lang række størrelser beregnet ud fra data: Gennemsnit, varianser, kovarianser mv. Egenskaber ved plim (se side ): 1. 2.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 15 Konsistens: Generelt (fortsat) Middelret estimator er ikke nødvendigvis konsistent: Præcisionen bliver ikke nødvendigvis bedre når Men: Hvis variansen af en middelret estimator går mod nul i sandsynlighed når, så gælder at Ex. Estimation af middelværdi af i.i.d. følge med middelværdi og konstant varians :  Gennemsnittet af n observationer:  Gennemsnit af første og n’te observation:

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 16 Konsistens: OLS Theorem 5.1: Konsistens af OLS estimatoren: Under antagelserne:  MLR.1: Lineær model:  MLR.2: Tilfældigt udvalg af  MLR.3: Ingen perfekt multikollinearitet: er non-singulær.  MLR.4: Betinget middelværdi nul: Så er OLS-estimatoren konsistent for Bevis: Tavlegennemgang. Konsistens kan vises under svagere betingelse end MLR.4:

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 17 Konsistens: OLS Hvis fejlleddet er korreleret med en eller flere regressorer vil OLS være inkonsistent: Inkonsistensen (den ”asymptotiske bias”) i den simple lineære regressionsmodel er givet ved Per konstruktion forsvinder problemet ikke ved at få flere data fra samme population. Vil se på metoder til at håndtere inkonsistens i kap. 15.

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 18 Asymptotisk normalfordeling for OLS: Generelt Konsistens af OLS i store datasæt under MLR.1-4: Minimumskrav opfyldt. Inferens: Vi behøver mere end det. Antager nu:  MLR.5: Homoskedasticitet:  Men ikke MLR.6: Normalitet af u i Normalfordelte fejlled er alt for stærk antagelse i en række realistiske problemstillinger:  Diskrete fordelinger: Heltallige udfald, fx antal medlemmer af en bestyrelse.  Skæve fordelinger: Asymmetriske aktieafkast.  Fordelinger med ”tunge” haler: Aktieafkast (outliers).

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 19 Asymptotisk normalfordeling for OLS: Generelt Teorem 5.2: Asymptotisk normalfordeling af OLS estimatoren Antag: Gauss-Markov antagelserne MLR.1-5. 

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 20 Asymptotisk normalfordeling for OLS: I praksis Standardiserede OLS estimater er asymptotisk standardnormalfordelt: Hvad er ”asymptotisk”?  Afhænger bl.a. af, hvor meget u’s fordeling afviger fra normalfordelingen: Ikke hårde regler.  N(0,1) >< t n-k-1 : Ikke vigtigt (for rimeligt store n og moderate værdier af k).

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 21 Asymptotisk normalfordeling for OLS: Monte Carlo experiment Lad os designe et lille eksperiment, hvor MLR.1-5 er overholdt (faktisk er u uafhængige af x her): Lineær model, ingen eksakt multikollinearitet, u har middelværdi nul og konstant varians. Men u trækkes fra en uniform (eller lige) fordeling:  Kontinuert fordeling fx på intervallet [-1,1].  Konstant tæthed f(u)=0.5 over intervallet.  Udfaldsrummet begrænset >< normalfordeling. Resultat af eksperimentet for forskellige n: SAS

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 22 Asymptotisk normalfordeling for OLS: Standardfejl OLS standardfejlen: Asymptotik: Komponenter i formlen: Betyder at går mod nul som 1/n, standardfejlen går mod nul som

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 23 Asymptotisk efficiens af OLS estimatoren Under Gauss-Markov antagelserne er OLS asymptotisk efficient. Theorem 5.3: Under Gauss-Markov antagelserne har OLS den mindste asymptotiske varians blandt estimatorer, der løser ligningerne OLS:

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 24 Oversigt over OLS estimatorens egenskaber AntagelserEksaktAsymptotisk MLR1- MLR4 Middelret (Theorem 3.1) Konsistent (Theorem 5.1) MLR1- MLR5 BLUE (Theorem 3.4) Asymptotisk efficiens (Theorem 5.3) MLR1- MLR5 +MLR6 Normal fordelt (Theorem 4.1) Asymptotisk Normalfordelt (Theorem 5.2)

Kvantitative metoder 2: Inferens i den lineære regressionsmodel 25 Næste gang Test af flere restriktioner: kap. 4.5 Andre test: kap. 5.2 Præsentation af estimationsresultater: kap. 4.6