Kvantitative metoder 2: Den multiple regressionsmodel1 Kvantitative metoder 2 Den multiple regressionsmodel 28. februar 2007

Kvantitative metoder 2: Den multiple regressionsmodel 2 Dagens program Emnet for denne forelæsning er den multiple regressionsmodel (Wooldridge kap appendix E.2) Regression uden konstantled Middelrette OLS estimatorer For mange/for få variable Variansen af OLS estimatoren

Kvantitative metoder 2: Den multiple regressionsmodel 3 Definition og motivation Den multiple regressionsmodel er en udvidelse af den simple regressionsmodel Definition:  k forklarende variable: x 1,…, x k  Et konstantled  k+1 (ukendte) parametre:  u fejlled  Antagelsen E(u| x 1,…, x k )=0

Kvantitative metoder 2: Den multiple regressionsmodel 4 Regressionsmodel uden konstantled Regressionsmodel uden konstantled estimeret med OLS I denne model gælder:  OLS residualerne har ikke gennemsnit lig 0  R 2 er re-defineret til og kan blive negativet  Hvis populations modellen indeholder et konstantled, vil OLS estimaterne af β 1, …β k være biased (ikke middelrette)

Kvantitative metoder 2: Den multiple regressionsmodel 5 Middelret OLS estimator Antagelser  MLR 1 (lineær i parametrene): Den afhængige variabel y kan beskrives ved følgende model:  MLR 2 (tilfældig stikprøve): Vi har en tilfældig stikprøve (y i,x i1, x i2,.., x ik ) i=1,..,n fra populationen (se definition i appendix c.1)

Kvantitative metoder 2: Den multiple regressionsmodel 6 Middelret..(fortsat) MLR 3 (ingen perfekt multikollinaritet)  I stikprøven (og i populationen) kan ingen af de forklarende variable skrives som en lineær funktion af de øvrige De forklarende variable må godt være korreleret f.eks.: kan både x og x 2 være forklarende variable Eksempler på perfekt multikollinaritet:  Alder og fødselsår (i tværsnitsdata)  Antallet af observationer er lille (n<k+1)

Kvantitative metoder 2: Den multiple regressionsmodel 7 Middelret.. (fortsat)  MLR 4 (betinget middelværdi af fejlled): Grunde til at MLR 4 ikke er opfyldt: Forkert funktionel form (mere om dette i kap. 9) Udeladte variable, som er korreleret med en af de forklarende variable Målefejl i de forklarende variable (mere om dette i kap. 9) Hvis MLR 4 er opfyldt kaldes de forklarende variable for eksogene forklarende variable Hvis x j er korreleret med u kaldes x j for endogen forklarende variable

Kvantitative metoder 2: Den multiple regressionsmodel 8 Middelret.. (fortsat) Teorem 3.1 Under antagelse MLR 1-MLR 4 gælder: Bevis laves som i appendix E.2 (tavlegennemgang)

Kvantitative metoder 2: Den multiple regressionsmodel 9 For mange variable i modellen Irrelevante variable i regressionsmodellen: Eksempel:  Den sande model (som opfylder MLR 1-MLR4)  Regressionsmodellen som estimeres med OLS:  Har det betydning for estimaterne af β 0, β 1 og β 2 ?  Estimaterne er stadig middelrette:  Men inklusion af irrelevante variable påvirker variansen af estimaterne

Kvantitative metoder 2: Den multiple regressionsmodel 10 For få variable Udeladte relevante variable OLS estimaterne er biased (ikke middelrette) Eksempel:  Den sande model (som opfylder MLR 1- 4)  Regressionsmodellen som estimeres ved OLS   Middelværdien af OLS estimatet

Kvantitative metoder 2: Den multiple regressionsmodel 11 For få variable Bias Corr(x 1,x 2 ) positiv Corr(x 1,x 2 ) negativ β 2 >0 Positiv bias Negativ Bias β 2 <0 Negativ bias Positiv bias

Kvantitative metoder 2: Den multiple regressionsmodel 12 Variansen af OLS estimatoren Antagelse MLR 5 (homoskedasticitet): Hvis antagelsen ikke er opfyldt, siges at fejlleddet er heteroskedastisk Antagelsen er ikke opfyldt hvis variansen f.eks. er givet ved

Kvantitative metoder 2: Den multiple regressionsmodel 13 Variansen på OLS estimatoren (fortsat) Antagelsen MLR 5 kan også formuleres ved brug af matricer (se appendix E.2): hvor I er en nxn identitetsmatrix hvor X er en nx(k+1) matrix, som indeholder de forklarende variable

Kvantitative metoder 2: Den multiple regressionsmodel 14 Variansen på OLS estimatoren (fortsat) Antagelserne MLR 1-MLR 5 kaldes Gauss-Markov antagelserne Teorem 3.2 Under antagelserne MLR 1-MLR 5 er variansen af OLS estimatoren givet ved X er en nx(k+1) matrix Parameteren β er en (k+1)x1 matrix (vektor)

Kvantitative metoder 2: Den multiple regressionsmodel 15 Variansen af OLS estimatoren (fortsat) Bevis (se appendix E.2) (tavlegennemgang)

Kvantitative metoder 2: Den multiple regressionsmodel 16 Variansen af OLS estimatoren (fortsat) Matrixformen for variansen er som regel lettest at arbejde med Til at fortolke variansen kan det være lettere at benytte følgende opskrivning af variansen hvor og R j 2 stammer fra regressionen af x j på de øvrige forklarende variable Bevis for ovenstående opskrivning af variansen se appendix i kap. 3

Kvantitative metoder 2: Den multiple regressionsmodel 17 Variansen.. (fortsat) De tre komponenter i variansen Variansen af fejlleddet:  Jo større varians på fejlleddet jo større varians på alle estimatorerne Variationen i x j  Jo større variation i x j jo mindre varians på estimatoren for β j Variation R 2 j  Jo tættere R 2 j er på 0 jo mindre er variansen på estimatoren for β j  Mindst varians opnås ved R 2 j =0 hvilket svarer til at x j er ukorreleret med de øvrige forklarende variable  Jo tættere R 2 j er på 1 jo større er variansen på estimatoren for β j  Hvis antagelsen MLR 4 er opfyldt er R 2 j altid forskellig fra 1

Kvantitative metoder 2: Den multiple regressionsmodel 18 Næste gang Wooldridge kap og E.2: M ultikollinaritet Variansen i misspecificerede modeller Estimator for variansen på fejlleddet Gauss-Markov teoremet