Økonometri – lektion 8 Multipel Lineær Regression

Præsentationer af emnet: "Økonometri – lektion 8 Multipel Lineær Regression"— Præsentationens transcript:

1 Økonometri – lektion 8 Multipel Lineær Regression
Likelihood-baseret inferens Generaliseret Mindste Kvadraters Metode

2 Tæthedsfunktionen Hvis Y~ N( m , s2 ) , så har Y tæthedsfunktion
Som sædvanligt Men f(c) siger stadig noget om hvor ”troelig” (likely) Y=c er.

3 Likelihood-funktionen
Antag observation/data y er givet. Hvor troelig er y for forskellige værdier af m og s2 ? Likelihood-funktionen L er tæthedsfuntionen, men nu betragtet som en funktion af parametre og ikke data:

4 Likelihood-funktionen
Generelt: Tæthed for data-vektor Y er typisk specificeret ved parameter-vektor qT=(q1,…, qk): Tilsvarende likelihood-funktion: Log-likehood-funktionen (naturlig logaritme)

5 Score-funktionen Givet log-likelihood er score-funktionen givet ved:
Siger noget om hældningen på (log)-likelihood ”overfladen”

6 Maksimum Likelihood Estimat (MLE)
Den parameterværdi der gør data mest troelig, dvs. maksimerer likelihood-funktionen, kaldes Maksimum Likelihood Estimatet (MLE). For maksimum likelihood estimatet gælder

7 MLEs Egenskaber Konsistent: For alle e > 0 gælder
Fortolkning: Hvis vi vælger n stor nok, så kan vi få vilkårlig stor sandsynlighed for at ligger vilkårligt tæt på den sande værdi .

8 Asymptotisk Normalfordelt
MLE følger asymptotisk en normalfordeling: Dvs. jo større n bliver jo mere ligner fordelingen af en normalfordeling.

9 Informations-matricen
Definition: Informations-matricen hvor Y ~ f( y ; q ). Hvor Hessian matricen er

10 Asymptotisk Effektiv I tilfældet med en enkelt parameter q gælder
Ingen anden asymptotisk konsistent estimator har en mindre asymptotisk varians. For q vektor gælder Hvor V er en semi-definit matrix.

11 Score-funktionen of Varians
Middelværdien af score-funktionen: Variansen af score-funktionen:

12 Multivariate Normalfordeling
Hvis en n-dimenional stokastisk vektor Y følger en multivariat normal-fordeling med middelværdi m og varians-kovarians matrix S, så har Y tæthed I notation: Hvis Z = AY + b, så

13 Eksempel: n = 2 Uafhængige ei og samme varians – sfæriske fejlled.

14 Uafhængige fejlled ei med forskellige varianser.

15 MLE og MLR Model Dvs. Varains-kovarians matricen for y er: Tæthed:

16 Log-likelihood og MLE Log-likelihood funktionen Løs: Løsning:

17 Informations-matricen

18 Informations-matricen – fortsat
Kombineres forrige slide fås Da Er fordelingen af og uafhængige.

19 Bemærkninger MLE er samme estimat som opnås ved MKM (OLS).
Da residual-vektor har vi Fra tidligere Mao er ikke en central estimator!

20 Bemærkninger Værdien af likelihood-funktionens maksimum:

21 Likelihood-baserede Test
Teste hypotesen H0: Rb = r R er en q ╳ k matrix (q<k) Lad MLE for MLR. Lad MLE for MLR under H0.

22 Likelihood-ratio Definition: Små værdier af l er kritiske for H0.
Definition: Likelihood-ratio (LR)

23 Udregning af LR Restingerede residualer:

24 Wald Test Hvis H0 er sand så er nok tæt på 0. Vi har hvor
Under H0 gælder

25 Wald Test - fortsat Generelt: Hvis Z~Nq(m, S) så har vi fra tidligere at Konkret Kan også skrives som

26 Lagrange Multiplier (LM) Test
Vi har at Hvis H0 er sand så skulle så er tæt på og dermed er tæt på nul. Under H0 giver det følgende teststørrelse …som kan skrives som

27 Sammenligning af Teststørrelser
Likelihood-ratio kan tilnærmes til Dvs at

28 Sammenligning af Teststørrelser – fortsat
Likelihood-ratio kan tilnærmes til Deraf følger Alt i alt: Asymptotisk er de tre teststørrelser ens.

29 Ikke-Sfæriske Fejlled
Model: hvor W er en given positiv definit matrix. Dvs.

30 Likelihood og log-Likelihood funktioner

31 Maksimere Likelihood-funktionen
Løs simultant: Heraf følger:

32 MLE Egenskaber Middelværdien af ML estimatore:

33 Generaliseret Mindske Kvadraters Metode
Hvis W er positiv definit, kan vi finde ikke-singulær matrix P, så MLE bliver nu Det svarer til estimatet for multipel lineær regression med Py som afgængig variabel of PX som matrix af forklarende (design matricen) og ”sfæriske fejlled”.

34 Omskrivning af Model Omskriv den lineære model: Hvor

35 GLS Estimater Estimatet af b baseret på genereliseret mindske kvadrater er