Økonometri – lektion 8 Multipel Lineær Regression Likelihood-baseret inferens Generaliseret Mindste Kvadraters Metode

Tæthedsfunktionen Hvis Y~ N( m , s2 ) , så har Y tæthedsfunktion Som sædvanligt Men f(c) siger stadig noget om hvor ”troelig” (likely) Y=c er.

Likelihood-funktionen Antag observation/data y er givet. Hvor troelig er y for forskellige værdier af m og s2 ? Likelihood-funktionen L er tæthedsfuntionen, men nu betragtet som en funktion af parametre og ikke data:

Likelihood-funktionen Generelt: Tæthed for data-vektor Y er typisk specificeret ved parameter-vektor qT=(q1,…, qk): Tilsvarende likelihood-funktion: Log-likehood-funktionen (naturlig logaritme)

Score-funktionen Givet log-likelihood er score-funktionen givet ved: Siger noget om hældningen på (log)-likelihood ”overfladen”

Maksimum Likelihood Estimat (MLE) Den parameterværdi der gør data mest troelig, dvs. maksimerer likelihood-funktionen, kaldes Maksimum Likelihood Estimatet (MLE). For maksimum likelihood estimatet gælder

MLEs Egenskaber Konsistent: For alle e > 0 gælder Fortolkning: Hvis vi vælger n stor nok, så kan vi få vilkårlig stor sandsynlighed for at ligger vilkårligt tæt på den sande værdi .

Asymptotisk Normalfordelt MLE følger asymptotisk en normalfordeling: Dvs. jo større n bliver jo mere ligner fordelingen af en normalfordeling.

Informations-matricen Definition: Informations-matricen hvor Y ~ f( y ; q ). Hvor Hessian matricen er

Asymptotisk Effektiv I tilfældet med en enkelt parameter q gælder Ingen anden asymptotisk konsistent estimator har en mindre asymptotisk varians. For q vektor gælder Hvor V er en semi-definit matrix.

Score-funktionen of Varians Middelværdien af score-funktionen: Variansen af score-funktionen:

Multivariate Normalfordeling Hvis en n-dimenional stokastisk vektor Y følger en multivariat normal-fordeling med middelværdi m og varians-kovarians matrix S, så har Y tæthed I notation: Hvis Z = AY + b, så

Eksempel: n = 2 Uafhængige ei og samme varians – sfæriske fejlled.

Uafhængige fejlled ei med forskellige varianser.

MLE og MLR Model Dvs. Varains-kovarians matricen for y er: Tæthed:

Log-likelihood og MLE Log-likelihood funktionen Løs: Løsning:

Informations-matricen

Informations-matricen – fortsat Kombineres forrige slide fås Da Er fordelingen af og uafhængige.

Bemærkninger MLE er samme estimat som opnås ved MKM (OLS). Da residual-vektor har vi . Fra tidligere Mao. er ikke en central estimator!

Bemærkninger Værdien af likelihood-funktionens maksimum:

Likelihood-baserede Test Teste hypotesen H0: Rb = r R er en q ╳ k matrix (q<k) Lad MLE for MLR. Lad MLE for MLR under H0.

Likelihood-ratio Definition: Små værdier af l er kritiske for H0. Definition: Likelihood-ratio (LR)

Udregning af LR Restingerede residualer:

Wald Test Hvis H0 er sand så er nok tæt på 0. Vi har hvor Under H0 gælder

Wald Test - fortsat Generelt: Hvis Z~Nq(m, S) så har vi fra tidligere at Konkret Kan også skrives som

Lagrange Multiplier (LM) Test Vi har at . Hvis H0 er sand så skulle så er tæt på og dermed er tæt på nul. Under H0 giver det følgende teststørrelse …som kan skrives som

Sammenligning af Teststørrelser Likelihood-ratio kan tilnærmes til Dvs at

Sammenligning af Teststørrelser – fortsat Likelihood-ratio kan tilnærmes til Deraf følger Alt i alt: Asymptotisk er de tre teststørrelser ens.

Ikke-Sfæriske Fejlled Model: hvor W er en given positiv definit matrix. Dvs.

Likelihood og log-Likelihood funktioner

Maksimere Likelihood-funktionen Løs simultant: Heraf følger:

MLE Egenskaber Middelværdien af ML estimatore:

Generaliseret Mindske Kvadraters Metode Hvis W er positiv definit, kan vi finde ikke-singulær matrix P, så MLE bliver nu Det svarer til estimatet for multipel lineær regression med Py som afgængig variabel of PX som matrix af forklarende (design matricen) og ”sfæriske fejlled”.

Omskrivning af Model Omskriv den lineære model: Hvor

GLS Estimater Estimatet af b baseret på genereliseret mindske kvadrater er