Primjeri procjene najveće vjerojatnosti

Pretpostavimo da imamo a nasumični uzorak iz populacije koja zanima. Mogli bismo imati teoretski model za način na koji populacija se distribuira. Međutim, može biti nekoliko stanovnika parametri od kojih vrijednosti ne znamo. Procjena maksimalne vjerojatnosti jedan je od načina za utvrđivanje tih nepoznatih parametara.

Osnovna ideja iza maksimalne procjene vjerojatnosti je da odredimo vrijednosti tih nepoznatih parametara. To radimo na takav način da maksimiziramo povezanu funkciju gustoće vjerojatnosti zglobova ili funkcija vjerojatnosti mase. To ćemo vidjeti detaljnije u onome što slijedi. Zatim ćemo izračunati nekoliko primjera procjene maksimalne vjerojatnosti.

Gornja rasprava može se sažeti sljedećim koracima:

1. Započnite s uzorkom neovisnih slučajnih varijabli X₁, X₂,... x_n iz zajedničke raspodjele, svaka s funkcijom gustoće vjerojatnosti f (x; θ₁,.. .θ_k). Thete su nepoznati parametri.
2. Kako je naš uzorak neovisan, vjerojatnost dobivanja određenog uzorka koji promatramo nalazimo množenjem naših vjerojatnosti zajedno. To nam daje vjerojatnu funkciju L (θ
   instagram viewer
   ₁,.. .θ_k) = f (x)₁ ;θ₁,.. .θ_k) f (x)₂ ;θ₁,.. .θ_k)... f (x)_n ;θ₁,.. .θ_k) = Π f (x_ja ;θ₁,.. .θ_k).
3. Dalje, koristimo Račun pronaći vrijednosti theta koje maksimiziraju našu vjerojatnu funkciju L.
4. Konkretnije, razlikujemo vjerojatnu funkciju L s obzirom na θ ako postoji jedan parametar. Ako postoji više parametara, izračunavamo djelomične derivate L u odnosu na svaki od theta parametara.
5. Da biste nastavili proces maksimizacije, postavite derivat L (ili djelomične derivate) jednaku nuli i riješite za theta.
6. Zatim možemo koristiti druge tehnike (kao što je drugi test derivata) kako bismo potvrdili da smo pronašli maksimum za našu vjerojatnost funkciju.

Pretpostavimo da imamo paket sjemena, od kojih svaki ima stalnu vjerojatnost p uspjeha klijanja. Sadimo n od tih i prebrojimo broj onih koji klijaju. Pretpostavimo da svako sjeme klija nezavisno od ostalih. Kako odrediti procjenu najveće vjerojatnosti parametra p?

Započinjemo primjetom da je svako sjeme modelirano Bernoullijevom distribucijom s uspjehom od str. Dopuštamo x biti 0 ili 1, a funkcija vjerojatnosti mase za jedno sjeme je f( x; p ) = p^x(1 - p)^{1 - x}.

Naš se uzorak sastoji od n različit x_ja, svaki od sa ima Bernoullijevu distribuciju. Sjeme koje klija ima x_ja = 1 i sjeme koje ne uspijeva klijati ima x_ja = 0.

Funkciju vjerojatnosti daje:

L ( p ) = Π p^x_ja(1 - p)^{1 - x}_ja

Vidimo da je moguće prepisati funkciju vjerojatnosti korištenjem zakona eksponenata.

L ( p ) = p^{Σ x}_ja(1 - p)^{n - Σ x}_ja

Zatim razlikujemo ovu funkciju u odnosu na p. Pretpostavljamo da su vrijednosti za sve x_ja su poznati, a samim tim i konstantni. Za razlikovanje vjerojatnosti funkcije moramo koristiti pravilo proizvoda zajedno s pravilom napajanja:

L '( p ) = Σ x_jap^{-1 + Σ x}_ja (1 - p)^{n - Σ x}_ja- (n - Σ x_ja ) p^{Σ x}_ja(1 - p)^{n-1 - Σ x}_ja

Prepisujemo neke negativne eksponente i imamo:

L '( p ) = (1/p) Σ x_jap^{Σ x}_ja (1 - p)^{n - Σ x}_ja- 1/(1 - p) (n - Σ x_ja ) p^{Σ x}_ja(1 - p)^{n - Σ x}_ja

= [(1/p) Σ x_ja - 1/(1 - p) (n - Σ x_ja)]_jap^{Σ x}_ja (1 - p)^{n - Σ x}_ja

Sada, kako bismo nastavili proces maksimizacije, taj smo derivat postavili jednakom nuli i riješili za p:

0 = [(1/p) Σ x_ja - 1/(1 - p) (n - Σ x_ja)]_jap^{Σ x}_ja (1 - p)^{n - Σ x}_ja

Od p i (1- p) nonzero imamo to

0 = (1/p) Σ x_ja - 1/(1 - p) (n - Σ x_ja).

Pomnoženje obje jednadžbe s p(1- p) daje nam:

0 = (1 - p) Σ x_ja - p (n - Σ x_ja).

Proširimo desnu stranu i vidimo:

0 = Σ x_ja - p Σ x_ja - pn + pΣ x_ja = Σ x_ja - pn.

Dakle Σ x_ja = pn i (1 / n) Σ x_ja = p. To znači da je procjena najveće vjerojatnosti za p je vrijednost uzorka. Točnije, to je uzorak sjemena koje je klijalo. To je savršeno u skladu s onim što bi nam intuicija rekla. Da biste odredili udio sjemena koje će klijati, prvo razmotrite uzorak iz populacije koja vas zanima.

Neke su izmjene gornjeg popisa koraka. Na primjer, kao što smo vidjeli gore, obično se isplati provesti neko vrijeme koristeći neku algebru kako bi se pojednostavio izraz funkcije vjerojatnosti. Razlog je u tome što je diferencijaciju lakše provesti.

Još jedna promjena gore navedenog popisa koraka je razmatranje prirodnih logaritama. Maksimum za funkciju L pojavit će se u istoj točki kao i za prirodni logaritam L. Stoga je maksimiranje ln L ekvivalentno maksimiziranju funkcije L.

Mnogo puta, zbog prisutnosti eksponencijalnih funkcija u L, uzimanje prirodnog logaritma L uvelike će pojednostaviti dio našeg rada.

Vidimo kako koristiti prirodni logaritam revidiranjem primjera odozgo. Započinjemo s funkcijom vjerojatnosti:

L ( p ) = p^{Σ x}_ja(1 - p)^{n - Σ x}_ja .

Zatim koristimo naše zakone logaritma i vidimo da:

R ( p ) = ln L ( p ) = Σ x_ja ln p + (n - Σ x_ja) ln (1 - p).

Već vidimo da je derivat mnogo lakše izračunati:

R '( p ) = (1/p) Σ x_ja - 1/(1 - p)(n - Σ x_ja) .

Sada, kao i prije, taj smo derivat postavili jednakom nuli i obje strane pomnožili sa p (1 - p):

0 = (1- p ) Σ x_ja - p(n - Σ x_ja) .

Riješimo za p i pronaći isti rezultat kao i prije.

Upotreba prirodnog logaritma L (p) korisna je na drugi način. Mnogo je lakše izračunati drugi derivat R (p) kako bismo provjerili da doista imamo maksimum u točki (1 / n) Σ x_ja = p.

Za drugi primjer, pretpostavimo da imamo nasumični uzorak X₁, X₂,... x_n iz populacije koju modeliramo eksponencijalnom raspodjelom. Funkcija gustoće vjerojatnosti za jednu slučajnu varijablu je oblika f( x ) = θ^-1e ^-x/θ

Funkcija vjerojatnosti je dana zajedničkom funkcijom gustoće vjerojatnosti. Ovo je proizvod nekoliko sljedećih funkcija gustoće:

L (θ) = Π θ^-1e ^-x_ja^/θ = θ^-ne ^-Σx_ja^/θ

Još jednom je korisno razmotriti prirodni logaritam vjerojatnosti funkcije. Ako se to razlikuje, potrebno je manje rada nego razlikovanje vjerojatnosti:

R (θ) = ln L (θ) = ln [θ^-ne ^-Σx_ja^/θ]

Koristimo naše zakone logaritmi i dobivamo:

R (θ) = ln L (θ) = - n ln θ + -Σx_ja/θ

Razlikujemo s obzirom na θ i imamo:

R '(θ) = - n / θ + Σx_ja/θ²

Postavite ovaj derivat jednak nuli i vidimo da:

0 = - n / θ + Σx_ja/θ².

Pomnožite obje strane θ² a rezultat je:

0 = - n θ + Σx_ja.

Sada se pomoću algebre riješite za θ:

θ = (1 / n) Σx_ja.

Iz ovog vidimo da je vrijednost uzorka ono što maksimizira funkciju vjerojatnosti. Parametar θ kako bi odgovarao našem modelu jednostavno bi trebao biti sredina svih naših promatranja.

veze

Postoje i druge vrste procjenitelja. Jedna alternativna vrsta procjene naziva se an nepristrani procjenitelj. Za ovu vrstu moramo izračunati očekivanu vrijednost naše statistike i utvrditi odgovara li odgovarajućem parametru.