L(θ)=L(θ;x_1,x_2,〖⋯,x〗_n )=p(x_1,θ)⋅p(x_2,θ)⋅⋯⋅p(x_n,θ), (5)
L(θ)称为样本的似然函数.如果某统计量θ ̂=θ ̂(x_1,x_2,〖⋯,x〗_n)满足
L(θ ̂ )=max┬(θ∈Θ)L(θ), (6)
则称θ ̂是θ的极大似然估计,简记为MLE(Maximum Likelihood Estimate).
由于lnx是x的单调函数,因此,使对数似然函数lnL(θ)达到最大与使L(θ)达到最大是等价的.人们通常更习惯于由lnL(θ)出发寻找θ的最大似然估计.当L(θ)是可微函数时,求导是求极大似然估计最常用的方法,此时对对数似然函数求导更加简单一些.
例3设x_1,x_2,〖⋯,x〗_n是来自均匀总体U(0,θ)的样本,试求θ的极大似然估计.
解 似然函数
L(θ)=1/θ^n ∏_(i=1)^n▒〖I_{0<X_i<θ} =1/θ^n I_{X_((n) )≤θ} 〗 ,
要使L(θ)达到最大,首先是示性函数取值应该是1,其次是1⁄θ_n 尽可能大.由于1⁄θ_n 是θ的单调减函数,所以θ的取值尽可能小,但示性函数为1决定了θ不能小于x_((n)),由此给出了θ的极大似然估计:θ ̂=x_((n)).
极大似然估计有一个简单而有用的性质:如果 θ ̂是θ的极大似然估计,则对任一函数g(θ),其极大似然估计为g(θ ̂ ).该性质称为极大似然估计的不变性,从而使一些复杂结构的参数的极大似然估计的获得变得简单容易. 广义线性模型下参数极大似然估计 (3):http://www.751com.cn/shuxue/lunwen_40261.html