- 上一篇：更新过程交替更新过程模拟实现及其性质的数值分析
- 下一篇：中国航空客运量分析与预测
1.限制模型下的最小二乘估计
1.1限制模型下最小二乘估计的定义
对于线性回归模型 , （1）
, ,
其中 为 观测向量， 为 的设计矩阵， 为 的未知参数向量, 是随机误差向量，∑是 的正定矩阵.
线性约束条件 . （2）
已知一组样本观测值 ，普通最小二乘要求样本回归函数尽可能好的拟合这组值，即样本回归线上的点 的“总体误差”尽可能的小.普通最小二乘法给出的判断标准是：被解释变量的估计值与实际观测值之差的平方和 最小.
其中 是一个相容性方程组，其中 为 的已知矩阵，且秩为 ， 为 已知向量.
定义2.1.1 满足线性约束条件（2）的线性回归方程（1）的最小二乘估计就是限制模型下的最小二乘估计.
1.2 给出限制模型下的最小二乘估计
记Z ,U , ,则得到的线性回归模型为：
, ， .
类似于文献[2]第41页和第55页的推导过程，在满足 的条件下求 ，使 达到最小，为了应用Lagrange乘数法，构造辅助函数：
其中 = 为Lagrange乘子.
对函数 求对 的偏导数，整理并令它们等于零，得到：
, （3）
然后解（3）和约束条件（2）组成的联立方程组.
为了方便，我们用 和 表示（2）和（3）的解.
用 左乘（3），整理后得：
Z-
- , (4)
代入（2）得
- ,
等价地
这是一个有关 的线性方程组，由于 的秩为 ，于是 是 阶可逆矩阵.
故（5）有唯一解
,
将代 入（4）得
- ,
其中
,
所以
- .
为无约束条件下 的最小二乘估计.
现在证明 确实是线性约束 下β的最小二乘估计，为此我们只需证明如下两点：
1. .
2.对一切满足 的β都有 ≥ .
验证过程：
（1） - - ,
即此结论成立成立.
（2）为了证明2，我们将平方和 作分解：
满足正则方程 =0，则（6）式第三项等于零.