- 上一篇：无约束最优化算法在回归和拟合中的应用
- 下一篇：截尾回归模型参数估计的性质
（2）
从（2）式中计算的出 和 是极限值结果。 和 ， 之间是呈现非负的二次函数，所以不管怎么说Q最小值是永远存在的。通过得到的极值结果，微积分的原则，可以知道方程式 ， ：
经整理后，得正规方程组：
求解以上正规方程组得 ， 的最小二乘估计为：
其中 ，
但是对高文数据的处理，这种方法却是不可行的，这就需要用到统计建模中一种非常流行的方法—LASSO方法，本文正是对LASSO方法及其性质的探究。
2．LASSO及其相关方法简介
2.1 LASSO及其相关方法
LASSO方法的思想和最小二乘类似，但由于高文数据情况下，协方差阵无法求逆，因此除通常所用的损失函数（如最小二乘方法中使用的离差平方和）之外，还需要增加一个惩罚项。假设使用的模型系数 ，损失函数为 ，其中 为d文向量，然后惩罚似然函数为：
若 ，则在q=l时，可以计算出LASSO回归，通常称它就是L1正则化。事实上若 ，这就是我们所说的岭回归和为1的时候一样。研究表示岭回归虽然能够有效的克服自变量间相当高的相关关系，还可以提升预测估计度，但是如果只单一的用它并不能进行模型的选取。事实上，推出 “Boosting"基于岭回归估计可以在相同的LASSO获得。
为了使更彻底的想法，不妨进一步设定行向量正交矩阵X， 。最小化 相同于最小化 。得到我们需要的最小二乘估计结果为 。并令 ，这时候也会得到一个惩罚最小二乘就是：
惩罚项 对全部的 不应该相同，如果要进一步化简全部的设定条件那么全部的惩罚项和系数都必须是等价的，记为 。对于 最小化式子与它的所有的分量的最小化都是相同的。这就让咱们们考虑下列最小的二乘问题：
（1）当 ，这就是 “硬门限规则(hard
thresholding rule)" ：
此时相当于对 考虑如下的最小二乘问题：
那么对应的解应为 。