线性回归中最小二乘估计的改进

线性回归模型是现代统计学中理论丰富、应用广泛的一个重要分支，其中的一个最基本的问题就是回归参数估计，其方法有很多种，最常用的方法就是最小二乘估计。但是，在自变量较多的情况下，最小二乘估计出现了明显的弊端。经过统计学家的多年研究，找出了一些针对该问题的解决办法，其中岭估计是比较常用的方法之一。
本文针对多重共线性这一问题，阐述了各种有偏估计的原理和方法，利用SPSS软件和实际数据，重点研究了最小二乘估计和岭估计的优良性对比，并作出总结。最后，针对岭估计过度压缩的问题，根据最新的科研成果，作了一定的阐述和解释。 7079
关键词线性回归最小二乘估计多重共线性岭估计过度压缩
Title    The improvement of least square estimation of linear    regression
Abstract
Linear regression model theory,which is rich and widely used,is an
important branch of modern statistics .One of the most basic problem is
that the estimation of regression parameters.The method has many kinds,and
the most common method is the least square estimation.However, in large
numbers of cases, least squares estimation appeared obvious drawbacks .
After many years of research by statisticians, figure out some solution
to this problem, in which the biased estimation is more commonly used
methods.
To solve the multicollinearity problem,this paper elaborates the principle
and method of some kinds of biased estimation,and compares the least
squares estimation and ridge estimate of to make a summary with the help
of SPSS software and actual data.Finally,considering the excessive
compression problem of the ridge eatimation ,this article elaborates and
explain this problem a little ,according to the latest research results.
Keywords    linear regression,least square estimation,multicollinearity,
          ridge estimation,excessive compression
目   次

1 绪论    1
1.1   多元线性回归 . 1
1.2   参数估计的发展概述 . 3
1.3   本文研究的问题 . 5
2   最小二乘估计与岭估计    7
2.1   最小二乘估计方法及性质 . 7
2.2   多重共线性问题 . 8
2.3   岭估计方法与性质 . 11
2.4   岭参数的选择   12
3   改进效果实例研究    14
3.1   最小二乘线性回归 . 15
3.2   岭回归 . 17
4 岭估计过度压缩的改进方法    21
4.1 岭估计的主要问题 . 21
4.2 对岭估计过度压缩的改进 . 21
结论    24
致谢    25
参考文献    26

1 绪论
    线性模型是现代统计学中理论丰富、应用广泛的一个重要分支，许多生物、医学、
经济、管理、农业、工业、工程技术等领域中的现象都可以用线性模型来近似描述。
特别是在当代高速电子计算机日益普及的时代背景下，线性模型可以用来处理很多数
据量庞大的问题。因此线性模型成为现代统计学中应用最为广泛的模型之一[1]。
在研究实际问题时，我们经常要研究某一现象与影响它的某一个或某些因素的关线性回归中最小二乘估计的改进:http://www.751com.cn/shuxue/lunwen_4844.html