= ×10-4 -
= ×10-4
由于f 3=f (X3)=-0.9993×10-3 < f 2 ,设定 =625,i= 3 ,进行下一次次迭代。迭代过程一直进行,直到满足收敛准则:|| fi || < 。
6.15 拟牛顿法
牛顿法中的方程(6.97)修改后的基本方程可以表达为:
f(Xi)= -[ Ji ](X-Xi)=0
或者
X=Xi-[ Ji ]-1 f(Xi) (6.105)
它可以被改写成迭代方程的形式,如:
Xi+1=Xi-[ Ji ]-1 f(Xi) (6.106)
注:海森矩阵[ Ji ]是由函数f的第二部分衍生物和非二次(非线性)客观功能函数f的不同的设计载体Xi组成的,拟牛顿或者变量的度量背后的基本思路方法是近似另一个矩阵[ Ai ]的[ Ji ]或者另一个矩阵[ Bi ]的[ Ji ]-1,并且只用函数f 的第一次偏导数。如果[ Ji ]-1近似于[ Bi ],方程(6.106)可以表达为:
Xi+1=Xi-λi*[ Bi ] f(Xi) (6.107)
其中λi*可以看作是沿着搜索方向的最佳步长:
Si=- [ Bi ] fi (6.108)
由此可以看出,在设定[ Bi ]=[ 1]的情况下,可以把最速下降法看作是方程(6.108)的一个特殊情况。
计算[ Bi ] 为了实现方程(6.107),海森矩阵的逆可以大概计算成[ Bi ]=[ Ai ]-1。对于这一点,我们可以通过泰勒方程,首先展开函数f关于任意参照点的的梯度,如:
f(X)= f(X0)+[ J0](X-X0) (6.109)
如果我们选择两点Xi和Xi+1,然后用[ Ai ]去近似求[ J0],那么方程(6.109)可以写成:
fi+1= f(X0)+ [Ai ](Xi+1-X0) (6.110)
fi= f(X0)+ [Ai ](Xi-X0) (6.111)
方程(6.110)-(6.111)得:
[Ai ]di=gi (6.112)
其中
di=Xi+1-Xi (6.113)
gi = fi+1- fi (6.114)