= ×10-4 －  

                   = ×10-4 

由于f 3=f (X3)=-0.9993×10-3 < f 2 ，设定  =625，i= 3 ，进行下一次次迭代。迭代过程一直进行，直到满足收敛准则：|| fi || < 。

6.15  拟牛顿法

牛顿法中的方程（6.97）修改后的基本方程可以表达为：

                f(Xi)= －[ Ji ]（X－Xi）=0

或者

                 X=Xi－[ Ji ]-1 f(Xi)                           (6.105)

它可以被改写成迭代方程的形式，如：

                Xi+1=Xi－[ Ji ]-1 f(Xi)                          (6.106)

注：海森矩阵[ Ji ]是由函数f的第二部分衍生物和非二次（非线性）客观功能函数f的不同的设计载体Xi组成的，拟牛顿或者变量的度量背后的基本思路方法是近似另一个矩阵[ Ai ]的[ Ji ]或者另一个矩阵[ Bi ]的[ Ji ]-1，并且只用函数f 的第一次偏导数。如果[ Ji ]-1近似于[ Bi ]，方程(6.106)可以表达为：

               Xi+1=Xi－λi*[ Bi ] f(Xi)                           (6.107)

其中λi*可以看作是沿着搜索方向的最佳步长：

               Si=- [ Bi ]  fi                                                    (6.108)

由此可以看出，在设定[ Bi ]=[ 1]的情况下，可以把最速下降法看作是方程(6.108)的一个特殊情况。

计算[ Bi ]     为了实现方程(6.107)，海森矩阵的逆可以大概计算成[ Bi ]=[ Ai ]-1。对于这一点，我们可以通过泰勒方程，首先展开函数f关于任意参照点的的梯度，如：

                 f(X)=  f(X0)+[ J0]（X－X0）                     (6.109)

如果我们选择两点Xi和Xi+1，然后用[ Ai ]去近似求[ J0]，那么方程(6.109)可以写成：

                fi+1=  f(X0)+ [Ai ]（Xi+1－X0）                    (6.110)

                  fi=  f(X0)+ [Ai ]（Xi－X0）                     (6.111)

方程(6.110)－(6.111)得：

                [Ai ]di=gi                                                          (6.112)

其中

                di=Xi+1－Xi                                                       (6.113)

                gi = fi+1－ fi                                                   (6.114)