换言之
=- (6.37)
现在考虑一个迭代最小化过程作为起始点X ,先后减少二次方程式Q(X)在S ,S ,…,S 的方向,这些方向满足方程式(6.27)。这些连续点由这样的关系所确定
X =X + S , i=1 to n (6.38)
其中 是通过最小化Q (X + S )发现的,因此S Q(X )=0相当于 =0, Y= X ,
=
其中y 是Y= X 的一部分。
S Q(X )=0 (6.39)
给出点X 在Q点的梯度
Q(X )=B+AX (6.40)
式(6.39)可以改写为
S {B+A(X + S )}=0 (6.41)
这个公式得到
=- (6.42)
从式(6.38),X 可以表示为
X =X + (6.43)
因此
X AS = X AS +
= X AS (6.44)
利用式(6.27)的关系,因此式(6.42)变成
=-(B+AX ) (6.45)
由此可以看出与式(6.37)相同。因此 或 提供最小化步长,由于优化点X 最初表示为n个数量 的总和,这已表明是相当于减少步长,最小化的进程会导致最小点在n步骤甚至更少。因为我们还没有做出任何关于X 和S ,S ,…,S 顺序的假设,在n步骤或更少,进程将收敛于独立的起点以及最小化方向的使用顺序上。
例6.6 考虑函数f(x ,x )=6x +2x -6 x x - x -2 x 的最小值
如果S = 表示搜索方向,寻找共轭方向S ,S 。
解: f(X)=B X+ X X
= +
海赛矩阵 可以认定为
= S = 的方向与S = 共轭,如果
S S = =0
扩展后给出2s =0或s =任意值,s =0,由于s 可以有任意值,我们选取s =1同时所需的共轭方向可以表示为s = 。
6.7.2 算法
鲍威尔法的基本理念以图形方式说明了两个变量的函数,如图6.9所示,在这个图中函数首先最小化一次,沿着每个坐标方向从第二个坐标方向开始,然后再沿着相应的模式方向,这导致了第5点。对于最小化下一个周期,我们放弃一个坐标方向(在本案例中的x 方向)对模式方向有利。因此,我们尽量减少沿u 和S 方向并且得到第7点,然后我们生成一个新的模式方向S ,如图中所示。对于下一个最小周期,我们抛弃以前使用的坐标方向之一(在本例中的x 方向)对新生成的模式方向有利,然后,从第8点开始,我们尽量减少沿S 和 S 方向,从而分别获得第9和第10点。对于最小化另一个周期,由于没有被丢弃的坐标方向,我们通过最大限度地减少沿x 方向重新启动整个过程。此过程继续,直到找到所需的最低点。