量子遗传算法优化神经网络及其在MIMO系统信号检测中的应用研究 第11页
利用传递函数计算输出层各单元的响应
Step5:利用网络目标向量 ,网络的实际输出 ,计算输出层的各单元一般化误差 ;
Step6:利用连接权 、输出层的一般化误差 和中间层的输出 计算中间层各单元的一般化误差 ; (3-2-4)
Step7:利用输出层各单元的一般化误差 与中间层各单元的输出 来修正连接权 和阈值 ;
Step8:利用中间层各单元的一般化误差 与输入层各单元的输入
来修正连接权 和阈值 ; (3-2-6)
Step9:随机选取下一个学习样本向量提供给网络,返回到Step3,直到 各训练样本训练完毕;
Step10:重新从 个学习样本中随机选取一组输入和目标样本,返回Step3,直到网络全局误差E小于预先设定的一个极小值,即网络收敛。如果学习次数大于预先设定的值,网络就无法收敛;
Step11:学习结束。
在以上学习步骤中,Step7和Step8为网络误差的“逆传播过程”,Step9和Step10则用于完成训练和收敛过程。
3.2.2 自适应BP网络及性能测试
3.2.2.1 自适应BP网络
虽然BP网络得到了广泛应用,但其自身也存在一些缺点和不足,主要包括以下几个方面的问题:
第一、由于学习速率是固定的,因此网络的收敛速度慢,需要较长的训练时间。对于一些复杂的问题,BP算法需要的训练时间可能会非常长,这主要是由于学习速率太小造成的;
第二、BP算法可以使权值收敛到某个值,但并不能保证其为误差平面的全局最小值,这是因为采用梯度下降法可能会产生一个局部最小值。
针对以上BP算法出现的问题,本文采用文献[26]提到的自适应网络加以改进,在BP算法基础上引进自适应参数(动量因子 、变步长 ),在继承BP算法优点的同时融入了自我调节机制:
(1) 当算法进入误差曲面的平坦区时,它能根据总体误差的变化情况按指数规律将步长 调得较大以加大权值的修正幅度;当算法运行于误差曲面的陡峭处时,又能以同样的方法放慢权值修正的步调,从而减少了迭代次数,缩短了训练时间。
(2) 它能结合权值和总体误差的变化动态,用动量因子 对权值进行微调以防止震荡,加速收敛。
与上节中所介绍的网络学习过程不同的是,自适应BP算法权值与阈值的调整公式是在BP算法梯度法调整权值和阈值的基础上,通过引入步长 和动量因子 后得到的,则对各层权值和阈值的迭代步骤Step7、Step8分别进行修改:
是变步长,按 迭代,其中 是样本数, , 是第N次迭代时的误差,变步长用于克服上文指出的BP算法缺点中的第一点; 称为动量因子,用于加速收敛和防止震荡,且有 ,用于克服上文指出的BP算法缺点中的第二点。 可以根据实验来确定其最佳取值范围。这两种措施有利于加快自适应BP算法的收敛速度并防止其震荡。
3.2.2.2 自适应BP网络性能测试
上文介绍了经典BP网络以及改进的自适应BP网络,为了验证所研究算法的可行性和有效性,分别对如下非线性函数进行函数逼近,实验控制参数见表3-1。 (3-2-9)
经典BP网络和自适应BP网络的拟合曲线如图3-4、3-5所示,收敛曲线如图3-6、3-7所示。
实验表明:(1) 经典BP网络经过1000次训练后依然没有取得理想的收敛效果,而自适应BP网路在460步时已近似收敛,收敛速度较经典BP网络有明显的提高;(2) 由图3-4及图3-5比较可看出,自适应BP网络比经典BP网络有更好的拟合效果。
表3-1 BP网络控制参数
经典BP 自适应BP
训练样本 40 40
测试样本 40 40
训练次数 1000 1000
网络结构 1-5-1 1-5-1
学习速率 0.003 0.003
目标误差 0.001 0.001
动量因子 0.5
<< 上一页 [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] ... 下一页 >>
量子遗传算法优化神经网络及其在MIMO系统信号检测中的应用研究 第11页下载如图片无法显示或论文不完整,请联系qq752018766