神经网络的发展BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。
BP神经网络的发展大致分为三个阶段。60139
1)20世纪50年代-20世纪60年代:第一次研究高潮
自1943年M-P模型开始,至20世纪60年代为止,这一段时间可以称为神经网络系统理论发展的初期阶段。这个时期的主要特点是多种网络的模型的产生与学习算法的确定。
2)20世纪60年代-20世纪70年代:低潮时期
到了20世纪60年代,人们发现感知器存在一些缺陷,例如,它不能解决异或问题,因而研究工作趋向低潮。不过仍有不少学者继续对神经网络进行研究。
Grossberg 提出了自适应共振理论;Kohenen 提出了自组织映射;Fukushima提出了神经认知网络理论;Anderson提出了BSB模型;Webos 提出了BP理论等。这些都是在20世纪70年代和20世纪80年代初进行的工作。
3)20世纪80年代-90年代:第二次研究高潮
进入20世纪80年代,神经网络研究进入高潮。这个时期最具有标志性的人物是美国加州工学院的物理学家John Hopfield。他于1982年和1984年在美国科学院院刊上发表了两篇文章,提出了模拟人脑的神经网络模型,即最著名的Hopfield模型。
Hopfield网络是一个互连的非线性动力学网络,它解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方式做不具备的性质。
20世纪80年代后期到90年代初,神经网络系统理论形成了发展的热点,多种模型、算法和应用被提出,研究经费重新变得充足,使得研究者们完成了很多有意义的工作。
神经网络的现状论文网
进入20世纪90年代以来,神经网络由于应用面还不够宽,结果不够精确,存在可信度问题,从而进入了认识与应用研究期。
1)开发现有模型的应用,并在应用中根据实际运行情况对模型、算法加以改造,以提高网络的训练速度和运行的准确度。
2)充分发挥两种技术各自的优势是一个有效方法。
3)希望在理论上寻找新的突破,建立新的专用/通用模型和算法。
4)进一步对生物神经系统进行研究,不断地丰富对人脑的认识。