3 神经网络及BP算法
3.1 人工神经网络
3.1.1 人工神经元模型
人工神经元模型是生物神经元的模拟和抽象,反应人脑某些生理特性的计算结构。神经元是人工神经网络的基本处理单元,它一般是一个多输入/单输出的非线性元件。
一个具有n个节点的神经元如图所示。其中输入分量 (j=1,2,...,n),通过与和它相乘的权值分量 (j=1,2,...,n)相连,以 的形式求和后,形成激活函数f的输入。O表示这个人工神经的输出; 表示这个人工神经元的阈值。如果输入信号的加权和超过 ,则人工神经元输出可描述为:
式中,f()表示神经元输入—输出关系的函数,称为激活函数或输出函数。
图3.1 神经元模型图
激活函数是一个神经元及神经网络的核心。网络解决问题的能力不仅仅与网络结构有关,很大程度上也取决于网络所采用的激活函数。激活函数的基本作用有:①控制输入对输出的激活作用;②对输入、输出进行函数转换;③将可能无限域的输入变换成指定的有限范围的输出。
下面是几种常见的激活函数:
(1)阈值型
这种激活函数将任意输入转化为0或1的输出,分别代表神经元的抑制和兴奋。此函数的神经元输入/输出关系为:
=
(2)分段线性型
分段线性型函数是一种特殊形式的阈值型激活函数,其关系为:
(3)S型传递函数,即sigmoid函数,它的输出是非线性的,故这种神经元称为非线性连续型模型。S型传递函数具有平滑和渐近线,并保持单调性,最常用的是对数sigmoid函数,其函数形式为:
另一种常见的是双曲正切函数,其形式为:
3.1.2 神经网络的基本特征与功能
神经网络的基本特征可以归纳为结构特征和能力特征。
(1)结构特征——并行处理、分布式存储与容错性
人工神经网络由大量简单处理元件相互连接而成,是高度并行的非线性系统,具有大规模并行性处理的特征。结构上的并行性使得网络的信息存储采用分布式的方式。神经网络内在的并行性与分布性表现在其信息的存储与处理都是时间上并行、空间上分布的。这两个特点使神经网络在这两个方面表现出较好的容错性:一方面,因为信息的分布式存储,当网络中部分神经元损坏时不会对系统的整体性能造成影响;另一方面,当输入信息残缺或模糊时,神经网络能通过联想来恢复完整的记忆,从而实现对输入的不完整信息的识别。
(2)能力特征——自学习、自组织与自适应
自适应性是指一个系统能能通过改变自身的性能来适应环境变化的能力,包括自学习和自组织。神经网络的自学习是指,当外界环境发生变化时,,神经网络能通过自动调整网络结构参数,使得对于给定输入能产生期望的输出。网络的自组织是指,神经系统能在外部刺激下按照一定的规则调整神经元之间的连接,逐渐构建出神经网络。神经网络的自组织能力与自适应性有一定的相关性,自适应性是通过自组织实现的。
神经网络的基本功能包括:
(1)联想记忆。神经网络通过预先存储信息和学习机制进行自适应训练,可以从不完整的信息或者噪声干扰中恢复原始的完整信息,这一功能使其在图像复原、模式识别、图像和语音处理、分类等方面具有巨大的应用价值。 MATLAB基于BP神经网络的股票价格预测研究(5):http://www.751com.cn/jingji/lunwen_9075.html