- 上一篇：利用不动点定理证明欧拉方程组局部经典解的存在性
- 下一篇：插值在求解结构动力响应中的应用
马尔科夫过程：用分布函数来表示马尔科夫性，设随机过程 的状态空间为 [5]。如果对时间 的任意 个数值 ， ， ，在条件 下， 的条件分布函数恰等于在条件 下 的条件分布函数，[5]即
于是称此过程 具有马尔科夫性或无后效性，此过程为马尔科夫过程[5]。
2.2 马尔科夫链
设随机过程 的状态空间为: ,若对任意的 ，及 有
则称 为离散时间、离散状态的马尔科夫过程，简称马尔科夫链[6]。
2.3 转移概率和转移概率矩阵
现在记链的状态空间 。用条件分布律来表示马尔科夫性，即对任意的正整数 ， 和 ，有
即有条件概率
为马尔科夫链在时刻 处于状态 条件下，在时刻 转移到状态 的转移概率。
由于链在时刻 从任何一个状态 出发，到另一时刻 ，必然转移到 状态中的某一个，所以
，其中 =1,2, …。
当转移概率 只与 及时间间距 有关时，我们称转移概率具有平稳性。在此情况下转移概率