离散信道容量的线性乘法迭代算法研究与程序设计(2)

菜单

1．2 离散信道容量算法的研究现状

2 相关的知识介绍

2．1 信息论

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：来~自^751论+文.网www.751com.cn/

这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

互信息 (Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：

其中是联合熵(Joint Entropy)，其定义为：

2．2 信道容量的概念

信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。信道容量有时也表示为单位时间内可传输的二进制位的位数形式予以表示，简记为bps。离散信道：它是指输入和输出的随机序列的取值都是离散的信道，也称数字信道。由平均互信息量是输入随机变量X的概率分布的型凸函数。因此对于一个固定的信道,总存在一种信源(某种概率分布 ),使传输每个符号平均获得的信息量最大。也就是每个固定信道都有一个最大的信息传输率。定义这个最大的信息传输率为信道容量C