20世纪30年代，新的调制方式，如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对信息能量、 带宽和干扰的关系有了进一步的认识。1936年，阿姆斯特朗指出增大带框可以使抗干扰能力增强，并根据这一思想提出了宽频移的频率调制方法。1939年，达德利发明了带通声码器，指出通信所需带宽至少同待传送消息的带宽应该一样。声码器是最早的语言数据压缩系统。这一时期还诞生了无限电广播和电视广播。通信技术的进步使人们更深入地考虑问题：究竟如何定量地研究通信系统中的信息？怎样才能更有效和更可靠地传递信息？现有的各种通信体制如何改进等等。

1928年，哈特莱首先提出了用对数度量信息的概念。哈特莱的工作给Shannon很大的启示，他杂1941~1944年对同心河密码进行深入研究，用概率论和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。

信源编码的研究由1942年进行了开创性的工作，以均方量化误差最小为准则，简历最优预测原理，为后来的线性预测压缩编码铺平了道路。1952年霍夫曼提出了一种重要的无失真信源编码方法-Huffman码。这是一种非等长码，它可以很好地达到想弄无失真信源编码定理所指出的压缩极限，已经证明是平均码长最短的最佳码。为进一步提高有记忆信源的压缩效率，20世界60~70年代，人们开始将各种正交变换用于心愿压缩编码，先后剃齿DFT、DCT、WHT、KLT等多种变换，其中KLT为最佳变换，但其实用性不强，综合性能最好的是离散余弦变换（DCT），目前DCT已被多种图像压缩国际标准用作主要压缩手段，得到了极为广泛的应用。除了上述几类经典的信源压缩编码方法的研究外，从20世界90年代初开始，主要针对图像类信源的特点，人们提出了多种新的压缩原理和方法，包括小波变换编码、分形编码、模型编码、子带编码等。这些方法可有效地消除图像信源的各种冗余，在目前有很大的发展空间，有关其实际应用问题，还在继续探讨之中。

1.3信源及其信息量

信息论和编码里最关键的部分就是信源，后续系统根据其特性来决定应采取的方案。信源是信息的来源，输出以符号形势出现的具体消息，且消息是随机的，因此可用概率来描述其统计特性，这是香农信息论的基本点。在信源端需要解决两个问题：一个是如何定量地描述信源，即如何计算信源的信息量；另一个是如何有效地表示信源的输出或者说信源信息的载体形势，即信源编码问题。

1.4信源编码及分类

离散信源编码分为等长编码和不等长编码，不等长编码也叫变长编码。等长编码很简单，但是编码效率比较低。为了提高编码效率，需要对信源冗余度进行压缩，于是采用不等长统计编码方法达到信息压缩的目的。

2变长编码的方法

在介绍编码的方法之前，先介绍一些码的定义。

二元码：码符号集为U={0.1}，所得码字都是一些二元序列。

等长码与变长码（不等长码）：一组码中所有的码字的码长都相同，即li=L（i=1，2，···，n），称为等长码。一组码字中所有码字的码长各不相同，即任意码字由不同长度的码符号序列组成，这样的码称为变长码。

奇异码与非奇异码：一组码字中所有码字都不相同，即所有信源符号映射到不同的码符号序列，称为非奇异码。一组码有相同的码字称为奇异码。

唯一可译码：码的任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号。

码字与信息率的关系：有时消息太多，不可能或者没必要传送给每个消息都分配一个码字，给多少消息分配码字可以做到几乎无失真译码？传送码字需要一定的信息率，码字越多，所需的信息率越大，编多少码字的问题可以转换为信息率大小的问题。信息率越小越好，最小能小到多少才能做到无失真译码呢？这些问题就是信源编码定理要研究的问题。 Matlab信源编码的仿真研究(2):http://www.751com.cn/tongxin/lunwen_51734.html