H264在设计之初就考虑到网络适应性问题，所以体系上分为两层，规定视频编码为视频编码层，规定网络传输规范的网络适配层，具体功能如下列框图 1.  图  1  VCL层和NCL层结构图

VCL层包括基于块的运动补偿混合编码和一些新特性。与前面的视频编码标准一样，H.264没有把前处理和后处理等功能包括在草案中，这样可以增加标准的灵活性。
NAL负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信道的信令、定时信息的利用或序列结束信号等。例如，NAL支持视频在电路交换信道上的传输格式，支持视频在Internet上利用RTP/UDP/IP传输的格式。NAL包括自己的头部信息、段结构信息和实际载荷信息，即上层的VCL数据。（如果采用数据分割技术，数据可能由几个部分组成）。


2-2 H.264/AVC视频编码标准
H.264 是由ISO/IEC与ITU-T组成的联合视频工作组制定的新一代视频压缩编码标准。事实上，H.264 标准的开展可以追溯到 1996 年。1996 年制定H.263 标准后，ITU-T的视频编码专家组（VCEG ） 开始了两个方面的研究：一个是短期研究计划，在H.263基础上增加选项（之后产生了H.263+与 H.263++ ）；另一个是长期研究计划，制定一种新标准以支持低码率的视频通信。长期研究计划产生了H.26L标准草案，在压缩效率方面与先期的ITU-T视频压缩标准相比，具有明显的优越性。2001年ISO/IEC 的MPEG组织认识到H.26L潜在的优势，随后ISO与ITU开始组建包括来自ISO/IEC MPEG与ITU-T VCEG的联合视频组，JVT的主要任务就是将H.26L草案发展为一个国际性标准。于是，在ISO/IEC
中该标准命名为AVC，作为MPEG-4 标准的第 10 个选项，在ITU-T中正式命名为H.264 标准H.264 的主要优点有：在相同的重建图像质量下，H.264  比  H.263+和MPEG-4 减少 50%码率。对信道时延的适应性较强，既可工作于低时延模式以满足实时业务，如会议电视等。其又可工作于无时延限制的场合，如视频存储等。提高网络适应性，采用网络友好的结构和语法，加强对误码和丢包的处理，提高解码器的差错恢复能力。在编/解码器中采用复杂度可分级设计，在图像质量和编码处理之间可分 级，以适应不同复杂度的应用。相对于先期的视频压缩标准，H.264 引入了很多先进的技术，包括4 ×4                                                              整数变换、空域内的帧内预测、1/4 像素精度的运动估计、多参考帧与变块大小的帧间预测技术等 新技术带来了较高的压缩比，同时大大提高了算法的复杂程度。

2-3 H.264/AVC 的档次和级别
到目前为止，H.264 标准共定义了四个档次，即基本档次、主档次、扩展档次和高档次。前三个档次于2003 年 5 月推出，高档次则是2004 年 7 月新增补的。每个档次支持一组特定的编码功能，H.264 标准详细规定了每个档次所采用的编码工具。基本档次的目标是使编码复杂度最小，在大部分网络环境和条件下可以提供高度的鲁棒性和灵活性，主要应用于可视电话、视频会议和无线通信等；主档次更多强调的是压缩编码效率，可以应用于广播电视和是存储；扩展档次则将基本档次的鲁棒性与高编码效率、 网络传输的鲁棒性等结合起来，为流媒体之类的应用提供了一些增强的模式；高档次则可用于数字视频广播、HD-DVD等      。
 基本档次利用I片和P片支持帧内和帧间编码，熵编码采用基于上下文的自适应的变长编码；主档次支持隔行视频，采用B片的帧间编码、加权预测的帧内编码和基于上下文的自适应的算术编码熵编码方 法；扩展档次支持码流之间有效的切换（SP和SI片）、改进误码性能，但不支持隔行视频和CABAC；高 档次具有主档次的所有特征，但支持高于 8bits/s样值位深，还增加了 8×8 整型变换、基于感知的量化 缩放矩阵以及视频中指定区域的无损压缩等功能。与主档次相比，高档次可以获得更高效的压缩和 更高分辨率的重建质量，但实现复杂度不会显著增加.如图2 H.264快速帧间模式识别方法研究+源程序(4):http://www.751com.cn/tongxin/lunwen_14552.html