.264是ITU-T最新的视频编码标准，被称作ISO/IEC14496-10或MPEG-4 AVC，是由运动图像专家组(MPEG)和ITU的视频编码专家组共同开发的新产品。
H.264分两层结构，包括视频编码层和网络适配层。视频编码层处理的是块、宏块和片的数据，并尽量做到与网络层独立，这是视频编码的核心，其中包含许多实现错误恢复的工具；网络适配层处理的是片结构以上的数据，使 H.264能够在基于RTP/UDP/IP、H.323/M、MPEG-2传输和H.320协议的网络中使用。
IP网络对视频压缩的限制
1. H.264的应用场合
在讨论基于IP的H.264之前，有必要先阐述一下H.264与IP网络有关的应用场合及其对传输和编解码器的要求。下面介绍对话应用、下载服务和流媒体应用三种场合。
对话应用，比如像视频电话和视频会议，有严格的时延限制，要求端到端时延小于1s，最好小于100ms。编解码器的参数能实时调整，错误恢复机制要根据实际网络变化而改变。编解码的复杂度不能很高，比如双向预测的模式就不能被采用。
下载服务，可使用可靠的传输协议如FTP和HTTP将数据全部传输。由于这种应用的非实时性，编码器可以通过优化进行高效编码，而且对时延和错误恢复机制没有要求。
流媒体服务应用，对时延要求介于上面两者之间，初始化时延是10s以内。与实时编码相比对时延要求降低，编码器可以进行优化实现高效编码(比如双向预测)。然而通常流媒体服务使用不可靠的传输协议，所以编码时要进行差错控制并进行信道纠错编码。
本文主要讨论对话应用和流媒体应用，这两种应用基于IP网络。IP网络又可分为三种类型：不可控IP网络(如Internet)、可控IP网络(广域网) 和无线IP网络(如3G网络)。这三种IP网络有不同的最大传输单元尺寸(MTUsize)、比特出错概率和TCP使用标记。最大传输单元尺寸是网络层最大的分组长度，H.264编码时要使片的长度小于MTU尺寸，这样可避免在网络层再进行一次数据的分割。两个IP节点之间的MTU尺寸是动态变化的，通常假定有线IP网络的MTU尺寸是1.5千字节，无线网络的MTU尺寸是100字节。可见要适用于无线网络的H.264必须采用数据分割技术使得片的长度小于MTU尺寸。TCP传输控制协议能够解决网络拥塞引起的分组丢失问题，而在无线网络中，分组丢失是由于链路层错误引起的，TCP并非很好的解决办法，要采用差错控制协议。
2. H.264使用的协议环境
对话应用和流媒体应用使用同一协议组，下面进行讨论。
网络层协议：使用IP(网际协议)。每个IP分组单独从发方出发，经过一系列的路由器到达收方。IP将大于MTU尺寸的分组进行数据分割、重组。每个分组的传输时间都有所不同。IP头20个字节由校验码来保证，但数据没有保护。IP分组最大值为64千字节，但由于MTU尺寸的限制，一般没有这么大。
传输层协议：主要有两个协议，TCP和UDP。TCP提供面向字节的可靠传输服务，以重传和超时等机制作为差错控制的基础。由于对时延的不可预测，并不适用于实时通信传输。UDP提供不可靠的数据报传输业务。UDP头包含的校验数(8字节)可以发现和去掉含有比特错误的分组。UDP允许分组传输过程中出现丢失、复制、改序等。使用UDP协议时，高层必须使用错误恢复协议。
应用层传输协议：使用RTP(实时传输协议)。该协议和IP/UDP结合使用，是面向会话的协议。每个RTP分组包含RTP头标，载荷头标(可选)和载荷本身。RTP头标的内容见图1，基本选项占用12字节，标记位标记有同一时间戳的一组分组的结束。RTP协议使发送方将数据分为大小合理的分组，并将解码方观察到的网络特征反馈给发送方，使发送方可以动态调整比特率和抗误码机制。RTP分组和RTP载荷规范在第四部分讨论。
应用层控制协议：有H.245协议、SIP和SDP，或RTSP。这些协议可以实现流媒体的控制，收发方的协商和控制动态会话层。
H.264的错误恢复工具
错误恢复的工具随着视频压缩编码技术的提高在不断改进。旧的标准(H.261、H263、MPEG-2的第二部分)中，使用片和宏块组的划分、帧内编码宏块、帧内编码片和帧内编码图像来防止错误的扩散。之后改进的标准(H.263+、MPEG-4)中，使用多帧参考和数据分割技术来恢复错误。
H.264标准在以前的基础上提出了三种关键技术：(1)参数集合，(2) 灵活的宏块次序(FMO)，(3)冗余片(RS)来进行错误的恢复。
1. 帧内编码
H.264中帧内编码的技术和以前标准一样，值得注意的是：
(1)H.264中的帧内预测编码宏块的参考宏块可以是帧间编码宏块，帧内预测宏块并不像H.263中的帧内编码一样，而采用预测的帧内编码比非预测的帧内编码有更好的编码效率，但减少了帧内编码的重同步性能，可以通过设置限制帧内预测标记来恢复这一性能。
(2)只包含帧内宏块的片有两种，一种是帧内片(Islice)，一种是立即刷新片(IDRslice)，立即刷新片必存在于立即刷新图像 (IDRpicture)中。与短期参考图像相比，立即刷新图像有更强壮的重同步性能。
在无线IP网络环境下，为了提高帧内图像的重同步性能，要采用率失真优化编码和设置限制帧内预测标记。
[1] [2] [3] 下一页 |
