>
首页 » 市场趋势 » 先进压缩标准引发音视频同步化技术热

先进压缩标准引发音视频同步化技术热

作者:高级应用工程师Ke Ning、Gabby Yi  时间:2007-03-26 09:03  来源:ADI公司

DTV、DVD、直播卫星(DBS)和数字有线等技术采用压缩方法来为消费者提供品质极高的节目。随着音频视频内容传送方面先进的视音频压缩标准的引入,人们对音频和视频间的时序关系的关注程度也在不断提高。

  音视频信号要同步

  数字广播系统的基本目标之一,就是向观众提供实现合理同步的视频和音频数据内容。提出这样一个目标的原因,是从制作到收看的整个传播链条中的每种数字音频和视频部件,都会给通过该部件的信号带来一定的延迟。音频和视频信号上出现的延迟一般是不相等的。每个元件都很有可能造成其输出信号出现音视频同步方面的错误。

  音频和视频流的解码必须按照一定的先后顺序完成,这样才能确保“对上口形”。音频和视频解码器可以通过相互独立的处理器来实现,或者,如果有相应的处理能力的话,也可以将它们集成到单个处理器上。无论何种情况,为了保证音视频信号的同步,必须采取某种形式的A/V同步技术。若音频和视频解码后的数据流无法保证同步,则听到的音效将超前于或滞后于原本对应的视频帧。这当然是观众不可接受的。

  媒体数据通道和延迟

  典型的基于媒体的数字系统是由一组编码器和解码器构成的。系统的编码器部分执行压缩功能,而系统解码器功能则执行解压缩功能,以供观众观看。

  媒体数据(Meda)在编码器系统和解码器系统间传送,该数据同时包含了音频和视频分量。因为音频和视频分量本身的特性并不相同,两个子系统的同步化方法也不同。

  一般来说,由于音频流通过系统时出现的延迟极低,因此无需添加音频延迟补偿措施。另一方面,视频的处理所需的时间和计算能力都大大超过音频。

  与音频信号类似,视频信号一旦被数字化并被缓冲后,对该信号的处理操作所花费的时间将长于在模拟域进行的相同操作。因为大多数视频效果无法在模拟域实现,就必须采用数字处理,于是,必然出现一定的“系统”延迟。

  关注一下如下问题将很有意义:音频和视频的信号处理是如何影响到系统的总延迟的?视频处理的时间之所以要长于音频处理的,是因为待处理的数据量更大,而且对处理的要求也更高。视频处理所需的工作量高于音频信号处理的工作量的特点,又使得视频信号相对于音频信号会出现延迟。于是,视频和音频分量从编码过程开始就“脱离了同步”。

  业界标准在不断推进

  对于任何延迟超过几个ms的视频装置,补偿都是必不可少的,否则观众就会觉察到延迟的存在,视频内容的收看质量就会受到影响。为了保证这一现象不至于发生,音频通道必须出现同样长度的延迟。ITU则进一步推荐了可以采取的技术,该技术作为ITU-R BT.1377的一部分推出。具体来说,该技术是对音频和视频的帧进行标记,以指示处理过程带来的延迟。

  人类的感官对于听觉滞后于视觉的现象的容忍度要更高一些,因为这一滞后现象是我们每天都司空见惯的。国际电信联盟(ITU)于1998年发布了ITU-R BT.1359。它基于如下研究结果:当非同步误差处在音频超前视频45ms和滞后视频125ms这样的范围内时,A/V同步误差能够被可靠地检测出来。这仅仅是检测方面的标准,而可接受的范围和推荐的最大值则要宽得多。总而言之,ITU的推荐认为,从观众或听众捕捉节目内容的角度来看,可容忍的范围应该分别不大于90ms(音频超前于视频)和185ms(音频滞后于视频)。在现实中,这一范围对于真正可接受的性能来说也许太宽了,所以一般遵循更小的公差。

  随着数字媒体广播的增长,人们认为对ITU R BT.1359-1的市场要求对于DTV广播的音频和视频同步来说已经不合适了。先进电视系统委员会(Advanced Television System Committee,ATSC)是一个关于数字电视标准的产业性组织。其“实施方案”分委员会经过调查,提交了一份“实施方案分委员会”发现报告,IS/191 ATSC实施方案分委员会发现报告:广播操作中的声音和视觉的相对时序”。该分委员会发现,在所有的工作条件下,在DTV编码装置的输入点,声音节目都应该与视频节目严格保持同步。基于该发现,他们推荐声音节目超前于视频节目的时间绝对不能超过15ms,而且滞后于视频节目的时间也不能长于45ms。

  音频解码更重要

  MPEG规范提供了可绝对保证A/V同步的恰当工具。每个音频和视频帧都有一个能让解码器同步对声音和图像进行重建的PTS。这些PTS值由MPEG编码器中的复用器来赋予。解码器在这些PTS之前接收到音频和视频数据,于是便能利用这些值来同步地播放视频和音频。

  MPEG位流中需要插入播放时间印记,插入的间隔不超过700ms。MPEG系统目标解码器模型容忍最高为1s的解码器缓冲延迟。在传输流中,用来呈现应该同步播放的声音和图像的音频、视频播放单元可以在时间上分离,时间差长达1s。为了产生同步化的输出,接收机必须恢复出解码器的系统时间时钟(STC)并使用播放时间印记(PTS)来向观众播放音频-视频内容,其相应的公差在PTS所标注的时间点的正负15ms内。

  音频解码被认为更为重要,因为音频中的任何间断都非常明显,而人们对视频就不那么敏感(例如,视频帧的丢失就不那么容易被观看者所察觉)。视频解码器的调节比音频解码器的调节更为容易,因为视频场每1/60s(16.6ms)才发送一次。这样的调节必须不至于造成视频场的遗漏或丢失。建议定期对音频和视频STC值进行同步化处理,频率最低为每秒1次。

  在解码器实例中,音频缓冲器和视频的帧可以在外部存储中生成。随着这些输出缓冲数据被写入到外部容量较大的存储中,如SDRAM或者DDR,来自于编码器流的时间印记就与每个缓冲器和帧“关联”起来。此外,处理器需要跟踪自己的时基。在每个解码的视频帧和音频缓冲器都送出到显示器之前,处理器要执行时间检查并找出来自每个缓冲器的数据之间恰当的匹配关系。要用一个DMA控制器实现这一任务有多种方式,但最佳的方法是拥有已建立的描述符,并根据哪个数据帧的时间能与目前的处理器时间相匹配,来将指针DMA的写入指针调整到恰当的描述符。

  音频和视频是多媒体系统中的一个关键部件。数字音频视频的制作、分发和广播系统是由数字处理、压缩、解压缩和传输等构成的一个复杂阵列。音频和视频各自所出现的延迟可能是不相等的,这些延迟会影响到音频视频的同步。应该采取措施来确保每一级的输出段给出的音频和视频信号都能同步到很小的公差范围内,以满足业界的标准。

  -相关链接

  编码器系统中的A/V同步

  数字媒体编码和处理单元包括了视频和音频捕捉装置,用于对来自于真实世界的信息进行采样,并将该信息变换到数字域。捕获装置输出必须直接连接到视频和音频数据缓冲器。中心部件是视频编码器、音频编码器单元,它们可以将数字数据变换成压缩过的信息。复用器负责将来自于两个通道的数据混编在一起,然后发送到传输信道中。

  在帧尺寸给定的情况下视频和音频的编码需要一定的时间,复用器必须得到关于这一时间的长短的确切信息。该延迟取决于设备的制造商,但其具体的量值对于能否正确地给内容赋予播出时间印记来说极为关键。A/V同步所遇到的许多问题都可以归结为没有恰当地考虑这些延迟的影响,或者干脆没有进行设定。总的音频视频同步误差是链条中的各个同步误差的代数和。如果计算正确的话,调整后的PTS值应该能在音频/视频数据到达视频音频处理单元前就对延迟进行补偿。

  在许多情况下,国际电影与电视工程师协会(the Society of Motion Picture and Television Engineers)的时间印记可以施加到音频和视频编码器上,可以被复用器用来计算出确切的PTS值,从而将编码器延迟作为误差源而予以去除。

相关推荐

Tensilica助力数字生活与多媒体高端应用

P2P发展现状与运营方案

P2P  共享  电信网络  音视频  2008-10-31

中国音视频产业接轨国际市场 步入高速发展期

音视频  AVS  闪联数字家庭  2008-10-29

ADI ADSP-BF561处理器评估套件

Tensilica结盟SPIRIT DSP联合发布移动多媒体音视频解决方案

DSP  移动多媒体  音视频  2008-06-16

便携式与汽车压缩音视频解决方案

在线研讨会
焦点