数字电视影像处理元件与滤波技术探究
前言：近年来高解析度视频大行其道，从DVD开始，到目前的HD DVD以及BD，在搭配适当的影像编码以及加大串流流量以后，肉眼可见噪音或方块现象已经微乎其微，过去在传统电视大行其道的视频滤波处理似乎已经失去了舞台？
电视的讯号处理流程与相关元件
一般来说，影像信号皆是动态呈现的，依照不同地区的规范，可分为每秒30个画面（NTSC交错式扫瞄），或是每秒25个画面（PAL交错式扫瞄），大量模拟影像信号转成数字信号在频宽耗用上非常庞大，为了节省频宽，进而加快信号处理速度，影像在进行解析后会将色彩以压缩方式来传递，因此影像压缩晶片是非常重要的核心元件。在一般通用设计上，影像输出IC控制板（Controller Board）的核心元件包括：视频解码器（Video Decoder）、解交错式扫瞄器（De-Interlacer），及缩放控制器（Scaler）等。
图说：HDTV的元件配置方块图。
除此之外，电视信号的处理还包含了类比与数位转换元件（Analog Digital Converter,ADC）、相锁迴路（Phase Lock Loop,PLL）、数字视频介面（Digital Video Interface,DVI）以及低电压差动信号处理介面（LVDS）等分离元件，其中ADC与Video Decoder则是因为同时包含了模拟与数字信号的混合设计晶片技术，在电路结构方面相对复杂，因此多以独立形式存在，难以与其他元件整合。在此归纳出下列几点：
1.前端信号的接收和转换
■ADC：将模拟RGB信号转换成数字信号。
■PLL：在模拟／数字转换过程中负责信号採样，多数已嵌入ADC元件中。
■DVI Rx：接收以数字编码格式所输入的影音信号，如来自PC-DVI介面或其它数字影音装置的信号等；若嵌入HDCP晶片，则可以执行来自DTV加密／付费视频的解密。
■Video Decoder：传统NTSC/PAL/SECAM等TV信号采取复合波形输入，Video Decoder内含梳形滤波器（Comb filter）功能，可以将复合端子（Composite、CVBS）、S端子或色差端子（YpbPr/YUV）所输入的模拟信号分离，内含多组ADC将它转换为数字信号。
2.中介信号处理与增益
■De-Interlacer：主要将电视信号所用的交错式扫瞄（interlaced）转换为目前各种新型显示装置如LCD TV、PDP TV、rear-projection TV等所用的逐行循序扫瞄（progressive）。
■De-Interlacer 可称为DTV控制IC的首要核心，厂商设计时多视系统需求，嵌入增益软件以提供画质调整及改善，例如：亮度、对比、色调调整、噪音消除、黑阶延伸（black-level Extension）、锐利度调整（peaking/sharpness）及Gamma修正等。
3.后端－信号调整与输出
■Scaler：目的在将不同影音装置所输入的画面解析度或形状大小进行调整，重新填写成DTV的原始像素矩阵（Native Resolution）。
■OSD：负责调整萤幕显示亮度、对比、垂直与水平位置，通常视系统支援的语言及字型多寡而决定以内嵌或外加方式配置。
■LVDS：传输已处理好的影像信号至DVT面板模组。
数字电视信号依然需要后处理
在数字电视接收端，数字信号藉由天线、调谐器（tuner）、数字解调器（digital demodulator）转变成数字资讯。由于在传输过程中，信号难免会受到各种不同类型之干扰，因而导致接收到的资料会有错误之发生。为了能降低错误发生的机率，故资料在调变之前，会经过通道编码（channel coding）处理。而在资料被接收及解调之后，再经由对应之通道解码（channel decoding）来处理。通道解码器可侦测错误之发生及纠正所发生之错误（当然要在所选用通道编码方式的纠正能力范围之内）。资料经过通道解码之后，解多工器（de-multiplexer）将抽取其中使用者所选定节目之视频流和音频流，并分别送到视频解码器和音频解码器进行处理。视频经过解码后，还要进行数字至模拟信号转换，最后才会将信号送到面板进行显示动作。
由上述可知，数字电视的纯数字信号并不是直接通达萤幕，相反的，中间仍需要经过几道解编码以及数字与模拟转换的程序，而数字视频的原生解析度可能无法完全匹配LCD TV的面板真实解析度，举例来说：台湾的数字电视内容仅为DVD画质的480i解析度，目前主流LCD TV真实解析度都在720P以上，更高规格的1080P HD面板LCD TV也逐渐普及当中，在这些高解析度LCD TV中观赏数字电视节目，如果没有进行相关的后处理（比如说透过Scaler将来调整原有视频内容的大小），那么在电视上就只能看到点对点的小小画面。Scaler的画面大小调整并不是单纯只有改变解析度而已，针对画面扩大之后所会产生的画面瑕疵问题，都必需要透过各种演算法来加以补充。
将视频压缩比过高会让画面产生区块噪音或马赛克效应。视频经过预处理／后处理后，编码器压缩起来会更轻松，并且进一步提高影像品质，连带降低发送频宽要求。该功能对有线、卫星、电信和IPTV广播商业模式非常重要，因为满足高品质要求必须在很窄的频宽条件下实现。预处理可能包括在视频进入编码器之前使用2D滤波技术滤除特定高频信号，以有效减少区块效应。某些公司编码产品的视频与影像处理套件中就包括了2D的有限脉冲响应（FIR）和中值滤波器功能，可利用3×3、5×5或 7×7恒定系数矩阵执行2D FIR滤波作业。因此，为了在频宽受限环境中获得最佳性能，预先处理对任何的视频压缩方法来说相当关键。而电视影像解码器在针对诸如H.264、MPEG-2等影像编码进行解码动作时，也都需要进行如去方块（De-Block）反交错扫瞄（De-Interlace）等处理，为了呈现出完美的画面，数字电视信号对滤波技术的需求并不比传统模拟电视信号少。
数字化的电视时代 模拟应用仍佔大宗
虽然电视都已经数字化，但是一般观众收看最多的，依然是模拟电视节目，以台湾的状况来说，数字电视的发展重点在于高速接收的行动应用，而非真正的高画质数字信号，数字电视本身画质表现并不特别突出，加上缺乏具备足够吸引力的节目内容，大多数消费者仍选择频道与节目相对精彩的有线电视。有线电视采用的是标准的类比讯号，透过同轴电缆传输节目内容，信号本身的好坏影响节目画面品质甚大。不仅在台湾，世界各国也多以模拟电视为播放主流，为了达到良好的画面品质，除了力求信号的品质以外，电视本身的滤波能力更佔了最大比例的重要性。
针对影像编码的消除区块效应滤波器技术
以区块转换为基础的影像压缩编码（区块离散余弦转换）已经被广泛应用到如MPEG、VC1、H.264等诸多主流影像编码技术中，这些也都是数位视频的主流编码技术。虽然这些编码标准几乎都有加入去除区块效应的演算法，然而在实际进行影像解码的同时，往往都还是避免不了区块效应的产生，而当压缩比越高，区块效应也会越明显。
去除区块效应的方法可归纳为两大类，第一类是从编码架构着手，如利用重叠转换法，将原始的影像切割为少许重叠的区块，当解码重建影像时，相邻区块的重叠区域影像则是以平均取样的方式来降低区块与区块之间的不连续性。或是使用结合转换法，将原始影像区分为高相关性与低相关性2种集合，在高相关性集合部分使用无损耗编码，低相关性部分则是使用原有的区块离散余弦转换编码，但是在编码阶段处理所需考虑的后续影响较大，技术难度也更高。而第二类处理方式，则是利用后处理（Post-Processing）技术，比如说滤波法就是后处理技术的1种，一般来说，由于有着不会改变原有编码的架构，以及不需要纪录额外资讯的优点，利用后处理的方式来进行区块效应的消除，是比较常用且有效的方式之一。
利用滤波技术来去除区块效应，在实做上，则是将区块效应的不连续性视为错误的高频噪音，并利用一般的低通滤波器来滤除这些被视为错误的高频部分，进而将呈现区块效果的的部分平滑化。这种低通滤波器基本上就是属于线性内差法，当在解码影像内侦测到有区块效应的相邻区块，在捨去相邻边界的影像资料后，再根据未捨去的资料以线性内差法预估并补回空缺位置下的影像资料，藉以平滑化其影像资料的不连续性，达到减轻区块效应的效果，在此可以选用单线性内差或者是双线性内差，演算法同样都非常简单，对系统的负载非常轻微。
图说：属于线性滤波的低通滤波器的运作概念示意图。
由于低通滤波器一般是属于线性处理，在去除区块的同时，也有可能会将原有非区块效应部分的高频资讯一起滤除，因而造成影像的模煳现象。因此在滤波方式上，也有利用非线性的技术来处理。在非线性滤波技术方面，中值滤波器是较常见的1种。中值滤波器会把所读取的资料取中间值来取代掉原有的资料，透过这样的方式，在影像细节的保存方面要优于一般线性滤波技术（如双线性内差滤波）。
但是一般中值滤波器在处理过程中，会永久性的破坏画面中所包含的的原始像素资讯，造成最终的输出结果与原本未压缩的影像资讯产生落差，因此后来也发展出使用切换的方式，先行侦测输入影像噪音程度，如果侦测到的噪音直超过容忍值，则会使用滤波输出，若信号品质良好，则维持原信号输出，避免破坏原始信号。常见的中值滤波器有以下几类：
图说：中值滤波器的运作概念示意图。
■标准中值滤波器(Standard Median Filter, SM Filter)
最原始的标准中值滤波器是由J.W. Jukey在 1971年所提出，其目的主要是用来处理非线性信号，此技术可以克服线性滤波所引起的细节模煳，中值滤波的处理方式是取一个长宽皆为特定大小的视窗，对视窗中资料大小做排序，然后取中间值做为滤波后结果。
■中央加权中值滤波器(Center-Weighted Median Filter, CWM Filter)
中央加权中值滤波器是在1991年提出，此滤波器是由中值滤波器改良而来，不但可以去除噪音，还可以保留较好的影像细节，不过在噪音比过高的情况下，滤波效能会大幅降低。中央加权中值滤波器的处理步骤跟中值滤波器很相似，同样先设定长宽一致的视窗，对视窗内中央点复制 w次，然后排序输出中间值，取w等于1时，中央加权中值滤波器就会进行滤波处理，w大于 7时，就不对影像进行滤波处理。
■三态式中值滤波器(Tri-State Median Filter, TSM Filter)
上述以中值为主的滤波方式皆对脉冲噪音有良好的滤波效果，但都是无条件对所有输入样本进行滤波处理。对一幅受污染的影像而言，可能只有部分像素是受到噪音干扰，其余像素仍然保留原值，无条件对每个像素进行滤波处理会更动到一些不受污染的像素，进而损失影像部分细节。三态式中值滤波器则是结合了传统中值滤波器和中央加权中值滤波器，把这2个滤波结果与原值差异当作噪音侦测的参考。如此可以尽可能保留原有的细节，并最大化滤波的效果。
中值滤波器除了以上几种以外，还有许多由该技术延伸出来的类似滤波架构，基本上都各有其不同的特性及限制。
区块效应也可以透过加大流量的方式来获得解决，但是加大流量也代表的频宽成本的支出将会更为庞大，以资讯产业的趋势而言，晶片效能的成长幅度要远超过频宽成本比的提高，因此藉由系统以合理的滤波演算法及系统消耗来达到频宽需求与画质均衡的目的，就成了现在主流的影像编解码及传输方式。
针对模拟信号的梳状滤波技术
图说：梳状滤波的种类示意图。
梳状滤波器对于模拟信号而言，是个非常重要且具有绝佳效果的影像加强设计，要瞭解梳状滤波器，主要从信号源开始说起，一开始接收视频的影像端子通常为Composite端子（如RF射频端子与AV端子），这类端子所能接收的信号为复合信号端子（Composite Video Signal），为何称为复合端子？因为在信号中混合了亮度（Luminace,以Y表示）与色度／彩度（Chrominace,以C表示）双方面的信号，一般视频电路的工作就是将这种信号进行Y/C分离处理，梳状滤波器的工作就是在保证信号细节的情况之下，避免影像信号的亮度与色彩互相渗透污染。其作法就是在内部按一定的频率间格排列信号以及其本身的延时信号，并两两进行叠家，从而产生相位相消的的效果。因为其信号曲线就像梳子一般，因此被称为梳状滤波器（Comb Filtering）。
梳状滤波器一般由延时器、加法器、减法器、带通滤波器所组成，应用在连续的画面之间的静止图像，就称为3D梳状滤波，而针对活动的影像，并在单一画格内进行梳状滤波工作，则是称为3D梳状滤波。在数字电视里，为了确保梳状滤波器可以正常动作，必须设计足够的存储器，藉以取得足够的延迟时间以及信号频宽，相关电路也可以藉由SoC的方式整合并进行设计的简化。梳状滤波器可分为以下几种类型：
■2D梳状滤波器
这种架构的梳状滤波容易在色彩交界处出现彩色杂点，让画面看起来杂讯比较大些，不过因保证了亮度通道的频率回应，因此清晰度方面不会有太大没有问题，主要对NTSC格式的信号起作用。
■3D数字梳状滤波器
3D数字梳状滤波器能够从空间（2D）、时间（第三维方向）将每组画面的亮度及色度信号精确地分离，进而有效消除影响信号中的杂波、斑点、色彩重叠现象，使画面更加清晰。
■4H数字梳状滤波器
4H（3D数字梳状滤波器+1H高解析数字梳状滤波器），即在对普通模拟信号进行3D的亮色分离处理的同时，还增加了特别针对高解析信号显示时进行亮色分离处理的数字梳状滤波器，如此可以更加彻底地消除亮色串扰现象。
■5H梳状滤波器
用作Y/C分离和色度解码，比ITT及Genesis的产品要高(4H)。这样可将视觉位置扭曲现象及颜色噪音减至最低，极大地消除串色干扰及色彩渗透，令影像色彩更清晰明亮。