通过自适应曝光校正技术来改进拍照手机的图像质量

数字静态照相机是数字图像采集中最常用的装置[5]，由于集成了低成本/低功耗的数字信号处理器，精度更高的传感器在商业中的应用越来越来越普及，这就使数字静态照相机可以极高的分辨率和品质采集图像。通过增加传感器的分辨率和/或使用更复杂的图像处理算法[1][3][6]和[8]，图像质量得到了进一步的改进。 

一般来说，拍照手机的光学特性差且无闪光灯，因而会影响曝光效果，最佳曝光估计问题在手持设备中尤其突出，因此成像过程中要解决的一个难题就是最佳曝光估计问题。目前还没有一个有关适度曝光的确切定义。但是，从特定的曝光区域提取和定义广义的最佳曝光区域却是可能的，从而使手持设备能够根据灰度、亮度和可能曝光范围中部的信息来再现最重要区域(依据特定区域前后左右的数据或感觉准则)。 

由于整个过程可直接在Bayer模式图[2]上实现，本文介绍的方法与[4]中所描述的方法是不同的，它采用一种较为简单的统计方法(聚焦和对比度)来识别承载区域的信息，并引入一种基于肤色检测的特征提取新方法。由于可对具有特殊特征的图像区域进行选择，因而可进行选择性曝光校正，这种曝光调节技术是专门为移动传感器件应用设计的。本文将描述特征提取(如聚焦、对比度和肤色参数)和用于自动增强的曝光校正技术，并以实验结果验证本文所述技术的有效性，结论部分指出了未来研究的方向。 

曝光校正算法 

曝光校正算法定义如下：
(1) 亮度提取。如果算法作用于Bayer数据，取代彩色图像中的Y平面，则要在仅考虑绿色通道的条件下对原始帧进行二次采样；
(2) 在亮度提取后，要分析一些图像特征以便识别含有更多信息的区域。如果检测到皮肤，就要采用肤色提取算法，否则，就要采用对比度或聚焦特征提取算法；
(3) 识别视觉上重要的像素之后(例如属于肤色特征的像素)，就可以利用已识别区域的平均灰度作为主要参数来将全局色调(global tone)校正技术作用于数据。 

1. 对比度及聚焦特征 

为确定含有更多信息的图像区域，亮度平面被分为相同大小的N个图片块(实验中N=16)。对于每个图片块，要计算对比度和聚焦的统计测量值，因此假定聚焦理想或高对比度图片块相对于其它图片块的相关性更大。对比度是指在图像中呈现色调的范围，对比度越高，图片块内象素就越多。
 

聚焦能够揭示图片的尖锐特征或边缘特征，对于识别包含高频成分的图片块很有效。如果采用前述方法计算曝光不足的图像，则与模糊的图像相比，曝光较好的区域的对比度总是较强，边缘特征总是很明显。在不考虑照明条件的情况下，要进行可揭示重要特征的视觉分析，就要将输入绿色Bayer模式图的平均灰度水平增加到128，从而构造一个“可视图像”。增加平均灰度水平的操作是通过使用与用于调整曝光水平相同的函数来实现的，这一点将在本文后面加以叙述。 

对比度的测量仅通过对每一图片块建立柱状图，然后计算它与平均值(3)的偏离值(2)。偏离值越大表明对比度越强，反之则表明对比度弱。为了去除不相关的峰值，以光线2邻近的平均值代替每一输入，就可以将柱状图稍微平滑，这样，原来的柱状图输入则被灰度水平代替： 

柱状图偏差D计算如下： 
 

其中，M是平均值： 

聚焦测量是通过将图片块与简单的3×3拉普拉斯滤波器进行卷积计算得到。要去除无关的高频像素(大多情况是噪声)，每一个像素的卷积输出要经过限幅器。每一个图片块的平均聚焦值用下式计算： 

N表示像素的数量，对于比固定门限T低的数值，算子thresh()将忽略。一旦用于所有图片块的F和D值计算出来，就可以采用两值的线性组合将相关区域进行分类，特征提取流水线如图1所示。 

肤色识别算法 

现有的大多数肤色识别方法通常为每一像素设定一个肤色相似性测量门限。人类的肤色有特殊的色彩，与大多数其它物体的色彩有明显不同。人类肤色分布在不同的色彩空间[9][11] [13]。人与人之间的肤色的变化多数情况是因亮度差异造成的，要减少这种差异只能采用色度元素。Yang et al[12]发现，人类肤色的分布可以用色度平面上的二维高期函数来表示，这一分布的中心是由均值向量决定的，它的形状是由协方差距阵来决定的，两值均可由适当的训练数据组估算。假设色度矢量已知，则属于肤色类的某一图片块的条件概率可以表示为下式： 

其中，是从向量到平均向量的Mahalanobis距离，定义如下： 

的值决定给定图片块属于特定肤色类的概率。的距离值越大，图片块属于特定肤色类的概率就越小。色彩空间、距离测量和二维空间分布的数据量很大，目前有许多针对这些数据处理需要的肤色识别算法。本文提出的肤色算法与曝光校正无关，而是取决于所用到的色彩空间(YCrCb 或RGB)，本文介绍两种不同的用于识别肤色区域可选技术。 

1．通过输入端YcbCr图像和条件概率(5)，每个像素根据是否属于某一肤色被加以分类，然后就可取得新的具有归一化灰度值的图像，其中，肤色区域已被适当加亮(图2b)。灰度值越高，可靠识别的概率就越高。 

通过处理输入RGB图像，可计算二维色度分布柱状图(r, g)，其中，r=R/(R+G+B)和 g=G/(R+G+B)。表示肤色的色度值在(r, g)平面的特定区域内被分成束，这种束称为“肤色轨迹”，其定义见[11]。具有属于“肤色轨迹”的色度值的像素将被会用于校正曝光(图2c)。 

由Bayer数据到YcrCb的转变比由Bayer数据到RGB的转变所花费的成本要高，因此，我们仅对肤色色素所在的那个区域感兴趣。我们倾向于对原有Bayer数据进行二次采样的方式来完成对较浅RGB色的插值(图3)。四分之一RGB色彩图像的每一个像素对应于Bayer域中四像素中的一组。 

视觉相关区域(如肤色)经确定之后，就可以用那些区域的平均灰度值作为参考点来实现曝光校正，为此要采用仿真相机响应曲线来对落在传感器上的亮度值最终成为像素值的情况进行估算，它是下式表示的函数： 

f(q)=I (7) 

q表示光量和 I表示最终像素值，该函数也可用简单的参数闭合形式来表示，如下式所示： 

参数A和C可用于控制曲线的形状，q可以用2的对数单元表示。根据特定的图像采集装置，这些参数可以通过采用在[7]中所描述的技术或实验数据进行估算。理想曝光的偏移量是通过f曲线或相关区域的平均灰度值avg来进行计算的： 

像素(x,y)的亮度值Y(x,y)修改如下： 

所有的像素均经过校正。基本上看，先前的步骤是用LUT转换实现的(图4为不同的A和C参量的校正曲线)，最终的色彩重构是采用与[10]相同的方法实现的，从而阻止了相关色调漂移和/或色彩的欠饱合： 

其中，R、G和B是输入色彩值。 

实验结果和本文小结 

本文提出的解决方案已通过在不同分辨率所取得的大量图像数据的测试，测试过程采用了不同的采集装置，并在Bayer和RGB两种格式下分别进行。在Bayer情形当中，算法以实时结构实现，采用了备有"502 VGA传感器"的"STV6500 - E01"评估工具包[14]上的CMOS-VGA传感器。图5显示了工作环境的屏幕抓图。在RGB情况下，算法在后处理步骤中实现。图6所示为输入的RGB数据和相应的处理图像。 

本文提出了用于RGB和Bayer模式图像处理的曝光校正算法，实验验证了该技术对两种格式图像处理的有效性。该方案的全部计算成本可以忽略，因而非常适用于实时应用。下一步工作是在实时环境用硬件实现该算法，并对不同色彩空间的结果进行比较。 

参考文献 

[1] S. Battiato, A. Castorina, M. Mancuso, "High Dynamic Range Imaging: Overview and Application", accepted for Publication on SPIE Journal of Electronic Imaging 2002; 
[2] B.E. Bayer, "Color Imaging Array", Patent 3,971,065-1976; 
[3] A. Bosco, S. Battiato, M. Mancuso, G. Spampinato, "Temporal Noise Reduction of Bayer Matrixed Data", In Proceedings of IEEE ICME'02, International Conference on Multimedia and Expo 2002, Lausanne, Switzerland, August 2002; 
[4] S.A. Bhukhanwala, T.V. Ramabadran, "Automated Global Enhancement Of Digitized Photographs", IEEE Transactions on Consumer Electronics, Vol. 40, No. 1, 1994; 
[5] M. Mancuso, S. Battiato, " An Introduction to the Digital Still Camera Technology", ST Journal of System Research, Vol.2, No.2, Dec.2001; 
[6] M. Mancuso, A. Bosco, S. Battiato, G. Spampinato, "Adaptive Temporal Filtering for CFA Video Sequences", In Proceedings of IEEE ACIVS 2002, Advanced Concepts for Intelligent Vision Systems, pp. 19-24, Ghent University, Belgium, September 2002; 
[7] S. Mann, "Comparametric Equations with Practical Applications in Quantigraphic Image Processing", IEEE Transactions on Image Processing, Vol. 9, No. 8, 2000; 
[8] G. Messina, S. Battiato, M. Mancuso, A. Buemi, " Improving Image Resolution by Adaptive Back-Projection Correction Techniques", IEEE Transaction on Consumer Electronics 2002, vol.48, no.3, pp.400-408, August 2002; 
[9] S.L. Phung, A. Bouzerdoum, D. Chai, "A Novel Skin Color Model In YCbCr Color Space And Its Application To Human Face Detection", International Conference on Image Processing 2002, vol.1, pp.289 -292, September 2002; 
[10] S. Sakaue, A. Tamura, M. Nakayama, S. Maruno, "Adaptive Gamma Processing of the Video Cameras for the Expansion of the Dynamic Range", IEEE Transactions on Consumer Electronics, Vol. 41, No. 3, pp.555-561, August 1995; 
[11] M. Soriano, B. Martinkauppi, S. Huovinen and M. Laaksonen, "Skin Color Modeling Under Varying Illumination Conditions Using the Skin Locus for Selecting Training Pixels", Real-time Image Sequence Analysis - RISA2000, Aug.31-Sep.1, Finland, 2000; 
[12] J. Yang, W. Lu, and A. Waibel, "Skin-colour Modeling and Adaptation", Technical Report CMU-CS-97-146, School of Computer Science, Carnegie Mellon University, 1997; 
[13] B.D. Zarit, B.J. Super, and F.K.H. Quek, "Comparison of Five Colour Models in Skin Pixel Classification", Proc. of Int. Workshop on Recognition, Analysis, and Tracking of Faces and Gestures in Real-Time Systems, IEEE Computer Society, Corfu, Greece, pp. 58-63, 1999; 
[14] Colour Sensor Evaluation Kit VV6501, STMicroelectronics, Edinburgh, www.edb.st.com/products/ image_sensors/501/6501evk.htm.