SK海力士新一代CMOS图像传感器：A4C传感器
编辑： 发布：2021-11-03 16:19
眼睛对于包括人类在内的动物而言至关重要，它帮助我们测量距离，是生存的条件之一。捕猎者在捕猎时使用眼睛来测量与猎物之间的距离，而猎物也在用眼睛观察是否有捕猎者正在靠近，以便避开危险。大约5.4亿年前，地球上开始出现拥有视力的生物，而与视力息息相关的生存竞争也由此拉开序幕。从那时起，眼部结构各异的动物物种数量飞速增长。生物进化早期的物种在这一方面十分多元，从仅有一只眼睛的寒武厚桨虾（Cambropachycope）到多达五只眼睛的欧巴宾海蝎（Opabinia）和麒麟虾（Kylinxia）等。而如今，大多数动物都拥有两只眼睛【1】。
通过双眼观察物体会出现轻微的双眼视差，也就是左眼和右眼接收到的图像位置有所差异。大脑通过计算这种差异来预测与目标物体之间的距离。这就是所谓的双眼视差（Binocular disparity） ，大多数动物都依靠双眼视差来测量距离。
智能手机摄像头采用了一种名为相位检测自动对焦（PDAF，Phase Detection Auto Focus）【2】的技术，该技术使用双眼视差来根据拍摄对象调整焦距。在此基础上，SK海力士研发了A4C（All 4-Coupled）图像传感器，在读取色彩信息的同时，利用每个像素的视差，提高图像质量和自动对焦功能。本文将介绍SK海力士全新开发的A4C图像传感器所具备的三大优势—快速准确的对焦检测、高分辨率图像以及多种应用场景。
A4C传感器的优势之一—快速准确的对焦检测
A4C图像传感器的结构如图1所示。与传统Quad【3】传感器类似，A4C传感器搭载一个可将光线转换为电流的光电二极管和仅特定波长光束可以穿透的滤色片。但是，与Quad传感器不同的是，A4C传感器的结构将每四个相同颜色像素归为一组，每组上方配备一个微透镜（Micro lens） ，四个像素分别位于左上角（TL，Top Left）、右上角（TR，Top Right）、左下角（BL，Bottom Left）和右下角（BR，Bottom Right）。
图1 A4C传感器结构
A4C传感器的自动对焦功能基于这样一种机制：如果来自物体的不同光线汇聚至一个焦点，则物体处于对焦状态；如果来自物体的不同光线未能汇聚至一个点，则物体处于失焦状态。换句话说，如果一个微透镜下的四个像素的强度值一致，则物体处于对焦状态；如果强度值不一致，则物体处于失焦状态。例如，在捕捉图2所示物体时，当图像处于图2第一个示例中的对焦状态，上方红色光路和下方蓝色光路会落在同一微透镜下的同一组像素。然而，如图2第二个和第三个示例所示，当物体位于焦点交汇处的前方或后方，通过顶部和底部路径进入透镜的光路则无法聚焦到同一个微透镜。这些光线会落在不同的像素上，从而形成视差（Disparity） 。通过视差分析，传感器可以判断出如何移动透镜模块的位置才能将焦距调整至最佳状态。
图2 根据物体距离进行视差检测
与现有的PDAF技术相比，A4C传感器能够计算每个像素的视差。换言之，A4C传感器具有很高的精度，在低于10 勒克斯（lux）的弱光环境下也可以确保10倍以上精度。与利用双眼视差的PDAF技术不同，A4C传感器利用的是微透镜下方位于上下左右四角的四个像素的视差。因此，A4C传感器拥有非常出色的对焦检测性能，能够准确检测水平或垂直方向的物体。传统传感器与A4C传感器在自动对焦功能上的差距参见以下视频。
视频 传统传感器与A4C传感器在自动对焦性能上的比较
（左：普通自动对焦 / 右：A4C自动对焦）
A4C传感器的优势之二¬—高分辨率图像
A4C传感器的输出图像能以每个微透镜下四个像素为一组的方式提高感光度，或通过将各个像素独立输出的方法来提高图像分辨率（例如，5000万像素A4C传感器可以输出5000万像素分辨率的图像 或1250万像素微透镜分辨率的图像 ）。如果传感器将每个微透镜下四个像素作为一组生成输出图像，图像分辨率会降至单独使用每个像素时的图像分辨率的四分之一。但是，四个像素一组的方法可以将感光度提高四倍。因此，在夜间、弱光环境等光线不足的情况下，微透镜分辨率（Micro lens resolution）传感器的优势更为明显。
另一方面，在白天或室外等光线充足的情况下，可以使用将各个像素独立输出的方式来提高图像分辨率。像素分辨率（Pixel resolution）是微透镜分辨率的四倍，因此，单独像素输出的图像会更清晰，且有更多细节。但是，在使用A4C传感器的像素分辨率模式时，需要克服视差带来的图像质量问题。当同一场景中的物体处于不同距离时（如图3所示），镜头会捕捉处于聚焦状态下的物体的高分辨率图像，如实线所示。另一方面，所有处于失焦状态的物体都会出现视差问题，如图3虚线所示。这意味着，同一微透镜下相邻像素之间的强度存在差异，进而导致图像中出现栅格图案，图像质量下降。
图3 同一场景中位于不同距离的物体图像
图4是使用A4C传感器拍摄处于不同距离的物体时得到的图像。距离传感器最近的绿色物体处于对焦状态，而其他物体均处于失焦状态，成像较为模糊。如果将图4中的白色区域放大，可以看到视差造成的栅格图案，图像质量下降。为改善图片质量下降的问题，SK海力士的A4C传感器采用了专有A4C相位校正（APC，A4C Phase Correction）技术和四合一像素（Q2B，Quad-to-Bayer）技术，可以对图像进行处理并改善图像质量。需要特别指出的是，SK海力士的APC算法可以分析物体反射的光线，从而确定落在图像传感器的透镜模块路径。而且，这项技术既解决了因失焦区域视差所导致的图像质量下降问题，又保证了处于对焦状态的物体区域的细节呈现。
图4 A4C传感器的输出图片
A4C传感器的优势之三—多种应用场景
除了精准对焦检测和捕捉高分辨率图像外，A4C传感器的优势还包括它可以应用于一系列光场成像场景。光场成像是一种再现物体射线分布的技术，可以计算场景中的光线强度和光线源头的精确方向，并将这些信息用于背景虚化（Bokeh） 、再对焦（Refocus） 和多视角（Multi-view） 等计算机视觉应用程序中。
当使用A4C传感器拍摄图像时，从物体反射出来的、与焦点一致的光线经过四个不同的路径，到达同一微透镜下的四个像素，如图5所示。因此，如果传感器能够感知A4C像素的强度和微透镜下的具体位置，便可明确具体像素的光强度及光的来源方向。
图5 使用A4C传感器捕捉物体
具体而言，如果传感器以同一微透镜下多个像素为一组的模式形成局部图像，这些像素会接收通过相同透镜模块路径到达传感器的光线，这意味着，传感器可以再现从透镜模块的相同位置感知到的局部图像（例如，如果传感器将同一微透镜下左上角TL的像素作为一组来形成图像，则将呈现透镜模块左上角的局部图像）。这样的局部图像被称为子孔径（SA，Sub-Aperture）图像【4】，A4C传感器可以从透镜模块的左上角、右上角、左下角和右下角生成四个子孔径图像。如下文所述，这四个来自不同点的子孔径图像可用于各种计算机的视觉应用。
1）背景虚化应用：使用四个子孔径图像可以提高虚化图像的质量。由于左右摄像头之间的视角和机械位移问题，使用普通双摄镜头生成的背景虚化图像往往与实际场景有一定差别。但是，只要使用子孔径图像，即通过A4C传感器生成局部图像，就不会出现上述差别问题。此外，A4C传感器可以使用四张子孔径图像来计算深度数据，在精度方面要优于使用两个图像的双摄像头。
2）再对焦应用：子孔径图像支持再对焦，即，通过A4C传感器的强度和方向信息将焦点调整至指定位置。传统的再对焦技术因为需要在图像传感器上方添加微透镜阵列【4】，会存在机械误差问题。而A4C传感器则不需要额外添加微透镜阵列，因此不存在机械误差问题，同时精度也可以得到很大改善。
3）多视角应用：从本质上来说，子孔径图像是从不同角度观察物体得出的图像数据。因此，在一系列多视图应用场景中可以使用到四张子孔径图像，包括3D图像恢复、3D安全应用程序以及改善弱光条件下图像质量等。
综上所述，SK海力士开发的A4C传感器不仅可以克服传统图像传感器的局限性，而且具有三大优势：快速准确对焦检测、捕捉高分辨率图像、多种光场成像应用场景。除A4C传感器外，SK海力士正在开发HDR（High Dynamic Range）、非拜耳（Non-Bayer）、像素装仓（Pixel Binning）等新型图像信号处理（ISP，Image Signal Processing）技术。SK海力士凭借业界最佳的设备和工艺技术，开发了0.7um和0.64um微型像素，提高了CIS（CMOS图像传感器，CMOS Image Sensor）像素密度，使其在未来成为信息传感器的核心组成部件。未来，SK海力士的CIS技术有望用于包括智能手机摄像头、生物、安全和自动驾驶汽车在内的各个应用领域，为创造经济和社会价值做出贡献。
注释
1、双眼视差（Binocular disparity）：左眼和右眼所见物体在图像位置上存在差异
2、 微透镜（Micro lens）：一种将光集中到中心位置以提高CIS效率的透镜。
3、 视差（Disparity）：当物体的一个点按照光路聚焦到传感器平面的不同位置时发生的位移。
4、像素分辨率（Pixel resolution）：A4C传感器的像素数量
5、微透镜分辨率（Micro lens resolution）：A4C传感器的微透镜数量。A4C传感器的微透镜分辨率是像素分辨率的四分之一。
6、背景虚化（Bokeh）：一种调整物体对焦同时模糊背景的技术
7、再对焦（Refocus）：一种在图片成像后针对某一点进行再对焦的技术8、多视角（Multi-view）：一种使用由不同角度拍摄的多幅图像来进行几何或空间复合校准的技术
