主页 > J哇生活 >Google 杰出工程师来台揭祕,Pixel 手机相机背后技术大公开 >

Google 杰出工程师来台揭祕,Pixel 手机相机背后技术大公开

J哇生活 2020-06-07
Google 杰出工程师来台揭祕,Pixel 手机相机背后技术大公开

Google 所打造的 Pixel 系列手机仅搭载单一镜头,以软体搭配硬体创造各种拍摄的可能性。Google 官方 24 日邀请到史丹佛大学电脑科学荣誉退休教授、同时也是 Google 杰出工程师的 Marc Levoy 来台,深入讲解 Pixel 手机深入运用机器学习等技术搭配硬体,开发出更高水準的功能。

观察手机相机系统的发展趋势,其中 Pixel 手机採用的是以软体定义(Software-defined)为主的相机系统,在图像计算上不再单靠硬体功能,更运用计算摄影(Computational Photography)整合连拍的帧数。此外,导入机器学习技术取代传统演算法,并在机器学习的训练过程中获得更多数据,有助于提升拍照的準确度。

一般手机相机进行拍照时需遵守的基本原则,包括整体执行必须很迅速,深入来说像是即时观景器(Live Viewfinder)大于 15fps、快门延迟时间小于 150 毫秒、照片成像时间小于 5 秒;还有相机的预设模式绝不能失败,必须具有可靠的曝光、对焦以及白平衡,并且避免鬼影或视觉残影等状况发生。Pixel 手机不仅符合这些基本原则,更深入运用机器学习等技术搭配硬体,开发出更高水準的功能表现。

HDR+

手机相机应用程式的 HDR(High Dynamic Range Imaging,高动态範围成像)功能相当常见,典型的作法是採取包围曝光(Exposure Bracketing),将曝光时间短的影像所捕捉的亮处细节,以及曝光时间长的影像所捕捉到的暗处细节结合成为最终影像。

但手持时难免会晃动到手机,使得拍照影像的曝光程度不同,因此 Google 不使用包围曝光的作法。Pixel 手机相机应用的 HDR+ 功能是透过捕捉相同曝光程度下的连拍影像,同时避免亮处过度曝光,再进行校準与合併;採用色调映射 (Tonemap)增强阴影并降低亮处,虽牺牲整体色调、保留局部对比度,但使照片呈现更符合人们的视觉。

Google 杰出工程师来台揭祕,Pixel 手机相机背后技术大公开

左图为没有开启 HDR+ 的影像,右图为开启 HDR+ 的影像。

肖像模式

肖像模式是将拍照重点集中在眼前的人物或物体上,使其从模糊的背景中凸显出来。目前大多数的智慧型手机採用合成浅景深(Synthetic Shallow Depth of Field)呈现照片背景模糊的效果,作法细节是利用双镜头相机在相似的焦点下捕捉 2 个影像,运用立体匹配(Stereo Matching)演算法计算深度图(Depth Map),在照片场景中选择一个平面保持其锐利影像,并且模糊距离该平面更近或更远的影像,如同失焦的感觉。

然而仅搭载单一镜头的 Pixel 2 / Pixel 3 / Pixel 3a 系列手机,则是透过机器学习技术分割拍照影像中的人物,或在拍摄物体时运用 Dual Pixel 的硬体技术预估深度图,以达到景深效果。

针对人物的肖像模式来说,Pixel 手机运用卷积神经网路(Convolutional Neural Network,CNN)预估影像中人物的每一个像素,背后是利用超过 100 万张标籤过人物照片进行机器学习模型训练,并使用数学计算中的 Edge-aware Bilateral Solver 进行细化,让人物分割的影像边缘更加锐利。接着根据人物与背景的距离按比例模糊化,同时将人物所在位置前后一段距离的影像也保持锐利。

而物体并非人物,故无法使用机器学习的方式,而是透过拥有 Dual Pixel 的后置镜头完成。Dual Pixel 作法即是已运用在部分单眼相机上的相位对焦(Phase Detection Auto-focus,PDAF)来判断景深距离。Pixel 3 系列的肖像模式更进一步优化,Google 训练机器学习藉由红色、绿色、蓝色 3 色的左右输入直接计算深度图。

Google 杰出工程师来台揭祕,Pixel 手机相机背后技术大公开高解析变焦

自 Pixel 3 系列推出高解析变焦(Super Res Zoom)功能,虽然背后并无搭载人工智慧与机器学习的技术,但它可将多层影像合成更高像素的照片。

影像是由一个个像素所组成,每一个影像拥有红色、绿色、蓝色 3 种颜色资讯。高解析变焦以像素移位(Pixel Shifting)为基本原理,透过连续拍摄多帧照片,以弥补缺失的颜色资讯并合成出更高解析度的照片,照片中三分之二的颜色资讯是重建出来的。不仅提升照片细节的呈现,解析度与许多搭载 2x 光学变焦镜头的智慧型手机所拍的照片不相上下。

而当 Pixel 手机放置在三脚架上、不受手震影响时,仍可藉由强制开启光学影像稳定(Optical Image Stabilization)製造镜头「摇晃」来模拟手震,如下图所示,此画面的摇晃幅度非常微小,并不会干扰拍摄的照片。

Google 杰出工程师来台揭祕,Pixel 手机相机背后技术大公开夜视模式

最后,Pixel 3 / Pixel 3a 系列其一主打功能夜视模式(Night Sight),背后技术是在按下快门后,观景器将会静止不动几秒钟,同时高速捕捉最多 15 帧画面,接着结合高解析变焦(针对 Pixel 3 系列)或 HDR+(针对 Pixel 1 / Pixel 2 / Pixel 3a 系列)功能,并透过学习式白平衡(Learning-based White Balancing)调整影像,仍可保持景物最真实的色调。

Google 杰出工程师来台揭祕,Pixel 手机相机背后技术大公开

使用夜视模式。

Marc Levoy 表示 Google 具备软体开发与机器学习的优势,在发展 Pixel 手机相机技术的过程中,Google 愿意公开、对外分享技术成果,不仅有助于驱动产业创新,也藉此机会吸引更多人才加入 Google AI 研究团队。

您可能有兴趣文章:

推荐内容