用单镜头去实现虚化摄影并不是什么新鲜事,之前的 iPhone XR 以及更早的 Google Pixel 2 都有过类似的实验。苹果新推出的 iPhone SE 也是云云,但它的镜头零组件过于老旧,主要劳绩照样在新演算法上。



 加入T客邦telegram送《任天堂Switch大补丸》 ( https://bit.ly/35gy8ig )  



 从左到右,划分是新 iPhone SE、iPhone 8 和 iPhone XR 的镜头感应器



从 iFixit 的拆解讲述可以得知,新款 iPhone SE 中的某些零组件和 iPhone 8 完全相同,甚至达到了可以交换使用的水平——其中就包罗了那颗 1200 万像素的广角镜头。



「旧瓶装新酒」的做法对 iPhone SE 而言并不稀奇,倒退回四年前,第一代 iPhone SE 也套用了 5s 的外观和大部分硬体,只是在晶片上保持和 6s 一致,进而让使用者能够以更低的价钱获得旗舰机的性能体验。



理论上,照搬相同的镜头硬体,两者的摄影特征应该也不会有太大差异。比如说 iPhone 8 就不支援拍主体清晰、靠山模糊的小景深照片,也就是我们常说的「人像模式」。



但查阅苹果的支援页面时你会发现,iPhone 8 所不支援的人像模式,却被新款 iPhone SE 支援了——哪怕两者都只有一颗后置镜头,且规格完全一样。





正常情形下,手机拍「人像模式」这样的虚化照片都得靠双镜头来完成——好比是人类的双眼,两个位置差别的镜头会获取两张差别角度的画面,然后连系视角差估算出景深,进而实现靠山虚化,保持主体清晰。



现在列表上的 Plus 系列,或是近几年的 X、 XS 和 11 等,基本都是靠多镜头系统来完成人像虚化拍摄。



那么 iPhone 的前置单镜头又是怎么解决的?焦点在于 Face ID 系统中的红外线点阵投影器,它也可以获取足够精准的深度数据,相当于是一颗「辅助镜头」。





这么来看,iPhone SE 能拍人像模式照片就很特殊了:一来,它没有多镜头,二来它也没有 Face ID,照理来说,应该在硬体上并不支援人像模式才对。



因此,谜底就很显著了,苹果在软体上应该是又有了新的突破。



 



iPhone SE如何用单镜头做出人像虚化效果? 

最近,第三方相机APP Halide 的开发者 Ben Sandofsky 就透露了其中的手艺原理,注释为什么新 iPhone SE 采用了和 iPhone 8 一样的单镜头规格,但却可以做到后者所无法实现的人像摄影模式。



他们示意,新 iPhone SE 很可能是「第一款只使用单一的 2D 图像,就可以发生人像虚化效果的 iPhone」。



你可能会反驳,iPhone XR 不也是单镜头拍虚化的吗,岂非 SE 不是照搬它的方案?



然而拆解的情形证实, iPhone SE 和 iPhone XR 的镜头并不一致,这也导致两者在手艺上存在差异。



三星 Galaxy S7 系列是首个将 DPAF 手艺运用在智慧型手机镜头上的装备



最主要的一点,iPhone XR 的镜头可以使用双像素自动对焦(DPAF)手艺来获得一定的深度数据,而不是完全只靠软体来模拟。



简朴来说,DPAF 手艺相当于将镜头感应器上的像素点,支解成两个更小的并排像素,去捕捉两张角度差别的照片,就像是我们的左右双眼一样。



虽然这发生的视角差不如原生双镜头那么显著,但仍有利于演算法去构建深度讯息。



Google Pixel 2、3 使用 DPAF 手艺获得的两张视差图,肉眼难以感知,但仍可以辅助图像支解演算法做出判断



此前,Google 在 Pixel 2、3 上也运用了这样的手艺来实现单镜头虚化。而在 Pixel 4 上,由于该机换成了多镜头规格,视差探测显著比单镜头更精准。



再来看看 Pixel 4 靠两颗镜头获得的数据,视差更显著,也能收集到更精准的数据



至于新 iPhone SE,由于它的感应器过于老旧,Halide 称它无法依赖感应器来获取视差图,基本只能靠 A13 Bionic 晶片所提供的机械学习演算法,去模拟和发生深度数据图。



一句话注释就是,iPhone SE 的人像虚化拍摄,真的就是完全在靠软体和演算法实现的。



用 iPhone XR 和新 iPhone SE 直接对着这张照片拍摄



Halide 用 iPhone XR 和新 iPhone SE 划分拍摄了一张小狗的照片(并非实拍,只是给「一张照片」摄影),然后对比两张图的深度数据。



他们发现,iPhone XR 仅仅是做了简朴的图像支解,将主体抠了出来,但并没有准确辨识出小狗的耳朵。



深度数据图,左边是 iPhone XR,右边是新 iPhone SE



但在新 iPhone SE 上,配合 A13 晶片所提供的全新演算法,我们则得到了一张完全差别于 XR 的深度图。它不仅准确辨识出了小狗的耳朵和整体轮廓,还针对差别远近的靠山做了分层处置。



这种深度图并不是 100% 准确的,Halide 示意,新 iPhone SE 在拍摄非人脸题材的虚化照片时,抠图和虚化的精准度显著没有拍人像时来得精准。



尤其是在一些主体和靠山图十分模糊的情形下,此时多镜头的优势会更显著些。



在这类非人脸题材,且主体和靠山没有显著支解的情境下,新 iPhone SE 的虚化就很容易失足



从这张图可以看到,配备了多镜头系统的 iPhone 11 Pro,不仅能将圆木上小植物轮廓完整地勾出来,而且还能对辨识出靠山的远近距离,并做出分层处置。



深度数据图,左边是 iPhone 11 Pro,右边是新 iPhone SE



而在新 iPhone SE 上,只管同样有分层处置的效果,但被摄主体和靠山已经完全融在了一起,后期虚化时自然会比 iPhone 11 Pro 差不少。



现实的虚化样张,左边是 iPhone 11 Pro,右边是新 iPhone SE



这也是为什么,现在新 iPhone SE 使用 iOS 自带相机应用时,只有在检测到人脸的情形下,才气启用「人像模式」拍虚化照片,其余情形则会泛起错误提醒,这点和之前的 iPhone XR 一样。





缘故原由仍然和苹果自己的演算法有关。Halide 提及了一个名为「Portrait Effects Matte」(人像效果遮罩)的手艺,主要用于在人像模式摄影中寻找出正确的人物轮廓,包罗边缘的发丝、眼镜框等细节,以便对主体和靠山举行支解。



但现在来看,这套基于机械学习的支解手艺更多是为「拍人」准备的,它简直可以填补 iPhone XR 、iPhone SE 这类单镜头手机在视差数据上的不足,但若是拍摄工具从人物换成其它物体,演算法也会泛起一定概率的判断错误。



至于像 iPhone 11 Pro 这类多镜头手机,就算抠图演算法有侷限性,但照样可以透过镜头硬体直接获得视差数据,以是它们在使用自带相机时,也能将人像模式用在非人脸情境中,效果也不会太差。



新 iPhone SE 的前置镜头也支援人像模式,对人脸的抠图精度异常高,成像差异只是在散景效果上



固然,官方不支援的器械,第三方开发者照样可以拿来加以革新。现在 Halide 应用就支援 iPhone XR、SE 去拍摄小动物或其它物体的虚化照片,背后也是利用了苹果的人像效果遮罩手艺来构建深度图,同时配合自己的后端优化。



使用 Halide 这样的第三方应用,就可以用新 iPhone SE 拍非人脸题材的虚化照片



总得来看,本次新 iPhone SE 所实现的人像虚化摄影,算是单镜头手机靠软体优化所能做到的极限了。严酷意义上,这实在也得归功于那颗 A13 晶片,若是不是它带来了最新的机械学习演算法,单靠一颗过时的镜头,SE 的拍摄体验显然得打个对折。



这也若干证实,智慧型手机生长多镜头系统仍然是有意义的。我们可以用超广角来拓宽取景视野,可以靠潜望式长焦获得无损变焦照片,更别说 ToF、雷射雷达这类「特殊镜头」对 AR 扩增实境的探测辅助,这些都不是单纯靠一个 OTA 升级,或是演算法就能实现的特征。





固然,一味地吹嘘、比拼镜头数目同样令人厌烦,若是说硬体只是决议了成像的下限,那么一套优异的演算法,则可以显著拉升成像的上限,甚至是重新压榨出老硬体的价值和潜力。



不知道再等个四年,下一代 iPhone SE 面世时,单镜头还能否在手机行业留有一席之地?



题图泉源:Apple



 加入T客邦telegram送《任天堂Switch大补丸》 ( https://bit.ly/35gy8ig )  



  • 本文授权转载自:ifanr(爱范儿)

Shares



Facebook LINE,

诚信在线

诚信在线(www.chengxin11.cn)现已开放诚信在线手机版下载。游戏公平、公开、公正,用实力赢取信誉。

Allbet Gaming声明:该文看法仅代表作者自己,与阳光在线无关。转载请注明:衢州租房信息:iPhone SE 用单镜头也能拍人像虚化照片,它是怎么做到iPhone 8做不到的事情?
发布评论

分享到:

牡丹江游戏:丰田酷路泽4500柴油版GXR 八气 KDSS设置 超强动力且省油适合入手
你是第一个吃螃蟹的人
发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。