g****t
发帖数: 31659 | 1 【 以下文字转载自 Apple 讨论区 】
发信人: smartsss (聪明), 信区: Apple
标 题: 关于iPhone 7 plus双镜头虚化模式的一些遐想~ （转载）
发信站: BBS 未名空间站 (Wed Sep 7 23:20:48 2016, 美东)
随着iPhone 7 plus正式宣布会实现双镜头虚化功能，摄影圈的一个新时代就要来临了
……
理论上双镜头实现虚化的原理很简单，就是利用两个镜头有一定间隔这一特点。莱卡旁
轴相机大家都知道，是用测距窗和取景窗的距离来调整镜头合焦的。双镜头虚化的原理
与之相似，因为两个镜头有一定间距，对一定距离上的同一个物体拍摄的成像在画面中
的位置会有一定的变动。而且这个变动是随着物体的距离而变化的。通过对两个镜头的
画面进行运算比较，就能得出画面中不同位置相对镜头的距离信息。（理论上需要两个
一样视角的镜头比较，iPhone 7p应该是放大了28mm镜头的画面和57mm镜头进行比较，
反过来不行因为57mm镜头无法拍摄28mm镜头的全部信息）。
得到了距离这个至关重要的信息之后，就可以进行虚化运算了。以前的各种基于软件的
虚化模拟，都是基于纯二维的图像信息进行识别，而这种无中生有的做法是不可能有自
然的效果的，除非你拍摄的时候就有意识的把距离信息用软件可以操作的形式分布在画
面里。大部分使用情况下选区建立都是一件很困难的事情，边缘很容易穿帮。同时画面
中不同距离的部分执行同样的虚化，效果也会一眼就看出来是假的。所以必须要有距离
的信息才能实现比较理想的虚化运算。
在比较理想的情况下，这个技术相当于可以重建一个3D的场景，然后根据这个3D的场景
模拟单反的大光圈镜头进行虚化。因为手机摄像头的实际口径小，在大部分情况下都是
超焦距拍摄，原始画面中不管远近都是合焦的。那么iPhone 7p甚至在原理上可以支持
拍摄『双镜头raw』之类的东西，然后由用户后期手动移动『合焦中心』来做出『先拍
照后调焦』的效果！
听上去很牛逼是不是？难道单反和光场相机都可以扔掉了？当然不是！下面问题来了，
理想化的情况和现实到底有哪些差别呢？
回想一下发布会现场的两张样片，我发现了这样一个共同点：这两张照片都没有前景，
没有中景过渡，只有一个人像大头主体，然后画面的其他部分都是距离画面非常远的远
景做背景！这实际上也反映了这个技术最大的弱点。
看一下我第一段的描述，你会发现我做了一个假设：左右两张图片拍摄的画面只有位移
，没有内容差别！这个假设实际上是将拍摄的三维场景简化到二维的一种近似，这个近
似在距离镜头较远的物体上是成立的，但是随着拍摄距离的缩短，两个镜头看到的物体
毫无疑问会呈现出差别，如果到了前景或者是微距拍摄，物体的距离不再是远大于两个
镜头的间距的时候，两个镜头看到的就完全是不一样的东西了！
实际上旁轴相机也有这个缺陷，所以旁轴镜头都是没有微距功能的。而这种近似的失效
就会造成物距识别完全无法进行，也就没有办法运算虚化了。所以如果单纯依靠视差测
距方法，只能模拟背景虚化，而没有办法模拟前景虚化！
另外还有一个问题，软件虚化最难处理的，其实就是主体和背景交界的边缘。虽然视差
测距方法在画面整体上会有比较可靠的表现，但在靠近主体的最后那十几个像素却是很
难处理的。为什么？因为主体是三维的，最靠近主体的那一小片背景区域会被主体挡住
，在另一侧的镜头里是看不到的！这样一来，就完全没有信息可以运算距离和虚化了！
实际上从之前几款使用双镜头的安卓手机的样片里，都观察到了这个尴尬的现象。要么
就是直接渐变过渡过去导致主体边缘不锐利，要么就是干脆放弃治疗，能在主体边上看
到一轮没有虚化的区域……
所以苹果的样片和功能宣传其实都是扬长避短的做法。用中焦镜头并且卖点在人像拍摄
，使用者和主体的距离就不会特别近，一定程度上减弱了这两个问题的影响。而第一张
样片，人像周围完全就是纯蓝天背景，左侧有一个很远的建筑，规避了这两个问题。第
二张样片同样只有无穷远的背景，至于边缘我认为应该是用了模式识别之类的技术来进
行识别修补。实际上用模式识别之类的技术，理论上也可以补偿一些前景虚化，但效果
怎样就完全不可预料了……如果我是苹果的软件工程师我会选择放弃前景虚化，只做背
景虚化。
由于这个功能现在还没有上线，估计这两张样片也是目前阶段比较理想的结果。尚不知
道最终更新的时候会不会有更大的改进（主要是在智能识别方面）。如果以现阶段的理
解来给将来的使用者一些建议的话，我希望用这个功能的时候注意：
一定要注意控制好主体的距离，千万不能太近！拍个人像大头还可以，千万不要妄想拿
来拍个树叶啊，花啊什么的微距内容。人家是设计出来给你拍人像的，不是拿来拍菜的！
尽量控制构图，千万不要带明显比主体近的前景。尽量少带或不带中景，像样片那样只
有无穷远的远景是最好的！
注意主体的构图位置，尽可能避免需要被虚化的东西出现在主体尤其是头部的周边，最
好是纯色虚化不虚化没有任何区别的背景！
横构图比竖构图更可靠！因为横过来的时候两个镜头是上下分布，主体挡住背景的情况
会显著减少。
最后我想说，这个功能虽然仍然有很多不理想的地方，但因为iPhone是实际上最普及的
『摄影器材』，它所能产生的影响力仍然是无比巨大的！从今以后，每个人都能或多或
少的得到带漂亮的虚化背景的照片！
对文艺青年来说，这在短期内是个好消息。因为不用购买昂贵的摄影器材，也能拍出装
逼的效果了！而且以iPhone的普及程度，日常可以挥洒的创意很可能会远多于专业器材
。但对有志于成为专业摄影工作者的人来说，这无疑是一个噩梦！因为从今以后虚化再
也不是『专业』的标志了，那些买了一个大光圈镜头，就敢到处出去约片的人再也没有
市场了！说的再远一点，靠装备做摄影的时代就要终结了！想象一下在婚礼上人人都可
以掏出手机拍出带虚化的照片……以后还想有人请你拍照，你需要的是用光，构图，还
有pose这些真正的技术。抓紧时间吧！ |
r*****e
发帖数: 7853 | 2 好文谢谢
【在 g****t 的大作中提到】
: 【 以下文字转载自 Apple 讨论区 】
: 发信人: smartsss (聪明), 信区: Apple
: 标 题: 关于iPhone 7 plus双镜头虚化模式的一些遐想~ （转载）
: 发信站: BBS 未名空间站 (Wed Sep 7 23:20:48 2016, 美东)
: 随着iPhone 7 plus正式宣布会实现双镜头虚化功能，摄影圈的一个新时代就要来临了
: ……
: 理论上双镜头实现虚化的原理很简单，就是利用两个镜头有一定间隔这一特点。莱卡旁
: 轴相机大家都知道，是用测距窗和取景窗的距离来调整镜头合焦的。双镜头虚化的原理
: 与之相似，因为两个镜头有一定间距，对一定距离上的同一个物体拍摄的成像在画面中
: 的位置会有一定的变动。而且这个变动是随着物体的距离而变化的。通过对两个镜头的
|
I*****S
发帖数: 1805 | 3 之前华为就出来双镜头的手机，
还贴了leica的标签，
还是抵不过果果的影响力。 |
r*****e
发帖数: 7853 | 4 做东西要做好，要不不如不做，苹果在这方面还是不错的
三星做了一大堆，结果都是狗屎
[在 INDICES (酱油兔) 的大作中提到：]
:之前华为就出来双镜头的手机，
:还贴了leica的标签，
:还是抵不过果果的影响力。 |
i****x
发帖数: 17565 | 5 文章还可以，但作者明显不很懂摄影。苹果这个虚拟的模糊根本无法取代高端单反。为
什么？因为高端单反的模糊其实叫bokeh，效果不是一片模糊而是每个点变成一个清晰
形状的圆形。相比下绝大多数虚拟模糊包括苹果都用的是gaussian blur。下图一看就
清楚。bokeh有一种很漂亮的梦幻效果，blur没法比。
【在 g****t 的大作中提到】
: 【 以下文字转载自 Apple 讨论区 】
: 发信人: smartsss (聪明), 信区: Apple
: 标 题: 关于iPhone 7 plus双镜头虚化模式的一些遐想~ （转载）
: 发信站: BBS 未名空间站 (Wed Sep 7 23:20:48 2016, 美东)
: 随着iPhone 7 plus正式宣布会实现双镜头虚化功能，摄影圈的一个新时代就要来临了
: ……
: 理论上双镜头实现虚化的原理很简单，就是利用两个镜头有一定间隔这一特点。莱卡旁
: 轴相机大家都知道，是用测距窗和取景窗的距离来调整镜头合焦的。双镜头虚化的原理
: 与之相似，因为两个镜头有一定间距，对一定距离上的同一个物体拍摄的成像在画面中
: 的位置会有一定的变动。而且这个变动是随着物体的距离而变化的。通过对两个镜头的
|
a*******g
发帖数: 3500 | 6 就是简单卷积吧
【在 i****x 的大作中提到】
: 文章还可以，但作者明显不很懂摄影。苹果这个虚拟的模糊根本无法取代高端单反。为
: 什么？因为高端单反的模糊其实叫bokeh，效果不是一片模糊而是每个点变成一个清晰
: 形状的圆形。相比下绝大多数虚拟模糊包括苹果都用的是gaussian blur。下图一看就
: 清楚。bokeh有一种很漂亮的梦幻效果，blur没法比。
|
I*****S
发帖数: 1805 | |
i****x
发帖数: 17565 | 8 对的 高斯模糊就是对一个高斯核函数做卷积。bokeh可以把高斯核换成均匀圆分布核函
数，但计算量就大太多了。维基：
Bokeh can be simulated by convolving the image with a kernel that
corresponds to the image of an out-of-focus point source taken with a real
camera. Unlike conventional convolution, this convolution has a kernel that
depends on the distance of each image point and – at least in principle –
has to include image points that are occluded by objects in the foreground.[
20] Also, bokeh is not just any blur. To a first approximation, defocus blur
is convolution by a uniform disk, a more computationally intensive
operation than the "standard" Gaussian blur; the former produces sharp
circles around highlights whereas the latter is a much softer effect.
Diffraction may alter the effective shape of the blur. Some graphics editors
have a filter to do this, usually called "Lens Blur."[21]
【在 a*******g 的大作中提到】
: 就是简单卷积吧
|
