啊，老虎的防护网怎么“不见”了？？

美丽梦幻

如何假装自己胆子很大？
首先，隔着防护网给老虎拍一段视频：


图丨参考资料 1
然后，用一股神秘的力量 " 逼退 " 防护网：


这时候就可以骄傲地告诉别人，我是和老虎正面对刚过的人。老虎扬起头张开嘴，我都稳如泰山，手里的镜头晃也不晃一下（误）。
那么问题就是，这一股神秘的力量从何而来？
有只 AI，在背后操控了一切。它由台湾大学领衔出品，凭着精湛的法术登上了计算机视觉顶会 CVPR 2020。
暗中观察一举一动
所以，AI 是怎样抹杀防护网的？
它用的是光流（optical flow）大法。这个概念在 1940 年代就出现了，描述的是观察者眼里物体的运动情况。
观察者可以是人类的肉眼，也可以是摄影机的镜头；物体的运动可以是它自己造成的，也可以是肉眼或者镜头的运动造成的。
视频里的每一个像素点，在帧与帧之间发生的位移，都会被记录下来。光流法便是利用这些，来估计物体发生了怎样的运动。


光流界大前辈 FlowNet 2.0 的作品丨参考资料 2
具体到老虎的视频里，要把防护网看作遮挡物，把其他部分看作背景。因为镜头在动，所以视频里遮挡物和背景都在运动，但它们的运动是有差异的，这种差异会被光流法灵敏地捕捉到。
AI 就是利用它们之间的运动差异，把防护网（遮挡物）分离出来：




抠下来了丨参考资料 1
而抠掉防护网之后，原本被它遮挡的地方成了残缺，需要修复。
那么，修复的依据是什么？运动的摄影机，拍下了不同角度的画面。每一帧里，背景被遮挡的部分都不同，露出的部分也不同。一帧露出的部分，可能成为修复其他帧的参考资料。


视角不同，遮挡关系就不同丨参考资料 1
总结一下，一是抠出遮挡物，二是修复背景。看起来，这是两步就能完成的轻松任务？
现实没有这么简单，需要循序渐进。科学家们把任务分成了三个阶段，从粗糙到精细，每个阶段都要在不同尺度上估计光流和修复背景。两个步骤要交替进行三个回合。
这样，科学家们才获得了肉眼难辨真假的科学画面：


瞬间拆除丨参考资料 1
于是问题又来了：直接识别防护网的特征不就好了，为什么要用光流这么麻烦？
毕竟，你可能没有向别人炫耀自己胆大的需求，却有隔着玻璃拍照的需求呢。比如，在水族馆拍鱼的时候自己的影子乱入，在博物馆拍展品的时候自己的影子又乱入……
这只 AI 除了可以抹掉防护网，也负责消除各类 " 鬼影 "：


无影小能手，简称无影手（误）丨参考资料 1
只要向它投喂一组不同角度拍下的画面，就可以了。
除了解锁清爽无鬼影的画面，还可以把影子里的景色也还原出来：








左为原始视频，右为分离出的影子丨参考资料 1
另外，像去除雨滴这样的经典任务，也难不倒它。研究团队在论文里说，不同类型的遮挡物，都可以用这一种算法来消除。


掌控雨滴，掌控雷电（误）丨参考资料 1
其实，光流法的多才多艺，人类也不是头一次领教了。
万物通吃的法术
去年，商汤的科学家们孕育的一只 AI，能直接从一段影像里抹去一个人物，依靠的也是光流。
比如，水塘里的一只火烈鸟不见了：




我亲爱的基友，你去哪了？丨参考资料 3
比如，训练场上扑街的萌新警官朱迪消失了，空留下她踩出的水坑：




融进雪水里就不丢人了丨参考资料 3
比如，机场酣战中的蜘蛛侠突然隐身，只剩蛛丝缠住巨大化的蚁人，令对手身陷恐怖片：




小朋友，你是否瑟瑟发抖？丨参考资料 3
对算法来说，再活蹦乱跳的人物，也只是不同形态的遮挡物而已。
谁也逃不出 AI 的支配。
参考文献
[ 1 ] Liu, Y. L., Lai, W. S., Yang, M. H., Chuang, Y. Y., & Huang, J. B. ( 2020 ) . Learning to See Through Obstructions. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition ( pp. 14215-14224 ) .
[ 2 ] Ilg, E., Mayer, N., Saikia, T., Keuper, M., Dosovitskiy, A., & Brox, T. ( 2017 ) . Flownet 2.0: Evolution of optical flow estimation with deep networks. In Proceedings of the IEEE conference on computer vision and pattern recognition ( pp. 2462-2470 ) .
[ 3 ] Xu, R., Li, X., Zhou, B., & Loy, C. C. ( 2019 ) . Deep flow-guided video inpainting. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition ( pp. 3723-3732 ) .
作者：栗子
编辑：odette
一个 AI
被 AI 支配，总比被人类支配好亿点：


鬼畜天女丨橙某


本文来自果壳，未经授权不得转载 .
如有需要请联系 sns@guokr.com