谷歌 | 通过学习重新对焦来控制双摄像头散焦

​

【推荐理由】本文提出了一个新方法用于合成地改变相机光圈、对焦距离和任意散景效果，通过融合来自这样一个双摄系统的信息来控制散焦。该方法在散焦去模糊、背景虚化和图像重定焦方面超过了最先进的技术。

 Dual-Camera Defocus Control by Learning to Refocus
Hadi Alzayer, Abdullah Abuolaim, Leung Chun Chan, Yang Yang, Ying Chen Lou, Jia-Bin Huang, Abhishek Kar

【论文链接】https://arxiv.org/pdf/2304.03285.pdf

【摘要】如今，智能手机摄像头通过硬件和软件方面的进步越来越接近专业相机的多样性和质量。然而，固定光圈仍然是一个关键限制，阻止用户控制捕捉图像的景深（DoF）。同时，许多智能手机现在具有带有不同固定光圈的多个相机 – 具体来说，具有更宽视场和更深 DoF 的超广角相机以及具有较浅 DoF 的分辨率更高的主要相机。在这项工作中，我们提出了 DC2，一种系统，用于通过融合来自这种双摄像头系统的信息，对相机光圈、焦距和任意虚化效果进行综合变化的虚化控制。我们的关键见解是利用真实世界智能手机相机数据集，使用图像重新聚焦作为学习控制虚化的代理任务。在真实世界数据上的定量和定性评估证明了我们系统的有效性，在虚化去模糊、背景虚化和图像重新聚焦方面表现优于最先进技术。最后，我们展示了通过我们的方法实现的创造性的后期虚化控制，包括倾斜移位和基于内容的虚化效果。

​Read More