本项目是科学院重点部署项目（批准号：KFZD-SW-407）， 起 止 时 间 是 2016 年 9 月 至2017 年 12 月。本项目针对当前虚拟现实产业在内容生产技术方面的严重不足这一现实问题，面向文化创意产业等应用，研究基于多源信息融合的高精度深度图像获取与合成技术与装置、基于深度信息引导的高效三维场景表示和重构技术、开发 VR 媒体内容分析与合成软件系统、搭建 VR 媒体内容在线体验技术服务平台，为虚拟现实内容制作生成提供技术支撑，并开展在网络直播、展览展示领域中的示范应用。经过近一年的研发，本项目已经取得了诸多成果。

在关键技术方面：实现了高分辨率深度图的实时获取。获取高分辨率的场景深度图是实现高精度三维重建的关键问题，需要克服高分辨率图像带来的高计算成本与实时性的矛盾，本项目采用分辨率达到2048*2048 的相机，设计了融合红外图像与可见光图像的深度信息获取装置，可实现高分辨率深度图的获取。提出了基于深度学习的双目立体匹配算法，实现了红外图像的深度信息优化求解，并使用 GPU 实现算法并行化，计算效率达到 3000fps。从而突破了高分辨率深度图的实时求解的技术难点。在此基础上，开发实现了多视角深度图的融合算法，实现了基于多目深度信息的三维场景重建。克服了纹理缺失问题。场景中的纹理缺失会造成立体匹配错误，影响到深度信息的精度。为解决这一问题，本项目引入了红外斑点光源增强场景中的纹理信息，针对这种斑点图像设计了立体匹配算法。并提出了融合可见光图像与红外图像的深度信息全局优化算法，进一步修正了视差图的误差与空洞。提出了鲁棒的前景分割算法。为了减少场景中的背景干扰、提高重建的精度与效率，需要把前景目标与背景准确地分离。为此，本项目采用背景幕布有效地减少了背景纹理的干扰，并提出了融合红外与可见光图像的联合条件随机场模型与推断算法，实现快速准确的前景目标分割。在此基础上设计开发了基于多视角轮廓图像的三维模型重建与纹理映射算法。据统计，全国现有中等规模炼油厂50多家，若全部实施油品调合技术，仅汽油生产一项每年将为国家产生几十亿元的直接经济效益。