朱策团队国家自然科学基金重点国际(地区)合作研究项目结题成果科普性介绍

动态光场的高效编码与高质量重建

本项目来源于国家自然科学基金重点国际（地区）合作研究项目“动态光场的高效编码与高质量重建（项目编号：62020106011）”，执行周期为2021年1月至2025年12月。项目负责人为新葡的京集团35222vip朱策教授，合作方包括上海大学安平教授团队、法国国家科学研究中心Frederic Dufaux教授团队和澳大利亚悉尼科技大学Qiang Wu教授团队。本项目工作概括如下:

（一）研究背景与意义

动态光场可提供超多密集视点，为观看者提供逼真的三维视觉体验，是下一代三维视频的新媒体形式。然而，相较于传统图像，光场引入了角度域，导致光场数据维度多、压缩难、分辨率低、评价难。因此，本项目与法澳多方合作，研究光场数据预处理及编码优化、光场超分辨率重建、光场数据质量评价。本项目的顺利实施有望丰富下一代三维视频处理理论与方法，推动我国立体视频产业发展。

（二）主要研究内容

本项目是国家自然科学基金重点国际(地区)合作研究项目，主要针对当前动态光场数据如何平衡码率与高维信源失真、如何打破角度-空间制衡关系、如何准确度量多维失真的核心科学问题，首先，对高维光场数据进行预处理，以获取高质量数据基础。随后，提出多粒度自适应时域率失真优化技术，并设计时间-空间-角度多维一致性的光场高效编码方法，实现光场低码率条件下的高效传输。同时，系统梳理了基于深度学习的超分重建研究进展，并提出频率引导的 Transformer 超分方法；进一步，针对光场角-空制衡问题，构建多维交互的光场超分辨率重建方案，提升光场超分辨率重建质量。最后，结合光场多维结构特性，提出符合人眼视觉感知的光场多维失真评价模型，为编码与重建算法提供可靠的质量反馈与闭环支撑，形成统一的动态光场数据编码理论与重建方法体系。整体研究框架如图1所示。

图1 “动态光场的高效编码与高质量重建”项目整体研究框架

（三）项目成果展示

1、项目组围绕光场预处理与编码优化问题合作开展了相关研究。首先，搭建了基于相机阵列和微透镜阵列的动态光场采集系统（图2），以稳定获取多角度、多视点的光场数据。

图2 动态光场数据采集系统

  为了提高数据质量，进一步开展了光场复原、显著性检测和光场拼接等预处理研究，从而为后续的压缩编码和重建提供清晰且结构一致的光场数据基础。在数据质量保证的前提下，项目组围绕光场数据的高效压缩开展了深入研究（图3）。在视频编码方面，提出了多粒度自适应的时域率失真优化技术；并与法国国家科学研究中心合作团队联合提出帧内预测的快速编码算法，有效提升了编码效率。相关技术被国际视频编码标准组织 JVET 接纳并集成至最新视频编码标准 H.266/VVC 参考软件中。进一步地，考虑到光场图像在空间和角度维度上具有天然相关性，传统编码往往会破坏这种一致性，导致重建质量下降。为此，提出了面向多维一致性的光场编码方法，通过优化空间–角度一致性并采用联合变换编码，使低码率与视觉一致性得以兼顾。在光场视频场景中，又引入时间维度，构建了“时–空–角”联合编码框架，采用关键视图序列编码与非关键视图合成策略，大幅减少码率开销，同时保持高质量视觉效果。相关研究成果不仅获得多媒体领域国际会议的最佳论文奖或提名奖，还在国际竞赛中获得金奖。

图3 光场编码优化研究成果

2、项目组围绕光场高质量重建问题合作开展了相关研究（图4）。针对现有Transformer模型在高频细节重建能力不足、计算复杂度高的问题，提出频率引导的特征调制Transformer超分辨率重建框架和双阶段训练后量化方法，在保证重建质量的同时提升计算效率；同时，系统梳理了近十年基于深度学习的超分辨率重建发展脉络，该成果被选为领域著名期刊Proceedings of The IEEE（影响因子：25.9）的当期封面文章，体现了本项目研究成果在高质量重建领域的学术影响力。进一步地，项目组成员上海大学与澳大利亚悉尼科技大学合作团队合作提出显式与隐式相结合的结构化光场重建方法，有效缓解显式方法易产生混叠、隐式方法易丢失细节的问题，在大视差与小视差区域均取得了更高质量的光场重建效果；面向复杂真实场景，提出具备良好泛化能力的非结构化光场重建方法，通过引入几何感知的Transformer与隐式辐射场解码机制，联合建模空间、角度与几何信息，实现高精度表面渲染与视角合成。

图4 光场超分辨率重建研究成果

3、项目组围绕光场多维评价问题开展了系统研究（图5）。首先，构建了SHU光场主观质量评价数据库，涵盖多种光场场景、多类失真类型以及不同的失真强度等级，同时设计了完整规范的主观测试流程，获得了大量可靠的人眼主观评分数据，为后续模型研究提供了权威的数据基础。在此基础上，提出了角度–空间交叉的光场质量评价方法，通过分析聚焦栈和宏像素等特有结构，能够更加准确地刻画角度与空间维度之间的失真交互。进一步地，为更好贴近人眼感知机制，提出了关键特征驱动的光场质量评价模型，从影响视觉感知的关键结构与视角变化中提取判别特征，从而实现对多维失真的有效建模。实验结果显示，该方法在多种失真条件下的预测结果与人眼主观评价高度一致，弥合了光场数据在角度与空间维度上的主客观感知差异。

 图5 光场质量评价研究成果

（四）项目成果小结

本项目与法澳多方合作，研究了光场数据预处理及编码优化、光场超分辨率重建、光场数据质量评价，取得了一系列成果。该项目执行期间，共发表了学术论文140篇（其中与外方合作发表14篇），包括SCI期刊95篇、国内中文核心期刊5篇、国际会议文章40篇。相关成果荣获国家一级学会一等奖1次、省部级以及国家一级学会二等奖3次等多项奖励。项目组成员参加国际、国内学术会议52人次，中法互访4次。依托于本项目，建立了高水平研究队伍，培养博士后5名，其中3人晋副教授（2人预计今年3月入职），毕业博士6人，毕业硕士22人。