“泛媒体信息系统”课题组以包括传统自然场景图像视频，高动态图像视频，水下多媒体信息，三维视频，全景视频，触感信息在内的多种感觉媒体为研究对象，主要在计算机视觉及多媒体通信等方向开展基础及前瞻性技术研究。

      计算机视觉研究方向重点关注模式识别与计算机视觉，特别是相关算法与计算机视觉、深度学习、增强学习的交叉研究。研究方向包括媒体质量评测、智能处理（包括定位，增强）等。课题组以包括传统自然场景图像视频，高动态图像视频，水下多媒体信息，三维视频，全景视频在内的多种感觉媒体为研究对象，在媒体质量评测方面，关注探索基于眼动跟踪的主观质量评测方法、基于目标检测和分类的感兴趣区域及最小可觉差测量、基于长短记忆网络的长短视频质量交互影响模型，应用导向的媒体质量感知、跨媒体内容的体验质量评估，为媒体信息的智能处理与融合、编码和传输的优化提供性能指标，为媒体信息传输系统的设计提供理论指导；在媒体信息智能处理方面，课题组关注机器学习驱动的图像分割、立体图像颜色矫正、可察知压缩效应高效优化与消除，媒体信息智能修复等工作。

      多媒体通信研究方向重点关注多媒体信息编码与传输及多模态交互，主要研究方向包括沉浸式视频处理与编码、泛媒体信息融合。在沉浸式视频处理与编码方面，针对超高清、高动态范围、高帧率的沉浸式视频，探索基于计算机视觉的画面拼接、预测、时域和空域插值技术，实现基于增强学习的快速编码技术、基于深度学习的率失真性能优化技术、基于优化理论的码率控制技术，并推动其与无线缓存技术的结合，促进沉浸式视频的广泛应用；在泛媒体信息融合方面，在传统音视频之外，探索触感信息的采集、处理、编码和传输方案，基于机器学习实现泛媒体信息的融合、同步、交互预测及体验质量评测体系，实现媒体物联网内容多模态联合感知分析，同时为更加真实的虚拟现实系统、支持机器手的远程操控和自主控制提供技术支撑。

       课题组拥有从高清到移动端的全套显示设备，以及眼动仪、深度学习工作站等分析仪器，包括支持大规模数据库构建的 SONY 4K 摄像机、 Philips 5K 超高清显示器、 Tobii S150 眼动观测仪，支持深度学习的 IW4200 工作站，全景视频录播平台，VR虚拟现实实验平台Novint Falcon 力反馈设备，六旋翼无人机等，能够支持媒体信息智能处理与分析相关工作的顺利开展。