元宇宙数字内容生成方向主要涉及计算机图形图像、视觉、音频、自然语言等多媒体信息的处理及应用研究，目前主要研究智能图形学、3D视觉、渲染、可视化等方向，并将其应用于三维动画、智慧医疗、移动机器人、元宇宙等领域，解决三维动画影视制作中几何建模与渲染技术、移动机器人导航中同步定位与建图技术（Slam）、元宇宙技术中数字化身（Avatar）重建与数字化活化等关键问题。研究院致力于智能图形图像多媒体技术前沿科技的发展，为多学科交叉融合的新工科培养新世纪人才。
（1）元宇宙核心数字内容3D建模
元宇宙数字内容包括虚拟数字人和数字场景，3D建模技术基于点、线、面等基元构建物体要素的三维数字表示，然而，传统的高质量的3D模型设计往往需要专业设计师耗费大量的时间和精力在交互软件中手工操作，考虑到元宇宙世界中虚拟存在的海量性，研究高质量核心数字内容的生成和投放效率是十分必要的。拟采用深度生成模型来生成多样性的人脸几何模型，用生成对抗学习机制提升人脸模型在表情、动作细节上的逼真度，并采用动作捕捉和驱动方法提升在时序运动上的一致性和自然性。为了缓解学习过程对真实3D数据的依赖，研究用基于海量人脸、人体图片的自监督学习机制数字人几何模型的可形变模型，再定制化生成目标人体模型，最后，通过纹理风格迁移技术，实现二次元、3D卡通、真人形象等多样化表征能力。数字物体建模技术的重点在于海量的自动智能化投放，拟首先基于点云扫描设备构建场景中的虚拟物体数字模型库和纹理库，根据几何拓扑进行分类整理，再为各个类别构建几何一致性的统计模型，基于统计模型和纹理贴图可快随生成新的数字模型，提升虚拟数字物体的投放效率，为用户带来流畅与沉浸式的体验。
（2）元宇宙多模态数据表征
元宇宙多模态数据表征技术是一种能够将不同类型的数据，如三维图形、图像、视频和文本等，融合到一个向量空间中进行统一表征的技术。随着互联网技术的不断发展，海量且复杂的数据需要被更好地利用和处理。然而传统的单一数据类型的表征方式已经无法满足这个需求，为解决这个问题，元宇宙多模态数据表征技术被提出。该技术的主要方法包括预处理、特征提取、多模态融合以及编码技术。首先进行预处理，针对每个输入模态的数据进行去噪、缩放等处理，以尽可能提高表征结果的准确度；其次通过特征提取，提取出每个输入的模态中所包含的关键特征，对不同模态进行特征化的过程大大增强了数据表征的可靠性与泛化性; 然后，对所有模态的信息进行融合，通过算法的引导实现多视角、多层面数据进行联结的目的; 最后，采用编码技术将多模态融合后的信息进行量化和存储至向量表示中，以适应各类使用场合下不同种类模态数据的表征和精细化应用，服务于虚拟现实与增强现实、智能交互等上层应用。
（3）元宇宙虚实场景实时渲染
渲染技术是计算机图形学中的经典问题，元宇宙虚实环境光照情况复杂，真实感渲染、实时全局光照明渲染均面临着新的挑战。根据光线传播理论，通常建立渲染方程，对场景中每条光线进行追踪，计算场景着色点的光线积分代价太大，难以实时。拟对光源按形状进行分类，根据分类形状分别解析不同形状光源的球谐函数梯度公式，以及更关键的裁剪有效投影区域SH梯度公式，大幅剔除冗余，然后通过基于梯度的插值计算最终着色点上的光照的SH系数预存储在网格中，实现不同形状多光源环境下全局光照精确计算，并构建完美二叉树高效管理大规模光源，在渲染过程中实时改变和重建光树，避免每次改变光源位置后循环建新树提高渲染速度实现实时渲染。
（4）元宇宙中动态环境下SLAM导航定位
SLAM提供了三维数字世界的空间定位功能，决定虚拟现实终端交互自由度。现阶段的视觉SLAM系统绝大多都是在静态环境的假设下进行设计的，一旦将这些系统放入有动态人物移动的元宇宙虚实动态环境，相机可能会分不清到底是机器人本体在运动还是环境中的目标在运动，最终导致系统的崩溃与出现较大的定位误差。因此消除环境中运动目标对视觉SLAM的影响，包括采用不依赖相机自身运动信息的运动目标剔除方法、后端优化中初始位姿的确定以及建图环节对动态目标的处理等值得研究。拟采用对RGB-D相机、振动传感器及IMU建立合理的融合方式，有效的提升复杂环境下视觉SLAM的定位精度，并以图优化的角度来看待动态环境下SLAM问题，在视觉里程计之前，分割出环境中的动态目标，在不依赖于相机自身运动模型的情况下判断图像中关键点的真实动态性，消除运动目标对移动机器人定位与建图过程中产生的误差。
（5）元宇宙数字化身与环境的轻交互
人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。元宇宙是人类创造的平行世界，它与人类的交互方式，将不仅仅局限于传统的键盘、鼠标、头盔、数据手套等需要借助外部物理媒介的交互方式，而是有更自然，更能体现物理世界与数字世界无缝融合的虚实交互方式，另外，元宇宙中还将派生出数字化身人物纯虚交互（轻交互）。如何提升用户与Avatar的交互，包括Avatar在元宇宙中的各种轻交互方式，是数字化身在元宇宙中出境展现并获得更好元宇宙体验的一个关键步骤。拟将研究基于行为学的人工智能技术，采集与构建真人的大规模语音、表情、动作、决策案例的数据集，研究3D引擎、VR/AR/XR、语音、手势识别等多模态融合交互方式，借助深度学习网络训练Avatar的化身能力，将物理人100%投射到元宇宙中，形成虚拟化的感官交互，增强交互体验，实现轻交互。
