-
-
造物
- (外在形象的虚拟人)
-
数智人主体形象生产平台
查看详情
-
-
-
活物
- (内在思想的智能体)
-
数智人领域模型建构平台
查看详情
-
-
-
御物
- (交互体验的应用场)
-
数智人行为意图执行平台
查看详情
-
-
基于扩展现实虚拟拍摄的场域应 用分布流融合
分布流融合包含渲染计算技术和内容制作技
术。渲染计算技术利用“云”强大的计算能力,云
网边端协同渲染,解决实时海量数据的处理,并
借助AI技术提高渲染的质量和效率,通过5G网络
将不同沉浸方式、不同交互方式的XR体验传递至
各种形式的泛终端,为终端用户提供沉浸式、多
模态的卓越的XR体验。内容制作技术追求的是XR
内容具有更高的质量(UHD)、更炫的效果(仿
真)、更高的效率(制作周期)、更低的成本以
及更好的开放性,涉及到内容的采编播以及交互
等环节。XR视频还具有呈现多视角多结局、叙事
线进程可变的特点。由于虚拟现实相机涉及多镜
头同时拍摄,从而产生出视频间精准拼接缝分割
内容编辑技术。根据实现方式的不同,可分为实
时、离线拼接与自动、手动拼接等。
-
基于智能体 AI Agent 的垂直领 域大模型构建
设计包含六个组件的智能体框架,这些组件
包括任务指令、设计提示、语言模型、规划器、工
具使用器和输出生成器。任务指令是智能体的显
式输入,设计提示是一种额外的输入形式,用于
引导基于多级大模型Multi-LLM的智能体生成适
当的输出。对领域数据进行质量对齐和价值对齐,
通过精调形成垂直领域大模型。提出了一个大模
型与知识图谱协同的框架,LLMs和KGs分别用于
处理多模态数据和结构化数据。
-
基于神经辐射场 NeRF 的人体分 区体渲染重建
神经辐射场NeRF提供了一种通过深度多层感
知器MLP学习从音频特征到相应视觉外观的直接
映射的方法。为解决实现泛化音频唇同步、良好的
视频质量和高效的推理性能,提出分区表达神经辐
射场RX-NeRF,将人体分为头部区域和躯干区域,
使用两个单独的神经辐射场分别合成。针对头部区
域,提出了一个区域注意模块,通过区域注意力机
制生成区域感知条件特征,将音频特征输入到约束
隐式函数去生成一个条件神经辐射场,生成高时序
一致性和音频唇形准确性的长面部运动序列。利用
语调轮廓作为辅助特征,并在面部运动预测过程中
引入时间损失,并采用地标局部线性嵌入方法,以
调节预测运动序列中的异常值。针对躯干区域,由
具有自适应姿势编码的躯干NeRF进行体渲染,并
通过将头部姿态的复杂变换映射到空间坐标中以优
化头部躯干分离问题。