绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
科创大讲堂虚拟数字人技术专场
已更新3期
合辑简介

科创大讲堂由智东西公开课全新企划,旨在连接科创家和优秀开发者,以及学者和投资人,主讲人工智能、硬科技、智能制造、元宇宙等新兴科技领域的重大创新与实践探索。

元宇宙热度加持下,虚拟数字人破圈而出,成为该产业最成熟的商业化应用之一。作为“元宇宙原住民”,虚拟数字人已在各种应用场景中大放异彩,像虚拟偶像洛天依、柳夜熙,各大媒体的虚拟主持人:央视网小C、人民日报果果,虚拟员工:百信银行AIYA等。

虚拟数字人是指具有数字化外形的虚拟人物,采用计算机数字建模技术,利用图形学、图形渲染模拟人物形象,通过动作、面部捕捉等技术模拟真实人物表情神态特征,并运用深度学习、语义理解、语音合成等手段形成具有“人”的外观、行为、思想的综合产物。从技术层面看,虚拟数字人的发展分为3个阶段:

第1阶段,虚拟数字人的制作以人物形象+ Vocaloid语音合成为主,生成具有美丽外表的虚拟数字人,像洛天依;

第2阶段,虚拟数字人的核心技术是2D/3D建模+实时动作捕捉+真人配音,例如虚拟数字歌手聆秋、沐汐,美妆达人柳夜熙;

第3阶段,虚拟数字人不但可以预测嘴唇的动作,还可以用文字合成语音来表达,整个虚拟数字人的面容、身体、声音、动作生成均由AI实现,具有真人质感、辨识度高、互动性强的特点,是更接近人形的“超写实虚拟数字人”。

超写实虚拟数字人的制作过程涉及建模、驱动和渲染三大环节。建模环节以动态光场重建技术为主,通过直接采集三维世界的光线,不仅可以重建人物的几何模型,还可以获取动态的人物模型数据,高品质的重现不同视角下人体的光影效果。

建模完成后想要冰冷的模型动起来,还需要进行一系列的驱动技术,像利用微表情追踪、语音识别、语音合成、NLP、动作和人脸捕捉等技术学习人物的语音、唇形、表情间的潜在关系,还原人脸骨骼和肌肉的细微变化,得到逼真的表情。

为了提升虚拟数字人的逼真程度,还需要渲染技术帮忙。渲染通过加入几何、视点、纹理、照明和阴影等信息,完成虚拟数字人模型到图像的转变,使虚拟数字人皮肤纹理更真实。目前渲染技术分为离线渲染和实时渲染两类,离线渲染受限于设备和软件架构,根据预先定义好的光线、轨迹渲染图片,主要用于2D虚拟数字人;而实时云渲染可以实时计算并输出图形数据,每一帧都针对当时实际环境光源、相机位置和材质参数计算出的图像,大多用于3D虚拟数字人。

为了让大家更好地了解超写实虚拟数字人制作的核心技术,智东西公开课策划推出科创大讲堂「虚拟数字人技术专场」。现阶段先上线三讲,并邀请叠境数字研发部副经理孙正忠、瑞云科技产品总监赵志杰和凌云光技术视效部总监曾义三位技术大牛参与,分别从超写实虚拟数字人的光场重建技术、实时云渲染技术和视效科技等方面进行讲解。

完结课程
课程社群
精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...