audio2face，国内哪些公司有提供相关服务？

提问

问题出自：实时云渲染加速3D超写实虚拟数字人制作推广

audio2face，国内哪些公司有提供相关服务？

2022-06-13 14:06:19

这部分除了英伟达之外，好像阿里或百度会提供类似的服务。之前我们测试过百度飞桨下面类似的服务，但是它是和视频相关，不是3D的。

回答

相关问答

渲染引擎这块，您的材料里列举了Unity和UE，其他也有很多，如blender，后端执行的话，哪个比较好？
2022-06-13 14:06:19

现在引擎这部分还是以Unity和UE为主，blender这部分我们还没有用过没有用过但blender应该是离线用的多，实时这块我不太清楚，我没有用过blender做实时。好像是可以，但是不确定。... 阅读全文〉
请问云端渲染和本地渲染相比总体成本哪个会更低一些？
2022-06-13 14:06:19

这主要看你的需求，如果是短期内的需求，肯定是云端渲染的成本会低，但如果你是在一定规模的情况下、长时间使用，还是建议做本地化部署。... 阅读全文〉
高并发实时云渲染云上资源的规模和成本？
2022-06-13 14:06:19

规模这部分是可以不断的扩充的，当你有高并发需求时可以不断的扩，包括硬件资源的扩充、边缘计算节点的扩充。因为中国这么大，有可能用户来自于四面八方，还是要尽量做到多个MEC的支持。关于成本，英伟达显卡应该... 阅读全文〉
nvidia的omniverse中也号称能进行实时渲染，云渲染，与现在的渲染引擎对比，是否能取代？
2022-06-13 14:06:19

omniverse我们之前也经常测试体验，omniverse提供了很多工具，同时，它也有一个audio2face的配套软件。但是它最大的问题在于audio2face软件，依赖于英文环境来训练的，一旦把... 阅读全文〉
3D渲染超写实数字虚拟人的弊端有哪些？
2022-06-13 14:06:19

如果是用实时云渲染，会有一定的成本。因为每当有调用实时云渲染的需求时，它会直接调用云端的渲染算力，包括网络传输，所以相较于外部调用的方式，它会产生的成本会高一点。另外一个是对网络有一定要求，当网络很差... 阅读全文〉
虚拟数字人的技术难点和落地前景？
2022-06-13 14:06:19

虚拟数字人这部分肯定是有相当的技术门槛的，因为它会涉及到渲染，也会涉及到深度学习。不管是渲染还是深度学习，都需要比较足够的技术储备，才能够突破这些技术难点。关于落地前景，我个人是非常看好的，举个例子，... 阅读全文〉
传统企业如何布局元宇宙，数字人的应用层面如何推广？
2022-06-13 14:06:19

可以先给大家举个例子，之前有一家集团是做品牌推广的，他们之前有一个想法，因为他们是重庆的一家企业，比如拿重庆的一个景点洪崖洞作为元宇宙的一个场景。大家知道洪崖洞有很多的商家，每一个商家可以入住元宇宙。... 阅读全文〉
云渲染需要的硬件配置要求？
2022-06-13 14:06:19

这部分实际上没有特别的配置要求，因为它和应用是相关的。如果做引擎开发时，用什么样的硬件配置，云渲染可以参考做开发时类似的硬件配置就可以。如果制作时用工作站，云渲染一般是用服务器，但是相关的硬件显卡只要... 阅读全文〉
一个应用是否可以使用多个GPU进行渲染，多个节点同时渲染一个场景对通信的压力？
2022-06-13 14:06:19

一个应用是否可以使用多个GPU进行渲染，理论上是可以的，但是我们目前的架构还没有用这种方式。我们只是单个GPU可以跑多个应用的并发，但是一个应用利用多个GPU来进行渲染，如果用英伟达的解决方案应该是可... 阅读全文〉
云渲染可以支持人物形象定制化以及自助捏脸和换装吗？
2022-06-13 14:06:19

我们自己还没有涉及到这部分的内容，目前我们主要是集中在audio2face或者TJS技术，我们希望在这一块有所成果，后面才会涉及到自定义的形象等。... 阅读全文〉
虚拟人现在主流引擎用的哪家？国产引擎在虚拟人环节是否有突出的企业？
2022-06-13 14:06:19

主流引擎还是以Unity和Unreal为主。国产引擎这部分我们没有太多的涉猎。上海粒界有在推自己的引擎，但是在虚拟人这块，我们还没有测试过国产引擎，后续我们会进行这些方面的测试。... 阅读全文〉
一台机器可以跑几个云渲染实例？给给虚拟人渲染
2022-06-13 14:06:19

具体到某一个节点可以跑多少个云渲染实例，一般取决于两个因素：一个是你的硬件配置，是比如是RTX5000 、RTX6000或是V100，因为不同的显卡，能够并发的云渲染实例本身就不一样；另外一个和应用本... 阅读全文〉
有测试过metahuman的实时渲染吗？可以支持到哪个级别？
2022-06-13 14:06:19

刚才测试的案例就是用metahuman导出的一个角色。支持到哪个级别，和你最终选的显卡密切相关的。你的显卡越高，支持的级别就会越高。... 阅读全文〉
超写实数字人离线渲染的开发环境有哪些？
2022-06-13 14:06:19

如果是制作部分，还是用传统的方式，现在也有一些新的软件出现可以加速制作的过程。如果只是建模、绑定这些工作，像传统的软件还是可以用的，比如三维扫描等都是有助于虚拟人制作的。现有一些新的软件，比如Real... 阅读全文〉
多个端或者多个用户访问都是相互独立的么？还是都看的是同一个场景呢？
2022-06-13 14:06:19

是的，这部分有两种场景，第一个是在默认情况下，每一个用户访问会单独起一个instance，所以基本上多个用户之间互不影响，访问的都是自己的进程或场景。但是另外一种情况是需要大家进入到同一个场景，类似于... 阅读全文〉
实时云渲染，可以同时支持多少人虚拟人同屏?
2022-06-13 14:06:19

当你有一个请求时，我们会在云端开一个进程，或者开一个instance。能够支持多少人同时使用我们叫并发，并发数取决于云端的资源，只要云端的资源足够多，就可以支持足够多的人。目前，国内大概有10多个边缘... 阅读全文〉
硬件平台上只适配nvidia吗？高通等平台支持吗?
2022-06-13 14:06:19

理论上都是可以的，但目前英伟达是主流，所以大部分硬件是以英伟达为主，其他的一些平台需要测试下。我们也欢迎其他的硬件厂商来与我们做各种各样的适配，类似于一些新显卡的制造商。... 阅读全文〉
不支持私有化部署吗？
2022-06-13 14:06:19

是支持私有化部署的阅读全文〉
我看了贵公司网站讲的都是传统渲染，并无虚拟人内容，是否临时加入这个战场？
2022-06-13 14:06:19

虚拟数字人是最近几年才开始加入的，实际上在虚拟数字人这部分也有很长时间的积累，近期就会发布自己的虚拟人应用。... 阅读全文〉
请问这个可以是SaaS对外开放吗，还是需要到瑞云后台定制？
2022-06-13 14:06:19

如果只使用自定义的应用或者自己制作的应用，可以直接在瑞云官网上注册，然后上传应用就可以。它是对外的，是作为一个公有云提供的。如果有一些私有云的需求，也提供私有云的定制，像去年和今年都有一些私有云的落地... 阅读全文〉
虚拟人可以结合Hadoop分布式系统吗？
2022-06-13 14:06:19

目前还没有结合Hadoop，因为云上资源的调度是用瑞云自己开发的一套系统，没有用到Hadoop系统。... 阅读全文〉
unity是需要上传什么样的东西？接入自带的像素流插件，还是你们有SDK呢
2022-06-13 14:06:19

关于推流部分，如果是用引擎，不管是Unity还是Unreal不需要任何插件，例如Unreal的像素流，它需要勾选自带的Pixel Streaming插件；但如果用实时云渲染的方式，不需要任何插件。因为... 阅读全文〉
请问目前与哪家云厂商合作的呢？
2022-06-13 14:06:19

瑞云科技本身就有各种各样的云资源，包括云资源和边缘计算中心都是自己搭建的，目前还没有和其他公有云厂商合作。... 阅读全文〉
虚拟人靠谱的落地场景有哪些？
2022-06-13 14:06:19

像企业培训应该是可以用的，或有客户来公司，在公司门口放一个接待用的机器人，看起来也比较靠谱。... 阅读全文〉
目前国内或是海外是否已有了具备相关能力的、即真正所谓的超写实虚拟人？
2022-06-13 14:06:19

一开始课件放的爱因斯坦，目前已经是比较好的超写实的虚拟人。像柳叶西，它其实不是实时的，而是用离线的方式渲染出来，不是实时的超写实虚拟数字人，离真正的实时超写实虚拟数字人还有一段距离，但是估计应该快了，... 阅读全文〉
这个链接对外开放吗？
2022-06-13 14:06:19

因为现在演示的 demo只是一个测试的demo，正式的角色很快会发布，所以演示链接暂不对外。... 阅读全文〉