如何评价计算精度对训练结果的影响。现在有说法是将计算的精度由双精降低到单精度，甚至使用定点精度，只要网络深度足够就对最终结果没有大的影响。这个趋势是否属实？为何深度网络没有出现那种前端小的扰动导致后续计算结果出现大的偏差？

提问

问题出自：揭秘深度学习

如何评价计算精度对训练结果的影响。现在有说法是将计算的精度由双精降低到单精度，甚至使用定点精度，只要网络深度足够就对最终结果没有大的影响。这个趋势是否属实？为何深度网络没有出现那种前端小的扰动导致后续计算结果出现大的偏差？

2020-04-21 13:59:24

1111 阅读全文〉

回答

相关问答

如何增强深度学习的可解释性?
2020-04-21 14:06:49

NVIDIA中国GPU应用市场总监侯宇涛：对于深入学习，专家定义它为黑盒子，在隐藏的网络中，你没有办法从输出端一步步可逆，去看到它如何去形成这些权重的参数。由于深度学习在一些比较关键的流程中都... 阅读全文〉
如何改进深度学习方法从而实现在线的小样本学习?
2020-04-21 14:06:26

NVIDIA中国GPU应用市场总监侯宇涛：我是这样理解的，在推理端部署了训练和推理两种功能，然后根据实际的情况去启动训练。有一些操作上的细节需要注意，首先，如何启动训练，因为系统无法判断你目前... 阅读全文〉
没有硬件资源的开发者怎么来使用英伟达云端服务器做开发？
2020-04-21 14:05:52

NVIDIA中国GPU应用市场总监侯宇涛： NVIDIA没有云端服务器，我们有各种各样与服务器相关的云端解决方案，咱们中国的阿里云有提供有云端服务器GPU云，您可以去买它的服务来做开发，它是基于... 阅读全文〉
如何优化神经网络或者软件架构来提高硬件的效率（英伟达芯片功耗高，效率就不会很突出）？
2020-04-21 14:05:06

NVIDIA中国GPU应用市场总监侯宇涛：按照我的理解，您的问题应该是在推演端。在推演端，我们现在有Tegra，它的功耗从十几W到二十多W，效率也比较高。我觉得您说的不是训练平台，因为训练平台... 阅读全文〉
如何更好利用NVIDIA JETSON TX2 进行深度学习方面的应用（TX2适用于什么领域）？
2020-04-21 14:04:33

NVIDIA中国GPU应用市场总监侯宇涛： JETSON TX2是NVIDIA嵌入式GPU平台，主要用于做Inference的，因此你可以使用TX2去做一些嵌入式行业的应用，比如机器人、自动化设... 阅读全文〉
深度学习需要大量的样本，当识别效果不佳时，如何判断是样本问题和还是算法问题？
2020-04-21 14:04:03

NVIDIA中国GPU应用市场总监侯宇涛：这个问题也是目前经常存在的问题，由于在训练的过程当中，无法知道是数据集不合适还是算法不合适。我认为，这个时候不需要花太多精力去用一个不能定义的标准来判... 阅读全文〉
学习深度学习的一个思路和方法是怎样的？从入门新手到高级进阶的思路是什么？
2020-04-21 14:03:33

另外，还需要了解各种网络，如VGG、GoogleNet等等，也可以从别人成功的经验去参考和理解。从网络到Framework再到数据整理，这些行业预备知识都是需要去了解的，至于后期的高级进阶，也是基于现... 阅读全文〉