cuda graph能处理kernel执行有变动的情况吗，如需要根据运行时变量决定该执行哪个kernel ?

提问

问题出自：基于NVIDIA DRIVE AGX的CUDA并行加速及GPU应用性能分析

cuda graph能处理kernel执行有变动的情况吗，如需要根据运行时变量决定该执行哪个kernel ?

2020-05-22 16:16:03

NVIDIA资深并行计算技术经理池哲贵：如果根据变量来调整kernel是可以的

回答

相关问答

用agx做开发的L4国内的软件团队有推荐吗？
2020-05-22 16:16:03

首先现在从整个无人驾驶的发展状况来看，短期比较难落地，大部分的国内的合作伙伴基本上都是针对L2和L3的方案在做。具体我这边可能不太方便说他们的名字，但是其实国内这些大的、比较知名的无人驾驶公司基本上都... 阅读全文〉
multicudastream可以在多个GPU device上面吗？还是只能在同一个device？
2020-05-22 16:16:03

NVIDIA资深并行计算技术经理池哲贵： Multicudastream只针对的是一个GPU，因为多个stream只能在一个CUDA context里面，一个context只针对一个GPU,所以这个... 阅读全文〉
是否有比较方便的工具来判断单个kernel对GPU的利用情况？如果单个kernel能用上GPU的全部资源，采用多流似乎也不能带来性能提升。。
2020-05-22 16:16:03

NVIDIA资深并行计算技术经理池哲贵：一个比较粗糙的方法是用DEIVER AGX平台上面一个工具 tegrastats，它可以打印出所用CPU、GPU的使用情况，其中包含GPU的利用率，如果想更... 阅读全文〉
我看您图片实例上GPU的任务像pipeline的形式请问这是kernel引擎和数据拷贝引擎的并行吗？如果说我一个kernel做a+b 一个kernel做c-d 这两个kernel在不同的流里那么这两个kernel可以通过流的并发同时执行吗? 如果可以的话不是违反了Simd的特点
2020-05-22 16:16:03

NVIDIA资深并行计算技术经理池哲贵： Simd单指令多线程指的是在一个CUDA work上面，相比CUDAStream底层多了一个时限，CUDAStream上面没有单指令多线程这种限制。... 阅读全文〉
英伟达如何应对国内的国产化要求？
2020-05-22 16:16:03

NVIDIA卓睿： NVIDIA现在也在和国内一些Tier1，比如说德赛在合作，去做一些ECU的板子，这样的话，国内客户不管是什么样的公司，不管是主机厂还是Starup公司都可以去买这样的ECU板子... 阅读全文〉
车载使用AGX，需要厂商自己定制开发板吗？
2020-05-22 16:16:03

NVIDIA资深并行计算技术经理池哲贵：开发板的话可以用PX2，就可以做开发板，如果你想做自己的量产版，可以联系Tier1的用户去定制你的量产版，然后NVIDIA也有跟广达在合作，设计量产的PX2... 阅读全文〉
AGX功耗等指标是否满足车规要求？
2020-05-22 16:16:03

NVIDIA资深并行计算技术经理池哲贵：这个是肯定的，因为做的这个平台就是给DRIVE平台的，包括平台的硬件和软件都是是过车规要求的，而且也有一些汽车大厂在使用这个平台，他们最终是朝着量产去的，所... 阅读全文〉
DRIVE AGX对于典型模型有性能评估吗？比如mobilenetv2、resnet50等backbone
2020-05-22 16:16:03

NVIDIA资深并行计算技术经理池哲贵：现在没有公开的性能评估报告，但有在JETSON AGX上的性能评估报告，大家可以在网上搜一下作为参考,这两个性能基本上是类似的。... 阅读全文〉
如何用工具开发CUDA自定义算子
2020-05-22 16:16:03

NVIDIA资深并行计算技术经理池哲贵： CUDA的编译工具NVCC跟C++编译工具很类似，写CUDA程序跟写C++程序很类似，然后用NVCC去编译在GPU上去运行，然后可以通过CUDA GDB、N... 阅读全文〉
如果利用工具定位瓶颈算子改进和回归测试
2020-05-22 16:16:02

NVIDIA资深并行计算技术经理池哲贵：可以用Nsight去看，用Nsight去profile你的应用，找到里面耗时比较长的CUDA应用，看这个GPU应用是memeryband还是computer... 阅读全文〉
怎么用Nsight做本地编译和远程调试包括延迟分析等
2020-05-22 16:16:02

NVIDIA资深并行计算技术经理池哲贵：首先，Nsight是一个profile port，就是做GPU应用与性能分析的一个工具，它不是一个编译器，不可做编译，但可远程调试，通过Nsight连接到目... 阅读全文〉
NVIDIA在目标检测模型量化方面，怎样做到速度和精度之间的平衡。NVIDIA 在目标检测采用哪种算法
2020-05-22 16:16:02

NVIDIA资深并行计算技术经理池哲贵：速度上面可以用FP16或INT8来达到目标的速度；在精度上面，如果用INT8，目前有很多方法，最基本的有TensorRT INT8基本的量化算法，像entr... 阅读全文〉