正所谓，数据是推动自动驾驶的原动力。自动驾驶汽车（AV） 需要大量数据支持算法模型的训练，使其能够适应各种驾驶场景和复杂路况，提高系统的鲁棒性和泛化性。而传统的数据采集方法可能受限于实际道路条件和安全问题，无法获取到大量多样化的数据。在此过程中，生成式AI技术展现出了巨大的潜力。

生成式AI能够生成肉眼无法分辨真假的图像，结合自动驾驶模型训练的数据需求，生成任何人类想象到的驾驶场景。从而为模型训练提供高质量合成数据，破解自动驾驶数据和测试难题。

香港科技大学（广州）在读博士李乐恒等研究员尝试使用Generative NeRF生成驾驶场景中的自带标注的训练数据，但发现以GIRAFFE（CVPR 2021 best paper）为代表的NeRF无法生成与标注相匹配的多视图数据，从而阻碍了在下游任务的应用。

为解决这个问题，他们设计了一种2D-3D解耦的生成框架Lift3D。先利用2D GAN生成带有姿态标注的多视图图像，再使用Conditional NeRF将其升维至3D，这样生成的结果能同时具有逼真的纹理和多视图一致性，证明了生成式AI可以很大程度地提高下游感知模型的性能。相关论文发表在CVPR 2023上。

8月14日晚7点，「自动驾驶新青年讲座」第20讲邀请到香港科技大学（广州）在读博士李乐恒参与，主讲《生成式AI应用于自动驾驶感知数据生成的探索》。