基于文本的生成任务是当前的一个研究热点。其中，文本到三维形状生成主要是利用深度学习模型和生成模型，将文本描述映射到三维形状的表示空间，并生成符合文本描述的三维形状或物体模型。现阶段，该任务仍然具有挑战性，原因是缺乏大规模的文本-形状配对数据、这两种模态之间存在实质性的语义差距，以及三维形状的结构复杂性。

来自香港中文大学、香港大学以及湖南大学的研究者们，在 ICLR 2023 上提出了一种新的文本引导 3D 形状生成方法（ISS）。该方法使用图像作为阶梯来连接文本和 3D 形状，无需成对的文本和 3D 数据即可生成 3D 形状。其核心是一种两阶段特征空间对齐策略。首先，将 CLIP 图像特征映射到 SVR 模型的细节丰富的 3D 形状空间，然后通过鼓励渲染图像和输入文本之间的 CLIP 一致性，将 CLIP 文本特征添加到 3D 形状空间。

此外，为了扩展 SVR 模型的生成能力，他们设计了一个文本引导的 3D 形状风格化模块，可以生成新颖的结构和纹理来创造出更有趣的结果。同时，他们利用预训练的文本到图像扩散模型来增强生成多样性、保真度和程式化能力。实验结果表明，ISS 在生成质量和与输入文本的一致性方面优于最先进的方法。

6月6日晚8点，「AI新青年讲座」第212讲邀请到 ISS 一作、香港中文大学在读博士刘政哲参与，主讲《以图为梯：从文字到 3D 形状生成》。