ICLR 2025 Spotlight | 让城市「动」起来！DynamicCity突破4D大场景生成技术边界

有志者，事竟成！如果你在学习科技周边，那么本文《ICLR 2025 Spotlight | 让城市「动」起来！DynamicCity突破4D大场景生成技术边界》，就很适合你！文章讲解的知识点主要包括，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

上海人工智能实验室等机构联合推出DynamicCity：一款高效、高质量的4D动态场景生成模型，已入选ICLR 2025 Spotlight论文。该模型突破了现有3D场景生成技术局限于静态单帧的瓶颈，首次实现了高质量的4D场景建模，并在生成质量、训练速度和内存消耗方面取得显著进展。

DynamicCity的核心创新在于其4D到2D特征降维技术。它利用变分自编码器(VAE)将复杂的4D场景压缩为紧凑的2D HexPlane特征表示，并结合扩散模型(Diffusion Transformer, DiT)进行场景生成。 这种方法有效避免了高维潜空间的复杂性，提升了模型的学习效率。

具体而言，DynamicCity包含两个关键模块：

1. 基于HexPlane表征的VAE: 该模块利用Transformer架构的投影模块将4D点云序列压缩为六个2D特征平面(HexPlane)，并通过Expansion and Squeeze Strategy (ESS)进行高效解码，重建原始时空信息。

2. 基于重组HexPlane的扩散模型: 该模块利用Padded Rollout Operation (PRO)将HexPlane重组为适合DiT框架的特征图，最大程度保留结构化信息，从而提升DiT的学习效果。

DynamicCity的主要贡献包括：高效的时空特征压缩、创新的特征重组方法以及强大的可控生成能力。它支持轨迹引导、指令驱动、4D场景修改和布局条件生成等多种功能，为自动驾驶等领域提供了强大的虚拟仿真工具。

项目主页和代码已公开：

• 论文：https://arxiv.org/abs/2410.18084
• 主页：https://dynamic-city.github.io
• 代码：https://github.com/3DTopia/DynamicCity

DynamicCity的实验结果表明，其在生成质量、效率和可控性方面均优于现有方法。 该模型为4D场景生成领域带来了突破性进展，有望推动智能系统在虚拟环境中的训练和验证。

理论要掌握，实操不能落！以上关于《ICLR 2025 Spotlight | 让城市「动」起来！DynamicCity突破4D大场景生成技术边界》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！