该论文的第一作者和通讯作者均来自北京大学王选计算机研究所的 VDIG (Visual>近年来，针对单个物体的 Text-to-3D 方法取得了一系列突破性进展，但是从文本生成可控的、高质量的复杂多物体 3D 场景仍然面临巨大挑战。之前的方法在生成场景的复杂度、几何质量、纹理一致性、多物体交互关系、可控性和编辑性等方面均存在较大缺陷。
最近，来自北京大学王选计算机研究所的 VDIG 研究团队与其合作者公布了最新研究成果 GALA3D。针对多物体复杂 3D 场景生成，该工作提出了 LLM 引导的复杂三维场景可控生成框架 GALA3D，能够生成高质量、高一致性、具有多物体和复杂交互关系的 3D 场景，支持对话式交互的可控编辑，论文已被 ICML 2024 录用。
论文标题：GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting
论文链接：https://arxiv.org/pdf/2402.07207
论文代码：https://github.com/VDIGPKU/GALA3D
项目网站：https://gala3d.github.io/
GALA3D 是一个高质量的 Text-to-3D 复杂组合场景生成与可控编辑框架。用户输入一段描述文本，GALA3D 能够 zero-shot 地生成相应的具有多物体和复杂交互关系的三维场景。GALA3D 在保证生成 3D 场景与文本高度对齐的同时，展现了其在生成场景质量、多物体复杂交互、场景几何一致性等方面的卓越性能。此外，GALA3D 还支持用户友好的端到端生成和可控编辑，使得普通用户能够在对话式的交谈中轻松定制和编辑 3D 场景。在与用户的交流中，GALA3D 可以精准地实现复杂三维场景对话式的可控编辑，并根据用户的对话实现复杂三维场景的布局变换、数字资产嵌入、装修风格改变等多样化的可控编辑需求。
方法介绍
GALA3D 的整体架构如下图所示：
GALA3D 利用大型语言模型（LLMs）生成初始布局，并提出布局引导的生成式 3D 高斯表示构建复杂 3D 场景。GALA3D 设计通过自适应几何控制优化 3D 高斯的形状和分布，以生成具有一致几何、纹理、比例和精确交互的 3D 场景。此外，GALA3D 还提出了一种组合优化机制，结合条件扩散先验和文生图模型，协作生成具有一致风格的 3D 多物体场景，同时迭代优化从 LLMs 提取的初始布局先验，以获得更加逼真准确的真实场景空间布局。广泛的定量实验和定性研究表明 GALA3D 在文本到复杂三维场景生成方面取得了显著效果，超越现有文生 3D 场景方法。
a、基于 LLMs 的场景布局先验
大语言模型展现了优异的自然语言理解和推理能力，本文进一步探索了 LLMs 大语言模型在 3D 复杂场景的推理和布局生成能力。如何在没有人工设计的情况下获得相对合理的布局先验有助于减少场景建模和生成的代价。对此，我们使用 LLMs (例如 GPT-3.5) 对文本输入的实例及其空间关系进行抽取，并生成相应的 Layout 布局先验。然而，通过 LLMs 解读的场景 3D 空间布局和 Layout 先验与实际场景存在一定差距，通常表现生成悬浮 / 穿模的物体，比例差异过大的物体组合等。进一步地，我们提出了 Layout Refinement 模块，通过基于视觉的 Diffusion 先验和 Layout 引导的生成式 3D 高斯对上述生成的粗糙布局先验进行调整和优化。
b、Layout Refinement
GALA3D 使用基于 Diffusion 先验的 Layout 布局优化模块对上述 LLMs 生成的布局先验进行优化。具体地，我们将 Layout 引导的 3D 高斯空间布局的梯度优化加入 3D 生成过程，通过 ControlNet 对 LLM-generated Layouts 进行空间位置、旋转角度和尺寸比例的调整，如图展示了优化前后 3D 场景和 Layout 的对应关系。经过优化的 Layout 具有更加准确的空间位置和比例尺度，并且使得 3D 场景中多物体的交互关系更加合理。
c、布局引导的生成式 3D 高斯表示
我们首次将 3D-Layout 约束引入 3D 高斯表示，提出了布局引导的生成式 3D 高斯，用于复杂文生 3D 场景。Layout-guided 3D 高斯表示包含多个语义抽取的实例物体，其中每个实例物体的 Layout 先验可以参数化为：
其中，N 代表场景中实例物体的总数。具体地，每一个实例 3D 高斯通过自适应几何控制进行优化，得到实例级的物体 3D 高斯表示。进一步地，我们将多个物体高斯根据相对位置关系组合到全场景中，生成布局引导的全局 3D 高斯并通过全局 Gaussian Splatting 渲染整个场景。
d、自适应几何控制
为了更好地控制 3D 高斯在生成过程中的空间分布和几何形状，我们提出了针对生成式 3D 高斯的自适应几何控制方法。首先给定一组初始高斯，为了将 3D 高斯约束在 Layout 范围内，GALA3D 使用一组密度分布函数来约束高斯椭球的空间位置。我们接着对 Layout 表面附近的高斯进行采样来拟合分布函数。之后，我们提出使用形状正则化控制 3D 高斯的几何形状。在 3D 生成的过程中，自适应几何控制不断优化高斯的分布和几何，从而生成更具纹理细节和规范几何的 3D 多物体与场景。自适应几何控制还保证了布局引导的生成式 3D 高斯具有更高的可控性和一致性。
实验结果
与现有 Text-to-3D 生成方法相比，GALA3D 展现了更加优异的 3D 场景生成质量和一致性，定量实验结果如下表所示：
我们还进行了广泛且有效的用户调研，邀请 125 位参与者（其中 39.2% 为相关领域的专家和从业人员）对本文方法和现有方法的生成场景进行多角度评估，结果如下表所示：
实验结果表明 GALA3D 在生成场景质量、几何保真度、文本一致性、场景一致性等多维度的测评指标中均超越现有方法，取得了最优的生成质量。
如下图定性实验结果所示，GALA3D 能够 zero-shot 地生成复杂多物体组合 3D 场景，并且具有良好的一致性：
下图展示了 GALA3D 能够支持用户友好的、对话式的可控生成和编辑：
更多研究细节，可参考原论文。
关于LLMs，大家有想到哪些有创意的应用场景？
创新视角：探索LLMs在实际应用中的惊人潜力——GPT4Rec的匠心独运
随着自然语言处理(NLP)技术的飞速发展，推荐系统正逐渐融入全新的智能维度。 然而，传统模型在内容利用、解释性和适应性上仍存在瓶颈。 这时，一项名为GPT4Rec的研究突破了这一现状，它提出了一种革命性的生成框架，通过结合语言模型的力量和搜索引擎的效率，为个性化推荐和用户兴趣理解带来了全新的可能性。 让我们一同揭开GPT4Rec的神秘面纱，看看它是如何在实际场景中大放异彩的。
智能升级：生成框架的实践与优势
GPT4Rec的核心在于利用GPT-2（117M参数的强大模型）和搜索引擎的协同工作。 通过生成多查询，它能精准捕捉用户的多元兴趣，从而提升推荐的多样性和解释性。 实验结果令人瞩目，GPT4Rec在Recall@K指标上超越了现有先进方法，显示出其在性能优化方面的卓越能力，特别是在处理冷启动项目时，其表现尤为突出。
创新实践：生成与搜索的完美结合
GPT4Rec的设计巧妙地融合了生成和搜索策略。 首先，微调过的GPT-2能学习用户独特的表示，通过波束搜索生成多样化的查询。 搜索引擎则负责匹配和筛选，确保每个查询都能精准指向相关物品。 在Beauty和Electronics等数据集上的实验显示，这种方法显著提升了推荐的召回率，同时也兼顾了多样性与兴趣的覆盖率。
实验数据显示，GPT4Rec的多查询生成策略对提高Recall@k至关重要，每一个生成的查询都能独立地揭示用户兴趣。 如图所示，GPT4Rec不仅在表1中展示了出色的多样性与全面的用户兴趣覆盖率，而且在实际案例研究中，如“化妆调色板”和Logitech鼠标查询的聚焦，展现了其在理解和解释用户兴趣方面的强大能力，有效解决了冷启动推荐的难题。
未来展望：无限可能与拓展
GPT4Rec的出现预示着推荐系统的革新时代。 它的灵活性和可扩展性使其能够适应未来更先进模型和策略的发展。 无论是对于个性化推荐的精准度，还是对于用户需求的深度理解，GPT4Rec都展示了强大的创新潜力，将在未来的应用领域中大放异彩。
总结来说，GPT4Rec以独特的生成框架，重塑了推荐系统的未来，为我们提供了全新的视角来思考如何利用LLMs在实际场景中创造出更具创意和价值的应用。
