摆脱编码器依赖！Encoder-free 3D多模态大模型，性能超越13B现有SOTA

今天小编分享的科学经验：摆脱编码器依赖！Encoder-free 3D多模态大模型，性能超越13B现有SOTA，欢迎阅读。

无编码器多模态大模型被拓展到 3D 领網域——

3D 编码器的功能被融入 LLM 本身，无编码器 3D LMM 适应不同的点云分辨率，摆脱预训练编码器的依赖。

来自上海 AI Lab、西北工业大学、香港中文大学、清华大学等提出ENEL，在预训练阶段探索了如何使用自监督损失将 3D 编码器的功能整合到 LLM 本身，在指令调优阶段提出了一种层次几何聚合策略，基于 PointLLM 首次全面研究了无编码器架构在 3D 多模态大模型中的潜力。

在 Objaverse 基准测试中，ENEL 表现突出，性能上超越目前 SOTA ShapeLLM-13B。

基于编码器架构的 3D LMM 的局限性

针对 3D 大型多模态模型（LMMs），基于编码器的架构存在以下潜在问题：

（1）点云分辨率限制。3D 编码器通常在固定分辨率的点云数据上进行预训练（如 PointBERT 中的 1024 个点）。然而在推理过程中，点云的分辨率可能发生变化（例如，8192 或 512 个点），这导致训练与推理分辨率不一致，从而在提取 3D 嵌入时丢失空间信息，影响 LLM 的理解能力，如图 ( a ) 所示。

（2）嵌入语义差异。3D 编码器通常采用自监督学习方法（如掩码自编码器和对比学习）进行预训练，但其训练目标与 LLMs 的语义需求可能不完全一致，因此无法捕捉 LLMs 理解 3D 物体所需的关键语义信息，如图 ( b ) 所示。

简单的 MLP 通常也难以实现充分的语义转换。从上图可见，ENEL 的无编码器架构提供了更高的灵活性和更强的泛化性，更多关注到 3D 关键语义。

应用自监督损失将 3D 编码器纳入 LLM 本身

无编码器结构首先面临的问题是如何提取高层次 3D 语义信息，避免模型难以捕捉 3D 点云的复杂空间结构。可以观察到从 PointLLM 中拿掉 Encoder 后，模型性能显著下降。

PointLLM 原生的 token embedding 模块过于粗粒度，为了减少信息损失并提供精细的局部特征，团队采用了一个来自 Point-PN 的轻量化变体小型网络。

具体而言，对于点云团队通过 FPS 进行下采样，采用 knn 进行局部聚合，并使用可学习的线性层进行特征编码。结果表明团队设计的 embedding 模块相比可以带来明显的性能提升。

为了让 LLM 进一步承担 encoder 的编码功能，在预训练阶段尝试了将 LLM 的前几层设为可学习来挖掘点云特征中的高级语义信息，结果发现较小的学习率能够带来更好的结果。

通过以上两种改变，无编码器结构已经与基于编码器的 PointLLM 在描述任务上持平。

当前的 3D 编码器大多依靠自监督损失学习提取并编码高层次 3D 语义信息 , 主要分为掩蔽建模损失 ( a ) 、重建损失 ( b ) 、对比损失 ( c ) 和知识蒸馏损失 ( d ) 。

基于编码器架构的 3D LMM 在训练时依靠对文字部分应用自回归损失进行学习，那是否能同时对点云部分应用自监督损失，将 3D 编码器的能力整合进 LLM 本身？

团队在预训练阶段实现并评估了这些损失对无编码器 3D LMM 的影响。

具体而言，掩蔽建模损失和重建损失分别对点云掩码 token 的部分进行恢复和对全体点云 token 进行重建，而知识蒸馏损失采用 uni3d-L 在特征层面进行蒸馏。

最后团队提出了一种混合语义损失，先对点云 token 进行随机掩码，然后将 mask token 拼接在 visible token 的后面以符合自回归逻辑，同时对 visible token 计算重建损失，这种混合方法不仅能够有效地将高层次语义信息嵌入 LLM 中，还能确保在整个点云学习过程中，几何信息的一致性得以保持。