透过不同视角看世界：KAIST研究团队如何让AI理解多视角空间推理

这项研究由KAIST（韩国科学技术院）的Phillip Y. Lee和Minhyuk Sung，斯坦福大学的Jihyeon Je和Leonidas Guibas，以及NVIDIA的Mikaela Angelina Uy共同完成，发表于2025年4月24日的arXiv预印本平台（arXiv:2504.17207v1）。有兴趣深入了解的读者可以通过项目网站 https://apc-vlm.github.io/ 获取更多信息。

想象一下，当你和朋友在公园里散步时，你指着远处说："从那个长椅的角度看，那只狗在喷泉的左边还是右边？"这个看似简单的问题对人类来说轻而易举，因为我们自然而然地能够想象自己站在长椅的位置，并从那个视角"看"世界。但对于人工智能来说，这种换位思考的能力却是一项极具挑战的任务。

KAIST和斯坦福大学的研究团队正是针对这一问题，开发了名为"抽象视角变换"（Abstract Perspective Change，简称APC）的创新框架，让视觉语言模型（VLM）能够像人类一样，从不同视角理解和分析空间关系。这项研究不仅填补了AI在空间认知能力上的空白，更为未来人机协作和智能体环境互动提供了关键技术支持。

背景：AI的"自我中心"视角困境

现代视觉语言模型（VLM）在理解图像和回答问题方面取得了长足进步。我们现在可以向AI展示一张照片并问："图中有几个人？"或"狗在做什么？"，AI通常能给出准确答案。然而，研究人员发现这些模型存在一个显著的局限性：它们主要从摄像机的视角（自我中心视角）理解空间关系，而难以转换到其他视角（他心视角）。

想象你看到一张照片，其中有一个人面对着一棵树，树的旁边有一只狗。如果问AI："从摄像机的角度看，狗在树的左边还是右边？"，它可能会给出正确答案。但如果问："从照片中那个人的角度看，狗在树的左边还是右边？"，大多数AI模型都会犯错，因为它们倾向于仍从摄像机角度回答问题。

这种局限性严重阻碍了AI在现实世界中的应用。想象一个家用机器人，如果它不能理解"把书放在我左手边的架子上"这样从人类视角出发的指令，而是按照自己的"左手边"行动，那将导致严重的交流障碍。

人类的心理想象能力带来的启示

研究团队意识到，解决这一问题的关键在于理解人类是如何完成这种视角转换的。当我们需要从他人角度思考时，并不会在脑海中生成一幅完整的照片般的"视觉想象"，而是创建一个抽象的心理模型，其中只包含关键的空间信息。

正如研究的主要作者Phillip Y. Lee解释的那样："人类在思考不同视角时，会建立一个简化的心理图像，而不是试图在脑海中重建整个场景的精确视觉。我们的大脑会抽取出关键物体及其空间关系，然后在这个抽象模型上进行推理。"

这种人类认知机制给了研究团队重要启示：与其尝试从不同角度生成逼真的新图像（这在计算上非常复杂），不如构建一个足够简单但包含关键空间信息的抽象表示，然后在这个抽象表示上进行视角转换。

抽象视角变换（APC）框架：AI的"心理图像"能力

基于这一洞察，研究团队开发了抽象视角变换（APC）框架，它模拟人类的心理图像过程，让AI能够从任意视角进行空间推理。APC框架包含三个主要阶段：

第一阶段是场景抽象（Scene Abstraction）。想象你在向朋友描述一个复杂场景时，不会描述每一个细节，而是会说："有一个男人站在银色轿车旁边，他的右侧有一个女人。"APC同样如此，它首先使用视觉模型（如物体检测、分割和方向估计工具）从图像中提取关键物体及其在3D空间中的位置和朝向信息，构建一个简化但包含关键空间信息的场景抽象表示。

第二阶段是视角变换（Perspective Change）。一旦构建了场景抽象，APC会确定问题中要求的参考视角（例如"从男人的角度看"），然后将场景抽象从原始摄像机视角转换到参考视角的坐标系统。这就像是在抽象的"心理图像"中，将自己的视点移动到另一个位置并重新看待场景。

第三阶段是视角提示生成（Perspective Prompt Generation）。完成视角转换后，APC以两种方式之一向视觉语言模型提供转换后的场景信息：

数值提示（Numerical Prompt）：直接提供转换后的3D坐标等数值信息
视觉提示（Visual Prompt）：生成一个简化的视觉表示，其中不同物体由不同颜色的方块表示，从参考视角进行渲染

这样，原本需要从他心视角回答的问题，就被转化为从自我中心视角回答的问题，后者是视觉语言模型擅长处理的。

实验证明：从不同角度"看"世界的突破

研究团队在两个基准测试集上评估了APC框架的性能：一个是自己构建的合成数据集COMFORT++，另一个是基于真实图像的3DSRBench。这些测试涵盖了多种空间推理任务，包括左/右关系判断、近/远关系判断、可见性判断和朝向判断等。

实验结果令人振奋。在合成数据集上，对于左/右关系判断，现有最佳视觉语言模型的准确率仅为55.33%（几乎接近随机猜测），而APC框架则达到了89.67%的准确率。在真实图像数据集上，现有模型的准确率更低，大多低于50%，而APC框架则实现了72.78%的准确率。

更令人印象深刻的是APC框架的鲁棒性。研究团队设计了一个特殊实验，改变参考物体与摄像机之间的角度差，测试不同模型在各种视角差异下的表现。结果显示，现有模型的准确率随着角度差的增大而急剧下降，而APC框架则能在各种角度差异下保持稳定的高准确率。

这就像是在测试：当你需要想象站在与你完全相反方向的朋友的位置，判断"左边"和"右边"时的难度。大多数AI在这种情况下会彻底混淆，而配备了APC框架的AI则能像人类一样轻松应对。

比较与优势：为何抽象表示优于精确重建

值得注意的是，研究团队还比较了APC与其他可能的解决方案，特别是基于密集3D重建的方法。这些方法试图从单张图像精确重建整个3D场景，然后从目标视角重新渲染，类似于制作一个完整的3D模型然后从不同角度观看。

然而，这些方法存在两个主要问题：一是计算成本高昂，处理一个问题需要超过260秒；二是重建和渲染质量往往较差，导致准确率不高。相比之下，APC框架只需约17秒就能处理一个问题，并且准确率显著更高。

这再次验证了研究团队的核心洞察：模拟人类的抽象心理图像过程，比试图精确重建整个视觉世界更有效。正如我们在解决日常空间推理问题时不需要在脑海中创建照片级别的想象，AI同样可以通过抽象表示高效地进行空间推理。

未来展望：走向更自然的人机交互

这项研究的意义远超学术价值。它为未来的智能体与环境交互、多智能体协作以及人机交互提供了关键技术基础。

想象未来的智能家居助手能够理解"帮我把遥控器放在沙发左边的茶几上"这样的指令，即使它此时的"视角"与你完全不同；或者自动驾驶汽车能够理解"在前方那辆红色卡车的右侧超车"这样的指令，无论它自己的摄像头朝向如何。

研究的首席作者Phillip Y. Lee表示："我们的目标不仅是提高AI的空间推理能力，更是让AI能够站在人类的角度思考问题，这是实现自然、无缝人机协作的关键一步。"

研究团队承认当前的APC框架仍有改进空间。例如，它依赖多个视觉基础模型，这增加了内存使用量。未来的工作方向包括探索更丰富的场景抽象方法，如使用3D边界框和语义场景重建，以进一步提高性能和效率。

结语：打破AI的"自我中心"局限

归根结底，这项研究关乎如何让AI更加"人性化"——能够跳出自身视角，理解他人的视角和意图。这种能力对于人类社会交往是如此基础，以至于我们往往意识不到它的复杂性和重要性。

当孩子学会理解"从妈妈的角度看，玩具在沙发的左边"这样的概念时，是认知发展的重要里程碑。现在，KAIST和斯坦福大学的研究团队通过APC框架，正在帮助AI达成类似的认知突破。

这项研究提醒我们，真正的智能不仅是理解世界，还包括理解他人如何看待世界。随着像APC这样的框架继续发展，我们离创造真正能理解人类视角、能与人类自然协作的AI又近了一步。

对于任何对AI未来发展感兴趣的人来说，这项研究都值得关注。它不仅展示了解决复杂AI挑战的创新方法，更揭示了通过理解人类认知机制来推动AI进步的重要途径。如果你想了解更多细节，可以访问项目网站https://apc-vlm.github.io/，或查阅完整论文arXiv:2504.17207v1。