EMNLP'26：GPT也不会「读空气」，狼人杀基准测出社交盲区

当人类说出“我不是狼人”时，多模态大模型能同时捕捉到表情和声音。但它真的能分辨这句话的真伪吗？

东京大学研究团队最近提出了一项多模态交互式欺骗评估基准MIDA，用于系统性地测试GPT、Gemini、Claude、Qwen、DeepSeek等开源与闭源模型在多人社交互动中的欺骗识别能力。

实验结果显示，即便是当前性能领先的多模态大模型，也难以可靠地区分真话与谎言。它们能处理图像、声音和文字，却未必能理解一个人“知道什么、相信什么、又试图让别人相信什么”。

该研究已被EMNLP 2026主会接收。

论文链接：https://arxiv.org/abs/2511.16221 项目主页：https://ut-vision-social.github.io/ 代码地址：https://github.com/kkkcx/Can-MLLMs-Read-the-Room 数据集地址：https://huggingface.co/datasets/Ukpkmkkk/MIDA

论文作者康彩新、黄逸飞、欧阳良扬、张铭方、刘锐聪和佐藤洋一均来自东京大学。团队专注于多模态理解、视频分析与社会智能，本研究主要聚焦于复杂多人互动中的欺骗判断与心智推理。

图1展示了MIDA的整体框架。左侧是基于游戏记录、规则与人工标注的标签构建流程；中间是策略分类与欺骗判断任务；右侧为评测模型及SoCoT、DSEM两个推理模块。

用狼人杀为“谎言”建立标准

以往的欺骗检测研究多围绕单人陈述或两人对话展开。但现实中的谎言很少孤立出现，它通常夹杂在追问、站队、辩护和群体压力中，并随着新信息不断变化。

更棘手的是，现实世界中某句话是否属于谎言，往往缺乏绝对可靠的标准答案。

研究团队选择“一夜终极狼人”作为实验环境，因为这款游戏同时解决了上述两个问题。

游戏中，每位玩家都有隐藏身份，夜间行动决定了玩家知道的信息，白天发言则反映其判断与策略。由于角色、行动和游戏规则均可追溯，研究者能判断某句话是否违背了说话者当时掌握的信息。

因此，MIDA评估的不是一个人“看起来是否在撒谎”，而是他明明知道什么，却说了什么。

MIDA基准

MIDA共包含2360条发言。其中，819条来自Ego4D中的40局线下游戏，1541条来自151段YouTube游戏视频。

这两个子集形成了自然的难度梯度：Ego4D中的参与者以新手为主，YouTube视频中的玩家则更有经验，更擅长使用复杂的欺骗策略。

每条样本都包含视频、音频、对话历史和游戏规则，并被标注为真、假或中性。这里的“中性”并非指态度中立，而是该发言不包含可基于说话者当前知识状态核验的事实，例如提问、猜测、意见或假设。

为获得可验证的标签，研究团队先人工记录游戏中的夜间行动，再结合角色、规则和对话内容生成并校验每条发言的标签。

需要说明的是，角色、夜间行动和投票结果仅用于构建可验证的真值标签，不会在测试阶段提供给模型。模型仍需根据视频、音频和对话历史，自行推断说话者掌握的信息及其真实意图。因此，游戏规则提供了一个可控、可验证的评测环境，而非帮助模型直接获取答案的捷径。

除了判断真假，MIDA还要求模型识别发言所使用的说服策略，包括身份声明、指控、辩护、证据、询问和行动号召。

图2展示了两个数据子集中不同说服策略的占比及TRUE、FALSE、NEUTRAL标签分布。身份声明和证据类发言承载了更多可核验信息，而询问和无明确策略的发言大多属于NEUTRAL。

实验结果：总体准确率可能具有误导性

研究覆盖了GPT-4o、GPT-5、Gemini、Claude，以及Llama、InternVL、Qwen、DeepSeek等模型。

从总体准确率看，一些模型的表现似乎不差。在Ego4D子集上，GPT-4o的总体准确率达到74.0%，Qwen2.5-VL-7B达到76.4%。

但MIDA中存在大量中性发言。模型只要频繁选择“中性”，就能获得看似不错的总分。

当研究者只保留必须判断真假的样本时，结果发生了显著变化：GPT-4o的二分类准确率仅为27.6%，GPT-4o-mini也只有39.4%。Qwen2.5-VL-7B虽然总体准确率最高，但其对“假话”的F1值为0。

换句话说，一个模型可能在大多数时候回答“无法判断”，从而获得较高的总体准确率，却依然无法真正识别谎言。

表1展示了不同模型在MIDA-Ego4D和MIDA-YouTube上的主要评测结果。总体准确率与仅考察TRUE、FALSE样本的二分类准确率之间存在明显落差。

最需要社会推理的发言，恰恰是模型表现最差的部分。

在“身份声明”类发言上，各款模型的平均准确率在两个子集上分别仅为15.7%和25.3%；对于包含证据的发言，平均准确率也均低于40%。模型或许能识别“这句话是在指控别人”，却不一定知道这项指控是否可能成立。

经验玩家进一步放大了难度。YouTube玩家给出虚假证据的比例达36.8%，接近新手玩家的3倍；身份谎言占比为51.6%，也远高于新手玩家的18.9%。

对话历史比“微表情”更重要

研究团队通过消融实验分析了不同信息的作用。

去掉此前的对话历史后，GPT-4o-mini在真假样本上的准确率从39.4%骤降至13.4%。

这表明，识别一句话属于提问、辩护还是指控，可能只需观察局部文本；而判断这句话的真假，则必须记住谁说过什么、谁知道什么，以及不同玩家的说法能否相互印证。

视觉信息也并非越多越好。加入一帧画面后，模型的宏平均F1提高了2.5个百分点；增加到三帧后，增益反而缩小至2.1个百分点。

更多画面带来了更多表情和动作，也引入了更多噪声。模型虽然“看见”了这些线索，却未必知道哪些线索真正重要。

表2展示了对话历史与视觉帧数的消融实验。移除对话历史后，MIDA二分类准确率从39.4%降至13.4%；增加视觉帧数也未带来持续增益。

研究方法

针对上述问题，研究团队设计了社会思维链SoCoT和动态社会认知记忆DSEM两个模块。

图3展示了SoCoT将面部、身体和声音转化为结构化线索；DSEM则维护每位参与者随时间变化的知识、发言和关系状态。

SoCoT要求模型先描述面部表情、身体姿态和声音特征，再推测说话者的目标与心理状态，最后给出真假判断。

这一过程相当于把“他说话时声音发抖，所以可能有问题”这样的直觉，拆解成可检查的推理步骤。

不过，非语言线索并不总能提高判断能力。以GPT-4o-mini为例，只分析面部线索时，模型总体准确率提高了8个百分点，真假二分类准确率却下降了7.1个百分点。

紧张、回避视线等看起来“可疑”的表现，并不等同于撒谎。模型即使成功识别出这些表现，也可能对它们作出错误解释。

DSEM采用了另一种思路：为每名玩家维护一块持续更新的“记忆板”，记录其角色声明、行动、见闻、已知事实、人物关系和事件时间线。

面对一条新发言，模型不再只分析当前画面，而是持续核对：这个人此刻应该知道什么？他的说法是否与此前信息冲突？其他玩家的发言能否为其提供支持？

实验中，DSEM带来的提升更加稳定。它使GPT-4o-mini的二分类准确率提高2.3个百分点、宏平均F1提高3.3个百分点；在Qwen2.5-VL-7B上，宏平均精确率提高7.6个百分点。

相比从某个瞬间的表情中寻找“破绽”，持续追踪每个人的知识与立场，似乎更接近人类实际使用的社会推理方式。

表3展示了SoCoT和DSEM对闭源、开源模型基线的影响。SoCoT对不同指标的影响并不一致，而DSEM在两类模型上均稳定提高了真假二分类准确率。

结论

MIDA的意义并不局限于狼人杀。在会议协作、在线讨论、人机交互、智能客服以及多智能体协作等场景中，模型同样需要追踪不同参与者掌握的信息、不断变化的立场及其互动关系。

狼人杀为这类能力提供了一个可控且足够复杂的实验环境：参与者拥有不同的私有信息，会结盟、质疑、辩护，也会有意识地影响他人的判断。通过在这一环境中暴露模型的能力缺口，MIDA为更广泛的多人社会推理研究提供了可量化的起点。

作者将当前的多模态大模型概括为强大的“知识引擎”，而非成熟的“社会智能体”。它们缺少的可能不只是更强的视觉编码器，而是对他人知识、信念和意图进行持续建模的能力，也就是通常所说的“心智理论”。

当模型离开答案明确的视觉问答，进入一个人人掌握不同信息、观点持续变化、甚至会主动影响他人判断的环境时，今天最强的多模态大模型，依然很难真正“读懂空气”。

参考资料： https://arxiv.org/abs/2511.16221

本文来自微信公众号“新智元”，作者：新智元，36氪经授权发布。