NICE：浙大提出的理论驱动型 LLM 社会智能诊断基准¶

📊 Level ⭐⭐⭐⭐ | 16.8KB

本实体整理自原文存档，并参考浙大 arXiv 论文 NICE: A Theory-Grounded Diagnostic Benchmark for Social Intelligence of LLMs（https://arxiv.org/abs/2605.29685 ）。

一句话总结¶

NICE（Not Iust Correctness, Evaluation of social intelligence）由浙江大学心理与行为科学系与人工智能学院联合团队提出，将社会智能组织为 4 大类、11 维度、34 个能力内涵，用 137 道中国情境排序题评测 5 个前沿 LLM（GPT-5.5、Claude-Opus-4.7、Gemini-3.1-pro-preview、DeepSeek-V4-pro、Qwen3.6-plus），发现模型总体准确率（75.1%）高于人类参考组（70.4%），但「沟通」是集体短板，且模型在多轮沟通、非言语沟通、同步性三个内涵上系统失效。

NICE 解决的关键问题¶

社会智能（Social Intelligence）通常指个体理解、融入并适应社会环境的能力，对 LLM 来说直接关系到人机交互的质量与安全。现有评测基准存在三个关键 gap：

Gap 1：缺少整体全面、理论驱动的社会智能评测框架（多数基准聚焦心理理论/情绪理解等单一切片）
Gap 2：缺少精细到能力内涵的诊断能力（错误只能归到维度总分，无法定位到具体能力内涵）
Gap 3：缺少贯穿全流程的严谨心理测量学方法

NICE 的定位正是系统补齐这三条 gap。

理论框架：4 大类 × 11 维度 × 34 能力内涵¶

NICE 的理论框架由系统文献综述 + 16 位专家多轮评分修订而成，采用层次分析法（AHP）确定各层级权重。

类别	维度	模型需具备的能力
Cognition（社会认知）	社会感知、社会理解与洞察	感知、理解和推断社会信息
Interaction（社会交互）	沟通、情绪利用、关系管理、自我一致性	选择合适的沟通、情绪、关系和行为策略
Experience（社会学习）	观察模仿、适应性学习	从观察、互动结果和反馈中学习
Norm（社会规范）	社会文化智能、社会责任、道德与伦理智能	理解社会文化规则、道德约束和责任要求

NICE 是第一个将社会智能全面理论化的评测框架，且每一道题与唯一的能力内涵清晰对应，这是它"可诊断"的基础。

题目设计：排序题替代单选¶

NICE 共 137 题，基于中国情境设计，每题包含：

一个社会情境
一个问题
若干候选回应（按"最优—次优—最差"梯度排列）

测试要求模型完整排序候选回应，与专家标准答案完全一致才算正确。这跳出"非黑即白"的判断，考察模型社会判断的合理性和边界敏感性——能否识别最差选项是 NICE 与其他 benchmark 的最大差异。

为什么用排序而不是单选？¶

单选测试中模型可能"碰巧选对最优"但仍把夸张的礼貌行为排在第二位；排序任务把边界敏感性显式化，让模型识别"什么行为不该做"成为可测量信号。

心理测量学四阶段构建流程¶

NICE 的构建分四阶段，全程引入心理测量原则：

框架构建：人类 + AI 社会智能理论 + 16 位专家评分 + 焦点小组 + AHP 权重
素材收集：18 个社会智能相关 LLM 评测基准 + 43 个经典心理学范式作为参考
题项构建：2 位具 7–8 年心理学研究经验的研究者严格按目标维度设计
题项评估与验证：三轮修订 + 12 位评估者 5 点评分（阈值 3.5 分；不达标题项重测）

这一流程的工程意义：避免多个子任务简单拼凑，增强理论框架有效性和诊断结果可解释性。

五大核心发现¶

发现 1：LLM 总体准确率高于人类参考组¶

模型	NICE 准确率
LLM 平均	75.1%
Gemini-3.1-pro-preview	~75%+（与 GPT-5.5 并列前二）
GPT-5.5	~75%+
Claude-Opus-4.7	71.1%（最低）
人类参考组（14 人）	70.4%

LLM 平均比人类高 4.7 个百分点，但前二差距极小，分布紧凑。

发现 2：优势集中在部分维度，尚未全面领先¶

LLM 优势集中在：社会感知、情绪运用、自我一致性、适应性学习、社会责任 5 个维度。其余 6 个维度（尤其沟通 D3）未显示稳定优势。

发现 3：沟通是集体短板¶

在所有 11 个维度中，D3 沟通（Communication）是人类参考组显著优于 LLM 的唯一维度，且对 5 个被测模型都是得分最低维度。

发现 4：沟通短板集中在三个内涵¶

模型在 D3 的失效集中在：

多轮沟通（multi-turn）
非言语沟通（non-verbal）
同步性（synchrony）

这三类任务的共同点是：高度依赖互动节奏、非语言线索、上下文连续性——而当前 LLM 的"上下文窗口 + 文本生成"范式与这三类需求存在结构性错配。

发现 5：模型可能过度偏好显性礼貌行为¶

经典反例：初次见面场景中，对"180 度鞠躬"的判断

71.43% 的人类参与者认为是最差选择（夸张、不自然）
Claude-Opus-4.7 和 GPT-5.5 在 3 次独立测试中从未把它排为最差，稳定放在第二位
后续解释显示模型把它理解为"礼貌表达"

这暴露了模型的"礼貌偏好"——能识别正确答案的"对"，但无法识别"过了"。"总分高"掩盖了这种边界敏感性。

深度分析¶

排序题作为诊断信号的设计哲学¶

NICE 的排序题本质上是在测试"边界敏感性"——模型能否识别"什么行为不该做"，而不仅"什么行为最该做"。这与 RLHF 的偏好对齐训练目标高度同构，但又有重要差异：

RLHF 关注"输出对人类偏好的拟合度"，但不显式测试"违规行为的识别"
NICE 把"识别最差选项"作为评分项之一，强制模型展示对越界行为的判别能力

这意味着 NICE 不仅是评测工具，还可以作为对齐训练的目标函数——把"排序的边界敏感性"作为奖励信号，可能比单纯"对齐到人类偏好"更能培养出对情境敏感的智能体。

D3 沟通短板的范式根源¶

LLM 在"多轮/非言语/同步性"三个沟通内涵上的集体失效，根源在于模型架构与沟通任务的结构性错配：

沟通内涵	LLM 范式缺陷
多轮沟通	上下文窗口限制 + 位置编码衰减 → 长对话中后段信息丢失
非言语沟通	文本模型根本没有对肢体、表情、语调的通道 → 即使把话写成文字也缺乏情境感
同步性	单次生成模式无法观察"对方此刻的反应" → 无法做互动节拍（pacing）调整

这一发现对多模态 Agent、对话系统、陪护机器人都有直接启示：单文本 LLM 永远无法"看起来懂沟通"，必须引入多模态输入 + 反应性生成机制。

礼貌偏好与对齐的隐性代价¶

NICE 暴露的"过度偏好显性礼貌"现象可能是 RLHF 的隐性代价——人类标注员普遍偏好"礼貌"输出，模型学到了"礼貌 = 好"的启发式，却丢失了"礼貌过头 = 越界"的判断力。

这指向一个深度对齐问题：对齐到人类偏好的均值，会让模型在长尾的"反共识"判断上失灵。社会智能的对齐可能需要"反事实人类评估"——专门训练模型识别"多数人偏好但实际越界"的场景。

中国情境 vs 西方情境的迁移性¶

NICE 全部基于中国情境设计（人际边界、面子、关系等文化负载强），5 个被测 LLM 总体表现仍能超过人类参考组，这本身是一个跨文化稳健性信号——前训练的语料混合让 LLM 在不同文化情境下都获得了基础社会判断能力。

但 D3 沟通短板的根因之一可能正是文化负载的中和：模型学到了"礼貌"的一般模式，但在"中国式 180 度鞠躬"这种文化特异性信号上失灵。这对部署在特定文化语境的 Agent 是重要警示。

实践启示¶

对 LLM 评测的启示¶

从总分竞赛走向能力诊断：当一个模型的"社会智能"总分高于人类，开发者更应关心"它在哪些具体内涵上仍不如人类"，而非"它总分多少"
排序题比单选更能暴露细微缺陷：单选测试的高分可能掩盖边界敏感性的缺失
理论驱动优于数据驱动：从框架出发设计题项（如 NICE 的 4×11×34）比从语料库随机抽题更具诊断价值

对 Agent 设计的启示¶

沟通型 Agent 需多模态：单文本 LLM 注定在非言语沟通、同步性上有结构性缺陷，客服/陪护/教育等强沟通场景的 Agent 必须考虑引入语音、视觉、节奏感知
边界敏感性可作为对齐目标：把"识别最差选项"的能力作为训练信号，可能比"输出最礼貌回应"更接近真正的社会智能
文化情境的本地化训练：把特定文化的人际边界、关系模式、情境规约做成领域数据，可提升 Agent 在该文化下的可信度

对 AI 安全与对齐的启示¶

礼貌偏好的隐性代价：模型学到了"礼貌 = 好"，但失去了"礼貌过头 = 越界"的判别力 — 显式测试"反共识边界"是对齐评估的关键
社会智能短板 ≠ 安全风险：D3 沟通短板目前表现为"过度礼貌"，未直接造成安全风险；但同一短板模式若出现在"伦理判断"维度，可能引发更严重问题 — 需扩展 NICE 类评测到安全边界

与其他评测基准的对比¶

维度	NICE	心理理论/情绪类基准	开放式多轮交互基准
理论驱动	✅ 4×11×34 完整框架	❌ 通常聚焦单一能力	⚠️ 部分有理论背景
能力内涵级诊断	✅ 34 个内涵	❌ 仅总体分数	⚠️ 子任务分数
心理测量学方法	✅ 全程 AHP + 专家验证	⚠️ 部分有	❌ 多为语料抽样
排序题（边界敏感）	✅	❌ 多为单选	❌ 多为开放式
中国情境	✅ 137 题	⚠️ 部分有	⚠️ 部分有

NICE 真正的差异化定位是「理论 + 内涵级 + 排序题」三位一体——三者结合才能既给出"模型社会智能如何"的总体判断，又给出"具体在哪条能力上失效"的可操作信号。

局限与未来方向¶

137 题规模相对有限，未覆盖更多文化语境
5 个被测 LLM 均为通用模型，未涵盖专门微调的"对话/陪护"类模型
14 人的人类参考组规模小，统计功效有限
排序题评估方法本身需要专家一致性验证

未来方向：拓展到复杂互动场景、更广泛文化语境、更大规模人类样本，从静态诊断走向贴近真实世界的人机互动评估。