iMario vs 基座大模型:解决合成人物的模式坍塌与身份漂移

如果你试过用 ChatGPT、Claude 或豆包做一场定性用户访谈,大概很快就会发现,这场戏演不了多久。前几个问题也许还挺像那么回事。可一旦让模型模拟几万个不同的人,或者想深入聊上 30 分钟,问题就来了:人设开始千人一面,你说什么都一味附和,最后连自己的背景故事都忘了。
这就是所谓的人设坍塌(Persona Collapse),也叫人工蜂巢思维效应(Artificial Hivemind Effect)。作为通用推理引擎,大模型强得惊人,但直接用它的输出,从根本上就很难让一群人设长时间保持各不相同、各有个性。
最近几轮评测里,我们把通用大模型和 iMario 专门打造的合成用户平台放在一起,看大规模生成和访谈合成人物时各自表现如何。下面直接看数据。
真人还原度基准测试
参照近期学术界评估“Pluralistic Alignment”(多元对齐)和“Persona Gyms”的框架,我们从两个关键维度衡量合成用户:
-
规模与代表性:系统能不能生成 10,000 个以上彼此不同的人设,准确反映真实世界在人口结构和心理特征上的多样性?
-
长期一致性:多轮长访谈里,每个合成人物能不能始终守住设定好的身份、信念和行为,不出戏?
1. 规模与代表性(打破蜂巢思维)
直接让大模型生成 10,000 个以上不同的用户档案,会出现严重的模式坍塌。研究表明,大模型往往让多数派的观点占比过高,生成的特征也流于刻板。不管提示词怎么写,都会默认回到“乐于助人的助手”腔调。
iMario 则是专门为构建人群而设计的。需要 10,000 个甚至更多独一无二的“美国中西部 Z 世代游戏玩家”,iMario 就生成 10,000 个统计上准确、彼此不同的合成人物:社会经济背景、小怪癖、细微的观点,都和真实世界的社会学分布完全吻合。
| 指标(规模:N=10,000) | GPT-5.3 | Claude 4.6 Opus | DeepSeek V3 | 豆包 2.0 | iMario |
|---|---|---|---|---|---|
| 语言多样性 | 低 | 中 | 低 | 低 | 高 |
| 人口结构吻合度 | 有偏差 | 有偏差 | 严重偏差 | 有偏差 | 与真实世界吻合 |
| 模式坍塌率 | ~55% | ~50% | ~65% | ~60% | < 5% |
| 谄媚倾向 | 高 | 中高 | 中高 | 高 | 低(坚持己见) |
评测方法:按美国人口普查的标准,测试生成 10,000 个合成人物。差异度和同质化程度用嵌入向量的距离指标计算,并辅以定性审阅。
大模型的训练目标是礼貌、乐于助人。iMario 的合成人物则照着真人的样子设计:只要符合自己的档案设定,他们就会反对、会表达不满,也会坚持不讨喜的观点。
2. 长期一致性(访谈耐力测试)
60 分钟的定性访谈,靠的全是上下文。通用大模型完全依赖上下文窗口,对话越长,注意力越分散。有一项重要的学术研究 Identity Drift in LLM Agents(大模型智能体的身份漂移),发现了一个惊人的事实:随着时间推移,更大、更先进的模型反而比小模型漂移得更厉害。大约到第 10 或第 15 个问题,开头设定成“没耐心的 50 岁高管”的人设,就会慢慢退回到标准 AI 聊天机器人的腔调。
iMario 就是为了绕开这个局限而设计的。哪怕来回聊了很久、反复追问、几次换话题,合成人物依然稳稳守住人设,毫不出戏。
身份一致性
在 40 轮访谈中跟踪三项指标:是否遵循人设属性、语气是否保持、记忆能否召回。
评测方法:用内部的多轮自动化验证流程测试,在 10,000 个不同的合成人物上测量上下文保持、特征持续性和幻觉率,每个人物连续访谈 40 轮。基线指标改编自学术界的身份漂移评测框架(例如 PersonaGym,2024)。
iMario:可以直接投入生产的调研能力
借助动态人设编织技术和持续的状态管理,iMario 把模式坍塌率降到 5% 以下,把长期身份一致性提升到 96%。要同时和成千上万个合成人物做严谨的定性访谈,现成的大模型缺的,正是 iMario 提供的这套专门的基础设施。具体怎么测的,可以看我们的公开基准测试。



