iMario
产品••阅读约 5 分钟

iMario vs 基座大模型:解决合成人物的模式坍塌与身份漂移

如果你试过用 ChatGPT、Claude 或豆包做一场定性用户访谈,大概很快就会发现,这场戏演不了多久。前几个问题也许还挺像那么回事。可一旦让模型模拟几万个不同的人,或者想深入聊上 30 分钟,问题就来了:人设开始千人一面,你说什么都一味附和,最后连自己的背景故事都忘了。

这就是所谓的人设坍塌(Persona Collapse),也叫人工蜂巢思维效应(Artificial Hivemind Effect)。作为通用推理引擎,大模型强得惊人,但直接用它的输出,从根本上就很难让一群人设长时间保持各不相同、各有个性。

最近几轮评测里,我们把通用大模型和 iMario 专门打造的合成用户平台放在一起,看大规模生成和访谈合成人物时各自表现如何。下面直接看数据。

真人还原度基准测试

参照近期学术界评估“Pluralistic Alignment”(多元对齐)和“Persona Gyms”的框架,我们从两个关键维度衡量合成用户:

  1. 规模与代表性:系统能不能生成 10,000 个以上彼此不同的人设,准确反映真实世界在人口结构和心理特征上的多样性?

  2. 长期一致性:多轮长访谈里,每个合成人物能不能始终守住设定好的身份、信念和行为,不出戏?

1. 规模与代表性(打破蜂巢思维)

直接让大模型生成 10,000 个以上不同的用户档案,会出现严重的模式坍塌。研究表明,大模型往往让多数派的观点占比过高,生成的特征也流于刻板。不管提示词怎么写,都会默认回到“乐于助人的助手”腔调。

iMario 则是专门为构建人群而设计的。需要 10,000 个甚至更多独一无二的“美国中西部 Z 世代游戏玩家”,iMario 就生成 10,000 个统计上准确、彼此不同的合成人物:社会经济背景、小怪癖、细微的观点,都和真实世界的社会学分布完全吻合。

指标(规模:N=10,000)GPT-5.3Claude 4.6 OpusDeepSeek V3豆包 2.0iMario
语言多样性低中低低高
人口结构吻合度有偏差有偏差严重偏差有偏差与真实世界吻合
模式坍塌率~55%~50%~65%~60%< 5%
谄媚倾向高中高中高高低(坚持己见)
评测方法:按美国人口普查的标准,测试生成 10,000 个合成人物。差异度和同质化程度用嵌入向量的距离指标计算,并辅以定性审阅。

大模型的训练目标是礼貌、乐于助人。iMario 的合成人物则照着真人的样子设计:只要符合自己的档案设定,他们就会反对、会表达不满,也会坚持不讨喜的观点。

2. 长期一致性(访谈耐力测试)

60 分钟的定性访谈,靠的全是上下文。通用大模型完全依赖上下文窗口,对话越长,注意力越分散。有一项重要的学术研究 Identity Drift in LLM Agents(大模型智能体的身份漂移),发现了一个惊人的事实:随着时间推移,更大、更先进的模型反而比小模型漂移得更厉害。大约到第 10 或第 15 个问题,开头设定成“没耐心的 50 岁高管”的人设,就会慢慢退回到标准 AI 聊天机器人的腔调。

iMario 就是为了绕开这个局限而设计的。哪怕来回聊了很久、反复追问、几次换话题,合成人物依然稳稳守住人设,毫不出戏。

身份一致性

在 40 轮访谈中跟踪三项指标:是否遵循人设属性、语气是否保持、记忆能否召回。

iMario 系统
96%
Claude 4.6 Opus
62%
GPT-5.3
58%
豆包 V2.0
52%
DeepSeek V3
45%
评测方法:用内部的多轮自动化验证流程测试,在 10,000 个不同的合成人物上测量上下文保持、特征持续性和幻觉率,每个人物连续访谈 40 轮。基线指标改编自学术界的身份漂移评测框架(例如 PersonaGym,2024)。

iMario:可以直接投入生产的调研能力

借助动态人设编织技术和持续的状态管理,iMario 把模式坍塌率降到 5% 以下,把长期身份一致性提升到 96%。要同时和成千上万个合成人物做严谨的定性访谈,现成的大模型缺的,正是 iMario 提供的这套专门的基础设施。具体怎么测的,可以看我们的公开基准测试。

常见问题

#基座模型#人设坍塌#合成人物#大模型评测#iMario

随时随地, 读懂任何人。

打造一个让用户的声音成为每个商业决策核心的世界。