方法与依据

解读依据

分清来源数据、模拟回答、受访者意见一致和用真实数据做的验证。

有价值的发现,依据都摆在明处。放到模拟调研里,就是要分清哪些是观测到的,哪些是推断出来的,哪些是这次调研模拟出来的。

认清来源

依据能支持什么单凭它说明不了什么
人口统计数据来源覆盖范围内的人口构成人们对一款新产品的态度
真实问卷回答那个样本在那段时期里对原题的回答今天换一个实质不同的问题,会得到什么回答
客户记录记录在案的特征和事件没有记录下来的动机或偏好
访谈或反馈文本这份来源里的说法和经历这些看法在整个市场里有多普遍
模拟回答针对所给问题和背景模拟出来的回应观测到的实际行为,或板上钉钉的未来结果

一个人群可以同时用上好几类依据。先看这个人群的定义和来源,再看这一轮调研里的素材和问题。

一致不等于准确

受访者彼此意见一致,只是模拟内部呈现出来的一种规律,并不能单独证明答案是对的。加大样本量也许能让已经纳入的子群体覆盖得更充分,但纠正不了所有回答共有的建模误差。

同样,基准测试上的高分,是在那个基准测试的数据集和任务上测出来的,并不代表任何一条新发现有多大概率正确。

看清分母

人数、回答数、编码后的提及次数和筛选出来的子群体,要分开看。一个人可能提到好几个主题,所以按提及次数算的百分比,不一定等于按受访者算的百分比。一加筛选,描述的就是另一群人了。

缺失、隐去或无法获取的数值,不要当成零。比较不同轮次的调研时,要核对问题措辞、来源人群、时间和测试素材。

结论别超出依据

与其说“客户会拒绝这个产品”,不如说“看了这份测试素材,这个模拟人群提出了这些顾虑”。如果要下精确的商业结论,就要用真实数据验证,拿实际观测到的结果来检验。

公开基准测试介绍的是实测表现。关于基准测试讲的是怎样分开解读不同的指标,不把它们合并成一个处处适用的准确度结论。