方法与依据
解读依据
分清来源数据、模拟回答、受访者意见一致和用真实数据做的验证。
有价值的发现,依据都摆在明处。放到模拟调研里,就是要分清哪些是观测到的,哪些是推断出来的,哪些是这次调研模拟出来的。
认清来源
| 依据 | 能支持什么 | 单凭它说明不了什么 |
|---|---|---|
| 人口统计数据 | 来源覆盖范围内的人口构成 | 人们对一款新产品的态度 |
| 真实问卷回答 | 那个样本在那段时期里对原题的回答 | 今天换一个实质不同的问题,会得到什么回答 |
| 客户记录 | 记录在案的特征和事件 | 没有记录下来的动机或偏好 |
| 访谈或反馈文本 | 这份来源里的说法和经历 | 这些看法在整个市场里有多普遍 |
| 模拟回答 | 针对所给问题和背景模拟出来的回应 | 观测到的实际行为,或板上钉钉的未来结果 |
一个人群可以同时用上好几类依据。先看这个人群的定义和来源,再看这一轮调研里的素材和问题。
一致不等于准确
受访者彼此意见一致,只是模拟内部呈现出来的一种规律,并不能单独证明答案是对的。加大样本量也许能让已经纳入的子群体覆盖得更充分,但纠正不了所有回答共有的建模误差。
同样,基准测试上的高分,是在那个基准测试的数据集和任务上测出来的,并不代表任何一条新发现有多大概率正确。
看清分母
人数、回答数、编码后的提及次数和筛选出来的子群体,要分开看。一个人可能提到好几个主题,所以按提及次数算的百分比,不一定等于按受访者算的百分比。一加筛选,描述的就是另一群人了。
缺失、隐去或无法获取的数值,不要当成零。比较不同轮次的调研时,要核对问题措辞、来源人群、时间和测试素材。
结论别超出依据
与其说“客户会拒绝这个产品”,不如说“看了这份测试素材,这个模拟人群提出了这些顾虑”。如果要下精确的商业结论,就要用真实数据验证,拿实际观测到的结果来检验。