方法与依据
看懂公开基准测试
了解分布匹配、一致性和定性编码分别衡量的是什么。
公开基准测试列出了参与评测的数据集、方法和结果。基准测试说明的是评测条件下的表现，并不保证换到任何人群或任务上都成立。
指标要分开看
分布匹配（Distribution matching）衡量的是整体回答分布有多接近。这个指标说明不了某个合成人物能准确预测具体某个人的回答。
回答一致性（Response consistency）衡量的是同一个问题重复问、换个说法问时，回答能不能保持一致。一个系统完全可能一直给出同一个错误答案，所以一致性和准确度是两回事。
定性编码一致性（Qualitative coding agreement）关注的是给文本打上的主题或标签。结果怎么解读，要看用的是哪套编码方案、怎么比较。
内容偏好或排序表现（Content preference or ranking performance）如果做了评测，也只对特定的内容领域和比较设计成立，不能直接套用到视觉设计、新市场或收入预测上。
看结果时先问几个问题
- 评测覆盖的是哪个人群、哪个时间段？
- 问题是直接锚定在观测数据上的，还是一个全新的问题？
- 模型做估计时，手上有哪些数据？
- 评测用的数据有没有单独留出来、不参与开发？
- 报告里给出了哪些基线、不确定性和失败案例？
这份手册讲各个产品流程时，不会处处搬出同一个醒目的百分比。要引用某个数字，先查清基准测试注明的适用范围和版本，引用时把这些限定条件一并带上。
用到自己的调研上
收集真实结果之前，先把人群、问题、来源依据和模拟结果记下来。结合自己的使用场景做一次对比，能补上大范围基准测试给不了的依据。参见用真实数据验证。