# 看懂公开基准测试

> 了解分布匹配、一致性和定性编码分别衡量的是什么。

Source: https://imario.ai/zh/docs/methods/benchmark

[公开基准测试](https://imario.ai/synthetic-audience-benchmark)列出了参与评测的数据集、方法和结果。基准测试说明的是评测条件下的表现，并不保证换到任何人群或任务上都成立。

## 指标要分开看
**分布匹配**（Distribution matching）衡量的是整体回答分布有多接近。这个指标说明不了某个合成人物能准确预测具体某个人的回答。

**回答一致性**（Response consistency）衡量的是同一个问题重复问、换个说法问时，回答能不能保持一致。一个系统完全可能一直给出同一个错误答案，所以一致性和准确度是两回事。

**定性编码一致性**（Qualitative coding agreement）关注的是给文本打上的主题或标签。结果怎么解读，要看用的是哪套编码方案、怎么比较。

**内容偏好或排序表现**（Content preference or ranking performance）如果做了评测，也只对特定的内容领域和比较设计成立，不能直接套用到视觉设计、新市场或收入预测上。

## 看结果时先问几个问题
- 评测覆盖的是哪个人群、哪个时间段？
- 问题是直接锚定在观测数据上的，还是一个全新的问题？
- 模型做估计时，手上有哪些数据？
- 评测用的数据有没有单独留出来、不参与开发？
- 报告里给出了哪些基线、不确定性和失败案例？

这份手册讲各个产品流程时，不会处处搬出同一个醒目的百分比。要引用某个数字，先查清基准测试注明的适用范围和版本，引用时把这些限定条件一并带上。

## 用到自己的调研上
收集真实结果之前，先把人群、问题、来源依据和模拟结果记下来。结合自己的使用场景做一次对比，能补上大范围基准测试给不了的依据。参见[用真实数据验证](https://imario.ai/zh/docs/run-and-analyze/validate)。