根拠を読み解く
元データ、シミュレーションによる回答、回答者間の一致、実データでの検証を区別して読み解きます。
知見は、根拠が見えてこそ役に立ちます。シミュレーションによる調査では、実際に観測されたこと、推論したこと、今回の調査でシミュレーションしたことを分けて示す必要があります。
根拠の出どころを確かめる
| 根拠の種類 | 裏付けられること | それだけでは裏付けられないこと |
|---|---|---|
| 人口統計 | そのデータが対象とする範囲の人口構成 | 新製品への意識や態度 |
| 実際のアンケートの回答 | そのサンプルから、その時期に、元の質問で得られた回答 | 内容が大きく異なる質問に、今答えてもらった場合の回答 |
| 顧客レコード | 記録されている属性や出来事 | 記録されていない動機や好み |
| インタビューやフィードバックのテキスト | そのデータに含まれる言葉づかいや体験 | そうした見方が市場全体でどれだけ一般的か |
| シミュレーションによる回答 | 与えた質問と前提へのシミュレーション上の反応 | 観測された行動や、確実に起こる将来の結果 |
1つのオーディエンスに、複数の種類の根拠が組み合わさっていることもあります。まずオーディエンスの定義とデータソースを確認し、次に今回の実行で使った素材と質問を確認します。
一致していても正しいとは限らない
回答者どうしの意見がそろっていても、それはシミュレーションの中に現れたパターンにすぎません。意見が一致したというだけで、回答が正しいとは言えません。サンプル数を増やせば、オーディエンスに含まれるサブグループをより広くカバーできる可能性はあります。ただし、回答者全員に共通するモデル化の誤りまでは正せません。
同じように、ベンチマークで高いスコアが出ていても、それはそのベンチマークのデータセットとタスクで測った結果です。新たに得られた知見が正しい確率を示しているわけではありません。
分母を確かめる
人数、回答数、コード化された言及数、選択したサブグループを区別します。1人が複数のテーマに触れることもあるため、言及数に占める割合と回答者に占める割合は一致するとは限りません。フィルターをかけると、集計の対象となるグループが変わります。
欠損している値、秘匿処理された値、取得できない値をゼロとみなさないでください。複数の実行を比べるときは、質問の言い回し、元の母集団、時期、提示素材を確認します。
根拠に見合った言い方をする
「顧客はこの製品を受け入れないだろう」ではなく、「このモデル化したオーディエンスからは、この提示素材に対してこうした懸念が挙がった」という言い方をします。ビジネス上の主張を厳密に示したい場合は、実データで検証するの手順で、観測された結果と照らし合わせてテストしてください。
公開ベンチマークでは、実際に測定した性能を示しています。公開ベンチマークの見方では、性質の異なる指標を「全体としての精度」のような1つの主張にまとめずに、それぞれをどう読むかを説明しています。