公開ベンチマークの見方

評価に使ったデータセット、手法、結果は、公開ベンチマークで確認できます。ベンチマークが示すのは、評価した条件のもとでの根拠です。あらゆるオーディエンスやタスクでの性能を保証するものではありません。

指標は分けて読む

分布の一致度（Distribution matching）は、集計した回答の分布どうしがどれだけ近いかを測ります。個々の合成ペルソナが、特定の人の回答を正しく予測できることを示すものではありません。

回答の一貫性（Response consistency）は、同じ質問を繰り返したり言い換えたりしたときに、回答がどれだけ一致するかを測ります。システムが一貫して誤った回答を返すこともあるため、一貫性と精度は別の性質です。

定性コーディングの一致度（Qualitative coding agreement）は、テキストに割り当てたテーマやラベルに関する指標です。どう解釈するかは、使ったコーディング体系と比較の方法によって変わります。

コンテンツの好みやランキングの予測性能（Content preference or ranking performance）を評価した場合、その結果が当てはまるのは、対象となった特定のコンテンツ領域と比較の設計だけです。ビジュアルデザイン、新しい市場、売上予測にそのまま当てはめることはできません。

結果を見るときに確かめたいこと

• 評価は、どの母集団のどの期間を対象にしていますか？
• その質問は観測データに直接ひもづいたものですか、それとも新しく作った質問ですか？
• モデルが推定した時点で、どのデータを利用できましたか？
• 評価に使ったデータは、開発には使わずに取り分けてありましたか？
• どのようなベースライン、不確実性、失敗例が報告されていますか？

このマニュアルでは、看板となるパーセンテージを1つ選んで、製品の各ワークフローの説明に繰り返し載せることはしていません。数値を引用するときは、ベンチマークに記載された対象範囲とバージョンを確認し、その条件も引用に添えてください。

自社の調査では

実際の結果を集める前に、オーディエンス、質問、元データの内容、結果を記録しておきます。自社の用途に合わせて手元で比較すれば、幅広い条件を扱うベンチマークでは得られない根拠を補えます。詳しくは実データで検証するを参照してください。