施策の効果検証の進め方

広告、値引き、会員向けのメール、営業の方法の変更、業務の改善など、施策を実施した後には、効果の有無を確認したうえで、継続、拡大、中止を判断する必要があります。多くの会社では、施策の前後で売上や件数を比べたり、前年の同じ時期と比べたりして効果を判断しています。

しかし、前後を比較した結果には、季節による変動、景気や市場の動き、同じ時期に行った別の施策の影響が含まれます。施策の後に売上が増えていても、それが施策によるものとは限りません。効果を正しく判断するには、施策を行わなかった場合にどうなっていたかを推定し、実際の結果と比べる必要があります。これを効果検証と呼びます。

効果検証が適する状況と適さない状況

次のような場合には、効果検証が有効です。

一方で、施策の目的と評価の指標が定まっていない場合や、誰に、いつ施策を行ったかが記録されていない場合は、比較を行う前に、指標の設定や記録の手順の整備が必要です。また、対象が数店舗や数社にとどまる場合は、偶然による差と施策による差を区別できないことがあるため、対象の追加や評価の期間の延長を検討し、必要に応じて定性的な評価も組み合わせます。

検証の設計

比較の方法

効果検証の設計では、施策を行わなかった場合の比較の対象をどのように設定するかが、結論の信頼性を大きく左右します。主な方法は次のとおりで、施策の性質と、データがどのように得られるかによって使い分けます。

A/Bテスト以外の方法は、いずれもデータだけでは検証しきれない仮定の上に成り立っています。差の差分法であれば、施策がなければ両者が同じ傾向で推移していたという仮定（平行トレンドの仮定）、傾向スコアであれば、施策を行うかどうかと結果の双方に影響する要因がすべて観測されているという仮定です。そのため、用いる方法とデータに応じて、施策前の期間における推移の比較や、施策を行っていない時期や対象に同じ分析を当てはめる検証（プラセボ検定）などにより、仮定がどの程度成り立つかを確認します。仮定が崩れた場合に結論がどの程度変わるかを、感度分析で示すこともあります。

評価の指標と判断の基準

評価の指標は、施策の目的に応じて選びます。広告やメールの施策であれば、クリック率や申込率など、施策が直接働きかける指標を用いることが多くあります。値引きのように、売上を増やしながら利益を減らすおそれのある施策では、利益への影響もあわせて確認します。結果を見てから指標や期間を選ぶと、偶然の差を効果と見誤るおそれがあるため、指標と評価の期間はできる限り分析の前に定めます。また、対象の数が非常に多い場合には、ごく小さな差でも統計的には意味のある差になるため、推定した効果は、施策の費用に見合う大きさかどうかもあわせて判断します。

必要な件数の見積もり

A/Bテストを行う場合は、検出したい差の大きさに加え、指標のばらつき、施策を行う単位（顧客ごと、店舗ごとなど）、有意水準と検出力を踏まえて、必要な対象の数と期間を事前に計算します。検出力とは、想定した大きさの効果があるときに、それを検出できる確率です。対象の数が少ないとこの確率が下がりますが、検出できなかったことだけで効果がなかったとは判断しません。必要な数を確保できない場合は、対象の追加や期間の延長を検討し、それでも難しい場合は検証の目的を見直します。

進め方

1. 目的と判断の整理

最初に、検証の結果をどの判断に用いるかを整理します。施策の継続・中止、全社への展開、施策の間の予算の配分のいずれを判断するかによって、必要な精度と比較の方法が変わります。

2. データの確認

施策をいつ、どの対象に行ったかの記録、評価する指標のデータ、比較に使う対象のデータが揃っているかを確認します。顧客や店舗を識別する番号がシステムごとに異なる場合は、突き合わせの方法もこの段階で決定します。

3. 検証の設計

比較の方法、評価する指標と期間、必要な対象の数などを検討し、設計書にまとめます。施策を行う前に検証を設計できる場合は、A/Bテストを優先して検討します。

4. 施策の実施とデータの収集

施策を実施し、データを収集します。A/Bテストを行う場合は、選んだ対象にだけ施策が行われているかを、施策の期間中に確認します。

5. 分析と報告

効果の推定値と、その不確かさの幅を算出します。報告では、推定の結果に加えて、比較の方法の前提について妥当性を評価した結果と、データからは確認できない点を示し、結果に基づいてどのような判断ができるかをお示しします。

6. 検証の手順の定型化

同じ種類の施策を繰り返し検証する場合は、データの抽出から分析、報告までの手順を定型化し、必要に応じて処理を自動化して、お客様の社内で継続できるようにします。

ご依頼時にご用意いただく資料

検証には、主に次のような資料とデータを用います。すべてが揃っていない場合も、お手元の資料とデータの状況を伺ったうえで、検証の方法を検討します。

A/Bテストを行う場合は、無作為に選んだ顧客や店舗にだけ施策を行う必要があります。その方法は、お使いのシステムや施策の内容に応じてご相談します。

成果物

ご依頼の範囲に応じて、主に次のような成果物をご提出します。

期間と費用の決定要因

期間と費用は、検証する施策の数と、データの状態によって大きく変わるため、ご相談の際に対象の範囲を伺い、個別にお見積もりします。期間と費用を左右する主な要素は次のとおりです。