TDSE株式会社

因果推論(ビジネス効果検証)

ビジネスにおいて施策を打った際にはその効果がどれほどのものかを検証する必要があります。しかし効果検証には多数の落とし穴があります。 例えば施策を打った顧客と打たなかった顧客との間で売上を比較するという方法は一見するともっともらしい効果検証ができている気がします。 しかし施策を打った顧客の売上が伸びているのは本当に施策の効果なのでしょうか? TDSEでは、因果推論を用いた効果検証・意思決定についての支援を行っています。

因果推論とは?

例えば、施策を打った顧客の売上が伸びた場合、施策が潜在的に購買意欲の高い層をターゲットにしたものとなっており、見た目上は効果があるように見えるが実際の効果はわずかかもしれません。このような傾向の異なる(潜在的な購買意欲が高い / 低い)データに対して施策を打った際の効果を見誤り、効果がないのに施策を打ち続ける誤った意思決定が行われるという状況は少なくありません。このように効果検証では、「施策を受けた対象」と「受けなかった対象」を比較するのではなく、「施策を受けた対象」と「施策を受けた対象が仮に施策を受けなかった場合」とを比較することで施策の妥当な効果を測ることを目標とします。しかし、「施策を受けた対象が仮に施策を受けなかった場合」のデータは一般的には手に入らない仮想的なものであり、手元にあるデータから統計的に推定する必要があります。このような妥当な比較に基づき効果検証を行う方法を提供してくれるのが因果推論です。

ビジネス上の適切な意思決定を行うためには正しく比較する必要がある

我々はWEBサービスを提供・運営している会社に勤めているとしましょう。WEBサービスの会員はスマホアプリやブラウザを用いてサービスの予約を行います。さて、予約件数を増加させるため、スマホアプリの利用者に対してプッシュ通知によるクーポン配布施策を行うことにしました。このクーポン配布施策にどの程度の効果があるかを検証する方法について考えていきましょう。クーポン配布をしたアプリ利用会員に対して、(現実には無理ですが)クーポン配布施策を行わなかった場合の予約結果のデータも獲得することができれば、クーポンを配布した場合と配布しなかった場合のデータを比較することで施策の効果が検証できるはずです。しかし実際にはこれらの結果データを同時に獲得することはできません。そこで現実的にはクーポン配布施策を行った会員(アプリ利用者)とそうでない会員(WEB利用者)との結果を比較することが考えられそうです(図1)。しかしこの効果検証方法は正しいと言えるでしょうか?もしアプリの利用者が20~30代が中心でWEB利用者は40代が中心であるという状況など、クーポン配布を受けた会員とそうでない会員の属性が異なる場合、比較しようとする予約傾向がそもそも大きく異なる可能性があります。このように施策の効果を比較する対象のデータに異なる傾向が見られることをセレクションバイアスが存在すると言います。このセレクションバイアスの影響を見落とすと、実際にはクーポン配布施策の効果がほとんどなかったのに過大に評価してしまう(または逆に過小に評価してしまう)可能性があります(図2)。間違った評価をしてしまうことで、予約数向上に全く寄与しない施策にコストを払い続けたり、逆に予約数を伸ばす施策だったのにも関わらず施策をやめてしまうという判断をしてしまうことになりかねません。このように正しい意思決定をする上で、データに潜むバイアスを意識しそれらを考慮した比較をすることが重要となります。

図1. 施策の有無と予約数

図2. 施策の有無から生じるセレクションバイアス

A / Bテストによる効果検証

セレクションバイアスを発生させずに施策の効果を検証するには施策対象をランダムに決める方法があります。クーポン配布施策の例では予約数のようなKPIを最大化するように施策対象の会員を選択するのではなく、クーポンを配布する会員をランダムにサンプリングし、クーポン配布施策の対象会員とそうでない会員の傾向を平均的に同質なものにします。これにより施策の有無以外は平均的に同一の条件の下でクーポン配布を受けたグループと受けていないグループ間での比較が可能となります(図3)。

図3. A / Bテストによるセレクションバイアスの除去

このように施策対象をランダムに選択しグループ間での効果を分析する方法をA / BテストあるいはRCT(Randomized Controlled Trial)などと言います。A / Bテストは効果を正確に検証するという点では理想的ですが先述の通りビジネス上のKPIを犠牲にしてランダムに施策対象を選択する必要があります。そのため現実的には小規模データに対してA / Bテストを行った上で効果検証し顧客全体に施策を打つかの意思決定が行われるというのが一般的なフローとなります。

セレクションバイアスがあるデータでの効果検証

ビジネス上のKPIを最適化するように施策対象顧客を決定した場合、すなわちセレクションバイアスを持つ施策結果データから効果試算を行わなければならない場合にはどうしたらよいでしょうか。このようにすでにA / Bテストの枠組みに当てはまらない状況でも近似的にA / Bテストを行う方法を提供してくれるのが因果推論です。回帰分析や傾向スコアという統計学的道具を用いて似通ったデータを比較することでセレクションバイアスを取り除くといった方法があります。この他にもバイアスを取り除くための様々な方法が提案されています。

まとめ

施策を打つ意思決定をする際には以前の施策の効果を適切に検証する必要がありました。適切な効果検証のためにはあらかじめセレクションバイアスが発生しない施策対象の選定を行うか因果推論の方法を用いて適切にセレクションバイアスを取り除く必要があります。これらの方法には一般的な処方箋は存在せず、行ったビジネス施策や施策対象の選定過程をよく観察し施策に応じた効果検証方法をアドホックに検討する必要があります。皆様が業務の中で行っている施策とその効果検証についてお悩みであれば是非一度TDSE株式会社にご相談ください。

CONTACTお問合せ

お電話でも承ります。お気軽にご連絡ください。
TEL. 03-6383-3261 平日9:00 〜 18:00

ご相談・お問合せはこちら

お問合せ

上へ戻る