HOW TO TD(User Engagement)Treasure Data User Engagement

予測モデルを用いた施策効果の測定バイアスを減らす方法

ホーム » 予測モデルを用いた施策効果の測定バイアスを減らす方法

データマネジメントチームの小野 岳洋です。

メールやキャンペーン等の施策を打つ際、その効果を測定する方法としてCTRやCVRを計測する方法が一般的かと思われますが、施策の対象者と非対象者のデータに偏りはないのでしょうか?

例えば、施策の対象者は元から購入意欲が高く、施策に関係なく購入をしたのではないのでしょうか?もちろん、完全ランダムでABテストを行えば偏りを最小にすることができますが、実際はある条件で抽出し施策を開始することも多く見られます。

今回は予測モデルを用い、このバイアスを小さくした施策の対象者と非対称者のグループを作成する方法をご紹介いたします。

手順

  1. 共変量の設定
  2. この共変量と呼ばれるデータを用意できるかが、一番重要なポイントとなります。
    こちらは施策の有無と関係がありそうなものの、施策の効果とは関係が弱そうなデータをより多く用意することで、バイアスをより減らせると言われています。
    例えば、年齢、性別、居住地などのデモグラフィックデータやWEBの行動ログなどが候補になるでしょう。

  3. 施策対象の予測モデルの作成
  4. 1で設定した共変量から施策を行ったかどうかを予測するモデルを作成します。
    ロジスティック回帰モデルを利用することが多いですが、それ以外の予測モデルでも問題ございません。

  5. マッチング
  6. 2で作成したモデルの確率が近いペアを、実際の施策の対象者と非対象者から作り、反復します。
    これにより偏りを減らした、対象者と非対象者の1:1のグループを作成することができます。

元の集団では偏りがありましたが、施策対象となる確率の近いペアを作ったため、できるだけ似た共変量の傾向を持ったグループとなっています。このグループを比較することで、施策結果の効果をより正確に計測することができます。

おわりに

今回は、施策効果をより正確に測定する方法の1つを紹介いたしました。この方法は傾向スコアマッチングと呼ばれ、医療現場の治療の効果の実証に用いられるようです。あくまで他のデータからバイアスを減らす方法であり、バイアスを完全に取り除く魔法ではございませんので、ご利用にはご注意ください。

小野 岳洋

Data Managementチーム

新卒で入社したWeb情報サービス会社で、個人投資家向け金融情報サービスの投資リターンモデルやポートフォリオ最適化などの企画・開発を担当。また、エンターテイメント領域におけるアンケート分析や売上予測、Web事業収益向上のためのレコメンドエンジン導入・推進に従事。前職では大手金融機関にデータアナリストとして、自動与信審査におけるデフォルト予測やフロード検知などの統計モデルや戦略ロジックの開発・導入、債権管理リスクデータベースの構築・運用、産学協同研究を通した機械学習や因果推論など新規分析手法の導入に携わる。2020年にトレジャーデータに参画。データマネジメントチームにて、Treasure Data CDPの導入・構築・運用、統計モデルの開発・実装を担当。

得意領域 : 機械学習を含めた統計モデル開発

Leave a Reply

Your email address will not be published. Required fields are marked *

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

*

Back to top button