カイ二乗検定を使ってできる!A / Bテストとは?

こんにちは!
IT企業に勤めて、約2年間でデータサイエンティストになったごぼちゃん(@XB37q)です!

このコラムでは、ABテストと呼ばれる、WEBマーケティングの手法を紹介します。
機械学習を用いて出した結論に対して、その結論が本当に有効かどうかをABテストを実施して判断します!

A / B テストとは

A / Bテスト
A / Bテスト

ABテストは、WEBマーケティングにおける手法の一つです。
WEBサイトや広告のバナー等の画像をAパターンとBパターンの2パターンを用意し、「どちらがより良い成果を出せるのか」ということを検証する手法です。
場合によっては2パターンだけでなく、複数パターンの検証をする場合もあります。

検証したい効果を加えたAパターンを実験群、効果を加えていない従来通りのBパターンを統制群と呼ぶことがあります。

例えば、機械学習のシステムを取り込んだAパターンと、従来通りのシステムのBパターンを1か月使用し続け、どちらのほうがより利用者が増えるかなどを検証します。
Aパターンのほうが利用者が多くなれば、機械学習が有効だという可能性が高くなります。

AパターンとBパターンの結果を比較するためには、統計的仮説検定が使われることが多いです。
例えば、AパターンとBパターンの平均値などを比較し、統計的に差があるかどうかを検定します。

A / B テストの注意点

差が2種類以上の場合
差が2種類以上の場合

ABテストを行う場合の注意点として、AパターンとBパターンの差が、1種類のほうが好ましいです。
なぜならば、差が1種類のみの場合、結果に違いが表れた場合にその1種類が影響していると考えることができるからです。

差が1種類ではない場合の例として、時系列が影響している可能性があります。
11月にAパターン、12月にBパターンを検証した場合、差には2種類あると考えられます。

  1. 機械学習を使用しているかどうか
  2. 11月か12月か

この場合、機械学習を使用したことで、結果に違いが表れたかどうかを知りたいですが、11月と12月でそもそもデータの傾向が違う場合、機械学習の影響を検証することが不可能になります。

ランダム化比較実験の仮定のもと、A / Bテストは行われている

ランダム化比較実験とは
ランダム化比較実験とは

前の章では、「AパターンとBパターンの差が、1種類のほうが好ましい」と紹介しました。
しかし、厳密に考えた場合、AパターンとBパターンの差が1種類のみになることはほぼ存在しないでしょう。

例えば、先ほどの例のように「機械学習のシステムを取り込んだAパターン」と、「従来通りのシステムのBパターン」を1か月使用し続け、どちらのほうがより利用者が増えるかを検証します。
実験したい側としては、機械学習のシステムを取り込んだかどうかの効果を検証したいのですが、利用者ごとにもそれぞれ特性の違いが発生します。
Aパターンの利用者に男性が多く、Bパターンの利用者に女性が多い場合、AパターンとBパターンには利用者の性別による効果も介入してしまいます。
つまり、性別によって機械学習のシステムを好むかどうかという違いがあった場合、機械学習のシステムの効果のみを検証することが不可能になります。

このような場合に、ランダム化比較実験という考え方を用います。
ランダムに利用者を選別した場合、AパターンとBパターンには違いが大きく出ないという考え方です。
つまり、AパターンとBパターンには性別の差がないと仮定していることになります。

このように、厳密にAパターンとBパターンの条件を揃えることは不可能なため、ランダムにすれば大体同じ条件になるだろうという考え方のことを、ランダム化比較実験と呼びます。

A / Bテストとランダム化比較実験はほぼ同義に扱われることも多く、ビジネスの場合はA / Bテストと呼ばれ、学術的な場合はランダム化比較実験と呼ばれることが多いです。

カイ二乗検定を使ったA / B テストの例

カイ二乗検定を使ったA / Bテスト
カイ二乗検定を使ったA / Bテスト

ABテストの結果を正しく判断するために、統計的仮説検定を使うことをおすすめします。
もしABテストの結果に大きな差がない場合、AとBには差がない可能性が高くなります。
そこで、統計的仮説検定を使うことで、何%くらいの確率でABテストの結果を信用することができるのかを判断することができ、ABテストの結果を間違えて使用することが少なくなります。

上図の例では、現状のシステムを使用しているパターンAと、データ分析を用いたシステムを使用しているパターンBのどちらが良いシステムなのかを判断したいと考えます。
正解と不正解の数から、正解の数が多いパターンほど、良いパターンだとします。
実測度数と呼ばれるA/Bテストの結果に対して、カイ二乗検定を行うことで、95%の確率でデータ分析を用いたシステムを使用しているパターンBのほうが良いだろうという結論を出すことが出来ます。

このように、A / Bテストの結果を判断するために統計的仮説検定を使うことをおすすめします。

カイ二乗検定については、他コラムで紹介しています。

まとめ

  • A / Bテストとは、WEBマーケティングの手法
  • AパターンとBパターンの結果に違いがあるかどうかを確かめる手法
  • 検証したい効果を加えたAパターンを実験群、効果を加えていない従来通りのBパターンを統制群と呼ぶ
  • 差が1種類でないと結果の違いの要因が判断できない
  • ランダム化比較実験の仮定のもと、A / Bテストは行われている
  • A / Bテストの結果に対して、統計的仮説検定を使うことをおすすめ

参考図書

カイ二乗検定を使ってできる!A / Bテストとは?” に対して1件のコメントがあります。

コメントは受け付けていません。