1. Perlで有意差検定
id:skozawa

2. 自己紹介
i id: skozawa
はてな
● アプリケーションエンジニア

3. 会員登録 会員登録 (無料)
300/1000 (30%) 350/1000 (35%)
ABテストしてますか？
5%あがった！！

4. 28% 30% 32%
有意差検定
ABテストの結果が偶然じゃないことを調べる
区間推定
● 各テストの確率の誤差を考慮
33% 35% 37%
有意
27% 30% 33%
32% 35% 38%
有意でない

5. 有意差検定
有意差検定できるサイト
● http://web-analytics-or-die.org/abtest/#!/1000-300-
1000-350/

6. 結果の信頼性
有意差検定できるサイト
● http://web-analytics-or-die.org/abtest/#!/1000-300-
1000-350/
WebアプリのABテストで95%の信頼性は必要か
● 90%くらいでもいいかもしれない

7. Perlで有意差検定
区間推定
● Statistics::PointEstimation
x2
検定
● Statistics::ChisqIndep

8. 区間推定(Statistics::PointEstimation)
my $data = [350, 1000];
my $mean = $data->[0] / $data->[1];
my $variance = $mean * ( 1 - $mean );
my $stats = Statistics::PointEstimation::Sufficient->new;
$stats->set_significance(90);
$stats->load_data($data->[1], $mean, $variance);
printf("%2.4f%%n", $stats->lower_clm * 100); # 32.0402%
printf("%2.4f%%n", $stats->mean * 100); # 35.0000%
printf("%2.4f%%n", $stats->upeer_clm * 100); # 37.9598%

9. まとめ
Perlで有意差検定
Statistics::PointEstimation