9月10日開催のエスキュービズム社内勉強会資料です。

1. 組み合わせテスト
2013/09/10
エスキュービズム
エンジニア勉強会 座談会資料

2. http://www.7netshopping.jp/books/detail/-/accd/1106124464

3. 因子と水準
● 因子
– 会員種別
– ログインの有無
– ブラウザ端末
– …
● 水準
– 非会員、仮会員、本会員
– ログインしている、ログインしていない
– ＰＣ、ガラケー、タブレット
– ・・・

4. ２因子間網羅
● 複数の因子の組み合わせをすべてテストするとな
ると、組み合わせの数が膨大になる
– 会員種別(3)×ログインの有無(2)×ブラウザ端末(3)×・・・
● 2つの因子の組み合わせをすべて網羅する
– 多くのバグは２因子間で見つかるという定説
● 全バグ数に対する割合 ※とある研究結果
●
１因子 → ３０～６０％
●
２因子 → ７０～９５％
●
３因子 → ９０～９９％

5. 直交表と
オールペア（ペアワイズ）法

6. 直交表
● どの列を取っても、同じ組合せ
が同じ数だけある表
● A1の条件であれ
ば、B1,B2,B3が３回ず
つ、C1,C2,C3が３回ずつ・・・
含まれる。したがって、A1,A2
の平均を比較すれば、A以外
の因子の影響は平均化される
ので、Aに関しては他の因子の
影響がない公平な比較という
ことになる。 http://www.hinkai.com/qe/tyokou.html

7. オールペア（ペアワイズ）法
● 2因子間網羅を満たす最少の組み合わせをアルゴ
リズムで導き出す
– 直交表よりも組み合わせ数は少ない（必要なテストは因
子数に対して対数的にしか増えない）
– 3因子間以上の網羅率は低い
●
禁則回避を設定できる
● ツールが利用できる

8. 組み合わせテストを
実施するまでの流れ
● 各担当者間でテスト対象とテストの目的に関する
認識を合わせる
– テストで何を確認したいかによって、選択する因子や水
準は変わる
● テスト対象の因子とおおよその水準を洗い出す
●
組み合わせ数を削減するかを検討する
● 組み合わせる因子・水準を選ぶ
– 仕様書にあるすべての水準を組み合わせたいしょうに
するのではなく、テストの目的にあった水準だけを組み
合わせ対象にするよう心がける
● 使用する手法を決定する
– 直交表、オールペアか

9. 組み合わせ表を作成する際の注意点
● 禁則を回避する
– 現在では、指定された禁則関係を自動的に回避して最
小限の組み合わせ表を作成するツールがある
● 重要な組み合わせを追加する
– 組み合わせ表の中に、３因子間以上をまたぐ重要な組
み合わせが含まれているとは限らない
● 無理して組み合わせテストを行わない
– テストの期待結果を確認できない、確認しにくい場合
– 禁則が多すぎる場合