効率的、効果的なスマホアプリテスト方法とは？~バルテスメソッドを使った体系的アプローチ~

1. 2019年5月22日
効率的、効果的な
スマホアプリ
テスト方法とは？
～バルテスメソッドを使った体系的アプローチ～
バルテス・モバイルテクノロジー株式会社

2. バルテス・モバイルテクノロジーの紹介
2
バルテス・モバイルテクノロジー株式会社（略称：ＶＭＴ）
VALTES MOBILE TECHNOLOGY CO.,LTD.
設立 2012年10月17日
代表取締役 田中 真史
株主 バルテス株式会社（100％）
資本金 5,000万円
拠点 大阪本社、東京本社
業務内容 ソフトウェア開発、セキュリティ診断
コンセプト 高品質でセキュアなアプリケーションの開発・提供
テスト専門会社である親会社と連携し、開発へテスト力を付加し、
「高品質」で「セキュア」をキーワードに、サービス提供を行う。

3. バルテス・モバイルテクノロジーの紹介
3
バルテス・モバイルテクノロジー株式会社（略称：ＶＭＴ）
スローガン（非公式）PDCA
P・・・ピンチになっても
D・・・どうにかなるさと
C・・・ちゃんとやったら
A・・・明るい未来が待っている

4. 自己紹介
4
名前 山下大輔（やました だいすけ）
所属 開発部 マネージャー
出身 横浜市青葉区（たまプラーザ）
住まい 宝塚市
趣味 競馬、陸上
得意分野 ３D（OpenGL、DirectX）、Unity、Android/iOS
得意だった言語
C++/C#/Java/Objective-C
※プログラミングはみりゃわかる。
資格
Android技術者Basic
JSTQB FL

5. 5
あと、私はMonacaソムリエです。
自己紹介
Monacaソムリエ？？

6. 6
Monacaソムリエとは？
自己紹介
Monacaによるアプリ開発に関して深い知識を持ち、精力的に
コミュニティ活動に取り組んでいる人
東京と大阪のMonacaUGの運営に携わっています。
昨年度は20万人から3名、今年もそこから5名選ばれました。
私は昨年に続き2年連続受賞しました。

7. 7
早速始めたいと思います。
バルテスメソッドを使った体系的アプローチ

8. 8
質問！！
バルテスメソッドを使った体系的アプローチ
スマホアプリのテストケース
って何ケースやってますか？

9. 9
バルテスメソッドを使った体系的アプローチ
１．平均50ケース
２．平均500ケース
３．平均5,000ケース
答えは３．平均5,000ケース

10. 10
毎回そんな数
どうやって作るねん！？
バルテスメソッドを使った体系的アプローチ
毎回5,000ケース
作るの大変じゃないの？

11. 11
そこで登場するのが
バルテスメソッド
バルテスメソッドを使った体系的アプローチ

12. 12
バルテスメソッドとは？
バルテスメソッドを使った体系的アプローチ
テスト計画→テスト設計→テスト実施→テスト分析の体系的な
アプローチにより、テストの抜け漏れを防ぎます。

13. 13
バルテスメソッドを使った体系的アプローチ
要するにバルテスメソッドを
用いる事によって下記を決めます。
・何をテストしないといけないか？
・何をテストしないか（しなくていいのか）？

14. 14
バルテスメソッドを使った体系的アプローチ
やはりテストにも計画（戦略）
が必要！！
顧客の品質基準もあるが、アプリを使うユーザーや機
能によってどのようにテストして、どのような品質にして
行くか？の計画を立てる必要がある。

15. 15
バルテスメソッドを使った体系的アプローチ
どうしてそんなに計画が
必要なのか？
１：１０：４０：１００の法則
これ、なにかわかります？

16. 16
バルテスメソッドを使った体系的アプローチ
答えは修正コストの割合です。
１：１０：４０：１００の法則

17. 17
つまりどういう事か？
バルテスメソッドを使った体系的アプローチ
コストを考慮すると、上流工程で問題つぶさないと後になれば
なるほど修正コストは増えていく。
手戻りコストを考えると、テスト計画をしっかり立てておく事
が必要。
常に要件や設計段階でテストケースが増えるとか減るとか、修
正コストの影響を考慮して進めていくことが大事。

18. 18
じゃあどうやってるの？
VMTは？
バルテスメソッドを使った体系的アプローチ

19. 19
もちろん、上流工程
でつぶします！！
バルテスメソッドを使った体系的アプローチ
Monacaでの開発を例
にお話しします。

20. 20
まずは基本設計・デザイン
バルテスメソッドを使った体系的アプローチ

21. 21
バルテスメソッドを使った体系的アプローチ
 Prottを使ったプロトタイピング
 アプリを作る前にプロトタイプで画面デザイン、
イメージ、動作イメージの認識合わせ
 アプリが出来ってからの顧客とのイメージのズレ
のリスクを減らす。
この画面遷移だと
使いにくいなぁ～

22. 22
詳細設計、製造
バルテスメソッドを使った体系的アプローチ

23. 23
バルテスメソッドを使った体系的アプローチ
 MonacaはSPA
 画面遷移が破綻しない様に先に画面を作る
 簡単に動きだけ確認出来る様にする
 複雑な階層構造は破綻する
全部経験談です。

24. 24
何の為にやっているのか？
バルテスメソッドを使った体系的アプローチ
気づいたかと思いましたが、ど
れも、この問題が後になれば
なるほど修正コストが掛かると
いう問題です。

25. 25
じゃあテストは？
バルテスメソッドを使った体系的アプローチ

26. 26
バルテスメソッドを使った体系的アプローチ
計画して、テストケース5000ケース
作ってやった方がコスト増では？
計画（戦略）を立てて、テストするか
ら後々の事を考えると工数がかからな
いのです！！

27. 27
バルテスメソッドを使った体系的アプローチ
こんなこと無かったですか？
リリース後、不具合発生→顧客からク
レーム→担当者、上司、営業が呼出を
食らう
信用失墜による、市場価値の低下、取
引停止、最悪訴訟問題

28. 28
バルテスメソッドを使った体系的アプローチ
こんなこと無かったですか？
結合テスト、システムテストでバグ多
発し、修正コスト増大！！
顧客からのクレーム→テストしてる？
テストやり直しでまた不具合。
デスマーチの始まり。。。

29. 29
バルテスメソッドを使った体系的アプローチ
デスマーチPDCA
P・・・ピンチになっても
D・・・どうにもならない
C・・・ちゃんとやっても
A・・・アカン！と言われる

30. 30
具体的にどう計画するのか？
バルテスメソッドを使った体系的アプローチ
計画の段階で、単体テスト、結合テスト、システムテストでそ
れぞれテスト内容、粒度を決める。
それぞれのテストフェーズで、何をもって次のテストへ移行す
るか？のチェックリストとQualityGate（クオリティゲート）
を決める。
テンプレートを使って、効率的に計画、設計、実施を行う。

31. 31
バルテスメソッドを使った体系的アプローチ
実際の物を見てみましょう！！

32. 32
バルテスメソッドを使った体系的アプローチ
テスト計画とテストケースが作れたの
でようやくテスト実施です

33. 33
テスト実施方法及び注意点
バルテスメソッドを使った体系的アプローチ
ネイティブアプリ、ハイブリッドアプリ共通
– テスト端末そろえて、iOS/Androidどちらもテストする
– ダイアログやキーボード表示時に画面が崩れやすい。
• UI確認時に静的だけでなく、動的確認も必要
• 動作中に一瞬画面が崩れる時がある為
– 不具合が出たら下記を確認する。
• 再現率（3/3を１００％と定義）
• OS（バージョン）固有か？機種依存か？

34. 34
テスト実施方法及び注意点
バルテスメソッドを使った体系的アプローチ
ネイティブアプリ
– iOSのみかAndroidのみかの不具合が多い
– iOSとAndroid、両方ともフルテストが必要
– インシデント改修時に、再現したOSのみ確認する

35. 35
テスト実施方法及び注意点
バルテスメソッドを使った体系的アプローチ
ハイブリッドアプリ
– １ソースiOSのみ、Androidのみの不具合が少ない
– Cordovaプラグインが関係する機能はネイティブアプリと
同じ粒度でテストする
– インシデント改修確認時に、必ずiOS、Android両方確認
が必要

36. 36
バルテスメソッドを使った体系的アプローチ
はい、テストと改修が終わりました。
お疲れ様でした～。
ってまだです！！

37. 37
バルテスメソッドを使った体系的アプローチ
実施後は必ず不具合分析
振返りを行う

38. 38
バルテスメソッドを使った体系的アプローチ
どの機能で不具合が多かったか？
各テストフェーズでどの部分に不具合
が多かったか必ず確認する

39. 39
最後に
バルテスメソッドを使った体系的アプローチ
• なるべく問題は上流工程でつぶせ！
• １：１０：４０：１００の法則を忘れない
• ハイブリッドアプリ、ネイティブアプリの特性を考
慮したテスト実施、改修確認を行う。
• テスト後はフェーズ毎に不具合分析を行う。
• それでもテスト計画、端末用意が面倒くさい場合は
バルテスに頼むべし
• 開発もお願いしたい場合はVMTに頼むべし
• テストには計画（戦略）が必要

40. ご清聴ありがとうございました。
40