テスト自動化の現場から～落とし穴に気を付けよう～
•
15 gostaram•5,847 visualizações
テストを効率的に実行する方法の一つとして、自動化があります。しかし、「自動化することで手作業がなくなり、バグがたくさん見つかる」ということはありません。テスト自動化で見逃しがちな落とし穴を、現場の事例を交えながらご紹介します。
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Destaque
Destaque (20)
Semelhante a テスト自動化の現場から～落とし穴に気を付けよう～
Semelhante a テスト自動化の現場から～落とし穴に気を付けよう～ (20)
Mais de Satsuki Urayama
テスト自動化の現場から～落とし穴に気を付けよう～
- 2. 自己紹介 浦山 さつき 仕事 エンプラ・金融系・Webシステムのテスト テスト設計、テスト自動化、マネジメント、教育 所属コミュニティ テスト自動化研究会、しなてす JaSST Tohoku 実行委員会 書籍 『システムテスト自動化標準ガイド』共訳 登壇 WACATE2015夏 CEDEC2014 JaSST ’14 Tohoku JaSST ’13 Tokyo 他
- 5. 統 合 テ ス ト 受 入 テ ス ト テスト分析 テスト設計 テスト実装 テスト実行 報告書作成 テスト分析 テスト設計 テスト実装 テスト実行 報告書作成 テスト分析 テスト設計 テスト実装 テスト実行 報告書作成 テスト分析 テスト設計 テスト実装 テスト実行 報告書作成 要求定義書 画面仕様書 要求分析 基本設計書 詳細設計書 ソース コード ユーザ要求 システム 要件 設計 実装 ユ ニ ッ ト テ ス ト シ ス テ ム テ ス ト 開発の作業 開発の成果物 コード解析 モニタリングとコントロール ソフトウェア管理 インシデント管理 テストの作業（プロセス） テストツールまるわかりガイド 図3-2 V字モデルとテストに必要な作業の対比 テスト自動化のスコープ
- 6. なんでも自動化できる？
- 7. できます。
- 8. できます。
- 12. の前に
- 13. 現場 を ご紹介します。
- 19. 顧客満足度を上げるための様々な施策 例 新規登録・更新 反映 各コンテンツの機能障害検知、速度調査 施策 • 機能障害を検知する 仕組みの導入 • 障害の定義 • 許容時間の定義 店舗 クレーム 店舗情報 ポータル サイト
- 21. 自動化の背景 0.0 0.5 1.0 1.5 2.0 2.5 2011 2012 2013 2014 2015 倍 ユニークユーザー数 有料加盟店舗数 5万件 を突破
- 26. システムテストチーム 体制イメージ テスト自動化チーム ×10人 ・回帰テストの自動化 ・自動テストの運用 開発チーム A機能 B機能 C機能 … A機能 B機能 C機能 …
- 28. 自動テストのスコープ ①199X年 新規開発 ⑤サービス終了 ②設計 影響調査 ③修正の実施 ④-1 ユニットテスト ⑥201X年 システム刷新 サービス追加要件 リリース ④-2 統合テスト ④-3 システムテスト ④-4 受入れテスト ④-3 システムテスト
- 33. 自動化は初期投資が大事だ • 最初にかかるコスト • ツール購入のコスト • スクリプトを作るコスト
- 34. ＼ メンテしないと動かない ／
- 35. ＼ ほかの人が使えない ／
- 36. “自動化は初期投資が大事だ”は落とし穴 ツール／テストプロセス／人／プロダクトについて、時間軸で考える 導入前～ プロジェクト導入 導入後～ ソフトウェアライフサイクル全体 ツール ツールの購入コスト サポートやライセンスなど 保守契約に要するコスト テスト プロセス スクリプト作成の負荷 欠陥修正後の確認テスト 実行にかかる時間 人 導入に必要なスキルの トレーニングコスト スクリプトのメンテナンスのための 技術伝承のコスト プロダクト 自動テスト可能なつくりにするためのコスト 新技術の導入等による 利用技術の変化に対応するコスト 時間 JaSST’13 Tokyo 「なれる！Test Automator！～テスト自動化を成功に導く３つの真実～」
- 37. 事例2 2010.11 新システムでの導入（5名） 2009.4 新システムに向けて再開発（5名） 2007.4 回帰試験運用（4名） 2006.4 テスト対象範囲拡張、回帰試験での導入（7名） 2005.8 受け入れテストでの導入（10名） 2005.1 立ち上げ（15名） “自動化は初期投資が大事だ”は落とし穴 自動テストに関わった人数の推移
- 39. 簡単に作れればそれでよい • ツールを使えば簡単にテストが自動化できる • 簡単に作れる！ • たくさん作れる！
- 40. ＼ 修正が追い付かない ／
- 41. “簡単に作れればそれでよい”は落とし穴 • 影響範囲が大きすぎて、修正が追いつかない！ • 似たようなスクリプトが多すぎる！！ Test1 Test2 Test4Test3 事例1
- 42. “簡単に作れればそれでよい”は落とし穴 • スクリプトの構造化が有効。 レベル１ Linear Script Frameworks レベル２ Data-driven Frameworks Functional Decomposition Frameworks レベル３ Keyword-Driven Frameworks Model-based Framework TABOK Segment 2: Macroscopic Process Skills Skill Category 4: Test Automation Frameworks
- 43. “簡単に作れればそれでよい”は落とし穴 Class サービス設定画面 Function ユーザー名(Name) TextBox(“UserName”).Type Name Function ログイン Button(“Login”).Click Class 検索画面 Function 検索(id) TextBox(“UserId”).type id Button(“Serch”).Click Function 種別選択(item) SelectBox(“UserId”).select item 事例2 操作順 操作画面 値 1 検索 A 2 種別選択 変更 パラメタ なにを順番どこに どうする スクリプトスクリプトスクリプト
- 46. 優秀すぎる結果ファイル • 結果の解析に必要な情報が 十分に含まれた結果ファイルが自動で出力される • 実行時間 • すべての操作内容 • すべての画面キャプチャ あいう かきく レ 成功 レ 成功 レ 成功 レ 成功 レ 成功 レ 成功 レ 成功 × 失敗 レ 成功 (フォーム2).type “かきく” 2015.10.03 12:02:12 結果
- 47. ＼ 専用ツールが必要だった ／
- 48. “優秀すぎる結果ファイル”は落とし穴 • 専用ツールを入れないと結果が見れない • 開発者が結果を見てくれない • 手動テストと同様に操作内容を記入する必要あり • ツール導入時は、関係者と使い方を確認しよう 事例2
- 49. ＼ サーバーがパンクした ／
- 50. “優秀すぎる結果ファイル”は落とし穴 • サーバーがパンクした！ • 運用を始めて数か月、見たことのないエラーで停止 • ログのメンテもしましょう • エビデンスやログの解析に不要な画面キャプチャの削除 • 過去ログの保存ルールを決定 事例2
- 51. 落とし穴④ 繰り返しできるテスト
- 53. ＼ 別なところからバグが ／
- 54. “繰り返しできるテスト”は落とし穴 • テストケース以外の箇所からデグレードを発見！ • 殺虫剤のパラドックス • テストの草刈りをすべし • テストを自動化して満足することなかれ。 • テスト自身の保守も忘れずに。 • テストケースの追加と削除 • 修正に伴う自動テストのテストも忘れずに。 事例2
- 56. 落とし穴⑤ 自動化すれば万事OK
- 57. 自動化すれば万事OK • 長くて複雑なテストがあった • 手でやるのは面倒くさい！ • 自動化すればオペレーションミスもなくなる！ 事例2
- 58. ＼ 実行時間が増えた ／
- 59. “自動化すれば万事OK”は落とし穴 • 長いテストには 「入れ子型欠陥」シンドローム が付きまとう • 自動化以外の解決策があるかも • テスト目的を見直そう • テストレベルを見直そう • テストを短くする工夫をしよう • カオスを自動化してもカオスが速くなるだけ！ 事例2
- 60. まとめ
- 65. ご清聴 ありがとうございました