Mais conteúdo relacionado
Semelhante a EMTEを使って自動化の費用対効果をわかりやすく表現する (20)
EMTEを使って自動化の費用対効果をわかりやすく表現する
- 2. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。2
アジェンダ
• 自己紹介
• EMTEとは
• 自動テストの評価指標
• 実際のプロジェクトでの検証、測定
• EMTEを使うメリット
• まとめ
- 4. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。4
自己紹介
Ruey Jye
芮 杰
(ゼイ ジェ)
台湾出身のSET (Software Engineer in Test)
呼び方:ゼイさん、Jさん
経歴:
2016 (来日) LIFULL(新卒) 品質管理グループ
2018 LIFULL SETグループ
2020 LIFULL クオリティエンジニアリンググループ
資格
• ISTQB CTFL (Foundation Level)
• ISTQB CTAL-TAE (Advanced Level
Test Automation Engineer)
テストプロバイダ経由し
て、日本のテストセンタ
ーで試験受けました。
- 7. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。7
EMTEとは
EMTE (Equivalent Manual Test Effort)
テストを手動で実行する工数
参考:ISTQBの用語集
https://glossary.istqb.org/jp/search/EMTE
- 8. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。8
EMTEとは
例:
テストを手動で実行する工数:120分
そのテストを自動化したときの実行時間:30分
- 9. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。9
EMTEとは
例:
テストを手動で実行する工数:120分 ➡︎ 1 EMTE
そのテストを自動化したときの実行時間:30分 ➡︎ 0.25 EMTE
EMTEは時間単位と変換ができます!
- 11. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。11
EMTEの効果
手動実行で消費した時間と相対的にできる
手動実行時間自動実行時間
その他の工数
自動テスト実行 0.25 EMTE
(テスト実施者は手動実行の
1/4だと直感的に判断できる)
- 15. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。15
自動テストの評価指標
• External TAS metrics
– Automation benefits (自動化メリット)
– Effort to build automated tests (自動テストの構築工数)
– Effort to analyze automated test incidents (自動テストの結果分析工数)
– Effort to maintain automated tests (自動テストのメンテナンス工数)
– Ratio of failures to defects (同じ欠陥によるケース失敗率)
– Time to execute automated tests (自動テストの実行時間)
– Number of automated test cases (自動テストのケース数)
– Number of pass and fail results (自動テストのケース成功/失敗数)
– Number of false-fail and false-pass results (自動テストの結果誤判定数)
– Code coverage (自動テストのカバレッジ)
• Internal TAS metrics
– Tool scripting metrics (分析ツールの結果メトリクス)
– Automation code defect density (自動テストのコードの欠陥密度)
– Speed and efficiency of TAS components (自動テスト各コンポネートの効率)
参考:ISTQB CTAL-TAEシラバス
https://www.istqb.org/downloads/category/48-advanced-level-test-automation-engineer-documents.html
補足:TASはTest Automation Solutionの略語です
- 17. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。17
自動テストの評価指標
• External TAS metrics
– Automation benefits (自動化メリット)
– Effort to build automated tests (自動テストの構築工数)
– Effort to analyze automated test incidents (自動テストの結果分析工数)
– Effort to maintain automated tests (自動テストのメンテナンス工数)
– Ratio of failures to defects (同じ欠陥よるのケース失敗率)
シラバスによるとこれらの指標は
EMTEに変換して表現できることも
記載されています
参考:ISTQB CTAL-TAEシラバス
https://www.istqb.org/downloads/category/48-advanced-level-test-automation-engineer-documents.html
- 18. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。18
自動テストの評価指標
• 自動テストの構築工数
自動テスト環境構築、テストケース設計、テストケース実装などの初期コスト
• 自動テストの結果分析工数
自動テスト実行後の結果確認、不安定なテストの再実行、
デグレーションが発生の確認などの運用コスト
• 自動テストのメンテナンス工数
テストケースの修正やテストデータの整備などの運用コスト
- 21. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。21
検証したプロジェクト概要
Tチームの自動テストを構築しました
対応した内容:
• 自動テスト環境構築
• テストケース設計、実装
• 実際の運用サポート
- 23. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。23
実際の数字 - 実行時間
• 全ケースを手動で行う時間
1時間34分10秒 ➡︎ 5650秒
• 自動テスト実行時間
531秒
※計算しやすくするため、秒単位で表しています
- 24. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。24
実際の数字 - 評価指標
• 自動テストの構築工数
97時間 ➡︎ 349200秒
• 自動テストの結果分析工数
30分 ➡︎ 1800秒
• 自動テストのメンテナンス工数
30分 ➡︎ 1800秒
※計算しやすくため、秒単位で表しています
- 26. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。26
実際の数字 - 評価指標
• 自動テストの構築工数
349200秒 ➡︎ 61.81EMTE
• 自動テストの結果分析工数
1800秒 ➡︎ 0.32 EMTE
• 自動テストのメンテナンス工数
1800秒 ➡︎ 0.32 EMTE
• 全ケースを手動で行う時間
5650秒 ➡︎ 1 EMTE
• 自動テスト実行時間
531秒 ➡︎ 0.094 EMTE
- 28. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。28
わかったこと
• 自動テストの実行効率がいい
自動実行 = 0.094 EMTE (手動の10倍ぐらい早い)
• 運用作業を含めても自動テストのコストは高くない
手動実行 > ( 自動実行 + 分析 + メンテナンス )
➡︎ 1 > ( 0.094 + 0.32 + 0.32 ) (手動実行時間内に収まる)
- 29. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。29
わかったこと
• 構築工数を還元するまでの期間
自動化で節約出来た時間
= 手動実行 - 自動実行
= 1-0.094 = 0.906 EMTE
構築工数を還元するまでの回数 (※仮に毎回の実行で分析、メンテナンスが発生しない場合)
= 構築工数 / 自動化で節約出来た時間
= 61.81 / 0.906 ≒ 68回
- 31. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。31
メリット
時間より、効果がわかりやすい
手動実行時間 1時間34分10秒
自動テスト
実行時間
8分51秒
自動テスト
結果分析工数
30分
自動テスト
メンテナンス工数
30分
自動テスト
構築工数
97時間
手動実行時間 1 EMTE
自動テスト
実行時間
0.094 EMTE
自動テスト
結果分析工数
0.32 EMTE
自動テスト
メンテナンス工数
0.32 EMTE
自動テスト
構築工数
61.81 EMTE
- 33. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。33
費用対効果(運用コストなし)
初期コスト = 61.81 EMTE (1回のみ)
節約した工数 = 0.906 EMTE/回
68回自動テストを回すことで
初期コストの元が取れる!
- 34. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。34
費用対効果(運用コスト込)
初期コスト = 61.81 EMTE (1回のみ)
運用コスト = 0.64 EMTE/回
節約した工数 = 0.906 EMTE/回
233回自動テストを回すことで
初期コスト+運用コストの元が取
れる!
- 36. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。36
補足情報
• EMTEはただの単位変換
時間単位のままでも計算出来ます
• EMTEは工数の指標のみ
他の自動テスト指標は別集計が必要
• 節約は必要な自動テストのみ有効になります
1リリースサイクルで1回自動テストを実行するのであれば、
そのサイクルにある自動テストの実行のみ効果があります
- 38. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。38
まとめ
EMTEは手動で消費した時間と相対的に比較できます
EMTEは効果をわかりやすく表現できます
テストの目的と合わせて、必要な指標も測りましょう