MT,STautomation

1. サブスク管理システムの結合・総合テストを自動化した話

2. 自己紹介名前：池田経歴：IT業界歴7年目、主に通信インフラ開発、テスト触ったことある言語： C++、Python(Django) 趣味：同人活動(全年齢向け小説)、コスプレ、カメラ、 3Dプリンタで造形、キャンプ、サウナ

3. システムテストとは要件定義基本設計詳細設計実装システム(総合)テスト結合テスト単体テスト

4. システムテストでやること ● 回帰テスト ● デグレードチェックテスト ● セキュリティテスト ● ユーザビリティテスト ● 障害許容性テスト ● 性能テスト ● ロングランテスト ● 負荷テスト

5. システムテストでやること ● 回帰テスト ● デグレードチェックテスト ● セキュリティテスト ● ユーザビリティテスト ● 障害許容性テスト ● 性能テスト ● ロングランテスト ● 負荷テスト

6. 前提1 サブスクリプション管理システムプロバイダーユーザユーザユーザ

7. プロジェクト前提2 開発担当池田ベース開発メンバー (アジャイル) 開発兼テスターリーダー顧客向け開発担当顧客対応チーム顧客窓口リーダー課題・顧客対応とアドオン開発に人員が割かれ、ベースシステムの製造・テストが追いつかない・テストパターンが足りず、顧客別のアドオン開発でバグが多発

8. アプリ Controller 請求前提3 テストの方法とシステムの動作 RDB GUI テスター注文開通日：1/1 期間：12ヶ月支払：月々払い請求：前払い課金開始日：日割数量：10 etc… ポチポチポチポチ利用期間：1/1~1/31 請求日：1/1 契約期間：1/1~12/31 自動更新：する途中変更：可能 etc… 利用期間：2/1~2/28 請求日：2/1 : 利用期間：12/1~12/31 請求日：12/1 注文契約請求

9. 自動化の流れ Step1 手順を自動化 Step2 確認する値をデータで出力 Step3 確認する値の突合 Step4 テストシナリオのフォーマット化・自動化 Step5 回帰・デグレードテスト自動化 Step6 性能テスト自動化

11. アプリ Step1 操作自動化(bf) RDB GUI 池田ポチポチポチポチ注文パターン1 契約請求注文パターン2 注文パターン100 ポチポチポチポチポチポチポチポチポチポチポチポチポチポチポチポチポチポチポチポチポチポチ注文パターン3 : 開通日：3パターン × 期間：2パターン × 支払：2パターン × 請求：3パターン × etc…

12. アプリ Step1 操作自動化(af) RDB 契約請求 API 池田 CLI (スクリプト) APIエンドポイントを叩く・Pythonのrequests ・PostMan Webブラウザの操作自動化・Selenium(バックグラウンド実行 ) ・Selenium IDE(画面ポチポチでコード生成 ) ・Autify(画面ポチポチで作成したシナリオを Autifyが提供するAPIから実行) 注文パターン 100 ※確認はGUI

14. アプリ Step2 確認する値をデータで出力(bf) RDB 契約請求 API 池田 GUI 請求パターン 100 画面キャプチャ画面キャプチャ画面キャプチャ画面キャプチャ画面キャプチャパターン100

15. アプリ Step2 確認する値をデータで出力(af) RDB 契約請求 API 池田 CLI (スクリプト) 請求パターン 100 ●APIエンドポイントを叩く・Pythonのrequests(GET系) ●SQLコマンドで取ってくる・ssh経由でコマンド入力・ansible(構成管理ツール) ・rundeck(ジョブ管理) ●ブラウザに表示される値を取得・Selenium(バックグラウンド実行 ) ssh xxx “mysql db_name -ss -e “SELECT * FROM invoice”” id 利用開始日利用終了日請求日 1 1/1 1/31 2/1 2 2/1 2/28 3/1 3 :

17. アプリ Step3 確認する値を突合(bf) RDB 池田テスター CLI (スクリプト) 請求パターン 100 ssh xxx “mysql db_name -ss -e “SELECT * FROM table_name”” id 利用開始日利用終了日請求日 1 1/1 1/31 2/1 2 2/1 2/28 3/1 3 : 確認して入力コピペ

18. var1.0 ver1.1 Ver1.0 Step3 確認する値を突合(af) 池田 CLI (スクリプト) Ver1.1 請求パターン 100 請求パターン 100 id 利用開始日利用終了日請求日 1 1/1 1/31 2/1 2 2/1 2/28 3/1 3 : diff ver1.0_0001_start_day.txt ver1.1_0001_start_day.txt 開始日 1/1 2/1 3/1 開始日 1/1 2/1 3/1 var1.0 ver1.1 終了日 1/31 2/28 3/31 diff ver1.0_0001_end_day.txt ver1.1_0001_end_day.txt id 利用開始日利用終了日請求日 1 1/1 1/31 2/1 2 2/1 2/28 3/1 3 : result 0001_start_day OK 0001_end_day NG 0001_invoice_day OK : 終了日 1/31 2/28 3/28

20. Ver1.0 Step4 テストシナリオのフォーマット化・自動化(bf) CLI (スクリプト ) Ver1.1 請求パターン 100 請求パターン 100 result_v1.1_vs_v1.2 0001_start_day OK 0001_end_day NG 0001_invoice_day OK : 開発メンバー開発メンバー開発メンバー ver1.0->1.1 分割系確認してほしい ver1.1->ver1.1.1 日割り系確認してほしい。 (仕様は口頭) ver1.0->1.2 月跨ぎ確認してほしい仕様書仕様書仕様書池田仕様書 Ver1.1 CLI (スクリプト ) Ver1.1. 1 請求パターン 100 請求パターン 100 result_v1.1_vs_v1.2 0001_start_day OK 0001_end_day NG 0001_invoice_day OK : Ver1.0 CLI (スクリプト ) Ver1.2 請求パターン 100 請求パターン 100 result_v1.1_vs_v1.2 0001_start_day OK 0001_end_day NG 0001_invoice_day OK : 各々でシナリオ作ってテスト回してくれないかな......

21. Step4 テストシナリオのフォーマット化・自動化 GAS Scenario.json [{test_no:0001, order_day:2023-01-01, span:12, : },{test_no:0002, order_day:2023-01-01, span:12, : } ] 池田シナリオ生成ツール作ったから各々で作っといて！

22. Ver1.0 Step4 テストシナリオのフォーマット化・自動化(af) CLI (スクリプト ) Ver1.1 請求パターン 100 請求パターン 100 result_v1.1_vs_v1.2 0001_start_day OK 0001_end_day NG 0001_invoice_day OK : 開発メンバー開発メンバー開発メンバー池田 Ver1.1 CLI (スクリプト ) Ver1.1. 1 請求パターン 100 請求パターン 100 result_v1.1_vs_v1.2 0001_start_day OK 0001_end_day NG 0001_invoice_day OK : Ver1.1 CLI (スクリプト ) Ver1.2 請求パターン 100 請求パターン 100 result_v1.1_vs_v1.2 0001_start_day OK 0001_end_day NG 0001_invoice_day OK : 問い合わせ受付ツールメンテナンスシナリオシナリオシナリオ

25. Step5 回帰・デグレードテスト自動化注文シナリオ自動更新シナリオ変更注文シナリオ契約切替シナリオ自動更新シナリオ Ver1.0 CLI (スクリプト) Ver1.1 自動更新シナリオ池田本番環境1 本番環境1 本番環境1 本番環境1 実際に使われているパターンを確認

26. まとめ ● 自動化を想定していないシステムのテスト自動化は時間かかるシステムのバグか、ツールによるバグかを判断する必要がある為 ● ある程度育ったら周りの人が使いやすい作りにする自動テストツールが既に2つあったが、使われていなかった ▶ツールはなるべくミニマムに、逆引きできるようにしておく ▶常に1人はメンテナンスする

MT,STautomation

MT,STautomation

Recomendados

Mais conteúdo relacionado

Similar a MT,STautomation

Similar a MT,STautomation(20)

Último

Último(13)

MT,STautomation