Robotium を使った UI テスト

1. Robotium を使った UI テスト 2016/02/20 DroidKaigi 2016 Reject Conf Sansan 株式会社辰濱健一

4. Copyright © 2014 Sansan, Inc. All rights reserved. > 自己紹介 3 • 辰濱健一 • https://www.facebook.com/kenichi.tatsuhama • http://www.slideshare.net/kenichitatsuhama • 徳島県生まれ、徳島県勤務 • Tokushima.app というスマホアプリ勉強会を主催 • 趣味は音楽＆旅行

5. Copyright © 2014 Sansan, Inc. All rights reserved. > 自己紹介 4 • 業務経歴 • 1社目＠徳島市 • Java, C++, MFC • UWSC を使った Windows アプリの UI 自動テストの導入 • 性能改善チームにて、自動性能計測ツールを作成 • 2社目＠徳島市 • iOS（Objective-C）, Android（Java）, Windows（C#）のスマホ＆タブレット向けアプリ開発 • 機能担当制、iOS で作った機能は作った人が他 OS に移植 • 3社目＠徳島県神山町 • スマホアプリの自動テスト • リモートワーク開発＆品質担保と自動テストモバイル開発モバイル開発での品質担保と自動テスト

7. Copyright © 2014 Sansan, Inc. All rights reserved. > Sansan神山ラボ 6 • 築70年の木造古民家（3棟） • 略歴 • 2010年設置 • 〜2013/11:合宿所 • 2013/11〜:常駐メンバーのいる開発拠点に • 家具家電、畑付き、風呂トイレセパレート • 家賃：数万円 / 月 • インターネット接続：光回線 • 最寄り駅まで徒歩15分 • 改装OK物件

14. Copyright © 2014 Sansan, Inc. All rights reserved. > スマホアプリの自動テストライブラリ 19 - Android 専用 - Robotium - monkeyrunner - Espresso - UI Automater など… - iOS 専用 - KIF - Kiwi - など… - ハイブリッド - Appium - Calabash - MonkeyTALK - など…

15. Copyright © 2014 Sansan, Inc. All rights reserved. > Robotium にした理由 20 • Android 実装と同じ Java 言語で記述 • アプリケーション内部のオブジェクトを参照できる • UI に見えない内部の値、Activity の getter を呼べる SharedPreference の値 • DB にもアクセスできるので期待値を動的生成できる → サーバ DB 状態の変更にも強い • ただし、リリースビルドでは使えない • リリースバイナリでも使いたい＆iOS / Android のテストコード共通化のため、 Appium によるテストコード記述も実践中 ※Appium は、アプリ内部のオブジェクトは参照できない • 導入当時（2014/05）、最終局面で Espresso とどっちにするか悩んだ。 •

16. Copyright © 2014 Sansan, Inc. All rights reserved. > Robotium にした理由 21 • Android 実装と同じ Java 言語で記述 • アプリケーション内部のオブジェクトを参照できる • UI に見えない内部の値、Activity の getter を呼べる SharedPreference の値 • DB にもアクセスできるので期待値を動的生成できる → サーバ DB 状態の変更にも強い • ただし、リリースビルドでは使えない • リリースバイナリでも使いたい＆iOS / Android のテストコード共通化のため、 Appium によるテストコード記述も実践中 ※Appium は、アプリ内部のオブジェクトは参照できない • 導入当時（2014/05）、最終局面で Espresso とどっちにするか悩んだ。 • 今となっては、Espresso にしておけば良かったと思う…。

20. Copyright © 2014 Sansan, Inc. All rights reserved. > ライブラリとテストコードの結合度を下げる 25 • 目的 • テストコードの可読性を上げる • ライブラリに依存しないテストコードにする • ライブラリにない機能追加ができる • 実行ログの記録 • エラー時にスクリーンショットを残すようにする • 理由 • ライブラリの API 変更, ライブラリの置き換えでテストコードの修正が伴わない • 失敗時の原因調査がしやすい

21. Copyright © 2014 Sansan, Inc. All rights reserved. > Robotium Getting Started は密結合 26 • https://github.com/RobotiumTech/robotium/wiki/Getting-Started • あくまでも API の使い方と思っておきましょう。 • 【対応】テストの基底クラスなどを作って clickOnText(String)を作り、テストコードではそちらを呼び出すテストコードとライブラリが密結合

25. Copyright © 2014 Sansan, Inc. All rights reserved. > まずは、広く・浅く記述する 30 • 背景 • スマホアプリの UI や機能は比較的すぐ見直しが入る • 使えないと致命的な機能と、そうでない機能がある • 対策 • まずは、費用対効果の高い、主要機能のワンパスを通す • ログイン → 検索・閲覧・編集 → ログアウトあたり • ログイン時のバリデートチェックよりも、ログインできるかの方が重要 • 慣れてきたら、各画面の詳細テストへ

27. Copyright © 2014 Sansan, Inc. All rights reserved. > あきらめも大事 32 • 別アプリと連携するものなどは手動で確認へ • 例） • カメラのピントが合っていること • 住所文字列をタップすると地図アプリが起動し、その場所にピンが立っていること • URL をタップするとブラウザが起動し、ページが正しく表示されること • 場合によってはアプリ選択画面が出る • 起動後の状態判定は目視の方が容易 • こういう所の自動化を頑張るのは費用対効果的に微妙…

29. Copyright © 2014 Sansan, Inc. All rights reserved. > あきらめも大事（だけど、知見共有） 34 • 例）URL をタップするとブラウザが開く • Robotium や Espresso は UI 操作により別アプリが開くと、その後どうしようもなくなる… • 理由 • アプリケーションの操作であって、端末の操作ではない • 対応策 • UI Automaterと併用する • ※但し、minSdkVersion に注意 • Espresso の Intent チェックを使う

30. Copyright © 2014 Sansan, Inc. All rights reserved. > あきらめも大事：メールチェック編 35 • 別アプリ…とはいえ、送られてきたメールをチェックするなら、MailCatcher & MailCatcher API で実現可能 • MailCatcher • SMTPサーバを経由したメールをブラウザから確認できる。開発中の誤送信防止にも役立つ。 • http://mailcatcher.me/ • MailCatcher API • /messages • /messages/:id.json • /messages/:id.html • /messages/:id.plain など

31. Copyright © 2014 Sansan, Inc. All rights reserved. > あきらめも大事：メールチェック編 36 • Retrofit & RxAndroid を使えば容易 • 指定したタイトルのメールが届いているか？ • 特定のメールを開いて本文の URL をタップ（メール本文から URL を抽出して、OkHttpClient などで post する） ※Message モデルのプロパティは一部しか宣言していない

33. Copyright © 2014 Sansan, Inc. All rights reserved. > 待ち方のコツ 38 • テストコードでは SLEEP 関数は使わない • 自作関数やライブラリのラッパー関数内で使うのはアリ • 端末、実行環境、サーバの状態によって待ち時間は違う！ • どうするか？ → wait* 関数を使う • ライブラリ関数の例 • waitForActivity • waitForFragmentByTag • waitForCondition

37. Copyright © 2014 Sansan, Inc. All rights reserved. > 期待値の動的生成 42 • 弊社の開発事情によるところかも知れないですが… 「開発用」「ステージング」「本番」でデータセットが異なります。 • 検索結果などが保証されるためにも • ローカル DB を参照して期待値を動的生成する • ログイン後にテストコードでデータを作る操作を行う • このデータに対し、検索・編集・削除などのテストを行う • ノイズにならないためにログアウト前に作ったデータを削除する操作を行う • これにより、データ非依存なテストケースになります

38. Copyright © 2014 Sansan, Inc. All rights reserved. > 期待値の動的生成 43 実際のテストコード myName : ”山田賢治” users : {Uesr(阿部拓真), User(浅野緋美) , User(葉加瀬万太郎), …} ※ログインユーザを変えると、myName は違う値 ※ログイン企業を変えると、users も違うデータセットが返る

42. Copyright © 2014 Sansan, Inc. All rights reserved. > 多言語対応 47 • https://github.com/RobotiumTech/robotium/wiki/Getting-Started • ↑あくまでも API の使い方と思っておきましょう。 • 【対応】 • Robotium なら、clickOnText(@StringRes int) を作って、 getString(…) • Espresso なら、withText に @StringRes int を渡す日本語の時文言が違えば、このコードはエラーになる

43. 実行環境

44. Copyright © 2014 Sansan, Inc. All rights reserved. > 実行環境 49 • 基本的に実機で実行 • 昔は Jenkins & エミュレータでやっていた • テストが増え、CI 環境を長時間（2h 以上）占有する＆エミュレータが不安定なためやめた • jacoco でカバレッジ計測 • どこのテストが足りてないかわかる • 開発環境 DB で実施 • 固定のデータセット、特定のデータを使いたい場合は Docker にて特定のデータセットを持つ DB を用意

47. Copyright © 2014 Sansan, Inc. All rights reserved. > Docker を使った固定データ環境 52 • 開発環境（データや件数が他者によって書き換えられる可能性がある）でもテストが行えるようにしているが、以下のニーズがある • パフォーマンス計測がしたい（ので、件数固定じゃないとダメ） • テスト用に特定のユーザセットが欲しい • 例）アカウント停止ユーザのエラーチェック • アプリからは設定できないデータを持つ名刺が欲しい • 例）名刺交換日未設定 • ローカル DB をアテにしない期待値を書きたい • 例）山田賢治さんは○○枚名刺を持っている • Docker で環境（API&DB）のイメージを持っておき、テストコードから環境準備＆片付けを行う

48. Copyright © 2014 Sansan, Inc. All rights reserved. > Docker を使った固定データ環境 53 • 事前準備 • Jenkins に環境起動用のジョブ / 環境破棄用のを作成 • テスト実行時 • setup() で環境起動用の Jenkins ジョブを Jenkins WebAPI を用いて実行 • アプリの API の向き先を差し替える • テスト実行中 • 起動した環境に接続してテストを実施 • テスト終了時 • tearDown() で環境破棄用の Jenkins ジョブを Jenkins WebAPI を用いて実行 • API の向き先を戻す

49. デモ

51. 自動テストを導入してみて

52. Copyright © 2014 Sansan, Inc. All rights reserved. > 自動テスト導入してみて 57 • デグレードがないことを容易に確認できる • メンテは思ったほど大変じゃない • コツ：1行で書ける画面操作も clickSendButton() などの関数にして共通利用するとよい • テストでしっかりカバーしていれば、大規模なリファクタリングも安心！ • これから、通信ライブラリ・カメラ API・デザインパーツの差し替え・DB の置き換え？などが控えている • モックを使わないので、サーバの動作確認にもなる

53. UI テストで他にもできそうなこと（ちょっとだけ着手して、本格導入できていない件）

54. Copyright © 2014 Sansan, Inc. All rights reserved. > 推移時間（イメージ） 59 • パフォーマンス改善の結果確認、性能デグレの検出ができる（かも？） • 通信状態やサーバ状態に大きく左右される気がする… 0 2 4 6 8 10 12 2015/2/27 2015/2/28 2015/3/1 2015/3/2 2015/3/3 2015/3/4 2015/3/5 2015/3/6 ログイン処理初回同期名刺画像送信詳細データ取得高画質画像データ取得手動同期処理

55. Copyright © 2014 Sansan, Inc. All rights reserved. > 通信回数の分析 60 - 呼び出し毎に API名と実行時間を csv ファイルに出力 - Excel のピボットテーブルで集計 - iOS / Android で同じ仕組みを入れれば、同じ操作で API 呼び出しの違いがわかる！そんなに呼び出す必要あるの…？サーバ負荷削減のためのボトルネック分析が容易になる Excelマクロ

58. これから

59. Copyright © 2014 Sansan, Inc. All rights reserved. > これから 64 • Espresso も併用して、Robotium ではテストしづらかった部分のテスト（Intent のチェックなど）を行う • UI Automater も併用して、 • アクティビティを保持しない設定にする • 最小化＆復帰後の画面状態のテスト • AWS Device Farm を使って、所有していない端末でのテストも行う

62. 質疑応答

63. ステッカー欲しい方はお声がけ下さい！！

Robotium を使った UI テスト

Esté a ler uma amostra.

Confira estes a seguir

Robotium を使った UI テスト

Mais Conteúdo rRelacionado

Diapositivos para si (20)

Quem viu também gostou (12)

Semelhante a Robotium を使った UI テスト (20)

Mais de 健一辰濱 (20)

Mais recentes (20)