2023/4/6のRPACommunityでのスライドです。 マウス操作を行うRPAツールの欠点を補う１つの方法として、マウスを使う操作をWeb Driverの処理に置き換える方法ついて紹介しています。

1. RPA COMMUNITY ライトニングトーク大会
Web Driverでブラウザを操作する
～マウス操作を行うRPAツールの欠点を補う～
masuoのブログ/masuo
２０２３年４月６日
#RPALT

2. SikuliXについて
知りたいときは
こちらから ⇒
自己紹介
#RPALT
BizRobo!(3年)、Automation Anywhere(1年)、UiPath勉強中
RPA経験：
業務プロセス改善が専門の技術士(情報工学部門)
小原増雄
名前：
活動： 主にブログでRPAツール活用のノウハウ発信
RPACommunity大阪支部でLTしたときの写真
https://aijimy.com/
推してます！
RPAツールと呼んでいい
のか？ChatGPTに聞いて
みた (^^)/
AI JIMYについて
知りたいときは
こちらから ⇒

3. ロボットの操作を妨害する外的要因
ポップアップウィンドウの表示（システムからの通知）
#RPALT
マウスやタッチパッドの操作（人為的）
✔
✔
フォーカスが奪われて入力操作ができない
マウスが正しい位置に移動できない
アプリケーションのヒント表示
✔
ヒントの下にある要素をクリックできない

4. ダブル
クリック
空振り
外的要因に対応した実装
#RPALT
11111
11111
22222
操作画面を開く
テキストボックスへ
マウスを移動する
全選択するために
ダブルクリックする
文字を入力する
＜ロボットの処理＞
＜画面表示(入力成功例)＞
表示内容を抽出して
入力内容と比較する
不一致
一致
11111
11111
1111122222
＜画面表示(入力失敗例)＞
22222 1111122222
入力 表示
不一致

5. 外的要因が瞬間的ならリトライ有効
#RPALT
瞬間的で継続性が無い
✔
外的要因が特定できている
✔
ネットワークが
切断しました (>_<)

6. 外的要因に対応した実装のデメリット
#RPALT
入力項目１つについて入力処理と抽出処理を行うの
で、入力処理だけ実装する場合と比べて処理時間が
２倍になるかもしれません。
✔
ロボットの開発工数がかさみます。
✔

7. PowerShell経由でAPIを使う手もある
#RPALT
SikuliXの基本機能は
・画像認識で操作位置検索
・マウス操作＆キー操作
（クリップボードも利用）
これが限界
という呪縛から
解放する
Web Driver(Edge, Chrome)
PowerShell
Web Driver API
Clipboard

8. 属性値を直接書き換え
#RPALT
22222
操作画面を開く
文字を入力する
＜ロボットの処理＞ ＜画面表示＞
テキストボックスへ
マウスを移動する
全選択するために
ダブルクリックする
表示内容を抽出して
入力内容と比較する
不一致
一致
11111
11111

9. ブラウザの自動アップデートに注意
#RPALT
ブラウザのバージョン ≠ Web Driverのバージョン
で動かなくなる
✔

10. ExcelだってAPIで操作可能
#RPALT
これが限界
という呪縛から
解放する
PowerShell
Excel API
Clipboard

11. GUIは人が操作するための仕掛け
Worksheet
Workbook
イベント
ハンドラ
Excelオブジェクトの実体
ウィンドウ表示
列非表示
保存
マウス・キーボード操作
開く
保存
#RPALT

12. APIならウィンドウ非表示のまま完結
Worksheet
Workbook
Excelオブジェクトの実体
保存
生成
開く
列非表示
#RPALT
保存
開く

13. 自動化って楽しい！
#RPALT
煩わしい
煩わしい
煩わしい

14. おわりに
#RPALT
で公開中
今日の内容が、少しでも皆様の役に立てば幸いです。
Selenium WebDriver連携
https://robot-hub.bizrobo.com/
✔
PowerShellでRPA(Web画面)
✔
masuoのブログで公開中
https://masuo.doorblog.jp/