本簡報為快樂學程式的直播課程簡報 Selenium與動態網頁爬蟲應用：以Google搜尋為例，獲得無廣告的搜尋結果

1. 1PAG E
Yanwei Liu
Selenium與動態網頁爬蟲應用

2. 2PAG E
專注於Python爬蟲、資料分析、機器學習、深度學習程式應用開發。
Yanwei Liu
Introduction

3. 3PAG E
GitHub
https://github.com/e96031413

4. 4PAG E
Medium
https://medium.com/@yanweiliu

5. 5PAG E
Selenium爬蟲筆記
https://reurl.cc/D9xLaN

6. 6PAG E
Q&
A

7. 7PAG E
使用 Selenium 與 使用 Requests 套件進行網路爬蟲的差別是甚麼?
他們各有甚麼優缺點呢?
Q1

8. 8PAG E
Selenium優點：
• 上手容易
• 跨平台的自動化測試工具（JAVA、C#、........）
• 比較不會有被網頁封鎖的問題（至少我個人經驗）
Selenium缺點：
• 執行速度較慢（使用Chrome）
• 需要driver驅動程式（chromedriver.exe）
• Chrome更新需要重新下載driver
A:

9. 9PAG E
Requests優點：
• 執行速度比Selenium「快很多」
• 有時要搭配header和proxy，解決被網頁封鎖的問題
• 可搭配LINE Notify，將爬蟲資料傳到自己的LINE群組
Requests缺點：
• 要搭配BeautifulSoup解析網頁（需要會基礎的HTML / CSS）
• 有時要搭配不同的header和proxy，解決被網頁封鎖的問題
A:

10. 10PAG E
若想使用 Selenium 進行動態網頁爬取，
是否需要先熟悉 html 與 Javascript ?
Q2

11. 11PAG E
若想使用 Selenium 進行動態網頁爬取，
是否需要先熟悉 html 與 Javascript ?
A:

12. 12PAG E
Selenium
動態網頁爬蟲神器

13. 13PAG E
我曾用Selenium 爬過什麼？
• 氣象局網站
• 政府部門資料網站
• 104人力銀行職缺查詢
• 網頁全畫面自動截圖
• 電影推薦網站

14. 14PAG E
本日Demo程式碼
https://reurl.cc/9EWqEX

15. 15PAG E
Selenium
1. 安裝
pip install selenium
到 https://reurl.cc/X62NOD 下載驅動程式

16. 16PAG E
Selenium
2. 引入套件並初始化
from selenium import webdriver
from selenium.webdriver.common.keys import Keys #進行鍵盤輸入
driver_path = “X:/XXX/pathToYourDriver/chromedriver.exe”
driver = webdriver.Chrome(driver_path)

17. 17PAG E
Selenium
3. 開網頁
driver.get("https://www.google.com/")

18. 18PAG E
Selenium
4. 用 XPAth找element
keywords = "Python爬蟲“
search_bar = driver.find_element_by_xpath("/html/body/div[1]/div[3]/form/div[2]/div[1]/div[1]/div/div[2]/input")
search_button = driver.find_element_by_xpath("/html/body/div/div[3]/form/div[2]/div[1]/div[2]/div[2]/div[2]/center/input[1]")
解決爬蟲新手不了解
HTML / CSS 及 JS問題

19. 19PAG E
Selenium
5. 進行鍵盤操作
search_bar.send_keys(keywords) # 輸入搜尋關鍵字
search_bar.send_keys(Keys.ENTER) # 按下Enter鍵

20. 20PAG E
Selenium
6. 單頁爬蟲

21. 21PAG E
Selenium
7. 指定頁數爬蟲

22. 22PAG E
Selenium
8. 開始爬蟲
main()
driver.close()

23. 23PAG E
Q&
A

24. 24PAG E
專注於Python爬蟲、資料分析、機器學習、深度學習程式應用開發。
Yanwei Liu
Thanks For Your Watching

25. 25PAG E
GitHub
https://github.com/e96031413

26. 26PAG E
Medium
https://medium.com/@yanweiliu