Charla en el grupo de Python Zaragoza

1. Selenium como herramienta
de Web Scraping
@dani_latorre - 26/08/2013 - Zaragoza Python Days

2. Web Scraping
• “... es una técnica utilizada mediante
programas de software para extraer
información de sitios web.”
• Ingeniería inversa
• Controvertido

3. Selenium
• “Selenium is a suite of tools to
automate web browsers across many
platforms.”
• Testing de aceptación web
• Automatización de acciones de usuario
• Web scraping

4. Bindings
• Python
• Java
• C#
• Ruby
• Javascript - Node
• PHP, Perl (mantenidos por terceros)

5. Otras librerías
• urllib
• Mechanize
• BeautifulSoup/lxml
• Scrapy (crawling)

6. Viene bien
• XPath
• Selectores CSS
• Expresiones Regulares
• Mucha paciencia

8. ¿Por qué selenium?

9. Caso ShuttleCloud
• Migración entre proveedores de email
• Necesidad de escalabilidad
• Homogeneizar scrapers
• Herramienta madura

11. Infraestructura (EC2)
• 1 Selenium Hub
• 3 Selenium Grid (15 firefox)
• 1 BrowserMob Proxy
• 3 BigCouch
• 1 Rabbit MQ
• 1 Scrapers

12. Selenium with Python

13. find_element_by...
• _id / _name
• _tag_name
• _link_text / _partial_link_text
• _class_name
• _css_selector
• _xpath

14. Navegación
• get("http://dlabs.co/")
• anchor_element.click()
• switch_to_window("name")
• switch_to_frame("name")
• add_cookie({"key": "value"})
• get_cookies()

15. Interacción
• input.send_keys("some text")
• input.clear()
• option.click()
• submit.click()
• execute_script(“alert(‘foo’)”)

16. https://gist.github.com/danilat/
6341150

17. Gracias