17. it’s
crazy,
open
and
for
all
free
open source
repositório de crawlersuser agent randômico
gerador de urls pega cookies
as meninas gostam
assíncrono em nodejs xml
json
mongodb
muito, muito leve
escala pra cacete
18. it’s
crazy,
open
and
for
all
> npm install crawler-js
!
http://crawlerjs.org/
!
https://github.com/CrawlerJS/CrawlerJS
https://npmjs.org/package/crawler-js
!
https://github.com/CrawlerJS/crawlers
19. bloqueio
de ip
mudança
de layout
paginação
get vs post
captcha
desenvolvimento
site
indisponível
volumetria
formulário
autenticação
é aqui que você pira
sql server
mongoDBCSV
cookie
json xml