Crawlers - Tips & Tricks - #desconf 2010

529 visualizações

Publicada em

0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
529
No SlideShare
0
A partir de incorporações
0
Número de incorporações
10
Ações
Compartilhamentos
0
Downloads
5
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Crawlers - Tips & Tricks - #desconf 2010

  1. 1. Crawlers Tips & Tricks.
  2. 2. @paverama@caroljanovik @rafaelss
  3. 3. Crawler é...• ... um programa que fica rodando em algum lugar, extraindo os dados que tu precisa• ... uma ***puta*** dor de cabeça
  4. 4. Por quê?• Dão trabalho• Podem ser demorados• Consomem processamento/memória• Podem derrubar o site “crauleado”• Nem todo mundo gosta de ser a “vítima” de um crawler
  5. 5. Então:• Não use a tecnologia errada• Não tente capturar tudo• Não derrube o site alheio• Organize seu código• Tenha cuidado com libs/frameworks de terceiros• Crie formas de tratar os erros• ...
  6. 6. Obrigado! @rafaelss

×