Baixar para ler offline
Carregado porThiago Rocha
Como webscraping pode ajudar no Marketing?
O documento discute como a tecnologia de web scraping pode ser usada para automatizar tarefas, extrair grandes volumes de dados de sites e como ferramentas de web scraping podem ajudar times de crescimento a analisar o desempenho de conteúdo e identificar insights. O documento também discute os principais tipos de ferramentas de web scraping e exemplos de como elas foram usadas para melhorar o desempenho de publicações.
Como webscraping pode ajudar no Marketing?
- 1.
- 3. FIRST JOB INA STARTUP FIRST WEEK JUST TELL ME WHAT TO DO, AND I WILL DO IT!
- 6. 20 Informações Diferentes Decontato do diretor a Ranking do site no Alexa + de 100 consultorias e consultores
- 8. PRIMEIRA SEMANA DE TRABALHO BEMSUCEDIDA
- 9. SQN… Isso tudopoderia ter sido feito em 1 manhã PRIMEIRA SEMANA DE TRABALHO BEM SUCEDIDA?
- 11. Thiago Gouveia Rocha run( webScraping(); return sucess; );
- 12. Agenda 1. Conceito a. WebScraping b.WebCrawling c. Vantagens d. Pedras no caminho 2. Tipos de Ferramentas 3. Scrapping + Growth 4. Exercício
- 13.
- 14.
- 15. CONCEITO EXTRAIR GRANDES VOLUMES DEDADOS DE WEBSITES, E SALVAR DE FORMA ESTRUTURADA EM UM ARQUIVO LOCAL OU EM UM BANCO DE
- 16. E WEB CRAWLING?NÃO É A MESMA COISA? WEB CRAWLER passeia pelos links de um site objetivo de INDEXAÇ ÃO escaneia o site de maneira
- 17. MAS PRA FAZERISSO, TEM QUE SER UM PROGRAMADOR DE ELITE. NÃO É TÃO SIMPLES!EU NÃO SEI PROGRAMAR. NÃO VOU SABER FAZER CRIAR UM ROBÔ? ISSO É COISA DE
- 19. 2 PRINCIPAIS PILARESDE SCRAPING
- 20. VISITAR A URLQUE CONTENHA OS DADOS QUE VOCÊ DESEJA! ENTENDER COMO OS PARÂMETROS ESTÃO ORGANIZADOS NA URL #1 FAZER AS REQUISIÇÕES HTTP CORRETAS
- 21. INSPECIONAR A PÁGINAA SER SCRAPEADA ENCONTRAR PADRÃO DAS TAGS QUE ENGLOBAM A INFO DESEJADA #2 ANÁLISE DO HTML
- 22. AUMENTO DE PRODUTIVIDADE AUTOMATIZAÇ ÃO DE TAREFAS QUASETODO WEBSITE PODE SER SCRAPEADO ENRIQUECIME NTO DE DADOS OBTENÇÃO DE INFO COM FINS DE MKT ...
- 23. SÓ DEPENDE DASUA IMAGINAÇÃO
- 24. NO NOSSO CONTEXTO UTILIZARTÉCNICAS DE SCRAPING NO B.I.
- 25. PEDRAS NO CAMINHO ●Código HTML mal formado ou informação não estruturada ● CAPTCHAS - Sistemas de autenticação feitos para barrar acessos automatizadO ● Bloqueio, por parte dos administradores dos sites, de acessos em massa aos dados. ● BLOQUEIO de IP (manual ou seguindo algum critério anti-scraping) ● Serviços anti-bots ● Pequenas variações propositais de HTML e CSS ● Google e twitter (não permitem)
- 27. MAS ISSO ÉLEGAL? Na teoria qualquer dado público na WEB pode ser capturado.. porém cuidado: 2014 processou um grupo de pessoas que usava bots e perfis falsos para scrapear informações de outros membros!
- 28. DUAS PERGUNTAS PARASE FAZER ● Os termos de uso do site proíbem a raspagem de dados? ● Estamos Scrapeando algum material com copyright para uso comercial?
- 30. 2. Tipos deFerramentas #1 Crawlers
- 31. 2. Tipos deFerramentas #2 Scrapers Point and click webscraper.io
- 32. 2. Tipos deFerramentas #2 Scrapers App
- 33. 2. Tipos deFerramentas #2 Scrapers Code interface
- 34. 2. Tipos deFerramentas #3 DaaS
- 35. 2. Tipos deFerramentas #4 Outros Serviços
- 36. #3 E PARA O TIMEDE GROWTH?
- 37.
- 40. Descobertas #1 Publicações longastem melhor rankeamento e atraem mais tráfego orgânico
- 42. Descobertas #2 CTAs depublicações longas tem conversão pouco eficiente
- 43.
- 44.
- 45. OkDork ● Analisou aperformance do seu próprio blog
- 46. Insights #1 Publicações noSábado tende a perfomar melhor
- 47. Insights #2 Publicações começando com"Why" ou "How" performam acima da média
- 48. Insights #3 Títulos contendo númerosperformam 10x melhor que títulos sem números
- 49. #3 Matthew Barby- Search Engine Land
- 50. Matthew Barby -Search Engine Land Objetivo: Fazer que um post performe bem no BuzzFeed
- 51. Scrapeando os dadosvia SEO Tools
- 53. Scrapeando os dadosvia SEO Tools
- 55. Resultado: Post geroumais de 100k de views e levou muito tráfego para o seu blog Matthew Barby - Search Engine Land
- 56.
- 58.
- 59.
- 60. E o quemais podemos fazer?
- 61.
Notas do Editor
- #3 INTRODUCTION -> Storytelling ou pergunta geral. Acredito que todo mundo aqui já tenha tido que extrair informações de sites pra jogar em uma planilha. Meros mortais (como eu) teriam ido direto no CTRL C CTRL, para cada informação que precisavam. Pesquisa de mercado para conseguir informações de consultorias de RH em uma região específica. Trabalho feito em 5 dias, se soubesse scrapear, poderia ter sido feito em 2 horas Fazer link também com algo que será apresentado pelo Thiago. (ex: O mesmo vale para..) A maioria das páginas que contenham um conteúdo com uma mínima estruturação, podem ser scrapeado. Without web scraping, the Internet as you know it really wouldn’t exist. That’s because Google and other major search engines rely upon a sophisticated web scraper to pull the content that will get included in their index.
- #6 INTRODUCTION -> Storytelling ou pergunta geral. Acredito que todo mundo aqui já tenha tido que extrair informações de sites pra jogar em uma planilha. Meros mortais (como eu) teriam ido direto no CTRL C CTRL, para cada informação que precisavam. Pesquisa de mercado para conseguir informações de consultorias de RH em uma região específica. Trabalho feito em 5 dias, se soubesse scrapear, poderia ter sido feito em 2 horas Fazer link também com algo que será apresentado pelo Thiago. (ex: O mesmo vale para..) A maioria das páginas que contenham um conteúdo com uma mínima estruturação, podem ser scrapeado. Without web scraping, the Internet as you know it really wouldn’t exist. That’s because Google and other major search engines rely upon a sophisticated web scraper to pull the content that will get included in their index.
- #16 É uma técnica aplicada para extrair grandes volumes de dados de websites, e salvá-los de forma estruturada em um arquivo local no seu computador, ou em um banco de dados, preservando a estrutura da informação. Para que isso aconteça, é usado um utilitário de captura (ferramenta/software) ou código que fará a busca e análise da informação que você precisa dentro de um website. O objetivo da maioria desses métodos é obter acesso a dados legíveis por máquinas. São dados criados para serem processados por computadores, em vez de serem apresentados a um ser humano. A estrutura desses dados está relacionada à informação que eles representam e não na maneira como são eventualmente exibidos.
- #17 Crawling would be essentially what Google, Yahoo, MSN, etc. do, looking for ANY information. Scraping is generally targeted at certain websites, for specfic data, e.g. for price comparison, so are coded quite differently. Usually a scraper will be bespoke to the websites it is supposed to be scraping, and would be doing things a (good) crawler wouldn't do, i.e.: Have no regard for robots.txt Identify itself as a browser Submit forms with data Execute Javascript (if required to act like a user)
- #18 Conceitos Básicos por trás do Scrapping O nome Web Scraping é sempre relacionado a robôs (bots) automatizados e terminologias de programação, código, e web, parece coisa de desenvolvedores fodas, programadores de elite, e que pessoas normais nunca conseguiriam fazer.. Então, para simplificar um pouco, é legal entender o que um Scraping realmente faz. O Scraping se baseia em duas "tecnologias web" básicas que vocês lidam todo dia: Fazer os as requisições HTTP corretas, o que nada mais é do que visitar uma URL que contenha os dados que você quer extrair e entender como a informação está organizada na URL, encontrando os paramêntros que mudam dependendo da navegação e das queries. The majority of the HTTP request's information is stored in the URL -- things like the domain, path and query arguments. There are some other important bits of information as well -- like the request method and headers -- but those are easy to send as well." Análise do HTML (ou outra linguagem de resposta. Que é fácil de realizar inspecionando a página que contém o dado desejado. Basta achar o padrão das TAGS HTML que englobam a informação que você precisa.
- #19 Conceitos Básicos por trás do Scrapping O nome Web Scraping é sempre relacionado a robôs (bots) automatizados e terminologias de programação, código, e web, parece coisa de desenvolvedores fodas, programadores de elite, e que pessoas normais nunca conseguiriam fazer.. Então, para simplificar um pouco, é legal entender o que um Scraping realmente faz. O Scraping se baseia em duas "tecnologias web" básicas que vocês lidam todo dia: Fazer os as requisições HTTP corretas, o que nada mais é do que visitar uma URL que contenha os dados que você quer extrair e entender como a informação está organizada na URL, encontrando os paramêntros que mudam dependendo da navegação e das queries. The majority of the HTTP request's information is stored in the URL -- things like the domain, path and query arguments. There are some other important bits of information as well -- like the request method and headers -- but those are easy to send as well." Análise do HTML (ou outra linguagem de resposta. Que é fácil de realizar inspecionando a página que contém o dado desejado. Basta achar o padrão das TAGS HTML que englobam a informação que você precisa.
- #20 Conceitos Básicos por trás do Scrapping O nome Web Scraping é sempre relacionado a robôs (bots) automatizados e terminologias de programação, código, e web, parece coisa de desenvolvedores fodas, programadores de elite, e que pessoas normais nunca conseguiriam fazer.. Então, para simplificar um pouco, é legal entender o que um Scraping realmente faz. O Scraping se baseia em duas "tecnologias web" básicas que vocês lidam todo dia: Fazer os as requisições HTTP corretas, o que nada mais é do que visitar uma URL que contenha os dados que você quer extrair e entender como a informação está organizada na URL, encontrando os paramêntros que mudam dependendo da navegação e das queries. The majority of the HTTP request's information is stored in the URL -- things like the domain, path and query arguments. There are some other important bits of information as well -- like the request method and headers -- but those are easy to send as well." Análise do HTML (ou outra linguagem de resposta. Que é fácil de realizar inspecionando a página que contém o dado desejado. Basta achar o padrão das TAGS HTML que englobam a informação que você precisa.
- #21 Conceitos Básicos por trás do Scrapping O nome Web Scraping é sempre relacionado a robôs (bots) automatizados e terminologias de programação, código, e web, parece coisa de desenvolvedores fodas, programadores de elite, e que pessoas normais nunca conseguiriam fazer.. Então, para simplificar um pouco, é legal entender o que um Scraping realmente faz. O Scraping se baseia em duas "tecnologias web" básicas que vocês lidam todo dia: Fazer os as requisições HTTP corretas, o que nada mais é do que visitar uma URL que contenha os dados que você quer extrair e entender como a informação está organizada na URL, encontrando os paramêntros que mudam dependendo da navegação e das queries. The majority of the HTTP request's information is stored in the URL -- things like the domain, path and query arguments. There are some other important bits of information as well -- like the request method and headers -- but those are easy to send as well." Análise do HTML (ou outra linguagem de resposta. Que é fácil de realizar inspecionando a página que contém o dado desejado. Basta achar o padrão das TAGS HTML que englobam a informação que você precisa.
- #22 Conceitos Básicos por trás do Scrapping O nome Web Scraping é sempre relacionado a robôs (bots) automatizados e terminologias de programação, código, e web, parece coisa de desenvolvedores fodas, programadores de elite, e que pessoas normais nunca conseguiriam fazer.. Então, para simplificar um pouco, é legal entender o que um Scraping realmente faz. O Scraping se baseia em duas "tecnologias web" básicas que vocês lidam todo dia: Fazer os as requisições HTTP corretas, o que nada mais é do que visitar uma URL que contenha os dados que você quer extrair e entender como a informação está organizada na URL, encontrando os paramêntros que mudam dependendo da navegação e das queries. The majority of the HTTP request's information is stored in the URL -- things like the domain, path and query arguments. There are some other important bits of information as well -- like the request method and headers -- but those are easy to send as well." Análise do HTML (ou outra linguagem de resposta. Que é fácil de realizar inspecionando a página que contém o dado desejado. Basta achar o padrão das TAGS HTML que englobam a informação que você precisa.
- #23 Contact Scraping: Obtendo acesso de emails e outras informações que podem ser usadas com fins de Marketing. Cruzamento de informações Enriquecimento dos mais variados dados Atualização dos dados em tempo real Automatização de tarefas Aumento de produtividade Possibilidade de fazer em praticamente qualquer site, para informações públicas
- #25 É uma técnica aplicada para extrair grandes volumes de dados de websites, e salvá-los de forma estruturada em um arquivo local no seu computador, ou em um banco de dados, preservando a estrutura da informação. Para que isso aconteça, é usado um utilitário de captura (ferramenta/software) ou código que fará a busca e análise da informação que você precisa dentro de um website. O objetivo da maioria desses métodos é obter acesso a dados legíveis por máquinas. São dados criados para serem processados por computadores, em vez de serem apresentados a um ser humano. A estrutura desses dados está relacionada à informação que eles representam e não na maneira como são eventualmente exibidos.
- #26 Blocking an IP address either manually or based on criteria such as Geolocation and DNSRBL. This will also block all browsing from that address. Disabling any web service API that the website's system might expose. Bots sometimes declare who they are (using user agent strings) and can be blocked on that basis (using robots.txt); 'googlebot' is an example. Other bots make no distinction between themselves and a human using a browser. Bots can be blocked by excess traffic monitoring. Bots can sometimes be blocked with tools to verify that it is a real person accessing the site, like a CAPTCHA. Bots are sometimes coded to explicitly break specific CAPTCHA patterns or may employ third-party services that utilize human labor to read and respond in real-time to CAPTCHA challenges. Commercial anti-bot services: Companies offer anti-bot and anti-scraping services for websites. A few web application firewalls have limited bot detection capabilities as well. Locating bots with a honeypot or other method to identify the IP addresses of automated crawlers. Obfuscation using CSS sprites to display such data as phone numbers or email addresses, at the cost of accessibility to screen reader users. Because bots rely on consistency in the front-end code of a target website, adding small variations to the HTML/CSS surrounding important data and navigation elements would require more human involvement in the initial set up of a bot and if done effectively may render the target website too difficult to scrape due to the diminished ability to automate the scraping process.