1. O documento discute técnicas para varredura de APIs REST em larga escala utilizando PHP, incluindo processamento paralelo, filas de processamento, escalabilidade de banco de dados e backups. 2. É explicado como varredores de web se diferenciam de varredores de API e são apresentadas ferramentas como Respect/Stream para varredura assíncrona. 3. São detalhadas características e limites das APIs do Twitter e Facebook, incluindo cursores e batch requests.
PHP é uma linguagem multi-paradigma. Muitas pessoas esquecem disso e acabam desenvolvendo nela como se ela fosse puramente orientada a objetos. Aprenda a utilizar os vários paradigmas que o PHP suporta e como uma combinação de orientação a objetos, programação funcional e imperativa podem transformar as peculiaridades da linguagem em poderosas ferramentas sem cometer nenhum assassinato a boas práticas.
Qual o estado dos frameworks atualmente no PHP, assim como a situação atual da linguagem. Como você pode escolher seu framework e um comparativo entre os 4 principais frameworks do mercado.
PHP é uma linguagem multi-paradigma. Muitas pessoas esquecem disso e acabam desenvolvendo nela como se ela fosse puramente orientada a objetos. Aprenda a utilizar os vários paradigmas que o PHP suporta e como uma combinação de orientação a objetos, programação funcional e imperativa podem transformar as peculiaridades da linguagem em poderosas ferramentas sem cometer nenhum assassinato a boas práticas.
Qual o estado dos frameworks atualmente no PHP, assim como a situação atual da linguagem. Como você pode escolher seu framework e um comparativo entre os 4 principais frameworks do mercado.
Python Eve - APIs RESTful Profissionais em poucas linhasRuda Filgueiras
Desenvolvimento de APIs REST com framework EVE (http://python-eve.org/).
Esse framework utiliza o conceito de declaração de modelos de domínio que podem inclusive ser um Model SQLAlchemy (usando a extensão Eve-SQLAlchemy), para entregar automaticamente uma API REST CRUD completa e repleta de funcionalidades prontas com as melhores práticas.
Além disso é possível customizar a API globalmente ou por recursos a ser exposto, como por exemplo não ter autorização para as consultas GET ou ter uma classe de autorização por recursos, hooks de request, hooks de acesso a dados, etc.
A minha intenção é apresentar os recursos mais relevantes desse framework muito maduro para REST que possui uma abordagem muito interessante, incluindo integração nativa com MongoDB.
Xen e CoreOS: solução para data mining com NodeJS e ElasticSearchBernardo Donadio
Palestra apresentada no FISL17 pelos diretores da Alligo Tecnologia, Bernardo Donadio e Emerson Luiz, acerca da escalabilidade e otimização de ROI de aplicações intensivas.
O caminho das pedras na construção de uma aplicação cloud friendlyRicardo Faria
Palestra apresentada no evento JoinCommunity 2016 onde falei sobre os principais pontos arquiteturais que devem receber atenção em aplicações cloud friendly.
Node.JS - Workshop do básico ao avançado
Workshop que realizo sobre Node.JS in-company.
Exemplos deste workshop estão disponíveis no seguinte endereço.
https://github.com/nbluis/workshop-nodejs
Doctrine 2 camada de persistência para phpFabio B. Silva
Palestra apresentada na sfcon 2012, conferência brasileira sobre Symfony.
Doctrine é o ORM que está se tornando um padrão para aplicações php de meio e grande porte. Conheça as vantagens e desvantagens em usá-lo, componentes e melhores práticas para o desenvolvimento de uma aplicação ágil, usufruindo de todo o poder do doctrine de forma escalável e mantendo um código de qualidade.
PostgreSQL em projetos de Business Analytics e Big Data Analytics com PentahoAmbiente Livre
Apresentação da utilização do PostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho realizada no PgDay 2016 de Curitiba. Slides em :
O estilo REST tem sido reconhecido como a maneira mais simples e robusta de expor suas aplicações como serviços.
A palestra será dividida em três tópicos principais que, em conjunto, explicam como um aplicativo pode ser desenvolvido utilizando o estilo REST:
-Conceito: Por que usar REST.
-Projeto: REST desde o berço.
-Implementação: Ferramentas e técnicas.
Mais conteúdo relacionado
Semelhante a Varrendo APIs REST em Larga Escala utilizando PHP
Python Eve - APIs RESTful Profissionais em poucas linhasRuda Filgueiras
Desenvolvimento de APIs REST com framework EVE (http://python-eve.org/).
Esse framework utiliza o conceito de declaração de modelos de domínio que podem inclusive ser um Model SQLAlchemy (usando a extensão Eve-SQLAlchemy), para entregar automaticamente uma API REST CRUD completa e repleta de funcionalidades prontas com as melhores práticas.
Além disso é possível customizar a API globalmente ou por recursos a ser exposto, como por exemplo não ter autorização para as consultas GET ou ter uma classe de autorização por recursos, hooks de request, hooks de acesso a dados, etc.
A minha intenção é apresentar os recursos mais relevantes desse framework muito maduro para REST que possui uma abordagem muito interessante, incluindo integração nativa com MongoDB.
Xen e CoreOS: solução para data mining com NodeJS e ElasticSearchBernardo Donadio
Palestra apresentada no FISL17 pelos diretores da Alligo Tecnologia, Bernardo Donadio e Emerson Luiz, acerca da escalabilidade e otimização de ROI de aplicações intensivas.
O caminho das pedras na construção de uma aplicação cloud friendlyRicardo Faria
Palestra apresentada no evento JoinCommunity 2016 onde falei sobre os principais pontos arquiteturais que devem receber atenção em aplicações cloud friendly.
Node.JS - Workshop do básico ao avançado
Workshop que realizo sobre Node.JS in-company.
Exemplos deste workshop estão disponíveis no seguinte endereço.
https://github.com/nbluis/workshop-nodejs
Doctrine 2 camada de persistência para phpFabio B. Silva
Palestra apresentada na sfcon 2012, conferência brasileira sobre Symfony.
Doctrine é o ORM que está se tornando um padrão para aplicações php de meio e grande porte. Conheça as vantagens e desvantagens em usá-lo, componentes e melhores práticas para o desenvolvimento de uma aplicação ágil, usufruindo de todo o poder do doctrine de forma escalável e mantendo um código de qualidade.
PostgreSQL em projetos de Business Analytics e Big Data Analytics com PentahoAmbiente Livre
Apresentação da utilização do PostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho realizada no PgDay 2016 de Curitiba. Slides em :
Semelhante a Varrendo APIs REST em Larga Escala utilizando PHP (20)
O estilo REST tem sido reconhecido como a maneira mais simples e robusta de expor suas aplicações como serviços.
A palestra será dividida em três tópicos principais que, em conjunto, explicam como um aplicativo pode ser desenvolvido utilizando o estilo REST:
-Conceito: Por que usar REST.
-Projeto: REST desde o berço.
-Implementação: Ferramentas e técnicas.
Uma visão geral de como a extensão ImageMagick para PHP pode facilitar o trabalho de editar, transformar, analisar e processar imagens, vídeos e documentos automaticamente.
Serão explicadas tarefas rotineiras como:
- Alterar formatos de imagens.
- Redimensionar e cortar imagens.
- Extrair imagens de páginas de documentos PDF e quadros de vídeos.
- Trabalhar com GIFs animados.
- Aplicar filtros e trabalhar com cores.
- Adicionar texto e elementos a imagens.
- Desenhar e criar formas em imagens.
Pra quem já sabe o que são testes unitários mas ainda sente um frio na barriga para colocar o desenvolvimento orientado a testes em prática. Conheça técnicas para testar bancos de dados, serviços externos e saiba convencer seu chefe de todos os benefícios da metodologia.
O estilo REST tem sido reconhecido como a maneira mais simples e robusta de expor suas aplicações como serviços. Acompanhe o projeto, modelagem, conceitos e ferramentas para o desenvolvimento de um sistema RESTful completo.
Uma apresentação sobre o protocolo que fornece a base do desenvolvimento sobre a web, suas vantagens, características e más práticas que podem ser evitadas.
O protocolo HTTP está há mais de 10 anos nos bastidores de quase todas as aplicações web, incluindo a explosão de uso do AJAX e a nova onda de APIs em REST. Está diretamente relacionado com a performance, ecalabilidade e SEO.
Saber como ele funciona e como o PHP interage com ele é conhecimento obrigatório para qualquer programador web.
Pra quem aprendeu o básico sobre TDD mas sente um frio na barriga ao testar as seguintes condições:
-Interações com bancos de dados
-Dependências entre objetos
-Singletons
-Classes Abstratas
-APIs externas
-Interações com variáveis de ambiente
3. 3
KingoLabs
●
Coleta e Análise de Dados
●
Twitter, Facebook, Foursquare, etc
●
Sorteie.me, trmanager, Kingo Meter, kingo.to,
rial.to, etc
●
Ubuntu, PHP 5.3, MySQL, MongoDB
4. 4
Programaçãodehoje
● Por que varrer em larga escala?
● Processamento paralelo
● Daemons
● Processamento em fila
● Escalabilidade de escritas no banco de dados
● Backups
● Twitter: Características
● Facebook: Características
5. 5
Porquevarreremlargaescala?
●
A API tem os dados que eu quero, mas não na
granularidade que eu quero.
●
Quero pré-carregar dados ao invés de ler sob
demanda.
●
Quero dominar o mundo e preciso dos dados dos
usuários.
10. 10
stream_select()
●
Uma forma de percorrer várias streams sem locks
de leitura nem escrita.
●
Qualquer plataforma.
●
Qualquer stream (proc_open(), fopen(),
stream_socket_client(), etc.)
●
Você tem que manipular o HTTP na unha.
12. 12
Ferramentas
●
KingoBase – Interna, experimental.
●
Foi o projeto piloto de crawler.
●
http://github.com/caferrari/SimpleCrawler
●
Somente HTTP
●
http://github.com/Respect/Stream
●
Qualquer stream