O documento descreve um caso real de arquitetura distribuída para indexação, armazenamento e análise em tempo real de logs de centenas de servidores que geram 3TB de dados por dia. A solução propõe usar Java, Lucene e Elasticsearch para armazenar os logs compactados em um índice de busca e agregação, permitindo consultas complexas nos dados em tempo real.
Zabbix Conference LatAm 2016 - Andre Deo - SNMP and ZabbixZabbix
The aim of the lecture is to discuss the main questions people have when using SNMP with Zabbix. Will present an overview of SNMP, MIBs, Net-SNMP and items used in Zabbix templates.
Zabbix Conference LatAm 2016 - Andre Deo - SNMP and ZabbixZabbix
The aim of the lecture is to discuss the main questions people have when using SNMP with Zabbix. Will present an overview of SNMP, MIBs, Net-SNMP and items used in Zabbix templates.
Coisas que aprendi e quero passar adiante - RubyConf Brasil 2010lucashungaro
Palestra apresentada na RubyConf Brasil 2010 mostrando dicas de bibliotecas úteis para aplicações web escritas em Rails e maneiras para conseguir código flexível, fácil de testar e modificar utilizando SOLID, defensive programming e outras técnicas.
Palestra apresentada no QCON SP 2018 sobre como estender o Kubernetes para além de um orquestrador de containers, apresentando todos os componentes e seu uso além do tradicional
Entre na fila. Processamento distribuído usando GearmanElton Minetto
Nesta palestra é apresentado o Gearman, framework Open Source desenvolvido inicialmente pela Danga Interactive. O Gearman é um framework genérico para gerenciar filas de tarefas de forma que possam ser executadas em paralelo, com balanceamento de carga e acessíveis a múltiplas linguagens de programação. É de extrema utilidade em sites e aplicativos com grande carga de processamento e necessidades de escalabilidade.
Servlets 3: o contexto assíncrono - JavaOne 2010 - Paulo SilveiraCaelum
Uma apresentação para conhecer umas das principais features do servlets 3; o asyncContext. bastante focada em conceitos, vamos utilizar o jetty 8 e o tomcat 7 para ver o impacto dessas decisões para fazer o ajax reverso/push.
Durante a apresentação também rodamos os códigos de exemplo para ver a brusca diferenca de se usar a abordagem assincrona em relacao ao thread-per-request/connection. codigo aqui:
https://github.com/peas/asyncservlets-test
Criando um site com LAMP e Joomla em 30 minutosFernando Mercês
Essa palestra propõe uma instalação local do Joomla 1.6 passo a passo, desde o servidor web, banco de dados e todos os requisitos necessários para ter um Joomla funcional em sua máquina com Linux. Essa palestra foi apresentada no II Fórum de Software Livre de Duque de Caxias, em dezembro de 2010.
Apresentação de TCC. Conceitos de Escalabilidade Vertical/Horizontal, Clusterização e Balanço de Carga. Testes de desempenho na Aplicação, desenvolvida com Ruby On Rails, Ajax, MySQL.
Coisas que aprendi e quero passar adiante - RubyConf Brasil 2010lucashungaro
Palestra apresentada na RubyConf Brasil 2010 mostrando dicas de bibliotecas úteis para aplicações web escritas em Rails e maneiras para conseguir código flexível, fácil de testar e modificar utilizando SOLID, defensive programming e outras técnicas.
Palestra apresentada no QCON SP 2018 sobre como estender o Kubernetes para além de um orquestrador de containers, apresentando todos os componentes e seu uso além do tradicional
Entre na fila. Processamento distribuído usando GearmanElton Minetto
Nesta palestra é apresentado o Gearman, framework Open Source desenvolvido inicialmente pela Danga Interactive. O Gearman é um framework genérico para gerenciar filas de tarefas de forma que possam ser executadas em paralelo, com balanceamento de carga e acessíveis a múltiplas linguagens de programação. É de extrema utilidade em sites e aplicativos com grande carga de processamento e necessidades de escalabilidade.
Servlets 3: o contexto assíncrono - JavaOne 2010 - Paulo SilveiraCaelum
Uma apresentação para conhecer umas das principais features do servlets 3; o asyncContext. bastante focada em conceitos, vamos utilizar o jetty 8 e o tomcat 7 para ver o impacto dessas decisões para fazer o ajax reverso/push.
Durante a apresentação também rodamos os códigos de exemplo para ver a brusca diferenca de se usar a abordagem assincrona em relacao ao thread-per-request/connection. codigo aqui:
https://github.com/peas/asyncservlets-test
Criando um site com LAMP e Joomla em 30 minutosFernando Mercês
Essa palestra propõe uma instalação local do Joomla 1.6 passo a passo, desde o servidor web, banco de dados e todos os requisitos necessários para ter um Joomla funcional em sua máquina com Linux. Essa palestra foi apresentada no II Fórum de Software Livre de Duque de Caxias, em dezembro de 2010.
Apresentação de TCC. Conceitos de Escalabilidade Vertical/Horizontal, Clusterização e Balanço de Carga. Testes de desempenho na Aplicação, desenvolvida com Ruby On Rails, Ajax, MySQL.
PyData - Consumindo e publicando web APIs com PythonBruno Rocha
Apresentado no auditório da NuBank em São Paulo dia 28 de Março de 2017 - PyData Meetup.
- O que são Web APIs
- Consumindo web APIs com Python
- O que fazer com os dados?
- Publicando web APIs com Python.
http://github.com/rochacbruno/flasgger
Alta Performance de Aplicações PHP com NginxThiago Paes
Segunda versão da minha palestra sobre alto desempenho de aplicações web em PHP utilizando o servidor HTTP Nginx ministrada no Minicursos e Palestras do Casin – 2ª Edição
11. Como acessar os logs?
marvin@goldenheart ~ $ ssh root@deepthought
****
WELCOME TO 1 OF YOUR 38,157,987 SERVERS.
TRY THE VEAL. IT'S THE BEST IN THIS FARM.
****
root@deepthought ~ $ tail -f /var/log.txt
20. Twitter
340 milhões
tweets por dia
(março/2012)
http://blog.twitter.com/2012/03/twitter-turns-six.html
21. Quem resolve?
Loggly
● Amplamente utilizado
● Primeira opção em cloud
● Maior plano não-custom: 12GB/dia
● Preço: $1,779/mês
22. Quem resolve?
Graylog
● Open Source
● Self-hosted
● Arquitetura composta de partes móveis
○ MongoDB
○ ElasticSearch
○ AMQP
23. Quem resolve?
Splunk
● Famoso na área de BigData
● Destinado ao mundo Enterprise
● Muitos gráficos e relatórios
● $6,000 one-time fee: 500MB/day
● 500MB < 3TB :(
29. RFC 3164: BSD syslog
<34>Oct 11 22:14:15 mymachine su: 'su
root' failed for lonvick on /dev/pts/8
<priority = facility*8+severity>
<date/time>
<host>
<process>
<message>
30. Mensagem: chave -> valor
<34>Oct 11 22:14:15 mymachine su: 'su root'
message
failed for lonvick on /dev/pts/8
text su, root, failed, for, lonvick, on, /dev/pts/8
facility AUTH
severity CRITICAL
date 20121011
time 221415
host mymachine
process su
38. Índice minimalista
No freqs, no positions, no norms, no
term vectors.
Field field = new Field(key, value,
Field.Store.NO,
Field.Index.ANALYZED_NO_NORMS,
Field.TermVector.NO);
field.setIndexOptions(FieldInfo.IndexOptions.
DOCS_ONLY);