Transferir como PDF, PPTX
Carregado porJuan Lopes
dnad12
O documento descreve um caso real de arquitetura distribuída para indexação, armazenamento e análise em tempo real de logs de centenas de servidores que geram 3TB de dados por dia. A solução propõe usar Java, Lucene e Elasticsearch para armazenar os logs compactados em um índice de busca e agregação, permitindo consultas complexas nos dados em tempo real.
dnad12
- 2. Um Case deArquitetura Distribuída para Indexação, Armazenamento e Análise de Logs em Tempo Real Juan Lopes .NET Architects Days 2012
- 3. Quem? Juan Lopes twitter.com/ github.com/ juanplopes
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11. Como acessar oslogs? marvin@goldenheart ~ $ ssh root@deepthought **** WELCOME TO 1 OF YOUR 38,157,987 SERVERS. TRY THE VEAL. IT'S THE BEST IN THIS FARM. **** root@deepthought ~ $ tail -f /var/log.txt
- 12. Vai falhar? Jáfalhou? Onde?
- 13.
- 14.
- 15. Log é texto.Muito texto.
- 16.
- 17. Mas é muitotexto mesmo!
- 18. Volumes desafiadores 3TB/dia
- 19. Volumes desafiadores 3TB/dia 20 bilhões de mensagens/dia 36MB/segundo 250.000 mensagens/segundo
- 20. Twitter 340 milhões tweets por dia (março/2012) http://blog.twitter.com/2012/03/twitter-turns-six.html
- 21. Quem resolve? Loggly ● Amplamente utilizado ● Primeira opção em cloud ● Maior plano não-custom: 12GB/dia ● Preço: $1,779/mês
- 22. Quem resolve? Graylog ● OpenSource ● Self-hosted ● Arquitetura composta de partes móveis ○ MongoDB ○ ElasticSearch ○ AMQP
- 23. Quem resolve? Splunk ● Famoso na área de BigData ● Destinado ao mundo Enterprise ● Muitos gráficos e relatórios ● $6,000 one-time fee: 500MB/day ● 500MB < 3TB :(
- 24.
- 25.
- 26.
- 27.
- 28. Visão geral Armazenar mensagens Interpretar Indexar
- 29. RFC 3164: BSDsyslog <34>Oct 11 22:14:15 mymachine su: 'su root' failed for lonvick on /dev/pts/8 <priority = facility*8+severity> <date/time> <host> <process> <message>
- 30. Mensagem: chave ->valor <34>Oct 11 22:14:15 mymachine su: 'su root' message failed for lonvick on /dev/pts/8 text su, root, failed, for, lonvick, on, /dev/pts/8 facility AUTH severity CRITICAL date 20121011 time 221415 host mymachine process su
- 31.
- 32. 1 documento /mensagem http://lucene.apache.org/core/ "index size roughly 20-30% the size of text indexed"
- 33. 1 documento /mensagem 30% de 3TB = ~900GB
- 34. 1 documento /mensagem 30% de 3TB = ~900GB
- 35. Logs têm baixíssimaentropia
- 36. MessageBag <10% de menor overhead termos únicos por mensagem
- 37. Visão geral Armazenar Interpretar Bufferizar Indexar
- 38. Índice minimalista Nofreqs, no positions, no norms, no term vectors. Field field = new Field(key, value, Field.Store.NO, Field.Index.ANALYZED_NO_NORMS, Field.TermVector.NO); field.setIndexOptions(FieldInfo.IndexOptions. DOCS_ONLY);
- 39. ~1% dos dadosoriginais
- 40.
- 41. Árvore de Prefixos BinaryMatch em O(1)
- 42. Árvore de Prefixos BinaryMatch em O(1) TermQuery PrefixQuery WildcardQuery FuzzyQuery RangeQuery BooleanQuery
- 43.
- 44. Interface ● Jersey (RESTAPI) ● Backbone.js ● CometD
- 45. Interface ● Jersey (RESTAPI) ● Backbone.js ● CometD "app:apache http 404"? engine browser "OK. listen: /comet/1234568790abcdef"
- 46.
- 47.
- 48. Recapitulando Taxa de leitura: moderada Taxa de escrita: altíssima Dependência entre os dados: baixa
- 49. Sharding engine Load UDP/TCP 514 engine Balancer engine
- 50. Cluster Cluster engine engine engine
- 51. Cluster Cluster engine engine engine
- 52. Requisições via Broker Cluster engine Web HTTP Server engine engine usuário Broker
- 53. Requisições via Broker Cluster engine Web HTTP Server engine engine usuário
- 54. Buscas no cluster- Multicast Cluster engine Multicast engine HTTP engine usuário
- 55.
- 56. Multicast confiável JChannel channel= new JChannel(); channel.setReceiver(new ReceiverAdapter() { public void receive(Message msg) { System.out.println( msg.getSrc() + ": " + msg.getObject()); } }); channel.connect("meuCanalDeChat"); BufferedReader reader = new BufferedReader( new InputStreamReader(System.in)); while(true) { String line = reader.readLine(); channel.send(null, line); }
- 57.
- 58.
- 59. Importante Toda funcionalidade precisa levar em consideração os outros membros do cluster.
- 60. Busca engine 10 mergesort, take 10 10 last 10 "http_status: 10 engine 404" usuário 10 engine
- 61. Busca engine 10 mergesort, take 10 last 10 "http_status: 10 10 engine 404" before {id:84324814} usuário 10 engine
- 62. Agregação http 200 => count() by host host count foo 1234 bar 2345 baz 3456
- 63. Agregação count() + count() + count() engine engine engine
- 64. Agregação http 200 => avg(time) by host host avg_time foo 0.888889 bar 0.224568 baz 5.623424
- 65. Agregação avg(time) + avg(time) + avg(time) ? engine engine engine
- 66. Agregação sum(time) + sum(time) + sum(time) count(time) + count(time) + count(time) engine engine engine
- 67. Invalidar 2nd levelcaches Cluster engine engine engine POST /user/123abcdef
- 68.
- 69.
- 70. Obrigado Obrigado