Transferir como PDF, PPTX
Carregado porBig Data Week São Paulo
Samba Tech Analytics: Arquiteturas e tecnologias por trás da análise de vídeos online em larga escala
O documento discute a migração de um sistema de relatórios para uma solução de Business Intelligence (BI), abordando problemas de custo, instabilidade e crescimento de dados. Ele apresenta uma arquitetura escalável e flexível, utilizando tecnologias como Amazon DynamoDB e EMR para otimizar o processamento de dados. As lições aprendidas incluem a importância de manter aplicações conectadas e gerenciadas, além de focar na inovação e controle de custos.
Mais conteúdo relacionado
![Facebook - Performance Ads Lateral x Feed [ case real ]](https://cdn.slidesharecdn.com/ss_thumbnails/facebook-visogeral-150128125710-conversion-gate02-thumbnail.jpg?width=640&height=640&fit=bounds)
Semelhante a Samba Tech Analytics: Arquiteturas e tecnologias por trás da análise de vídeos online em larga escala
![[DTC21] Lucas Gomes - Do 0 ao 100 no Big Data](https://cdn.slidesharecdn.com/ss_thumbnails/dtc21lucasgomes-do0ao100embigdata-210316214734-thumbnail.jpg?width=640&height=640&fit=bounds)
Samba Tech Analytics: Arquiteturas e tecnologias por trás da análise de vídeos online em larga escala
- 2. Agenda • Intro • Migrandode relatório para uma solução de BI • Under the Hood • Lições aprendidas
- 5.
- 6. No Início -Report Fornecerinformaçõesdeuso Estatísticasedadosgerais
- 7. • Número deVisualizações • Número de Visualizações Completas • Retenção por quartil • Tráfego • Número de Uploads, etc… No Início - Report
- 8. No Início -Report +Dados
- 9. ! • Problema: CustoElevado • Apresentava bom desempenho • Problema: Instabilidade, interações entre aplicações • Aplicações com perfis muito diferentes convivendo num mesmo cluster. • Crescimento expressivo no volume de dados e requisições • Problema: crescimento acelerado da base, administração do banco. No Início - Então decidimos coletar mais dados - Java, Python e Mysql V1
- 10.
- 11.
- 12. FEYNMANPROBLEM-SOLVINGALGORITHM 1. Write downthe problem. Murray Gell-Mann “ “http://drtomcrick.com/2011/04/26/feynman-problem-solving-algorithm/
- 13. FEYNMANPROBLEM-SOLVINGALGORITHM 1. Write downthe problem. 2. Think very hard. Murray Gell-Mann “ “
- 14. FEYNMANPROBLEM-SOLVINGALGORITHM 1. Write downthe problem. 2. Think very hard. 3. Write down the answer Murray Gell-Mann “ “
- 15.
- 16.
- 17.
- 18. Manter foco naInovação Flexível e Escalonável SLA Alto Pagar de acordo com o uso Baixo custo de administração de infra Objetivos
- 19. A visualização dosdados deve ser clara e objetiva. Objetivos Design agrega valor!
- 20.
- 21. Analytics detalhes deconsumo da media VI DEO
- 22.
- 23.
- 24. Samba facts Dados devolume do analytics
- 25.
- 26. COLETAR Data Pipeline PROCESSAR INFORMAR DataPipeline - STTM SambatechTrackingModel COLETOR APIPROCESSADOR
- 27. STTM - Solução DynamoAmazonSQS S3 Data and Logs Glacier COLETOR API PROCESSADOR AGREGADOR SUMARIZADOR HTTPIN HTTPOUT EMR Data Processing
- 28. COLETAR Data Pipeline PROCESSAR INFORMAR DataPipeline - STTM INFORMAR COLETOR
- 29. Coleta de dados- STTM GET sttm.gif http://sttm.sambatech.com.br/collector/ __sttm.gif? sttms=12de2304-74f2-80f0-8b8b-909ec4 c4f158&sttmu=123a232saa111kkkk3&stt mm=p07,r07,p08,r08,p09,r09,p10,r10&stt mw=pid:310/cat:5219/ mid:b1e9b34ce8f6d8e73d5793a8038796 7d&sttmk=ae810ebc7f0654c4fadc50935 adcf5ec&&sttmsg=org:www.mydomain.co m.br&sttmm=play COLETOR Response 35 Bytes
- 30. COLETOR - Objetivos •Rápido • Simples e Escalável • Confiável e Consistente
- 31.
- 32.
- 33.
- 34.
- 35. COLETOR Amazon SQS S3 Data andLogs Glacier COLETOR HTTPIN Logger MsgBuilder GIF
- 36.
- 37. Comunicação Amazon SQS • Assincroniae Controle de fluxo • Sem perdas de mensagens • Log de mensagens não processadas. • Escalável sob demanda • Alto SLA • Gerenciado • Custo relativamente Baixo • Não suporta AMQP
- 38. COLETAR Data Pipeline PROCESSAR INFORMAR DataPipeline INFORMARPROCESSARCOLETAR PROCESSADOR
- 39.
- 40.
- 41. Porque Dynamo • BaixaLatência • Alta performance • Gerenciado • Escalável • Alto SLA • Multi A/Z • Hot Keys Problem Dynamo
- 42.
- 43. Agregador Amazon SQS AGREGADOR Builder MsgAgreg Auto scalingGroup Instances APP Srv Agregation
- 44. Hot Keys Problem Dynamo AGREGADOR Builder MsgAgreg Registro Writes 0 27.5 55 82.5 110 Time 12 3 4 5 6 WriteCapacity
- 45.
- 46. Hot Keys Problem Writes 0 27.5 55 82.5 110 Time 12 3 4 5 6 WriteCapacity Dynamo AGREGADOR Builder MsgAgreg SplitKeys
- 47.
- 48.
- 49.
- 50. ! • Escalável • Controlede Custos • Managed • Hadoop como serviço • Map Reduce Engine • Bom gerenciamento de capacidade • Integração com S3 e Dynamo EMR Data Processing Porque EMR
- 51.
- 52.
- 53.
- 54. 1. Run job 2.Find Bottoleneck 3. Optimize Sumarizador Dynamo EMR Data Processing Sumarizador x/diaNetwork
- 55.
- 56. Conhecer bem oproblema e os dados é essencial. Otimizações locais são eficientes!
- 57. COLETAR Data Pipeline PROCESSAR INFORMAR DataPipeline INFORMARINFORMARCOLETAR API
- 58.
- 59.
- 60. RECAP DynamoAmazon SQS S3 Data andLogs Glacier COLETOR API PROCESSADOR AGREGADOR SUMARIZADOR HTTPIN HTTPOUT EMR Data Processing
- 61. Lições aprendidas As aplicaçõessão focadas, pequenas e conectadas por uma fila ou datastore. O output de uma é input para a outra.
- 62. Custo 0 0.25 0.5 0.75 1 Latência (H) 0 13 6 12 24 100% 57% 46% 40% 38% 37% Latência vs Custo Custo estimado Por Requisição LatênciavsCusto
- 63. Custo 0 0.25 0.5 0.75 1 Latência(H) 0 1 36 12 24 100% 57% 46% 40% 38% 37% Latência vs Custo Custo estimado Por Requisição LatênciavsCusto
- 64. Manter foco naInovação Flexível e Escalonável SLA Alto Pagar de acordo com o uso Baixo custo de administração de infra Objetivos
- 65. • Soluções gerenciadasajudam a manter o foco no problema, mas podem trazer limitações inesperadas. • Arquitetura flexíveis ajudam a responder rapidamente a limitações. ! ! ! COn clu são
- 66.