Big Data Platform for E-commerce Analytics
•
3 gostaram•1,795 visualizações
Karina Moraes e Tiago Vinícius apresentam a plataforma Elytics, construída para fornecer análises de Big Data para o marketplace Elo7. A arquitetura de Elytics inclui ferramentas como Apache Kafka, Spark e Zeppelin para ingestão, processamento e visualização de dados, além de machine learning com Amazon ML. Elytics permite criar métricas, validar funcionalidades, auxiliar em debug e análises exploratórias para otimizar objetivos de negócio.
Recomendados
Recomendados
Mais conteúdo relacionado
Destaque
Destaque (6)
Semelhante a Big Data Platform for E-commerce Analytics
Semelhante a Big Data Platform for E-commerce Analytics (20)
Big Data Platform for E-commerce Analytics
- 1. Elytics Construindo uma plataforma de Big Data Karina Moraes linkedin: br.linkedin.com/in/karinamoraes Tiago Vinícius linkedin: br.linkedin.com/in/viniremigio
- 2. Envie sua dúvida no Twitter! #elo7tech
- 3. Agenda ● Motivação ● Arquitetura ● Considerações finais
- 4. Motivação
- 5. Marketplace
- 8. Negócio ● Quantas buscas, carrinhos e pedidos temos por dias? ● Quais as palavras mais buscadas pelos usuários? Retornam resultados? ● Qual a porcentagem de usuários que adicionam produtos ao carrinho, mas não finalizam a compra? Por que isso acontece?
- 10. Mudanças!
- 11. Mudanças!
- 12. Negócio ● Qual a porcentagem de usuários que iniciam uma conversa, mas não finalizam a compra? Por que isso acontece? ● Os vendedores estão respondendo em tempo adequado? ● Como monitoramos mais facilmente e rapidamente uma fraude? ● Como criar visualizações que auxiliem na tomada de decisão em relação à evolução dos produtos
- 13. Reports, reports, reports...Ahh não!
- 14. #Comofaz
- 15. … sounds like Big Data... Volume Velocidade Veracidade Variedade Valor … Houston, we have a Big Problem!
- 16. Elytics: Plataforma de Big Data Analytics ● Objetivos ○ Criar e visualizar métricas ○ Validar novas funcionalidades ○ Auxiliar em troubleshooting ○ Análises exploratórias utilizando os dados ○ Aplicação de técnicas que auxiliem na otimização de objetivos de negócio
- 17. Elytics: Visão geral Ingestão de dados Processamento Armazenamento Visualização Machine Learning Big Data Big Data Analytics / Data Science Análise e ModelagemInferência
- 18. Arquitetura
- 19. Secor Ingestão de Dados Processamento e Armazenamento Visualização Machine Learning Amazon S3 Amazon EMR
- 22. Apache Kafka ● Publish-subscribe. ● Vários consumidores por partição. ● Garantia de ordem de entrega. ● ~ 5 milhões de mensagens/dia.
- 25. Apache Spark ● Processamento iterativo por Streaming de dados; ● RDD - Processamento distribuído em memória; ● Suporta Java, Scala, Python e R;
- 26. Apache Spark: Visão geral
- 27. Cluster Mode
- 30. Controle de Offset para Streamings Driver Executor Receiver ` ` Simple Level API
- 33. This is...
- 34. Sparta ● Dependency Injection; ● Datasource configuration; ● Monitoring; ● Kafka consumer manager; ● Provider configuration; ● Distcp;
- 35. Sparta: Streaming Configuration # Kafka Simple API Configuration kafka.brokers= kafka.topics= # Streaming Configuration stream.max.rate.per.second= stream.graceful.shutdown= stream.batch.interval.ms= stream.writeAheadLog.enable= stream.checkpoint.directory= stream.back.pressure.enabled= # Kafka Offset Persistent kafka.offset.persistent= kafka.cassandra.hosts= kafka.cassandra.keyspace= kafka.cassandra.auto.migration=
- 36. Sparta: Batch Configuration # File Source Configuration file.s3.access.key= file.s3.secret.key= file.source= # Batch History Configuration batch.cassandra.hosts= batch.cassandra.port= batch.cassandra.user= batch.cassandra.password= batch.cassandra.keyspace= batch.cassandra.datacenter= batch.history.ttl.days= # Data Source Configuration database.url= database.user= database.pass= database.driver.class=
- 37. Sparta: Monitoring Configuration # Monitoring Configuration reporter.statsd.host= reporter.statsd.port= reporter.statsd.prefix= reporter.enabled= reporter.class=
- 38. Sparta Open Source is Comming Soon!
- 39. Visualização
- 40. Abordagens Utilizar plataformas de BI Façamos nós mesmos NVD3.js, Google Charts...
- 43. Camada de visualização Dados processados Análise exploratória/ Insights Dashboards Amazon S3
- 44. Machine Learning
- 45. O que é? ● Aplicações ○ Recomendação de produtos ○ Prevenção a fraudes ○ Segmentação de clientes ○ Ranking em resultados de busca Conjunto de dados ? Resposta Objetivo Atendido! Sim! Não :( Satisfatória?
- 46. #Comofaz2 Conjunto de dados X1 . . . Xn Respostas y1 . . . yn E aí, qual é a função? y=f(X) Encontrar aproximação da função (modelo) Fique tranquilo e favorável, o seu modelo vai errar! Erro controlado -> otimização do objetivo
- 47. Seller Score É possível criar um score que permita identificar quais são os melhores vendedores do Elo7? Variáveis de cada observação (X): métricas de desempenho do vendedor Variável resposta (y ∈ [0,1]): probabilidade do vendedor estar entre os melhores y = f(X) Como encontrar a função aproximada (modelo) f ?
- 48. Regressão logística Conjunto de vendedores com score calculado [(X1 ,y1 ),...,(Xn ,yn ))] Algoritmo de regressão logística Modelo gerado! Avaliar qualidade do modelo Modelo preditivo: algoritmo estima parâmetros B0 e B1 para a função logística (Função logística) Vendedor não avaliado (Xn+1 ,?) y = Vendedor avaliado! (Xn+1 ,yn+1 )
- 49. Preciso implementar isso?!?!? Não... (ufa!) Amazon Machine Learning
- 51. Aplicações do Seller Score ● Aumentar ranking dos melhores vendedores na busca; ● Permitir contratação de posições de destaque; ● Priorizar atendimento; ● Prevenção de fraudes.
- 52. Recapitulando...
- 53. Secor Ingestão de Dados Processamento e Armazenamento Visualização Machine Learning Amazon S3 Amazon EMR
- 55. Lições aprendidas ● Source of truth: S3 e/ou HDFS; ● Evitar serviços não-gerenciados; ● Optar por streaming de dados traz grandes responsabilidades; ● Visualizar métricas é de extrema importância.
- 56. Próximos passos ● Evoluir a plataforma; ● Migrar o máximo de serviços para AWS; ● Disponibilizar mais dashboards de visualização; ● Ampliar projetos de Big Data Analytics.
- 57. Obrigado! Karina Moraes linkedin: br.linkedin.com/in/karinamoraes Tiago Vinícius linkedin: br.linkedin.com/in/viniremigio