BI
Escalando Business Intelligence:
da infraestrutura a visualização de dados
QUEM SOMOS NÓS
Fernando Paiva
Matematica (IME-USP)
IBM
Porto Seguro
Engenharia de Produção (POLI-USP)
Master Management En...
QUEM SOMOS NÓS
2011
Fundada durante
Start Up Weekend
2015
+2000 empresas
2012
Aporte do grupo
Rocket Internet
2013
Expansã...
EASY TAXI EM NÚMEROS
GERAMOS
+200 Gb/dia
músicas 50.000
4MB
livros 100.000
2MB
fotos 60.000
3MB
=
EASY TAXI EM NÚMEROS
USE CASE
Relatórios gerenciais para
6 áreas funcionais em 30 países
USE CASE
Requisitos
Segurança de dados
(separação geográfica, separação entre dados críticos e não críticos)
Perfomance
(m...
CADEIA DE VALOR NO BI
Data
- Visualization -
Data
- Collection -
Data
- Processing -
ARQUITETURA DE DADOS 1.0
03 Componentes chaves
- Visualize -
Tableau
01 02 03
- Collect -
Data pipelines
- Process -
Big Q...
DESAFIOS
Tecnologia
Uso de ferramentas novas
Conhecimento coletivo disponível
Rápida evolução da tecnologia
Pessoas
Contra...
RESULTADOS
Escalabilidade Infraestrutura:
# de consultas por mês: 9000 —> +1.000.000
Dados processados [TB/mês]: 70 —> +30...
PERGUNTAS
CONTATOS Fernando Junqueira de Paiva
fernando.paiva@easytaxi.com.br
https://br.linkedin.com/in/fernandosjpaiva
Caique Lima...
Próximos SlideShares
Carregando em…5
×

Scaling Business Intelligence: from infrastruture to visualization (pt-br)

371 visualizações

Publicada em

Easy Taxi Business Intelligence business case presented at the Cloud Forum Brasil 2015 in the Big Data track (02 of September 2015) at São Paulo.

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
371
No SlideShare
0
A partir de incorporações
0
Número de incorporações
40
Ações
Compartilhamentos
0
Downloads
0
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide
  • 2011 - Easy Taxi nasceu durante o Startup Weekend, realizado no Rio de Janeiro, em 2011. A ideia original era desenvolver um app que ajudasse a  população a usar o transporte público, mas um dos mentores do evento alertou o grupo que uma solução similar já estava em desenvolvimento pelo Google.

    A missão da nossa empresa é conectar passageiros a taxistas de forma rápida e conveniente. E ao fazer isso ela gera valor para ambos os lados do mercado. Para os passageiros ela possibilita uma experiência muito melhor do que chamar um táxi na rua, e para os taxistas ele possibilita um dia de trabalho mais prático e com muito mais corridas.

    2012 - Recebemos um aporte financeiro do grupo alemão Rocket Internet

    2013 - Expansão para 30 países e 420 cidades.

    2014 - Lançamos os serviço corporativo. E atingimos mais de 60mi de corridas.

    2015 - Atualmente temos mais de 2000 empresas ativadas. E passamos de 20 milhões de downloads.
  • Vamos falar sobre um use case, que acreditamos que seja comum para a maioria das empresas.

    Tivemos que atuar em toda a cadeia de valor da área de BI.
  • Aqui descrevemos a cadeia de valor no BI

    Collection: Etapa onde extraímos os dados, e carregamos eles para uma fonte central

    Processing: Processamento dos dados e definição dos indicadores. Preparação para os relatórios.

    Visualization: Camada de visualização com controles de acesso, onde traduzimos todos os dados processados para suporte a tomada de decisões das áreas de negócio.
  • Ferramentas que utilizamos

    Collection: Scripts python desenvolvidos in-house. Decidimos por essa solução por que conseguimos o máximo de adaptação com todos os canais que coletamos dados. Ganhamos a possibilidade de personalização com base em nossas necessidades.

    Processing: Google Big Query. Solução de baixo custo para processamento de grandes quantidades de dados. Não precisamos nos preocupar com infra-estrutura, o controle de acesso já tem conexão com o Google Apps for Work(contas de e-mail).

    Visualization: Tableau. Ganhamos agilidade na criação e distribuição dos reports e indicadores. Todos os controles de acesso a nível de relatório direto da ferramenta. Conexão com diversas fontes de dados. BI self service
  • Tecnologia

    Uso de ferramentas novas
    Conhecimento coletivo disponível
    Rápida evolução da tecnologia

    Pessoas

    Contratação
    Curva de aprendizado

    Processos

    Demandas imediatas X planejamento de longo prazo
  • Infra

    Dados processados 70 Tb/mês—> + 300 Tb/mês

    Incluímos novas fontes de dados nos relatórios. Informações que antes eram só armazenadas, passaram a ser exploradas, ex: análise de log.

    Número de consultas 9000/mês -> +1 mi/mês

    Crescimento no número de automações, novas rotinas para verificar a qualidade dos dados. Descentralização dos dados.

    Número de pessoas na área de BI 4 -> 4

    Número de power-users 4 -> 15

    Usuários frequentes, com facilidade para responder perguntas complexas utilizando os dados.

    Viz

    Numero de relatórios 1 -> 42
    Número de usuários 40 -> 170
    Número de acessos desconhecido -> 1200

    Tinhamos um relatório que tentava suprir toda demanda de informação da empresa. Com a possibilidade de criar relatórios que possuem atualização automática, foi possível focar em responder cada pergunta de negócio de forma separada.
  • Scaling Business Intelligence: from infrastruture to visualization (pt-br)

    1. 1. BI Escalando Business Intelligence: da infraestrutura a visualização de dados
    2. 2. QUEM SOMOS NÓS Fernando Paiva Matematica (IME-USP) IBM Porto Seguro Engenharia de Produção (POLI-USP) Master Management Engineer (POLITO - Italia) (Head of Business Intelligence) Caique Lima (Data Engineer) &
    3. 3. QUEM SOMOS NÓS 2011 Fundada durante Start Up Weekend 2015 +2000 empresas 2012 Aporte do grupo Rocket Internet 2013 Expansão para 30 países e 420 cidades 2014 Lançamento serviço Corporativo Easy Taxi +60 milhões corridas - +20 milhões de downloads -
    4. 4. EASY TAXI EM NÚMEROS GERAMOS +200 Gb/dia músicas 50.000 4MB livros 100.000 2MB fotos 60.000 3MB =
    5. 5. EASY TAXI EM NÚMEROS
    6. 6. USE CASE Relatórios gerenciais para 6 áreas funcionais em 30 países
    7. 7. USE CASE Requisitos Segurança de dados (separação geográfica, separação entre dados críticos e não críticos) Perfomance (muito processamento, tempo de entrega de novos relatórios) Qualidade de dados (centralização, consistência de dados e indicadores) + + +
    8. 8. CADEIA DE VALOR NO BI Data - Visualization - Data - Collection - Data - Processing -
    9. 9. ARQUITETURA DE DADOS 1.0 03 Componentes chaves - Visualize - Tableau 01 02 03 - Collect - Data pipelines - Process - Big Query
    10. 10. DESAFIOS Tecnologia Uso de ferramentas novas Conhecimento coletivo disponível Rápida evolução da tecnologia Pessoas Contratação Curva de aprendizado Processos Demandas imediatas X planejamento de longo prazo
    11. 11. RESULTADOS Escalabilidade Infraestrutura: # de consultas por mês: 9000 —> +1.000.000 Dados processados [TB/mês]: 70 —> +300 Escalabilidade Visualização Power-users* [pessoas]: 4 —> 15 # de usuários: 40 —> 170 Acessos: ? —> 1200 # de relatórios: 1 —> 42 Área de BI [pessoas]: 4 —> 4
    12. 12. PERGUNTAS
    13. 13. CONTATOS Fernando Junqueira de Paiva fernando.paiva@easytaxi.com.br https://br.linkedin.com/in/fernandosjpaiva Caique Lima caique.lima@easytaxi.com https://br.linkedin.com/in/caiquelima OBRIGADO! :)

    ×