1. A empresa Brisa criou uma nova arquitetura baseada em Hadoop para armazenar e analisar grandes volumes de dados de transações de portagem de forma mais rápida e escalonável. 2. Isto permitiu reduzir o tempo de processamento de dados de 20 minutos para 14 segundos e disponibilizar dados de forma mais rápida para análises. 3. A nova abordagem também melhorou a performance dos sistemas operacionais e reduziu custos de licenciamento.

1. Renovação tecnológica
-Segregação do Modelo Analítico
DTS

2. Introdução

3. 3
A missão do Grupo Brisa é proporcionar mobilidade eficiente para as pessoas;
Atuando em diversas áreas:
Concessões rodoviárias
Outras Infraestruturas
Focus na Mobilidade das pessoas
Operação e manutenção
Grupo Brisa

4. 4
Organização DTS
Direção de Tecnologia e Serviços (DTS) comum às empresas do Grupo Brisa
Apoiamos todos os departamentos das diversas empresas do Grupo
Entidades externas
21 Concessionárias de Auto-Estradas
74 Operadores de parques/ferries/restauração

5. 5
Sistemas Portagens
Em termos de controlo de passagens nas portagens existem 2 sistemas operacionais
principais:
Via Verde para vias automáticas
Sistemas Brisa para vias Manuais

6. Renovação tecnológica

7. 7
Desafios
1. Grande volume de dados e número de transações
a) 1.500 milhões de transações e eventos relativas aos últimos 2 anos
b) 5.3 milhões de identificadores
2. Extração de dados e analises ad-hoc sobre sistemas operacionais
3. Do ponto de vista das equipas de negócio
a) Tempo de resposta para analises ad-hoc demorado
b) Acesso aos dados só através da equipa de IT
4. Custos de licenciamento

8. 8
Solução
Nova arquitetura baseada em Hadoop para storage e ETL
Criação de data lake
Criação de base de dados sumarizada em PostgreSQL
Opção por Cloud, simplificando o processo e facilitando a escalabilidade
Acesso direto de alguns utilizadores de negócio aos dados para realizar analytics de forma
autónoma

9. 9
Arquitetura - Batch
Extração (Transferência Ficheiros) e Transformação
Exploração Dados Reporting Final
Data Lake
◊ Clientes
◊ Transações
Sistema Operacional VVP Sistema Operacional VM
◊ Transações
Outros Sistemas Operacionais
◊ ...
◊ (SICOR)
◊ (iBrisa)
16 Cores
32GB RAM
1TB HD
48 Cores
96GB RAM
3TB HD

10. 10
Áreas de Atuação
1. A partir do Data Lake tomam-se decisões de negócio em near real time baseadas em IoT
Carregamento de mensagens de eventos de portagem no Data Lake para utilização em sistemas
operacionais de gestão de vias e trafego
2. Carregamento de transações de portagem no Data Lake para exploração analítica dos
mesmos;
3. Transformação e tratamento de dados para análises agregadas
4. Migração de relatórios para Data Lake;
5. Preparação de ambiente para exploração através de Tableau.

11. 11
Implementação
Duração aproximada: 6 meses
Membros da equipa:
Gestor Projecto
2x Consultor Big Data
2x Consultor Business Intelligence
147 relatórios

12. 12
Exemplo ETL

13. 13
Exemplo Report

14. Resultados

15. 15
Métricas
Caso 1
Sistema Operacional VV: 20 minutos
Sistema Hadoop: 14 segundos
Processamento de 15.000 mensagens xml por minuto
Extração de dados +- 15 minutos
Ganho em cerca de 60% no tempo de ETL de dados via Impala vs Oracle

16. 16
Impacto Sistemas Operacionais
Redução de 25-30% de processamento no SQL Server durante a extração de
dados pelos consumidores (BI por ex.);
Redução de cerca de 15% em espaço ocupado nos sistemas transacionais;
Processamento de dados controlado conforme necessidades do sistema e dos
sistemas consumidores;

17. 17
Impacto Processos
SQL continua a ser a linguagem para acesso a dados
• Curva de aprendizagem baixa numa utilização normal
Facilidade de acesso aos dados
Escalabilidade assegurada

18. Futuro

19. 19
Próximas Fases
Adoção do Tableau como ferramenta de self-service para utilizadores chave
Possibilidade de adicionar mais processos batch
• Consulta histórico
• Billing
Implementação de processos em real-time (Spark, Kafka)
Reunir novos tipos de dados
Logs
Redes Sociais

20. Conclusão

21. 21
Conclusão
Menos recursos ocupados dos sistemas operacionais
Maior rapidez na disponibilização de dados
Acesso a determinados utilizadores na exploração de dados raw (Data analytics)
Manutenção e escalabilidade simplificada (Cloud)
Redução de custos de licenciamento
Futuro promissor, com novas aplicações tirando partindo de funcionalidades já
disponibilizadas