1
Utilização de Big Data para
Computação de Alto Desempenho
Sérgio Mafra
Líder Inovação TI
“Scotty, We Need More Power”
O ONS
3
Escopo de atuação do ONS
O Operador Nacional do Sistema Elétrico (ONS) é o órgão
responsável pela coordenação e controle...
4
Num. de empregados: 745
• 596 com grau
universitário
• 405 engenheiros
Norte
Isolado
Brasilia
CNOS
COSR-NCO
Recife
Núcle...
5
O SIN atende 98% do
consumo de eletricidade
do Brasil.
SIN - Sistema Elétrico Brasileiro
Sistemas
Isolados
Amazônia Lega...
6
SIN - Sistema Elétrico Brasileiro
7
Área de atuação do ONS
O que é Big Data?
9
Conceitos
Big
Data
Volume
Variedade
Velocidade
10
Origem dos Dados
Transações
Interações
Observações
Big Data
11
O que é “Big Data”?
Variedade e Complexidade dos Dados
ERP e CRM
Web
Big DataPB
TB
GB
MB
Geographic Information System ...
12
O uso da informação está evoluindo...
Level of Business Impact
Why Did It
Happen?
What
Happened?
Data Mining
Reporting,...
13
Processo de Big Data
Coleta
• Armazenar
• Limpeza de
Dados
• Distribuir
Processamento
• Selecionar
• Agregar
• Exportar...
Sistema de Medição
Sincronizada de Fasores
(SMSF)
15
Sistema de Medição Sincronizada de
Fasores - SMSF
PDC
16
Processo do SMSF
Coletar (PMU)
• Tensão
• Corrente
• Frequência
• Tempo (GPS)
Transmitir
(Telecom)
• UDP/IP
• C37.118
C...
17
Desafios
• SCADA possui resolução de ms (mili)
– Não serve para medir ângulos elétricos
– Medidas não são síncronas
• É...
18
Benefícios
• Melhoria da qualidade dos dados observados para a
operação em Tempo Real e para o Planejamento
• Avaliação...
19
Armazenamento Anual do SMSF
2013
• 8,5 TB
2015
• 70 TB
2018
• 120 TB
2022
• 312 TB
Big Data
Data
Coleta estimada para a...
20
Limitações do Modelo Atual
• Não é possível explorar os dados originais
• Mover grandes quantidades de dados para
DataW...
Novas Soluções
22
•Coletor de informações dos PMU
•Análise simplificada da situação
•Geração de arquivo histórico
•Integração com hadoop
...
23
•Sistema de Arquivos Distribuído
(HDFS) em conjunto com o S3
(AWS)
•Processamento Distribuído (Map
Reduce) em ambiente ...
24
Projeto Piloto
Histórico
1 Tb
Cluster Hadoop
OpenPDC
Coletor
Master
Nó 1
Nó 3
Nó N
Nó 2
HDFS
HDFS
HDFS
HDFS
S3
Armazena...
25
Obrigado !!!
smafra@ons.org.br
@smafra
“Scotty, We STILL Need More Power”
Próximos SlideShares
Carregando em…5
×

Big data: tendências e oportunidades - Palestrante: Sérgio Mafra

571 visualizações

Publicada em

Rio Info 2013
Tecnologias Inovadoras
17 de setembro - 14h às 18h
Big data: tendências e oportunidades
Palestrante: Sérgio Mafra

Publicada em: Tecnologia
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
571
No SlideShare
0
A partir de incorporações
0
Número de incorporações
4
Ações
Compartilhamentos
0
Downloads
15
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Big data: tendências e oportunidades - Palestrante: Sérgio Mafra

  1. 1. 1 Utilização de Big Data para Computação de Alto Desempenho Sérgio Mafra Líder Inovação TI “Scotty, We Need More Power”
  2. 2. O ONS
  3. 3. 3 Escopo de atuação do ONS O Operador Nacional do Sistema Elétrico (ONS) é o órgão responsável pela coordenação e controle da operação das instalações de geração e transmissão de energia elétrica no Sistema Interligado Nacional (SIN), sob a fiscalização e regulação da Agência Nacional de Energia Elétrica (Aneel). Para o exercício de suas atribuições legais e o cumprimento de sua missão institucional, o ONS desenvolve uma série de estudos e ações a serem exercidas sobre o sistema e seus agentes para manejar o estoque de energia de forma a garantir a segurança do suprimento contínuo em todo o país.
  4. 4. 4 Num. de empregados: 745 • 596 com grau universitário • 405 engenheiros Norte Isolado Brasilia CNOS COSR-NCO Recife Núcleo N/NE COSR-NE Rio de Janeiro Escritório Central COSR-SE Florianópolis Núcleo Sul COSR-S Instalações do ONS
  5. 5. 5 O SIN atende 98% do consumo de eletricidade do Brasil. SIN - Sistema Elétrico Brasileiro Sistemas Isolados Amazônia Legal 2% do Mercado Predominantemente Térmico + 300 localidades isoladas- Modelo predominantemente hidroelétrico com grandes reservatórios e grandes interligações.
  6. 6. 6 SIN - Sistema Elétrico Brasileiro
  7. 7. 7 Área de atuação do ONS
  8. 8. O que é Big Data?
  9. 9. 9 Conceitos Big Data Volume Variedade Velocidade
  10. 10. 10 Origem dos Dados Transações Interações Observações Big Data
  11. 11. 11 O que é “Big Data”? Variedade e Complexidade dos Dados ERP e CRM Web Big DataPB TB GB MB Geographic Information System (GIS) Sensores Modelos Matemáticos Meteorologia Logs Recomendações Colaboração Mobile Web Business Intelligence SAGER/SAAT Medição Fasorial (SMF)
  12. 12. 12 O uso da informação está evoluindo... Level of Business Impact Why Did It Happen? What Happened? Data Mining Reporting, Das hboards Transactional, Lagging Information Reporting Centric Predictability Level of Business Impact What Is Likely to Happen? Why Did It Happen? What Happened? Data Mining Skill Impact Reporting, Das hboards What Is Happening? Real-Time Analytics Transactional Unstructured Reporting-Centric Pattern RecognitionPattern-Matching Modeling by quants Modeling for the masses
  13. 13. 13 Processo de Big Data Coleta • Armazenar • Limpeza de Dados • Distribuir Processamento • Selecionar • Agregar • Exportar Análise • Modelos • Minerar Dados • Análise de Dados
  14. 14. Sistema de Medição Sincronizada de Fasores (SMSF)
  15. 15. 15 Sistema de Medição Sincronizada de Fasores - SMSF PDC
  16. 16. 16 Processo do SMSF Coletar (PMU) • Tensão • Corrente • Frequência • Tempo (GPS) Transmitir (Telecom) • UDP/IP • C37.118 Concentrar (PDC) • Concentrar dados • Diferentes fontes • Múltiplos formatosProtocolos
  17. 17. 17 Desafios • SCADA possui resolução de ms (mili) – Não serve para medir ângulos elétricos – Medidas não são síncronas • É necessário uma fonte temporal de alta precisão – GPS fornece precisão de 14 ns (nano) – 60 coletas por segundo de cada grandeza
  18. 18. 18 Benefícios • Melhoria da qualidade dos dados observados para a operação em Tempo Real e para o Planejamento • Avaliação com maior precisão em situações de distúrbios • Recomposição mais rápida dos sistemas interligados • Estimação de estado em zonas não cobertas
  19. 19. 19 Armazenamento Anual do SMSF 2013 • 8,5 TB 2015 • 70 TB 2018 • 120 TB 2022 • 312 TB Big Data Data Coleta estimada para apenas 7 grandezas de medida Volume total do Storage do Data Center (RJ) em 2013
  20. 20. 20 Limitações do Modelo Atual • Não é possível explorar os dados originais • Mover grandes quantidades de dados para DataWarehouses torna-se um problema acima de 2 terabytes • Dados arquivados = apagar os dados • Log de Aplicações • Dados de Telemetria de qualquer natureza
  21. 21. Novas Soluções
  22. 22. 22 •Coletor de informações dos PMU •Análise simplificada da situação •Geração de arquivo histórico •Integração com hadoop Projeto Piloto
  23. 23. 23 •Sistema de Arquivos Distribuído (HDFS) em conjunto com o S3 (AWS) •Processamento Distribuído (Map Reduce) em ambiente clusterizado •Utilização de Hive para análise de dados Projeto Piloto
  24. 24. 24 Projeto Piloto Histórico 1 Tb Cluster Hadoop OpenPDC Coletor Master Nó 1 Nó 3 Nó N Nó 2 HDFS HDFS HDFS HDFS S3 Armazenador Glacier Historiador Glacier Glacier Glacier Glacier Análise PMUs Processamento
  25. 25. 25 Obrigado !!! smafra@ons.org.br @smafra “Scotty, We STILL Need More Power”

×