- O documento apresenta a ferramenta PyFuncemeClimateTools, desenvolvida para padronizar análises de dados científicos usando Python na Funceme; - Discutem-se as necessidades de análise de dados climáticos, as dificuldades dos softwares atuais e como o Python é uma boa solução; - Apresenta-se a ferramenta PyFuncemeClimateTools e seus produtos e funcionalidades, como leitura/escrita de formatos científicos e estatísticas.

1. PyFuncemeClimateTools
Análise de dados científicos usando Python.
Marcelo Rodrigues
marcelorodriguesss@gmail.com
IX PYlestras – Fortaleza – 2015

2. ABOUT ME
• Marcelo Rodrigues
• Analista de sistemas (Funceme)
• Professor Faculdade Evolução
• Tecnólogo em Redes de Computadores
• Mestre em Ciências Físicas Aplicadas

3. SUMÁRIO
• ARQUITETURA DADOS CIENTÍFICOS;
• NECESSIDADES;
• FERRAMENTAS;
• DIFICULDADES;
• DESAFIOS;
• PYTHON NA COMUNIDADE CIENTÍFICA;
• PYTHON PERFORMANCE;
• FERRAMENTAS PYTHON;
• PyFuncemeClimateTools;
• PRODUTOS;

4. ORIGEM DOS DADOS:
• Modelos de previsão de tempo;
• Modelos de previsão de clima;
• Estações meteorológicas;
• Satélites;
• Radares;

5. DADOS EM GRADE:

6. ARQUITETURA DOS DADOS:

7. FORMATO DOS DADOS CIENTÍFICOS:
• NetCDF - network Common Data Form.
• Grib - GRIdded Binary or General Regularly-
distributed Information in Binary form.
• HDF5 - Hierarchical Data Format.
• GeoTIFF
• ASCII
• Binário (Ex. Fortran, Matlab…)
• SIGMET
• Planilhas (XLS, CSV)

8. NECESSIDADES:
• Plotar mapas meteorológicos;
• Plotar gráficos (barras, histogramas, dispersão,
boxplots, etc)
• Salvar dados nos formatos científicos:
– NetCDF, Grib, HDF5, ASCII, Planilhas eletrônicas
• Fazer análises estatísticas e probabilísticas;
• Georreferenciamento;
• Precisão dos resultados;

9. FERRAMENTAS:
- Mais info: http://www.unidata.ucar.edu/software/netcdf/software.html
CDO
GrADS

10. DIFICULDADES:
• Padronizar scritps, paletas de cores, equações
matématicas, etc;
• Centralizar metodologias e técnicas usadas;
• Distribuição das ferramentas;
• Vários softwares instalados;
• Diferentes versões dos softwares usados;
• Compilação de vários programas;
• Ensinar todas as técnicas utilizadas nos diferentes
softwares;

11. EXEMPLO:
• Gerar produtos do radar:
– Códico em C (Ler os dados brutos);
– Código em Fortran (Gerar os produtos);
– Shell Script (Juntar e executar tudo);
– Dificuldade de manutenção;
– Sem conexão com banco de dados;

12. DESAFIOS:
• Adotar uma ferramenta:
– Open Source;
– Multi-plataforma;
– Conexão com bancos de dados;
– Plotar gráficos;
– Plotar mapas;
– Desenvolvimento ágil;
– Módulos para estatísticas;
– Módulos para probabilidades;
– Transferência de arquivos pela rede;
– Envio de e-mails;

13. SOLUÇÃO?
• Desenvolver essa ferramenta!
QUAL LINGUAGEM USAR?
• Características da linguagem:
– Fácil aprendizado;
– Syntax simples;
– Facilidade para incluir novas funcionalidades;
– Multi-plataforma;
– Documentação acessível;
– Open Source;

14. PYTHON NA COMUNIDADE CIENTÍFICA
• Muitos módulos científicos já existem internet a
fora que desobrigam o cientista do trabalho de
reinventar a roda. E, devido à sua sintaxe clara, o
uso desses módulos é extremamente simples, o
que libera o cientista para tarefas mais
interessantes que se digladiar com o
computador em busca de resultados
minimamente corretos, e diminui as dúvidas
sobre as análises feitas.

15. LEITURA NETCDF
FORTRAN
PYTHON

16. PYTHON PERFORMANCE:
MATLAB R2010b Python (PyPY)
http://stackoverflow.com/questions/30475410/is-matlab-faster-than-python-little-simple-experiment

17. PYTHON PERFORMANCE:
https://modelingguru.nasa.gov/docs/DOC-1762

18. PYTHON PERFORMANCE:
https://modelingguru.nasa.gov/docs/DOC-1762

19. PYTHON PERFOMANCE:
https://lbolla.wordpress.com/2007/04/11/numerical-computing-matlab-vs-pythonnumpyweave/

20. FERRAMENTAS EM PYTHON:
• Numpy
• Scipy
• Matplotlib
• Pupynere
• Pydap
• Pandas
• Cartopy
• PyTables
• IRIS
• PyGrib
• etc

21. OUTROS CENTROS DE PESQUISA:
• Python + = PyFerret
• Python + = PyGrADS

22. PyFuncemeClimateTools
• Ferramenta desenvolvida pela Funceme;
• Conjunto de bibliotecas Python (Numpy, Scipy,
Matplotlib, etc)
• O objetivo da ferramenta é padronizar as
metodologias usadas internamente na criação de
produtos da Funceme;
• Pode ser aplicada em análises fora da Funceme,
para isso basta os dados estarem no formato
científico.
• Fácil instalação.

23. GITLAB:

24. INSTALAÇÃO
SCRIPT

25. http://www3.funceme.br/app/previsao-climatica

26. PRODUTOS:

27. PRODUTOS:

28. DESENVOLVIMENTO ATUAL:
• Análises estatísticas:
– Mapas: Anomalia, Correlação, Erro quadrático
médio, Viés e Devio padrão.
– Gráficos: Histograma, Dispersão, Probabilidade,
Reliability e ROC.
• Ler e escreve NetCDF
• Ler e escreve ASCII

29. SUGESTÕES?
PERGUNTAS?

30. OBRIGADO!
Marcelo Rodrigues
marcelorodriguesss@gmail.com