SlideShare uma empresa Scribd logo
1 de 13
Baixar para ler offline
Infraestrutura de Software


Prof. Dr. Ney Lemke
lemke@ibb.unesp.br
IBB-Unesp
Agenda


    Introdução

    Pesquisa GridUnesp

    Demandas Computacionais

    Infra-estrutura de Software do
    GridUnesp

    Discussão
Grid Computing
Questionário
                 Perguntas                             Ney Lemke   André Malvezzi        Adriano     Gastão Krein     João Figueiredo        Makoto
                                                                                         Cansian                                            Myoshida

1. Which is your research area?                 Bioinformatics     Condensed        Computer         Physics           Computational      Protein
                                                                   Matter           Security                          Fluid Dynamics      Folding

2.1. Operating System:                          Linux, MacOS       Linux,Windows    Linux            Linux            Windows and         Linux
                                                                                                                      Linux

2. Computing Language:                          C++,Java,Python    Fortran          Java, C, SQL     Fortran 77/90,   Fortran 90/95 ,C/   Fortran, C/C+
                                                                                    and PHP          C/C++            C++, Python         +

2.3. Open Source or Proprietary Codes :         Both               Own Code         Open Source      Open Source      Own Code            Open source

2.4. Necessary libraries:                       None               IMSL             libft, JDK and   MPI              IMSL, MPI
                                                                                    JRE


2.5. Typical use of RAM memory:                 2 Gb               1 Gb             1 Gb             A lot            15GB - 500TB        1 Mb

2.6. Typical use of disk space:                 100 Gb             50 Gb            30 Gb            1 Tb             25 Tb               1 Gb

2.7. CPU bounded?:                              Yes                Yes              No               Yes              Yes

2.8. I/O bounded?:                              No                 No               No               Yes              No




2.9. Execution time of the jobs:                4h-24 h            days             Daemon           Months           Days                 Days

2.10. Bag-of-tasks application?:                Yes                Yes              No                                Yes




3. About your research problem and the
grid:


3.1. Are you looking forward to have your       Yes                Yes              Yes              Yes              Yes                 Not yet
jobs running on GridUNESP:

3.2. Do you use a grid application to process   Condor             No               No               No               No                  No
your jobs

3.3. Do you know if your application is         Yes                No               No               Yes              No                  No
already adapted to run on a grid
infrastructure?

3.4. Do you know any alternative to the         Yes                No               No               Yes              Yes                 No
software you are using that is already
adapted to run on grids?
Questionário


                                                                     Andr_        Adriano         Gast_o        Jo_o
                 Perguntas                        Ney Lemke         Malvezzi      Cansian          Krein     Figueiredo    Myos hida
3.5. Do yo u know a ny expert that is
working on this a dap tation?                   Yes           No               No           Yes            No             Yes
3.6. Are yo u re ady to co opera te with an
internatio nal effort to mak e yo ur
application rea dy to run o n OSG?              Yes           Yes              Yes          Yes            Yes            Yes
3.7. Do yo u have a ny students o r po stdocs
that could work on this?                        Yes           No               Yes          Yes            No             No
3.8 What do yo u need to co operate on this                                                                               Computer
(tra vel, bring expert, etc.)                   Tra vel       Talk Expe rt     Tra vel      Bring Expert                  Time
Infraestrutura de Software
   Instalação baseada no CentOS 5.4
   Pacotes adicionais:
      Development Tools group

      C++, C, Java

      Intel C, C++

      Intel MPI

      Fortran Intel e g77

      Fortran90

   Gromacs
Infraestrutura de Software

   Bibliotecas Matemáticas
         – GMP
         – MKL
         – BLAS
         – LAPACK
         – MSL
   Depuradores
       – GDB
       – Depuradores Paralelos
Software não Livre
   Crystal
   Gaussian
   Amber
   Mathematica
   Mathlab
   CFD
   GID
   ANSYS
Análise da Demanda

Novo cadastro de Grupos de Pesquisa e de
Projetos.

Demanda por recursos de Clusters

Documentacao para o usuário
Infra-estrtura de software


Uma boa parte das nossas demandas podem ser satisfeitas
com a instalação do CentOS + OSG.

Parte das aplicações foram implementadas pelos usuários e
poderão ser facilmente portadas para o grid com algum
esforço de gridificação.
Ambiente de Desenvolvimento
•   Parte do desenvolvimento poderá ser feito
•   nos clusters.
•   Parte do desenvolvimento deverá ser feito
    na máquina do usuário.
•   Apesar de existirem soluções de interesse
    genérico, parte dos problemas deverá ser
    resolvido caso a caso.
Política Aquisição Software
•   Como encaminhar o proceso de aquisição de
    software?
•   Projeto comum para Fapesp?
•   Solicitação à Reitoria
Desafios

   Permitir que os usuários se concentrem em
    suas áreas de pesquisa e consigam abstrair
    a infra-estrutura computacional.
   Diminuir a declividade da curva de
    aprendizagem
   Disponibilidade:
    MFLOPY != 365*24*3600*MFLOPS

Mais conteúdo relacionado

Semelhante a Softwares no Cluster - Ney Lemke

TDC2016SP - Trilha BigData
TDC2016SP - Trilha BigDataTDC2016SP - Trilha BigData
TDC2016SP - Trilha BigDatatdc-globalcode
 
TDC SP 2017 Trilha .NET - TechWar: Threads, ThreadPools e Tasks em C#
TDC SP 2017 Trilha .NET - TechWar: Threads, ThreadPools e Tasks em C#TDC SP 2017 Trilha .NET - TechWar: Threads, ThreadPools e Tasks em C#
TDC SP 2017 Trilha .NET - TechWar: Threads, ThreadPools e Tasks em C#Diego Gabriel Cardoso
 
Desenvolvendo Aplicações Livres em Java - João Avelino Bellomo Filho
Desenvolvendo Aplicações Livres em Java - João Avelino Bellomo FilhoDesenvolvendo Aplicações Livres em Java - João Avelino Bellomo Filho
Desenvolvendo Aplicações Livres em Java - João Avelino Bellomo FilhoTchelinux
 
Sistemas Operacionais - Aula 4 - Revisão e Exercícios
Sistemas Operacionais - Aula 4 - Revisão e ExercíciosSistemas Operacionais - Aula 4 - Revisão e Exercícios
Sistemas Operacionais - Aula 4 - Revisão e ExercíciosCharles Fortes
 
Infra as Code - Provisionando sua Infraestrutura, com ARM Templates
Infra as Code - Provisionando sua Infraestrutura, com ARM TemplatesInfra as Code - Provisionando sua Infraestrutura, com ARM Templates
Infra as Code - Provisionando sua Infraestrutura, com ARM TemplatesJaqueline Ramos
 
Projeto TCOS - III ENSOL
Projeto TCOS - III ENSOLProjeto TCOS - III ENSOL
Projeto TCOS - III ENSOLAécio Pires
 
Petic Emgetis Final
Petic Emgetis FinalPetic Emgetis Final
Petic Emgetis Finalnetimba
 
Armadilhas no Desenvolvimento de Software
Armadilhas no Desenvolvimento de SoftwareArmadilhas no Desenvolvimento de Software
Armadilhas no Desenvolvimento de Softwarejamersonlima
 
Apresentacao Relatorio
Apresentacao RelatorioApresentacao Relatorio
Apresentacao RelatorioAécio Pires
 
Webinar: Oportunidades e requisitos no projeto de hardware para IoT
Webinar: Oportunidades e requisitos no projeto de hardware para IoTWebinar: Oportunidades e requisitos no projeto de hardware para IoT
Webinar: Oportunidades e requisitos no projeto de hardware para IoTEmbarcados
 
Infra as Code - Infra virou Dev?
Infra as Code - Infra virou Dev?Infra as Code - Infra virou Dev?
Infra as Code - Infra virou Dev?Jaqueline Ramos
 
LIVRO PROPRIETÁRIO - PROGRAMAÇÃO I
LIVRO PROPRIETÁRIO - PROGRAMAÇÃO ILIVRO PROPRIETÁRIO - PROGRAMAÇÃO I
LIVRO PROPRIETÁRIO - PROGRAMAÇÃO IOs Fantasmas !
 
Escalando uma plataforma poliglota - QConSP 17
Escalando uma plataforma poliglota - QConSP 17Escalando uma plataforma poliglota - QConSP 17
Escalando uma plataforma poliglota - QConSP 17Leandro Moreira
 
Como automatizar Sistemas Legados utilizando ferramentas de DevOps
Como automatizar Sistemas Legados utilizando ferramentas de DevOpsComo automatizar Sistemas Legados utilizando ferramentas de DevOps
Como automatizar Sistemas Legados utilizando ferramentas de DevOpsRafael Salerno de Oliveira
 
648021762-Aula-de-Informatica-Slides.pptx
648021762-Aula-de-Informatica-Slides.pptx648021762-Aula-de-Informatica-Slides.pptx
648021762-Aula-de-Informatica-Slides.pptxMaicksinhoTeclas
 
Desenvolvimento de aplicações embarcadas utilizando Python
Desenvolvimento de aplicações embarcadas utilizando PythonDesenvolvimento de aplicações embarcadas utilizando Python
Desenvolvimento de aplicações embarcadas utilizando PythonFlávio Ribeiro
 

Semelhante a Softwares no Cluster - Ney Lemke (20)

TDC2016SP - Trilha BigData
TDC2016SP - Trilha BigDataTDC2016SP - Trilha BigData
TDC2016SP - Trilha BigData
 
Aplicações do Python na escola e no mercado de trabalho
Aplicações do Python na escola e no mercado de trabalhoAplicações do Python na escola e no mercado de trabalho
Aplicações do Python na escola e no mercado de trabalho
 
Revista programar 11
Revista programar 11Revista programar 11
Revista programar 11
 
Java com Excelência
Java com ExcelênciaJava com Excelência
Java com Excelência
 
TDC SP 2017 Trilha .NET - TechWar: Threads, ThreadPools e Tasks em C#
TDC SP 2017 Trilha .NET - TechWar: Threads, ThreadPools e Tasks em C#TDC SP 2017 Trilha .NET - TechWar: Threads, ThreadPools e Tasks em C#
TDC SP 2017 Trilha .NET - TechWar: Threads, ThreadPools e Tasks em C#
 
Desenvolvendo Aplicações Livres em Java - João Avelino Bellomo Filho
Desenvolvendo Aplicações Livres em Java - João Avelino Bellomo FilhoDesenvolvendo Aplicações Livres em Java - João Avelino Bellomo Filho
Desenvolvendo Aplicações Livres em Java - João Avelino Bellomo Filho
 
Sistemas Operacionais - Aula 4 - Revisão e Exercícios
Sistemas Operacionais - Aula 4 - Revisão e ExercíciosSistemas Operacionais - Aula 4 - Revisão e Exercícios
Sistemas Operacionais - Aula 4 - Revisão e Exercícios
 
Infra as Code - Provisionando sua Infraestrutura, com ARM Templates
Infra as Code - Provisionando sua Infraestrutura, com ARM TemplatesInfra as Code - Provisionando sua Infraestrutura, com ARM Templates
Infra as Code - Provisionando sua Infraestrutura, com ARM Templates
 
Projeto TCOS - III ENSOL
Projeto TCOS - III ENSOLProjeto TCOS - III ENSOL
Projeto TCOS - III ENSOL
 
Petic Emgetis Final
Petic Emgetis FinalPetic Emgetis Final
Petic Emgetis Final
 
Armadilhas no Desenvolvimento de Software
Armadilhas no Desenvolvimento de SoftwareArmadilhas no Desenvolvimento de Software
Armadilhas no Desenvolvimento de Software
 
Apresentacao Relatorio
Apresentacao RelatorioApresentacao Relatorio
Apresentacao Relatorio
 
Webinar: Oportunidades e requisitos no projeto de hardware para IoT
Webinar: Oportunidades e requisitos no projeto de hardware para IoTWebinar: Oportunidades e requisitos no projeto de hardware para IoT
Webinar: Oportunidades e requisitos no projeto de hardware para IoT
 
Infra as Code - Infra virou Dev?
Infra as Code - Infra virou Dev?Infra as Code - Infra virou Dev?
Infra as Code - Infra virou Dev?
 
LIVRO PROPRIETÁRIO - PROGRAMAÇÃO I
LIVRO PROPRIETÁRIO - PROGRAMAÇÃO ILIVRO PROPRIETÁRIO - PROGRAMAÇÃO I
LIVRO PROPRIETÁRIO - PROGRAMAÇÃO I
 
Escalando uma plataforma poliglota - QConSP 17
Escalando uma plataforma poliglota - QConSP 17Escalando uma plataforma poliglota - QConSP 17
Escalando uma plataforma poliglota - QConSP 17
 
Como automatizar Sistemas Legados utilizando ferramentas de DevOps
Como automatizar Sistemas Legados utilizando ferramentas de DevOpsComo automatizar Sistemas Legados utilizando ferramentas de DevOps
Como automatizar Sistemas Legados utilizando ferramentas de DevOps
 
648021762-Aula-de-Informatica-Slides.pptx
648021762-Aula-de-Informatica-Slides.pptx648021762-Aula-de-Informatica-Slides.pptx
648021762-Aula-de-Informatica-Slides.pptx
 
Java e Software Livre
Java e Software LivreJava e Software Livre
Java e Software Livre
 
Desenvolvimento de aplicações embarcadas utilizando Python
Desenvolvimento de aplicações embarcadas utilizando PythonDesenvolvimento de aplicações embarcadas utilizando Python
Desenvolvimento de aplicações embarcadas utilizando Python
 

Mais de Núcleo de Computação Científica

Mais de Núcleo de Computação Científica (6)

Cadastramento de Projetos - Gabriel Winckler
Cadastramento de Projetos - Gabriel WincklerCadastramento de Projetos - Gabriel Winckler
Cadastramento de Projetos - Gabriel Winckler
 
Atualização Deployment - Rede - José Roberto
Atualização Deployment - Rede - José RobertoAtualização Deployment - Rede - José Roberto
Atualização Deployment - Rede - José Roberto
 
Atualização Deployment - Hardware e Middleware - Rogério Iope
Atualização Deployment - Hardware e Middleware - Rogério IopeAtualização Deployment - Hardware e Middleware - Rogério Iope
Atualização Deployment - Hardware e Middleware - Rogério Iope
 
Atualização Deployment - Hardware e Middleware - Gabriel Winckler
Atualização Deployment - Hardware e Middleware - Gabriel WincklerAtualização Deployment - Hardware e Middleware - Gabriel Winckler
Atualização Deployment - Hardware e Middleware - Gabriel Winckler
 
Submissão de Jobs - Marco Dias
Submissão de Jobs - Marco DiasSubmissão de Jobs - Marco Dias
Submissão de Jobs - Marco Dias
 
Atualização Deployment - Rede - Rogério Iope
Atualização Deployment - Rede - Rogério IopeAtualização Deployment - Rede - Rogério Iope
Atualização Deployment - Rede - Rogério Iope
 

Softwares no Cluster - Ney Lemke

  • 1. Infraestrutura de Software Prof. Dr. Ney Lemke lemke@ibb.unesp.br IBB-Unesp
  • 2. Agenda  Introdução  Pesquisa GridUnesp  Demandas Computacionais  Infra-estrutura de Software do GridUnesp  Discussão
  • 4. Questionário Perguntas Ney Lemke André Malvezzi Adriano Gastão Krein João Figueiredo Makoto Cansian Myoshida 1. Which is your research area? Bioinformatics Condensed Computer Physics Computational Protein Matter Security Fluid Dynamics Folding 2.1. Operating System: Linux, MacOS Linux,Windows Linux Linux Windows and Linux Linux 2. Computing Language: C++,Java,Python Fortran Java, C, SQL Fortran 77/90, Fortran 90/95 ,C/ Fortran, C/C+ and PHP C/C++ C++, Python + 2.3. Open Source or Proprietary Codes : Both Own Code Open Source Open Source Own Code Open source 2.4. Necessary libraries: None IMSL libft, JDK and MPI IMSL, MPI JRE 2.5. Typical use of RAM memory: 2 Gb 1 Gb 1 Gb A lot 15GB - 500TB 1 Mb 2.6. Typical use of disk space: 100 Gb 50 Gb 30 Gb 1 Tb 25 Tb 1 Gb 2.7. CPU bounded?: Yes Yes No Yes Yes 2.8. I/O bounded?: No No No Yes No 2.9. Execution time of the jobs: 4h-24 h days Daemon Months Days Days 2.10. Bag-of-tasks application?: Yes Yes No Yes 3. About your research problem and the grid: 3.1. Are you looking forward to have your Yes Yes Yes Yes Yes Not yet jobs running on GridUNESP: 3.2. Do you use a grid application to process Condor No No No No No your jobs 3.3. Do you know if your application is Yes No No Yes No No already adapted to run on a grid infrastructure? 3.4. Do you know any alternative to the Yes No No Yes Yes No software you are using that is already adapted to run on grids?
  • 5. Questionário Andr_ Adriano Gast_o Jo_o Perguntas Ney Lemke Malvezzi Cansian Krein Figueiredo Myos hida 3.5. Do yo u know a ny expert that is working on this a dap tation? Yes No No Yes No Yes 3.6. Are yo u re ady to co opera te with an internatio nal effort to mak e yo ur application rea dy to run o n OSG? Yes Yes Yes Yes Yes Yes 3.7. Do yo u have a ny students o r po stdocs that could work on this? Yes No Yes Yes No No 3.8 What do yo u need to co operate on this Computer (tra vel, bring expert, etc.) Tra vel Talk Expe rt Tra vel Bring Expert Time
  • 6. Infraestrutura de Software  Instalação baseada no CentOS 5.4  Pacotes adicionais:  Development Tools group  C++, C, Java  Intel C, C++  Intel MPI  Fortran Intel e g77  Fortran90  Gromacs
  • 7. Infraestrutura de Software  Bibliotecas Matemáticas – GMP – MKL – BLAS – LAPACK – MSL  Depuradores – GDB – Depuradores Paralelos
  • 8. Software não Livre  Crystal  Gaussian  Amber  Mathematica  Mathlab  CFD  GID  ANSYS
  • 9. Análise da Demanda Novo cadastro de Grupos de Pesquisa e de Projetos. Demanda por recursos de Clusters Documentacao para o usuário
  • 10. Infra-estrtura de software Uma boa parte das nossas demandas podem ser satisfeitas com a instalação do CentOS + OSG. Parte das aplicações foram implementadas pelos usuários e poderão ser facilmente portadas para o grid com algum esforço de gridificação.
  • 11. Ambiente de Desenvolvimento • Parte do desenvolvimento poderá ser feito • nos clusters. • Parte do desenvolvimento deverá ser feito na máquina do usuário. • Apesar de existirem soluções de interesse genérico, parte dos problemas deverá ser resolvido caso a caso.
  • 12. Política Aquisição Software • Como encaminhar o proceso de aquisição de software? • Projeto comum para Fapesp? • Solicitação à Reitoria
  • 13. Desafios  Permitir que os usuários se concentrem em suas áreas de pesquisa e consigam abstrair a infra-estrutura computacional.  Diminuir a declividade da curva de aprendizagem  Disponibilidade: MFLOPY != 365*24*3600*MFLOPS