Computação Grid e  Infra-estruturas para e-Ciência Grid computing and  e-Infrastructures ( Cyberinfrastructures) Leandro N. Ciuffo [email_address] Juiz de Fora, 12.06.2008
O Problema Bioinformática Astronomia Clima / previsões
Search for Extraterrestrial Intelligence  http://setiathome.berkeley.edu/ Screensaver  Ciclos ociosos “ volunteer computing“ Seti@Home (1999)
Frequentemente, um único computador ou mesmo supercomputadores não são suficientes para esses tipos de cálculos, tornando muito difícil, caro e às vezes impossível alcançar determinados objetivos O Problema
O maior experimento científico do mundo Um problema maior ainda! E -infrastructure shared between  E urope and  L atin  A merica
~100m abaixo da terra Túnel de 27 Km LHC -  Large Hadron Collider
40.000.000 de colisões por segundo em cada detector 15 Petabytes de dados por ano  ( ~15.000.000 GB) ~ 21 milhões de CDROMs 41TB por dia 150 vezes todo conteúdo publicado anualmente na WWW  * LHC -  Large Hadron Collider  (*)   Baseado em uma extimativa do vice-presidene de operações do Google  CMS LHCb ATLAS ALICE
Seria necessário um cluster com ~100.000 CPUs Os dados precisam estar disponíveis para milhares  de cientistas, independete da sua  localização LHC -  Large Hadron Collider
A Solução Grid computing  -  Analogia à rede elétrica ( electrical power grid )
A metáfora do Grid G R I D M I D D L E W A R E Visualising Workstation Mobile Access Supercomputer, PC-Cluster Data-storage, Sensors, Experiments Internet, networks
e-Ciência Espaço de armazenamento abundante Altíssimo poder de computação Colaboração com colegas distantes, compartilhando recursos, dados e resultados Características
Evolução tecnológica * Sputnik 1960 1970 1975 1980 1985 1990 1995 2000 * ARPANET * Email * Ethernet * TCP/IP * IETF * Internet Era * WWW Era * Mosaic * XML *  PC Clusters * Crays *  Mainframes * HTML * W3C *  P2P *  Grids COMPUTING Communication * Web Services *  Minicomputers *  PCs *  WS Clusters *  PDAs *  Workstations 2010 * e-Science Computing  as Utility * e-Business * SocialNets Controle Centralizado Controle Descentralizado
Internet X Web X Grid INTERNET Infra-estrutura de  rede  que conecta milhões de computadores ao redor do mundo  TCP/IP Década de 1970
Internet X Web X Grid World Wide Web Serviço de compartilhamento de informações/documentos construído no topo da Internet Início década de 1990
Internet X Web X Grid Grid Também é um serviço construído no topo da Internet, mas vai um passo a diante… Na WWW, os computadores compartilham  informações Graças ao Grid, computadores serão capazes de compartilhar  poder computacional  e recursos como  armazenamento de disco ,  aplicativos  e  base de dados .
O passado A revolução do Grid G R I D M I D D L E W A R E 01011010110 CPU   -  Memory Disc   -  Input/Output , o presente …
A revolução do Grid … O futuro virtual services virtual  services virtual  services  virtual services virtual services virtual services
Cenário em 2007
Investimentos da UE € Bi.
Projeto EGEE Coordenado pelo CERN 32 países 91 instituições  Orçamento de 35+ M € > 35.000 CPUs ~ 2.500 TB storage > 50.000 jobs per day www.eu-egee.org
Projeto EGEE
Projeto EGEE - Aplicações Variado domínios científicos Arqueologia Astrofísica Química Geofísica Física de Altas Energias Engenharia Simulações Financeiras Biologia Genética http://indico.cern.ch/conferenceTimeTable.py?confId=22351
Rede  G É ANT2  USA Latin America Asia South-East Europe Mediterranean Area
Mapa das Redes “ Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations”  (I.Foster)
RedCLARA “ Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations”  (I.Foster) www.redclara.net RNP-BR REUNA-CL CUDI-MX RAAP-PE REACCIUN-VE
LA Country NREN organisation Maximum national connections: backbone links  |  access links External capacity through International R&E networks Argentina Innova-Red 34 Mbps 90 Mbps RedCLARA Bolivia ADSIB 128 kbps n/a Brazil RNP 10 Gbps  1 Gbps 155 Mbps RedCLARA + 900 Mbps USA Chile REUNA 310 Mbps  10 Mbps 90 Mbps RedCLARA Colombia RENATA 10 Mbps  10 Mbps 10 Mbps RedCLARA Costa Rica CR2Net 512 kbps n/a Cuba RedUniv 2 Mbps n/a Ecuador CEDIA 45 Mbps 10 Mbps RedCLARA El Salvador RAICES 10 Mbps RedCLARA Guatemala RAGIE 100 Mbps  100 Mbps 10 Mbps RedCLARA Honduras HONDUnet n/a Mexico CUDI 155 Mbps  34 Mbps 34 Mbps RedCLARA, 1 Gbps USA Nicaragua RENIA 100 Mbps n/a Panama RedCYT 45 Mbps RedCLARA Peru RAAP 10 Mbps 45 Mbps RedCLARA Uruguay RAU 1 Mbps 34 Mbps RedCLARA Venezuela REACCIUN 155 Mbps  34 Mbps 45 Mbps RedCLARA + 45 Mbps USA
O Projeto EELA E -science  grid facility for  E urope  and  L atin   A merica
O Projeto EELA Argentina ( JRU ) 3 members (coord. LINTI-UNLP ) Brasil ( JRU ) 15 members (coord. UFRJ) Chile ( JRU ) 7 members (coord. REUNA) Colombia ( JRU ) 2 members (coord. UNIANDES) Cuba (CUBAENERGIA) Equador (UTPL) França ( JRU ) 2 members (coord. CNRS) Irlanda (UCC-CMRC) Italia (INFN) Mexico (UNAM) Peru ( JRU ) 4 members (coord. SENAMHI) Portugal ( JRU ) 3 members (coord. UPORTO) Espanha ( JRU ) 8 members (coord. CIEMAT) Venezuela ( JRU ) 2 members (coord. ULA) Internacional (CLARA)
EELA em 1 slide Pesquisadores querendo realizar pesquisas em conjunto com outros colegas/instituições Infra-estrutura: centros de computação na UE e na América Latina Aplicações e dados científicos (HEP, Biomed,  e-Learning, Clima) www.eu-eela.eu
47 aplicações  (13 no projeto precedente) Ap. voltadas para problemas da América Latina Aplicações El Niño Malaria E-learning   http://applications.eu-eela.eu
Centros de computação - EELA ~ 1100 CPUs ~ 60 TB storage EELA countries stand-alone Grid site
Centros de computação – EELA-2 ~ 3000 CPUs ~ 700 TB storage
Conceitos básicos
Middleware Software de mediação” Grid Middlewares gLite http://glite.web.cern.ch/glite/ Globus Toolkit http://www.globus.org Condor http://www.cs.wisc.edu/condor/ UNICORE http://www.unicore.eu OMII-UK http://www.omii.ac.uk Etc…
Preocupação com a segurança (1/4)
Preocupação com a segurança (2/4) Solicitar seu certificado digital à um CA  ( Certification Authority ) certificado pelo IGTF  ( International  Grid  Trust  Federation )  Carregar o certificado no browser Aceitar os “Termos de Uso” do Grid Solicitar sua inscrição em uma das VOs  ( Virtual Organization ) disponíveis para o Grid em questão 1 2 3 4
Preocupação com a segurança (3/4) Seu certificado é sua chave para acessar o Grid Certificado X.509 Criptografia de chaves pública e privada Chave pública:    distribuída livremente  Chave privada:    apenas o dono a possui  OBS: todos os atores em um Grid (usuários, PCs, instrumentos...) precisam de um certificado
Preocupação com a segurança (4/3) Conteúdo de um certificado X.509: Chave pública do usuário Identidade do usuário Informações sobre o CA Validade Número de serie Assinatura Digital do CA Public key Subject:C=CH, O=CERN, OU=GRID, CN=Andrea Sciaba 8968 Issuer: C=CH, O=CERN, OU=GRID, CN=CERN CA Expiration date: Aug 26 08:08:14 2005 GMT Serial number: 625 (0x271) CA Digital signature
Arquitetura básica User  Interface Resource  Broker ssh Worker nodes Worker nodes CE VOMS BDII LFC SE User Desktop SE
Concluindo… A fase atual do desenvolvimento do Grid pode ser comparada à da Web de 10 anos atrás Acredita-se que Grid Computing revolucionará a TI da mesma forma que a Web fez (e está fazendo) Atualmente empresas como HP, Sun, Oracle, IBM e Microsoft também estão investindo em pesquisas relacionadas ao Grid Instituições que antes eram privadas de pesquisas que exigiam muito poder computacional, agora podem tirar proveito do Grid NGIs (Iniciativas Nacionais de Grid) estão sendo criadas em vários países  A chamada “e-Science” representa um ativo que contribuí para o desenvolvimento de um país
Concluindo… Alessandro Volta apresenta em Paris,   na presença de Napoleão, a primeira bateria (1801). Afresco de Nicola Cianfanelli – Museu de Hist. Natural de Florença
Concluindo… … e no futuro,  haverá redes elétricas  em todo o mundo… Power (Electrical) Grid O quê ?!?! Esse cara é  louco… Oh, mon Dieu !
Prorrogação Para saber mais…
Grid Café http://gridcafe.web.cern.ch/gridcafe/
Ian Foster “ Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations”  (I.Foster)
GILDA:  Grid INFN Laboratory for Dissemination Activities https://gilda.ct.infn.it
GILDA:  Grid INFN Laboratory for Dissemination Activities
GILDA:  Grid INFN Laboratory for Dissemination Activities “ Sonificar” dados geofísicos coletados de sismogramas digitais instalados em vulcões. Etna, Italy Tungurahua, Ecuador
GILDA:  Grid INFN Laboratory for Dissemination Activities Melodização 5s = 20h de processamento em 1 PC simples
Links e contato Slides sobre gLite   https://grid.ct.infn.it/twiki/bin/view/EELA2/TrainingOnGLite gLite tutorial – GILDA Wiki https:// grid.ct.infn.it/twiki/bin/view/GILDA/UserTutorials What is the Grid?   http://access.ncsa.uiuc.edu/witg/ iSGTW   http://www.isgtw.org/?pid=1000550 Open Grid Forum http://www.ogf.org [email_address]

Computação Grid e infra-estruturas para e-ciência

  • 1.
    Computação Grid e Infra-estruturas para e-Ciência Grid computing and e-Infrastructures ( Cyberinfrastructures) Leandro N. Ciuffo [email_address] Juiz de Fora, 12.06.2008
  • 2.
    O Problema BioinformáticaAstronomia Clima / previsões
  • 3.
    Search for ExtraterrestrialIntelligence http://setiathome.berkeley.edu/ Screensaver Ciclos ociosos “ volunteer computing“ Seti@Home (1999)
  • 4.
    Frequentemente, um únicocomputador ou mesmo supercomputadores não são suficientes para esses tipos de cálculos, tornando muito difícil, caro e às vezes impossível alcançar determinados objetivos O Problema
  • 5.
    O maior experimentocientífico do mundo Um problema maior ainda! E -infrastructure shared between E urope and L atin A merica
  • 6.
    ~100m abaixo daterra Túnel de 27 Km LHC - Large Hadron Collider
  • 7.
    40.000.000 de colisõespor segundo em cada detector 15 Petabytes de dados por ano ( ~15.000.000 GB) ~ 21 milhões de CDROMs 41TB por dia 150 vezes todo conteúdo publicado anualmente na WWW * LHC - Large Hadron Collider (*) Baseado em uma extimativa do vice-presidene de operações do Google CMS LHCb ATLAS ALICE
  • 8.
    Seria necessário umcluster com ~100.000 CPUs Os dados precisam estar disponíveis para milhares de cientistas, independete da sua localização LHC - Large Hadron Collider
  • 9.
    A Solução Gridcomputing - Analogia à rede elétrica ( electrical power grid )
  • 10.
    A metáfora doGrid G R I D M I D D L E W A R E Visualising Workstation Mobile Access Supercomputer, PC-Cluster Data-storage, Sensors, Experiments Internet, networks
  • 11.
    e-Ciência Espaço dearmazenamento abundante Altíssimo poder de computação Colaboração com colegas distantes, compartilhando recursos, dados e resultados Características
  • 12.
    Evolução tecnológica *Sputnik 1960 1970 1975 1980 1985 1990 1995 2000 * ARPANET * Email * Ethernet * TCP/IP * IETF * Internet Era * WWW Era * Mosaic * XML * PC Clusters * Crays * Mainframes * HTML * W3C * P2P * Grids COMPUTING Communication * Web Services * Minicomputers * PCs * WS Clusters * PDAs * Workstations 2010 * e-Science Computing as Utility * e-Business * SocialNets Controle Centralizado Controle Descentralizado
  • 13.
    Internet X WebX Grid INTERNET Infra-estrutura de rede que conecta milhões de computadores ao redor do mundo TCP/IP Década de 1970
  • 14.
    Internet X WebX Grid World Wide Web Serviço de compartilhamento de informações/documentos construído no topo da Internet Início década de 1990
  • 15.
    Internet X WebX Grid Grid Também é um serviço construído no topo da Internet, mas vai um passo a diante… Na WWW, os computadores compartilham informações Graças ao Grid, computadores serão capazes de compartilhar poder computacional e recursos como armazenamento de disco , aplicativos e base de dados .
  • 16.
    O passado Arevolução do Grid G R I D M I D D L E W A R E 01011010110 CPU - Memory Disc - Input/Output , o presente …
  • 17.
    A revolução doGrid … O futuro virtual services virtual services virtual services virtual services virtual services virtual services
  • 18.
  • 19.
  • 20.
    Projeto EGEE Coordenadopelo CERN 32 países 91 instituições Orçamento de 35+ M € > 35.000 CPUs ~ 2.500 TB storage > 50.000 jobs per day www.eu-egee.org
  • 21.
  • 22.
    Projeto EGEE -Aplicações Variado domínios científicos Arqueologia Astrofísica Química Geofísica Física de Altas Energias Engenharia Simulações Financeiras Biologia Genética http://indico.cern.ch/conferenceTimeTable.py?confId=22351
  • 23.
    Rede GÉ ANT2 USA Latin America Asia South-East Europe Mediterranean Area
  • 24.
    Mapa das Redes“ Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations” (I.Foster)
  • 25.
    RedCLARA “ Gridcomputing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations” (I.Foster) www.redclara.net RNP-BR REUNA-CL CUDI-MX RAAP-PE REACCIUN-VE
  • 26.
    LA Country NRENorganisation Maximum national connections: backbone links | access links External capacity through International R&E networks Argentina Innova-Red 34 Mbps 90 Mbps RedCLARA Bolivia ADSIB 128 kbps n/a Brazil RNP 10 Gbps 1 Gbps 155 Mbps RedCLARA + 900 Mbps USA Chile REUNA 310 Mbps 10 Mbps 90 Mbps RedCLARA Colombia RENATA 10 Mbps 10 Mbps 10 Mbps RedCLARA Costa Rica CR2Net 512 kbps n/a Cuba RedUniv 2 Mbps n/a Ecuador CEDIA 45 Mbps 10 Mbps RedCLARA El Salvador RAICES 10 Mbps RedCLARA Guatemala RAGIE 100 Mbps 100 Mbps 10 Mbps RedCLARA Honduras HONDUnet n/a Mexico CUDI 155 Mbps 34 Mbps 34 Mbps RedCLARA, 1 Gbps USA Nicaragua RENIA 100 Mbps n/a Panama RedCYT 45 Mbps RedCLARA Peru RAAP 10 Mbps 45 Mbps RedCLARA Uruguay RAU 1 Mbps 34 Mbps RedCLARA Venezuela REACCIUN 155 Mbps 34 Mbps 45 Mbps RedCLARA + 45 Mbps USA
  • 27.
    O Projeto EELAE -science grid facility for E urope and L atin A merica
  • 28.
    O Projeto EELAArgentina ( JRU ) 3 members (coord. LINTI-UNLP ) Brasil ( JRU ) 15 members (coord. UFRJ) Chile ( JRU ) 7 members (coord. REUNA) Colombia ( JRU ) 2 members (coord. UNIANDES) Cuba (CUBAENERGIA) Equador (UTPL) França ( JRU ) 2 members (coord. CNRS) Irlanda (UCC-CMRC) Italia (INFN) Mexico (UNAM) Peru ( JRU ) 4 members (coord. SENAMHI) Portugal ( JRU ) 3 members (coord. UPORTO) Espanha ( JRU ) 8 members (coord. CIEMAT) Venezuela ( JRU ) 2 members (coord. ULA) Internacional (CLARA)
  • 29.
    EELA em 1slide Pesquisadores querendo realizar pesquisas em conjunto com outros colegas/instituições Infra-estrutura: centros de computação na UE e na América Latina Aplicações e dados científicos (HEP, Biomed, e-Learning, Clima) www.eu-eela.eu
  • 30.
    47 aplicações (13 no projeto precedente) Ap. voltadas para problemas da América Latina Aplicações El Niño Malaria E-learning http://applications.eu-eela.eu
  • 31.
    Centros de computação- EELA ~ 1100 CPUs ~ 60 TB storage EELA countries stand-alone Grid site
  • 32.
    Centros de computação– EELA-2 ~ 3000 CPUs ~ 700 TB storage
  • 33.
  • 34.
    Middleware Software demediação” Grid Middlewares gLite http://glite.web.cern.ch/glite/ Globus Toolkit http://www.globus.org Condor http://www.cs.wisc.edu/condor/ UNICORE http://www.unicore.eu OMII-UK http://www.omii.ac.uk Etc…
  • 35.
    Preocupação com asegurança (1/4)
  • 36.
    Preocupação com asegurança (2/4) Solicitar seu certificado digital à um CA ( Certification Authority ) certificado pelo IGTF ( International Grid Trust Federation ) Carregar o certificado no browser Aceitar os “Termos de Uso” do Grid Solicitar sua inscrição em uma das VOs ( Virtual Organization ) disponíveis para o Grid em questão 1 2 3 4
  • 37.
    Preocupação com asegurança (3/4) Seu certificado é sua chave para acessar o Grid Certificado X.509 Criptografia de chaves pública e privada Chave pública: distribuída livremente Chave privada: apenas o dono a possui OBS: todos os atores em um Grid (usuários, PCs, instrumentos...) precisam de um certificado
  • 38.
    Preocupação com asegurança (4/3) Conteúdo de um certificado X.509: Chave pública do usuário Identidade do usuário Informações sobre o CA Validade Número de serie Assinatura Digital do CA Public key Subject:C=CH, O=CERN, OU=GRID, CN=Andrea Sciaba 8968 Issuer: C=CH, O=CERN, OU=GRID, CN=CERN CA Expiration date: Aug 26 08:08:14 2005 GMT Serial number: 625 (0x271) CA Digital signature
  • 39.
    Arquitetura básica User Interface Resource Broker ssh Worker nodes Worker nodes CE VOMS BDII LFC SE User Desktop SE
  • 40.
    Concluindo… A faseatual do desenvolvimento do Grid pode ser comparada à da Web de 10 anos atrás Acredita-se que Grid Computing revolucionará a TI da mesma forma que a Web fez (e está fazendo) Atualmente empresas como HP, Sun, Oracle, IBM e Microsoft também estão investindo em pesquisas relacionadas ao Grid Instituições que antes eram privadas de pesquisas que exigiam muito poder computacional, agora podem tirar proveito do Grid NGIs (Iniciativas Nacionais de Grid) estão sendo criadas em vários países A chamada “e-Science” representa um ativo que contribuí para o desenvolvimento de um país
  • 41.
    Concluindo… Alessandro Voltaapresenta em Paris, na presença de Napoleão, a primeira bateria (1801). Afresco de Nicola Cianfanelli – Museu de Hist. Natural de Florença
  • 42.
    Concluindo… … eno futuro, haverá redes elétricas em todo o mundo… Power (Electrical) Grid O quê ?!?! Esse cara é louco… Oh, mon Dieu !
  • 43.
  • 44.
  • 45.
    Ian Foster “Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations” (I.Foster)
  • 46.
    GILDA: GridINFN Laboratory for Dissemination Activities https://gilda.ct.infn.it
  • 47.
    GILDA: GridINFN Laboratory for Dissemination Activities
  • 48.
    GILDA: GridINFN Laboratory for Dissemination Activities “ Sonificar” dados geofísicos coletados de sismogramas digitais instalados em vulcões. Etna, Italy Tungurahua, Ecuador
  • 49.
    GILDA: GridINFN Laboratory for Dissemination Activities Melodização 5s = 20h de processamento em 1 PC simples
  • 50.
    Links e contatoSlides sobre gLite https://grid.ct.infn.it/twiki/bin/view/EELA2/TrainingOnGLite gLite tutorial – GILDA Wiki https:// grid.ct.infn.it/twiki/bin/view/GILDA/UserTutorials What is the Grid? http://access.ncsa.uiuc.edu/witg/ iSGTW http://www.isgtw.org/?pid=1000550 Open Grid Forum http://www.ogf.org [email_address]