Grids Computacionais O Projeto OurGrid

1.943 visualizações

Publicada em

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
1.943
No SlideShare
0
A partir de incorporações
0
Número de incorporações
23
Ações
Compartilhamentos
0
Downloads
60
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Grids Computacionais O Projeto OurGrid

  1. 1. Grids Computacionais O Projeto OurGrid www.ourgrid.org Walfredo Cirne/Jacques Sauvé [email_address] Universidade Federal de Campina Grande
  2. 2. Drivers para grids Computacionais no domínio científico <ul><li>Cientistas e engenheiros podem usar todo o poder computacional que você pode juntar para eles </li></ul><ul><li>Eles geram petabytes de informação e sempre querem ciclos, memória, ... </li></ul><ul><li>Demandas mais recentes: </li></ul><ul><ul><li>Mais colaboração entre sites remotos </li></ul></ul><ul><ul><li>Muito mais dados dispersos </li></ul></ul>
  3. 3. Drivers para grids no domínio de negócios <ul><li>Demandas para o CIOs </li></ul><ul><ul><li>Melhorar confiabilidade </li></ul></ul><ul><ul><li>Aumentar a relevância da TI para o negócio </li></ul></ul><ul><ul><li>Reduzir a complexidade </li></ul></ul><ul><ul><li>Facilitar mudanças rápidas </li></ul></ul><ul><ul><li>Diminuir custos </li></ul></ul><ul><li>Grids podem servir para o que está em negrito </li></ul>
  4. 4. A missão em termos tecnológicos <ul><li>Fornecer alta qualidade de serviço em sistemas distribuídos </li></ul><ul><ul><li>Incluindo recursos dentro e fora da empresa </li></ul></ul><ul><li>As dificuldades </li></ul><ul><ul><li>Como agüentar largas escalas com grandes variações na demanda? </li></ul></ul><ul><ul><li>Como cruzar domínios administrativos com segurança? </li></ul></ul><ul><ul><li>Como lidar com o alto TCO de TI? </li></ul></ul><ul><ul><li>Como lidar com os novos provedores de serviço ( e-Utilities )? </li></ul></ul>
  5. 5. Solução: O que queremos? <ul><li>Desacoplar produção e consumo </li></ul><ul><ul><li>Funções especializadas e serviços comuns podem se transformar em commodities </li></ul></ul><ul><li>Acesso sob demanda aos recursos </li></ul><ul><li>Transparência </li></ul>
  6. 6. O que é um Grid? Grid Computacional (Recursos)
  7. 7. O que é um grid? <ul><li>A figura anterior parece a Web?? </li></ul><ul><ul><li>Sim, mas dentro da nuvem temos recursos e não informação </li></ul></ul><ul><li>Semelhante a um “Grid Elétrico” </li></ul><ul><ul><li>Não preciso ter um gerador de energia em casa para ter eletricidade </li></ul></ul><ul><ul><li>Posso fazer o mesmo com recursos computacionais? </li></ul></ul><ul><li>Forte tendência de prover uma “orientação a serviços” </li></ul><ul><ul><li>Casamento com Web Services </li></ul></ul>
  8. 8. Aplicações de grids <ul><li>Supercomputação distribuída </li></ul><ul><ul><li>Para agregar recursos computacional (ao mesmo tempo) para resolver problemas que não podem sê-lo num computador único </li></ul></ul><ul><li>Computação de alta vazão (Scavenging grid) </li></ul><ul><ul><li>Aproveita recursos livres (idle) para aumentar a vazão agregada de tarefas </li></ul></ul>
  9. 9. Aplicações de grids <ul><li>Computação intensiva em dados </li></ul><ul><ul><li>Foco em sintetizar nova informação a partir de dados mantidos em repositórios, BDs e bibliotecas digitais geograficamente distribuídos </li></ul></ul><ul><li>Computação sob demanda </li></ul><ul><ul><li>Uso de grid para satisfazer, no curto prazo, demandas de recursos que não podem ser satisfeitas localmente de forma barata </li></ul></ul><ul><li>Computação colaborativa </li></ul><ul><ul><li>Foco em grids que incluem formas intensivas de interação humano-humano </li></ul></ul>
  10. 10. Grids comerciais <ul><li>Mais perto dos últimos dois tipos (on-demand, collaborative), mas ... </li></ul><ul><ul><li>Aplicações de negócio rodam de forma contínua ... </li></ul></ul><ul><ul><li>Por longos períodos de tempo ... </li></ul></ul><ul><ul><li>E possuem requisitos mais fortes de QoS, segurança e contabilização </li></ul></ul><ul><li>Virtualização de Ativos de TI </li></ul><ul><li>Marketing usa várias frases </li></ul><ul><ul><li>“ utility computing,” “e-business on demand,” “planetary computing,” “autonomic computing,” “enterprise grids” </li></ul></ul><ul><li>Ainda não estamos perto de chegar a “The Grid” </li></ul>
  11. 11. Obrigado. Estão convidados à palestra de desdobramento na qual falarei do projeto OurGrid.
  12. 12. Solução de um problema real <ul><li>Para terminar meu Ph.D., tive que rodar centenas de milhares de simulações independentes </li></ul><ul><li>Já que as simulações são independentes, esta é uma aplicação perfeita para o grid </li></ul><ul><li>Eu trabalhava num dos melhores laboratórios do mundo na pesquisa grid, mas não consegui usar o grid </li></ul><ul><ul><li>“ O grid” com todo seu middleware, ainda não existe </li></ul></ul>
  13. 13. A Motivação para MyGrid <ul><li>Usuários de aplicações frouxamente acopladas poderiam de beneficiar do grid agora </li></ul><ul><li>Porém, não usam o grid hoje porque a infraestrutura do grid ainda não está implantada em larga escala </li></ul><ul><li>Que tal construirmos uma solução que não dependa de nenhuma instalação de infraestrutura grid? </li></ul>
  14. 14. MyGrid <ul><li>MyGrid permite que um usuário execute aplicações paralelas do tipo Bag-of-Tasks em quaisquer recursos a que tenha acesso </li></ul><ul><ul><li>Aplicações Bag-of-Tasks são formadas de tarefas independentes </li></ul></ul><ul><li>Seu grid consiste de todos os recursos a que você tem acesso </li></ul><ul><ul><li>Não precisa de middleware de grid </li></ul></ul><ul><ul><li>Middleware de grid pode ser usado se estiver disponível </li></ul></ul>
  15. 15. Aplicações Bag-of-Tasks <ul><li>Mineração de dados </li></ul><ul><li>Pesquisas massivas (como pesquisar por chaves de criptografia) </li></ul><ul><li>Varreduras de parâmetros </li></ul><ul><li>Simulações Monte Carlo </li></ul><ul><li>Fractals (tais como Mandelbrot) </li></ul><ul><li>Manipulação de imagens (ex. tomografia) </li></ul><ul><li>E muitas outras… </li></ul>
  16. 16. O que é MyGrid? <ul><li>Um broker (ou escalonador de aplicações) </li></ul><ul><li>Um conjunto de abstrações para esconder do usuário a heterogeneidade do grid </li></ul>
  17. 17. Um Exemplo: fatoração com MyGrid <ul><li>init mg-services put $PROC ./Fat.class $PLAYPEN </li></ul><ul><li>grid1 java Fat 3 18655 34789789798 output-$TASK </li></ul><ul><li>collect mg-services get $PROC $PLAYPEN output-$TASK </li></ul><ul><li>grid2 java Fat 18655 37307 34789789798 output-$TASK </li></ul>
  18. 18. Definindo seu Grid pessoal <ul><li>proc: name = ostra.lsd.ufcg.edu.br attributes = lsd, linux type = user_agent </li></ul><ul><li>proc: name = memba.ucsd.edu attributes = lsd, solaris type = grid_script rem_exec = ssh %machine%command copy_to = scp %localdir/%file %machine:%remotedir copy_from = scp %machine:%remotedir/%file %localdir </li></ul><ul><li>[...] </li></ul>
  19. 19. MyGrid pode usar quaisquer recursos … Home Machine Scheduler GridMachine Interface Globus Proxy UA Proxy Grid Script ... Grid Machine Globus GRAM Grid Machine User Agent Grid Machine ...
  20. 20. Lidando com Firewalls, IP privados, e máquinas Space-Shared Scheduler (Home Mac.) User Agent Grid Script Globus Proxy Grid Machine Gateway Space-Shared Gateway
  21. 21. Prova de conceito <ul><li>Durante um período de 40 dias, executamos 600.000 simulações usando 178 processadores localizados em 6 domínios administrativos diferentes </li></ul><ul><li>Usamos apenas GridScript and escalonamento simples </li></ul><ul><li>MyGrid usou 16.7 dias para terminar </li></ul><ul><li>Minha máquina pessoal teria levado mais de 5 anos para fazer o mesmo </li></ul><ul><li>Aceleração de 116 com 178 processadores </li></ul>
  22. 22. Pesquisa em HIV com MyGrid B , c , F HIV-2 HIV-1 M O A B C D F G H J K N ? prevalent in Europe and Americas prevalent in Africa majority in the world 18% in Brazil
  23. 23. HIV protease + Ritonavir Subt ype B RMSD Subt ype F
  24. 24. O Grid para a pesquisa HIV <ul><li>55 máquinas em 6 domínios administrativos nos EUA e Brasil </li></ul><ul><ul><li>Máquinas acessadas via User Agent, UA + Grid Machine Gateway, UA + ssh tunnel, e Grid Scripts </li></ul></ul><ul><li>Tarefa = 3.3 MB entrada, 1 MB saída, 4 a 33 minutos de execução dedicada </li></ul><ul><li>Executou 60 tarefas em 38 minutos </li></ul><ul><li>Aceleração de 29 usando 55 máquinas </li></ul>
  25. 25. Status do MyGrid <ul><li>Projeto realizado em parceria com HP </li></ul><ul><li>MyGrid é open source e está disponível em http://www.ourgrid.org/mygrid </li></ul><ul><ul><li>Temos 150 downloads </li></ul></ul><ul><ul><li>Versão 2.0 liberada em fevereiro 2004 </li></ul></ul><ul><ul><li>Base do Grid PAUÁ, sendo desenvolvido pela HP Brazil </li></ul></ul><ul><li>Aplicações paralelas Bag-of-tasks podem se beneficiar do Grid agora </li></ul><ul><ul><li>Firewalls, IP privados e outros problemas do mundo real dificultaram muito a solução </li></ul></ul>
  26. 26. Colaboração/Interesse em MyGrid/OurGrid <ul><li>HP Brazil R&D </li></ul><ul><li>Parceiros HP </li></ul><ul><ul><li>LNCC, UniSantos, UniFor, Instituto Atlântico </li></ul></ul><ul><ul><li>CESAR/UFPE, Instituto Eldorado, IPT, AMR </li></ul></ul><ul><ul><li>PUCRS, UniSinos, UFRGS, USP </li></ul></ul><ul><li>Outros </li></ul><ul><ul><li>UnB, UFBA, UCS, UniCap, UFPB, USP, ... </li></ul></ul>
  27. 27. <ul><li>Mais recursos </li></ul><ul><ul><li>Pessoas querem acessar mais recursos do que aqueles a que têm acesso </li></ul></ul><ul><li>Facilidade de depuração </li></ul><ul><ul><li>Boa sinergia com Failure Spotter, um outro projeto colaborativoentre UFCG e HP </li></ul></ul><ul><li>Mais segurança </li></ul><ul><ul><li>Proteger recursos locais </li></ul></ul><ul><ul><li>Uso de uma máquina grid como plataforma de ataque </li></ul></ul><ul><li>Modelo de programação mais rico </li></ul>Demandas de Usuários MyGrid  OurGrid  GridDoc  SWAN
  28. 28. Outras atividades conjuntas entre HP + UFCG <ul><li>OurGrid Comunidade peer-to-peer baseada na troca de favores </li></ul><ul><li>Failure Spotter se foca no projeto, implementação e uso de Detetores de falhas em sistemas distribuídos assíncronos </li></ul><ul><li>Bottom Line provê soluções de baixa intrusão para a gerência de TI pela perspectiva do negócio </li></ul><ul><ul><li>Business Impact Management usando métricas de negócio </li></ul></ul><ul><ul><li>Governância de TI </li></ul></ul>
  29. 29. Obrigado! Visite www.ourgrid.org

×