Conceito e Aplicações
O DESAFIO


  cenário

• Corrida por desempenho:
   • aumentar receita e market share,
   • reduzir custos (gestão, TCO...),
   • lidar eficientemente com volumes crescentes,
   • adaptar-se rapidamente às demandas de mercado,
   • criar produtos inovadores,
   • superar a concorrência.
• Implicações em TI:
   • crescente volume de dados,
   • crescente throughput das aplicações,
   • flexibilidade e agilidade dos sistemas.
O DESAFIO


  mudança de paradigma

• Soluções tradicionais podem não satisfazer:
   • Otimização de aplicações:
       • Melhoria de algoritmos
       • Tratamento de pontos de gargalo
       • Reestruturação de consultas ao BD
       • Indexação de tabelas
    • Aquisição de novos equipamentos:
       • atende apenas temporariamente às demandas,
       • aumenta TCO,
       • aumenta complexidade e custo de gestão,
       • diminui confiabilidade do sistema.
A SOLUÇÃO


  o que é grid computing?
O CONCEITO


    o que é grid computing?



“Tecnologia de Software que permite o uso coordenado
  de um número ilimitado de unidades de processamento
  heterogênas de maneira a criar uma infra-estrutura
  única de computação de alto desempenho”
A SOLUÇÃO


  o que é grid computing?

• Poder computacional de 1 Teraflop:


  • 1 servidor Sun SPARC Enterprise M9000 Full


  • 2 servidores IBM p5 595 (64 x POWER5 de 1.9GHz)


  • 20 servidores com Intel Itanium 2 de 1.6 Ghz


  • 294 PCs com Pentium IV de 2,5 Ghz
A SOLUÇÃO


  como funciona?




                   MÓDULO
                   CLIENTE




                                             ID O
                                               OR
                               PRÉ




                                           RV UL
                                         SE ÓD
                                           M
   BD                        PRINCIPAL



                               PÓS
A SOLUÇÃO


  como funciona?




              PRÉ



            PRINCIPAL   PRINCIPAL



              PÓS
A SOLUÇÃO




                                     AL
                                C IP
  como funciona?




                                        N
                                     PRI
                                           PAL




                                                                  L
                                      INCI




                                                             CIPA
  PRÉ




                                    PR




                                                        PRIN
               Sparsi Maestro
                PRINCIPAL




                                                   AL
                                               CI P
  PÓS




                                             IN
                                           PR
A SOLUÇÃO


 Sparsi Maestro

• O que faz?
  • Coordena a execução de processos remotos
  • Monitora o desempenho, equilibrando a carga
  • Reloca tarefas em caso de falha
  • Cancela e reloca tarefas em caso de “timeout”
  • Gerencia arquivos e aplicações
• Como faz?
   • Sistema totalmente distribuído
   • Sistema altamente portável (100% Java)
A SOLUÇÃO


  beneficios


• Fazer igual em muito menos tempo:
   • redução drástica nos tempos de processamento,
   • execução paralela automatizada e eficiente,
• Fazer muito mais no mesmo tempo:
   • capacidade de tratar volumes muito maiores,
   • capacidade de testar soluções antes inviáveis,
• Maior flexibilidade e confiabilidade:
  • poder é tão grande quando o do próprio parque,
  • tolerância à falhas no nível peer-to-peer
A SOLUÇÃO


  quem usa?
 • Principais aplicações

    • Instituições financeiras

    • Indústria farmacêutica

    • Companhias de seguro

    • Indústria petroquímica

    • Institutos de pesquisa
A EMPRESA


   fundadores


•Fabiano
  • 1998: Engenharia de Computação: Unicamp/ECL
  • 2000-2002: Mestrado em computação distribuida:
      FEEC/Unicamp
  •   2001: submete pedido de financiamento à FAPESP
  •   2003: Fundação da Sparsi
  •   2003 a 2006: convites para edição de Redbooks em GC
  •   2006: participação em Venture Forum FINEP
A EMPRESA


   fundadores


• Eduardo:
   • 1994: Ciência da Computação: Universidade de Havana,
     onde passa a lecionar
   • 1996- 1998: Mestrado em computação distribuida:
     FEEC/Unicamp
   • 1999-2003: Doutorado em computação distribuida:
     FEEC/Unicamp
   • 2003: Fundação da Sparsi
   • 2006: participa do Venture Forum FINEP
A EMPRESA


   nossa trajetória


• Participação no Venture Forum FINEP
• Apresentação no Instituto Endeavor
• Apresentação na Solvo S/A
• Apresentação na YMF
• Realização de POC no primeiro trimestre de 2007
• Gridificação e teste de aplicações da YMF
A EMPRESA


   parceria com a YMF


“Apesar de ter trabalhado com clusters de super-
  computação por vários anos e de estar
  acompanhando computação em grid desde 2004,
  fiquei positivamente surpreso com a facilidade de
  implementação e uso, robustez, portabilidade,
  escalabilidade e o rico conjunto de funcionalidades
  do Sparsi Maestro, mesmo comparado com os
  líderes mundiais de mercado”

Agostinho Villela
Diretor de Tecnologia – Solvo S/A
A EMPRESA


   parceria com a YMF



“Com o Sparsi Maestro, simulações de compliance
  que anteriormente demoravam mais de 3 horas
  para executar agora demoram menos de 10
  minutos. Assim, nossos clientes podem pensar em
  verificação de compliance em tempo real”

Fernando Bertazza
Gerente de Desenvolvimento de Mercado - YMF
A EMPRESA


   parceria com a YMF


“Com o software Sparsi Maestro, um job que
  demorava até 5 horas para processar 2 milhões de
  cotistas de fundos agora só demora 20 minutos.
  Estamos executando mais rápido que algumas
  aplicações de computador de grande porte”

Luis Fiore
Diretor de Engenharia - YMF
A EMPRESA


   parceria com a YMF


“Com o software Sparsi Maestro, um job do SAC que
  demorava 1 hora agora demora apenas 6 minutos”

Alexandre Reis
Engenheiro Financeiro - YMF
A EMPRESA


            Resultados - SRC
            18000
            16000
            14000
            12000
Tempo (s)




            10000
             8000
             6000
             4000
             2000
               0
                    1   4   7   10 13 16 19 22 25 28 31 34 37 40 43 46 49
                                         Número de Máquinas
A EMPRESA


            Resultados - COT
            70000

            60000

            50000
Tempo (s)




            40000

            30000

            20000

            10000

               0
                    1   4   7 10 13 16 19 22 25 28 31 34 37 40 43 46 49
                                      Número de Máquinas
A EMPRESA


            Resultados - SAC
            140000
                                                                            CL
            120000                                                          RV
                                                                            FU
            100000                                                          FD
                                                                            SW
Tempo (s)




             80000                                                          FI
                                                                            RF
             60000

             40000

             20000

                 0
                     1   3   5   7   9   11   13   15   17   19   21   23   25
                                     Número de Máquinas
FIM




      fabiano.lucchese@sparsi.com

Sparsi parallel computing

  • 1.
  • 2.
    O DESAFIO cenário • Corrida por desempenho: • aumentar receita e market share, • reduzir custos (gestão, TCO...), • lidar eficientemente com volumes crescentes, • adaptar-se rapidamente às demandas de mercado, • criar produtos inovadores, • superar a concorrência. • Implicações em TI: • crescente volume de dados, • crescente throughput das aplicações, • flexibilidade e agilidade dos sistemas.
  • 3.
    O DESAFIO mudança de paradigma • Soluções tradicionais podem não satisfazer: • Otimização de aplicações: • Melhoria de algoritmos • Tratamento de pontos de gargalo • Reestruturação de consultas ao BD • Indexação de tabelas • Aquisição de novos equipamentos: • atende apenas temporariamente às demandas, • aumenta TCO, • aumenta complexidade e custo de gestão, • diminui confiabilidade do sistema.
  • 4.
    A SOLUÇÃO o que é grid computing?
  • 5.
    O CONCEITO o que é grid computing? “Tecnologia de Software que permite o uso coordenado de um número ilimitado de unidades de processamento heterogênas de maneira a criar uma infra-estrutura única de computação de alto desempenho”
  • 6.
    A SOLUÇÃO o que é grid computing? • Poder computacional de 1 Teraflop: • 1 servidor Sun SPARC Enterprise M9000 Full • 2 servidores IBM p5 595 (64 x POWER5 de 1.9GHz) • 20 servidores com Intel Itanium 2 de 1.6 Ghz • 294 PCs com Pentium IV de 2,5 Ghz
  • 7.
    A SOLUÇÃO como funciona? MÓDULO CLIENTE ID O OR PRÉ RV UL SE ÓD M BD PRINCIPAL PÓS
  • 8.
    A SOLUÇÃO como funciona? PRÉ PRINCIPAL PRINCIPAL PÓS
  • 9.
    A SOLUÇÃO AL C IP como funciona? N PRI PAL L INCI CIPA PRÉ PR PRIN Sparsi Maestro PRINCIPAL AL CI P PÓS IN PR
  • 10.
    A SOLUÇÃO SparsiMaestro • O que faz? • Coordena a execução de processos remotos • Monitora o desempenho, equilibrando a carga • Reloca tarefas em caso de falha • Cancela e reloca tarefas em caso de “timeout” • Gerencia arquivos e aplicações • Como faz? • Sistema totalmente distribuído • Sistema altamente portável (100% Java)
  • 11.
    A SOLUÇÃO beneficios • Fazer igual em muito menos tempo: • redução drástica nos tempos de processamento, • execução paralela automatizada e eficiente, • Fazer muito mais no mesmo tempo: • capacidade de tratar volumes muito maiores, • capacidade de testar soluções antes inviáveis, • Maior flexibilidade e confiabilidade: • poder é tão grande quando o do próprio parque, • tolerância à falhas no nível peer-to-peer
  • 12.
    A SOLUÇÃO quem usa? • Principais aplicações • Instituições financeiras • Indústria farmacêutica • Companhias de seguro • Indústria petroquímica • Institutos de pesquisa
  • 13.
    A EMPRESA fundadores •Fabiano • 1998: Engenharia de Computação: Unicamp/ECL • 2000-2002: Mestrado em computação distribuida: FEEC/Unicamp • 2001: submete pedido de financiamento à FAPESP • 2003: Fundação da Sparsi • 2003 a 2006: convites para edição de Redbooks em GC • 2006: participação em Venture Forum FINEP
  • 14.
    A EMPRESA fundadores • Eduardo: • 1994: Ciência da Computação: Universidade de Havana, onde passa a lecionar • 1996- 1998: Mestrado em computação distribuida: FEEC/Unicamp • 1999-2003: Doutorado em computação distribuida: FEEC/Unicamp • 2003: Fundação da Sparsi • 2006: participa do Venture Forum FINEP
  • 15.
    A EMPRESA nossa trajetória • Participação no Venture Forum FINEP • Apresentação no Instituto Endeavor • Apresentação na Solvo S/A • Apresentação na YMF • Realização de POC no primeiro trimestre de 2007 • Gridificação e teste de aplicações da YMF
  • 16.
    A EMPRESA parceria com a YMF “Apesar de ter trabalhado com clusters de super- computação por vários anos e de estar acompanhando computação em grid desde 2004, fiquei positivamente surpreso com a facilidade de implementação e uso, robustez, portabilidade, escalabilidade e o rico conjunto de funcionalidades do Sparsi Maestro, mesmo comparado com os líderes mundiais de mercado” Agostinho Villela Diretor de Tecnologia – Solvo S/A
  • 17.
    A EMPRESA parceria com a YMF “Com o Sparsi Maestro, simulações de compliance que anteriormente demoravam mais de 3 horas para executar agora demoram menos de 10 minutos. Assim, nossos clientes podem pensar em verificação de compliance em tempo real” Fernando Bertazza Gerente de Desenvolvimento de Mercado - YMF
  • 18.
    A EMPRESA parceria com a YMF “Com o software Sparsi Maestro, um job que demorava até 5 horas para processar 2 milhões de cotistas de fundos agora só demora 20 minutos. Estamos executando mais rápido que algumas aplicações de computador de grande porte” Luis Fiore Diretor de Engenharia - YMF
  • 19.
    A EMPRESA parceria com a YMF “Com o software Sparsi Maestro, um job do SAC que demorava 1 hora agora demora apenas 6 minutos” Alexandre Reis Engenheiro Financeiro - YMF
  • 20.
    A EMPRESA Resultados - SRC 18000 16000 14000 12000 Tempo (s) 10000 8000 6000 4000 2000 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 Número de Máquinas
  • 21.
    A EMPRESA Resultados - COT 70000 60000 50000 Tempo (s) 40000 30000 20000 10000 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 Número de Máquinas
  • 22.
    A EMPRESA Resultados - SAC 140000 CL 120000 RV FU 100000 FD SW Tempo (s) 80000 FI RF 60000 40000 20000 0 1 3 5 7 9 11 13 15 17 19 21 23 25 Número de Máquinas
  • 23.
    FIM fabiano.lucchese@sparsi.com

Notas do Editor

  • #3 Tcham ! Ai está ele. Essas duas caixas de texto não devem aparecem de uma só vez. Talvez fosse até melhor colocar cada uma delas em um slide separado e incluir uma figura qualquer só pra ilustrar o que está sendo dito (a primeira seria uma “teia” de muitos computadores e a segunda seria um computador com cara de ocioso, sei lá).
  • #4 Tcham ! Ai está ele. Essas duas caixas de texto não devem aparecem de uma só vez. Talvez fosse até melhor colocar cada uma delas em um slide separado e incluir uma figura qualquer só pra ilustrar o que está sendo dito (a primeira seria uma “teia” de muitos computadores e a segunda seria um computador com cara de ocioso, sei lá).
  • #5 Tcham ! Ai está ele. Essas duas caixas de texto não devem aparecem de uma só vez. Talvez fosse até melhor colocar cada uma delas em um slide separado e incluir uma figura qualquer só pra ilustrar o que está sendo dito (a primeira seria uma “teia” de muitos computadores e a segunda seria um computador com cara de ocioso, sei lá).
  • #6 Tcham ! Ai está ele. Essas duas caixas de texto não devem aparecem de uma só vez. Talvez fosse até melhor colocar cada uma delas em um slide separado e incluir uma figura qualquer só pra ilustrar o que está sendo dito (a primeira seria uma “teia” de muitos computadores e a segunda seria um computador com cara de ocioso, sei lá).
  • #7 Tcham ! Ai está ele. Essas duas caixas de texto não devem aparecem de uma só vez. Talvez fosse até melhor colocar cada uma delas em um slide separado e incluir uma figura qualquer só pra ilustrar o que está sendo dito (a primeira seria uma “teia” de muitos computadores e a segunda seria um computador com cara de ocioso, sei lá).
  • #8 Vale a mesma observação de 3 slides atrás. EDITADO POR JANAINA: ok
  • #9 Vale a mesma observação de 3 slides atrás. EDITADO POR JANAINA: ok
  • #10 Vale a mesma observação de 3 slides atrás. EDITADO POR JANAINA: ok
  • #11 Vale a mesma observação de 3 slides atrás. EDITADO POR JANAINA: ok
  • #12 Vale a mesma observação de 3 slides atrás. EDITADO POR JANAINA: ok
  • #13 Vale a mesma observação de 3 slides atrás. EDITADO POR JANAINA: ok
  • #14 Tcham ! Ai está ele. Essas duas caixas de texto não devem aparecem de uma só vez. Talvez fosse até melhor colocar cada uma delas em um slide separado e incluir uma figura qualquer só pra ilustrar o que está sendo dito (a primeira seria uma “teia” de muitos computadores e a segunda seria um computador com cara de ocioso, sei lá).
  • #15 Tcham ! Ai está ele. Essas duas caixas de texto não devem aparecem de uma só vez. Talvez fosse até melhor colocar cada uma delas em um slide separado e incluir uma figura qualquer só pra ilustrar o que está sendo dito (a primeira seria uma “teia” de muitos computadores e a segunda seria um computador com cara de ocioso, sei lá).
  • #16 Tcham ! Ai está ele. Essas duas caixas de texto não devem aparecem de uma só vez. Talvez fosse até melhor colocar cada uma delas em um slide separado e incluir uma figura qualquer só pra ilustrar o que está sendo dito (a primeira seria uma “teia” de muitos computadores e a segunda seria um computador com cara de ocioso, sei lá).
  • #17 Tcham ! Ai está ele. Essas duas caixas de texto não devem aparecem de uma só vez. Talvez fosse até melhor colocar cada uma delas em um slide separado e incluir uma figura qualquer só pra ilustrar o que está sendo dito (a primeira seria uma “teia” de muitos computadores e a segunda seria um computador com cara de ocioso, sei lá).
  • #18 Tcham ! Ai está ele. Essas duas caixas de texto não devem aparecem de uma só vez. Talvez fosse até melhor colocar cada uma delas em um slide separado e incluir uma figura qualquer só pra ilustrar o que está sendo dito (a primeira seria uma “teia” de muitos computadores e a segunda seria um computador com cara de ocioso, sei lá).
  • #19 Tcham ! Ai está ele. Essas duas caixas de texto não devem aparecem de uma só vez. Talvez fosse até melhor colocar cada uma delas em um slide separado e incluir uma figura qualquer só pra ilustrar o que está sendo dito (a primeira seria uma “teia” de muitos computadores e a segunda seria um computador com cara de ocioso, sei lá).
  • #20 Tcham ! Ai está ele. Essas duas caixas de texto não devem aparecem de uma só vez. Talvez fosse até melhor colocar cada uma delas em um slide separado e incluir uma figura qualquer só pra ilustrar o que está sendo dito (a primeira seria uma “teia” de muitos computadores e a segunda seria um computador com cara de ocioso, sei lá).
  • #21 Vale a mesma observação de 3 slides atrás. EDITADO POR JANAINA: ok
  • #22 Vale a mesma observação de 3 slides atrás. EDITADO POR JANAINA: ok
  • #23 Vale a mesma observação de 3 slides atrás. EDITADO POR JANAINA: ok
  • #24 ÍDEM AO ANTERIOR