Database Benchmark Test Toolkit


         Um Framework para a Avaliação de
          Desempenho de Bancos de Dados



Lucas Lemos                 Pedro Holanda                 José Maria Monteiro
lucaslemos@lia.ufc.br       pedroholanda@lia.ufc.br       monteiro@lia.ufc.br
@lucasdlemos                @pedrottholanda               @jmmfilho
Roteiro


1.   Motivação
2.   Trabalhos Relacionados
3.   O dBest
4.   Exemplo de Aplicação
5.   Conclusões e Trabalhos Futuros
Roteiro


1.   Motivação
2.   Trabalhos Relacionados
3.   O dBest
4.   Exemplo de Aplicação
5.   Conclusões e Trabalhos Futuros
Motivação
• As aplicações de bancos de dados atuais apresentam uma
  elevada demanda por desempenho

• Diversos fatores afetam o desempenho de um SBD
   Fatores Externos: equipamentos físicos e SO
   Fatores Internos: configuração de parâmetros e conf. de índices

• Frequentemente nos deparamos com a necessidade de
  avaliar o desempenho de um SBD

• Surgimento dos benchmarks
   São padrões utilizados para a comparação de sistemas

• Na prática, é necessário um software (toolkits)
   Criar esquema do BD, realizar a carga de dados, executar o
    teste, ...
Motivação
 • Contudo, essas ferramentas:

    São construídas para SGBDs e SOs específicos
    Utilizam um número limitado de benchmarks
    Não possibilitam a utilização de benchmarks customizados
    Fornecem pouco suporte para o acompanhamento dos
    testes   em   execução e   para o armazenamento      dos
    resultados dos testes
    Não auxiliam na interpretação e análise dos resultados
    dos testes
Roteiro


1.   Motivação
2.   Trabalhos Relacionados
3.   O dBest
4.   Exemplo de Aplicação
5.   Conclusões e Trabalhos Futuros
Trabalhos Relacionados
Roteiro


1.   Motivação
2.   Trabalhos Relacionados
3.   O dBest
4.   Exemplo de Aplicação
5.   Conclusões e Trabalhos Futuros
• Framework multi-plataforma, multi-benchmark e multi-SGBD
• Fornece suporte para todas as etapas envolvidas no processo de
  avaliação de desempenho de bancos de dados
• Possibilita a fácil inclusão de novos benchmarks e SGBDs
• Permite o acompanhamento visual, por meio de gráficos, dos testes em
  execução
• Coleta e armazena estatísticas sobre os testes realizados
• Auxilia na interpretação e análise dos resultados dos testes:
    Gera gráficos
    Gera relatório pdf

• Fornece suporte para 2 tipos de teste: iteração e tempo
• Fornece suporte para 3 modos de execução da carga de trabalho:
  sequencial, aleatório e aleatório-fixo
Roteiro


1.   Motivação
2.   Trabalhos Relacionados
3.   O dBest
4.   Exemplo de Aplicação
5.   Conclusões e Trabalhos Futuros
Exemplo de Aplicação




                 Inicialmente o usuário
                configura o ambiente de
                   execução do teste.
Exemplo de Aplicação



                       O usuário pode
                       acompanhar e
                        monitorar a
                        execução de
                       uma sessão de
                           teste.
Exemplo de Aplicação
Exemplo de Aplicação



                       O usuário pode
                         visualizar os
                             dados
                           coletados
                       sobre os testes
                        já concluídos.
Exemplo de Aplicação
Para inserir um novo SGBD:
Exemplo de Aplicação
Para inserir um novo Benchmark:
Roteiro


1.   Motivação
2.   Trabalhos Relacionados
3.   O dBest
4.   Exemplo de Aplicação
5.   Conclusões e Trabalhos Futuros
Conclusões e Trabalhos Futuros


• Neste trabalho apresentamos um framework multi-
  plataforma, multi-benchmark e multi-SGBD, denominado
  dBest que apóia a realização de testes de desempenho
  em bancos de dados




• Como trabalhos futuros pretende-se realizar uma
  avaliação da usabilidade do dBest e adicionar o suporte
  necessário para a execução de testes de stress
Obrigado!
                          https://sourceforge.net/projects/dbest/
                          dbest@lia.ufc.br




Agradecemos à FUNCAP e ao CNPQ que financiaram este projeto

dBest - Um Framework para Avaliação de Desempenho de Banco de Dados - SBBD 2011

  • 1.
    Database Benchmark TestToolkit Um Framework para a Avaliação de Desempenho de Bancos de Dados Lucas Lemos Pedro Holanda José Maria Monteiro lucaslemos@lia.ufc.br pedroholanda@lia.ufc.br monteiro@lia.ufc.br @lucasdlemos @pedrottholanda @jmmfilho
  • 2.
    Roteiro 1. Motivação 2. Trabalhos Relacionados 3. O dBest 4. Exemplo de Aplicação 5. Conclusões e Trabalhos Futuros
  • 3.
    Roteiro 1. Motivação 2. Trabalhos Relacionados 3. O dBest 4. Exemplo de Aplicação 5. Conclusões e Trabalhos Futuros
  • 4.
    Motivação • As aplicaçõesde bancos de dados atuais apresentam uma elevada demanda por desempenho • Diversos fatores afetam o desempenho de um SBD  Fatores Externos: equipamentos físicos e SO  Fatores Internos: configuração de parâmetros e conf. de índices • Frequentemente nos deparamos com a necessidade de avaliar o desempenho de um SBD • Surgimento dos benchmarks  São padrões utilizados para a comparação de sistemas • Na prática, é necessário um software (toolkits)  Criar esquema do BD, realizar a carga de dados, executar o teste, ...
  • 5.
    Motivação • Contudo,essas ferramentas:  São construídas para SGBDs e SOs específicos  Utilizam um número limitado de benchmarks  Não possibilitam a utilização de benchmarks customizados  Fornecem pouco suporte para o acompanhamento dos testes em execução e para o armazenamento dos resultados dos testes  Não auxiliam na interpretação e análise dos resultados dos testes
  • 6.
    Roteiro 1. Motivação 2. Trabalhos Relacionados 3. O dBest 4. Exemplo de Aplicação 5. Conclusões e Trabalhos Futuros
  • 7.
  • 8.
    Roteiro 1. Motivação 2. Trabalhos Relacionados 3. O dBest 4. Exemplo de Aplicação 5. Conclusões e Trabalhos Futuros
  • 9.
    • Framework multi-plataforma,multi-benchmark e multi-SGBD • Fornece suporte para todas as etapas envolvidas no processo de avaliação de desempenho de bancos de dados • Possibilita a fácil inclusão de novos benchmarks e SGBDs • Permite o acompanhamento visual, por meio de gráficos, dos testes em execução • Coleta e armazena estatísticas sobre os testes realizados • Auxilia na interpretação e análise dos resultados dos testes:  Gera gráficos  Gera relatório pdf • Fornece suporte para 2 tipos de teste: iteração e tempo • Fornece suporte para 3 modos de execução da carga de trabalho: sequencial, aleatório e aleatório-fixo
  • 10.
    Roteiro 1. Motivação 2. Trabalhos Relacionados 3. O dBest 4. Exemplo de Aplicação 5. Conclusões e Trabalhos Futuros
  • 11.
    Exemplo de Aplicação Inicialmente o usuário configura o ambiente de execução do teste.
  • 12.
    Exemplo de Aplicação O usuário pode acompanhar e monitorar a execução de uma sessão de teste.
  • 13.
  • 14.
    Exemplo de Aplicação O usuário pode visualizar os dados coletados sobre os testes já concluídos.
  • 15.
    Exemplo de Aplicação Parainserir um novo SGBD:
  • 16.
    Exemplo de Aplicação Parainserir um novo Benchmark:
  • 17.
    Roteiro 1. Motivação 2. Trabalhos Relacionados 3. O dBest 4. Exemplo de Aplicação 5. Conclusões e Trabalhos Futuros
  • 18.
    Conclusões e TrabalhosFuturos • Neste trabalho apresentamos um framework multi- plataforma, multi-benchmark e multi-SGBD, denominado dBest que apóia a realização de testes de desempenho em bancos de dados • Como trabalhos futuros pretende-se realizar uma avaliação da usabilidade do dBest e adicionar o suporte necessário para a execução de testes de stress
  • 19.
    Obrigado! https://sourceforge.net/projects/dbest/ dbest@lia.ufc.br Agradecemos à FUNCAP e ao CNPQ que financiaram este projeto