Serviços Escaláveis e de Alta Performance com MySQL e Java

Copyright © 2015, Oracle and/or its affiliates. All rights reserved.1
Airton Lastori
airton.lastori@oracle.com
jun-2015
Desenvolvendo Serviços Escaláveis e de
Alta Performance com MySQL e Java

Alta Performance
Por que há demanda?
Suporte à “Big Data” e IoT
Velocidade de escrita
Escalabilidade horizontal
Disponível 24x7
Facilidade de uso

MySQL Central @ Oracle Open World 2014
Alguns cases apresentados...
 [slides]
oracle.com/openworld/mysql

Resposta tecnológica: NoSQL
Fonte: 451 Group, 2012

Requisitos NoSQL
O que a solução deve cumprir?
Alta Performance
alto throughput leitura/escrita
Escalabilidade massiva
auto-sharding
Facilidade de uso
acesso simples (APIs)
manutenção simples
modelo de dados flexível, fácil de
evoluir
Alta Disponibilidade
tolerância a falhas
Performance
Escalabilidade
Facilidade de Uso
Disponibilidade ~24x7

Scale Out
• Adicionar mais servidores para
aumentar performance
• MySQL adota esta abordagem
em sistemas altamente
escaláveis em hardware
commodity (Intel / AMD)
Scale Up
• Trocar por hardware mais
poderoso, adicionar memória,
CPU
• Outras soluções normalmente
usam hardware proprietário
(SMP)
Escalabilidade: horizontal vs vertical
É possível combinar as duas abordagens

Escalabilidade vertical com MySQL

2008
até 4 CPU
MySQL 5.0
MySQL AB
até 16 CPU
MySQL 5.1
Sun
até 32 CPU
MySQL 5.5
Oracle
até 48 CPU
MySQL 5.6
Evolução da escalabilidade do MySQL
2009 2010 2013
Use InnoDB para usufruir melhor de hardwares modernos.

MySQL 5.5.28
MySQL 5.6.7
MySQL 5.6 SysBench Benchmarks
234% Ganho de Performance
0
2,000
4,000
6,000
8,000
10,000
12,000
14,000
16,000
18,000
32 64 128 256 512
TransactionsperSecond
Connections
MySQL 5.6 vs. 5.5 - Read Only (Linux)
Oracle Linux 6
Intel(R) Xeon(R) E7540 x86_64
MySQL leveraging:
- 48 of 96 available CPU threads
- 2 GHz, 512GB RAM

MySQL 5.5.28
MySQL 5.6.7
MySQL 5.6 SysBench Benchmarks
151% Ganho Performance
0
2,000
4,000
6,000
8,000
10,000
12,000
32 64 128 256 512
TransactionsperSecond
Connections
MySQL 5.6 vs. 5.5 - Read Write (Linux)
Oracle Linux 6
Intel(R) Xeon(R) E7540 x86_64
MySQL leveraging:
- 48 of 96 available CPU threads
- 2 GHz, 512GB RAM

60x Melhor Escalabilidade comThread Pool
MySQL 5.6.11
Oracle Linux 6.3, Unbreakable Kernel 2.6.32
4 sockets, 24 cores, 48 Threads
Intel(R) Xeon(R) E7540 2GHz CPUs
512GB DDR3 RAM
Thread Pool habilitado/desabilitado

18x Melhor Escalabilidade com Thread Pool
Thread Pool habilitado/desabilitado
MySQL 5.6.11
Oracle Linux 6.3, Unbreakable Kernel 2.6.32
4 sockets, 24 cores, 48 Threads
Intel(R) Xeon(R) E7540 2GHz CPUs
512GB DDR3 RAM

0
100,000
200,000
300,000
400,000
500,000
600,000
700,000
8 16 32 64 128 256 512 1,024
QueriesperSecond
Connections
MySQL 5.7: Sysbench Read Only (Point Select)
MySQL
5.7
MySQL
5.6
MySQL
5.5
MySQL 5.7: Sysbench: Read Only
Intel(R) Xeon(R) CPU E7-4860 x86_64
4 sockets x 10 cores-HT (80 CPU threads)
2.3 GHz, 512 GB RAM
Oracle Linux 6.5
2x Faster than MySQL 5.6
3x Faster than MySQL 5.5
645,000 QPS

MySQL 5.7: Connections per Second
1.7x Faster than MySQL 5.6
2.5x Faster than MySQL 5.5
67,000 Connections/Sec
0
10,000
20,000
30,000
40,000
50,000
60,000
70,000
80,000
MySQL 5.5 MySQL 5.6 MySQL 5.7
Connections/Second
Connections Per Second
MySQL 5.5
MySQL 5.6
MySQL 5.7
Intel(R) Xeon(R) CPU E7-4860 x86_64
4 sockets x 10 cores-HT (80 CPU threads)
2.3 GHz, 512 GB RAM
Oracle Linux 6.5

Atualize!

No Windows: MySQL Installer
Next, Next... Finish!
dev.mysql.com/downloads/windows/installer

No Linux: repositórios YUM e APT para MySQL
 Suporta as distribuições Enterprise Linux
– RedHat Enterprise/Oracle Linux
– Fedora
– Debian/Ubuntu
 Inclui os pacotes mais atuais
– MySQL Database
– MySQL Workbench
– MySQL Connectors
– MySQL Utilities
Maneira simples e conveniente de instalar e atualizar produtos MySQL
Mais de 50% dos
downloads para
Fedora/RedHat já são
feitos do repositório
www.alastori.com.br/2014/05/tutorial-de-
instalacao-do-mysql-56-e.html

…ou manualmente via binários pré-compilados

Escalabilidade horizontal com
MySQL?

Réplicas de
Leitura
Serviços
Especializados
Data Sharding
3 Abordagens para
escalar o MySQL

• método mais simples e mais comum
• indicado para aplicações de LEITURA intensiva
• problemas com cache duplicado em aplicações com datasets grandes
Réplicas de
Leitura
• dividir a carga em múltiplos nós, com responsabilidades distintas
• os nós podem ter redundância via replicação para alta-disponibilidade
• normalmente não é transparente para a aplicação e também recorre ao
scale up para cada database funcional, o que impõe limites
Serviços
Especializados
• método de maior sucesso para escalar aplicações MySQL de grande
porte hoje
• dados compartilhados em tabelas/caches globais, SOA
• difícil de adaptar aplicações legadas
Data Sharding

Aplicação
Replicação MySQL: como escalar 1/2
Master Slave
• Divisão de leituras e escritas (R/W Split)
• Modelo assíncrono (padrão)
• Modelo semi-síncrono (a partir da versão 5.5)
Escritas & Leituras Leituras
Exemplo clássico:
divida carga OLTP
e OLAP

Replicação MySQL: como escalar 2/2
Leituras Leituras
• Escreva para 1 Master
• Leia de vários Slaves, adicione mais quando necessário
• Perfeito para aplicações de leitura intensiva
Aplicação
Replicação MySQL
Load Balancer
Master Slave Slave
Escritas & Leituras

Saiba mais...
Tutorial “Replicação MySQL em 5 minutos”
 [blog post]
http://www.alastori.com.br/2015/02/
tutorial-replicacao-mysql-em-5-
minutos.html

 Failover
jdbc:mysql://[primary host][:port],[secondary host
1][:port][,[secondary host 2][:port]]...[/[database]]»
[?propertyName1=propertyValue1[&propertyName2=propertyValue2]...]
 Load Balancing
jdbc:mysql:loadbalance://[host1][:port],[host2][:port][,[host3][:por
t]]...[/[database]] »
[?propertyName1=propertyValue1[&propertyName2=propertyValue2]...]
Em Java, use os recursos do Connector/J
http://dev.mysql.com/doc/connector-j/en/connector-j-multi-host-connections.html

Réplicas de
Leitura
Serviços
Especializados
porte hoje
Data Sharding

Data Node 1
Data Node 2
Data Node 3
Data Node 4
Table T1
P2
P3
P4
P1
Escalabilidade horizontal: Data Sharding

Data Node 1
Data Node 2
F1
Data Node 3
Data Node 4
Table T1
P2
P3
P4
P1

Data Node 1
Data Node 2
F1
F1
Data Node 3
Data Node 4
Table T1
P2
P3
P4
P1

Data Node 1
Data Node 2
F1
F3 F1
Data Node 3
Data Node 4
Table T1
P2
P3
P4
P1

Data Node 1
Data Node 2
F1 F3
F3 F1
Data Node 3
Data Node 4
Table T1
P2
P3
P4
P1

Data Node 1
Data Node 2
F1 F3
F3 F1
Data Node 3
Data Node 4
F2
Table T1
P2
P3
P4
P1

Data Node 1
Data Node 2
F1 F3
F3 F1
Data Node 3
Data Node 4
F2
F2
Table T1
P2
P3
P4
P1

Data Node 1
Data Node 2
F1 F3
F3 F1
Data Node 3
Data Node 4
F2
F4 F2
Table T1
P2
P3
P4
P1

Data Node 1
Data Node 2
F1 F3
F3 F1
Data Node 3
Data Node 4
F2 F4
F4 F2
Table T1
P2
P3
P4
P1

Data Node 1
Data Node 2
F3
F1
Data Node 3
Data Node 4
F2 F4
F4 F2
Group 1
Table T1
P2
P3
P4
P1
F1
F3

Data Node 1
Data Node 2
F1 F3
F3 F1
Data Node 3
Data Node 4
F2 F4
F4 F2
Group 2
Table T1
P2
P3
P4
P1
Group 1

Data Node 1
Data Node 2
F1 F3
F3 F1
Data Node 3
Data Node 4
F2 F4
F4 F2
Table T1
P2
P3
P4
P1
Group 2
Group 1

Sharding com MySQL?

Sharding com MySQL
• construindo componontes com ferramentas de DevOps
• não subestime a complexidadeNa unha
• MySQL Fabric
• Google Youtube Vitess, Twitter Gizzard, Tumblr Jetpants, etc
• não é totalmente transparente para aplicação
Frameworks
• transparente para aplicação, facilidade na administração
• implementado como um Storage Engine no MySQL (NDB)
MySQL
Cluster

HA group
MySQL Fabric 1.5 (MySQL Utilities)
 Alta disponibilidade:
– Monitoramento do Server com failover
automático e transparente para aplicação
 Sem Proxy, sem latência extra e SPoF
Alta-disponibilidade + escalabilidade de escrita com sharding
Connector
Application
SQL
Read-slaves Read-slaves
HA group
MySQL Fabric
• Escalabilidade de escrita com
sharding:
– Aplicação define a shard key (Range ou Hash)
– Ferramentas para re-sharding
– Tabelas globais & global updates
• Conectores devem ser “Fabric-
aware”:
– Java, Python, PHP

 Versão inicial, foco na simplicidade e robustez
– Alta-disponibilidade OK, escalabilidade de escrita em andamento
 Sharding não é completamente transparente para aplicação
– Necessário fornecer a sharding key
 Colunas Auto-increment não podem ser usadas como sharding key
 Joins envolvendo múltiplos shards não são suportados
 MySQL Connector (driver) deve suportar Fabric
– atualmente disponível para Java, Python e PHP
 O nó Fabric por si só não é tolerante a falhas
– O connector tem seu cache local e continua operando quando o processo Fabric
não está disponível
Limitações da versão atual

Tutorial disponível no white paper
Whitepaper:
MySQL Fabric
September 2014
mysql.com/why-mysql/white-papers

NewSQL

Requisitos NewSQL
Relacional + NoSQL
Combine as duas
abordagens!Performance
Escalabilidade
Facilidade de Uso
SQL/Joins
Transações ACID

MySQL Cluster
• Arquitetura shared-nothing in-memory parallel
• Modelo relacional ACID, SQL + APIs NoSQL
In-Memory ACID
Database
• 99.999% de disponibilidade
• Self-healing, failover abaixo de 1 segundoAlta Disponibilidade
• Performance em tempo real para altas cargas
• Latência baixa e preditiva
Alta Performance
• Elasticidade, crescimento incremental
• Escalabilidade linear, distribuition aware
Escalabilidade
• Open Source (GPL), hardware commodity
• Suporte comercial da Oracle opcional
Open Source

Alguns usuários MySQL Cluster

Performance do MySQL Cluster
 8 Servidores Intel Commodity
– 2 x 6-core processors 2.93GHz
– x5670 processors (24 threads)
– 48GB RAM
 Rede Infiniband
 flexAsynch benchmark (NDB API)
0
200
400
600
800
1,000
1,200
2 4 8
Millions
Number of Data Nodes
SELECT Queries per Minute
0
50
100
150
4 8
Millions
Number of Data Nodes
UPDATE Queries per Minute
Performance a
Escalabilidade
Facilidade de Uso
SQL/Joins
Transações ACID

MySQL Cluster 7.2: 1.2 Billion UPDATEs por Minuto
 NoSQL C++ API,
flexaSynch benchmark
 30 x Intel E5-2600 Intel
Servers, 2 socket, 64GB
 ACID Transactions, with
Synchronous Replication
http://www.mysql.com/why-
mysql/white-papers/mysql-cluster-
benchmarks-1-billion-writes-per-
minute/
0
5
10
15
20
25
2 4 6 8 10 12 14 16 18 20 22 24 26 28 30
MillionsofUPDATEsper
Second
MySQL Cluster Data Nodes

Data Layer
Clients
Management
Arquitetura MySQL Cluster Performance a
Escalabilidade
Facilidade de Uso ?
SQL/Joins ?
Transações ACID ?
Application Layer

Data Layer
Clients
Application Layer
Management
Escalabilidade
Facilidade de Uso a
SQL/Joins a
Transações ACID a
NDB

Os mesmos dados
acessados
simultaneamente
através de interfaces
SQL e NoSQL
APIs de Acesso aos Dados

Data Layer
Clients
Application Layer
Management
Escalabilidade ?
Facilidade de Uso a
SQL/Joins a
Transações ACID a
Table T1
P2
P3
P4
P1P1
P3
P2
P4

Data Layer
Clients
Application Layer
Management
Escalabilidade a
Facilidade de Uso a
Disponibilidade ~24x7 ?
SQL/Joins a
Transações ACID a
P1
P3
P2
P4 Management

Data Layer
Clients
Application Layer
Management
Escalabilidade a
Facilidade de Uso a
Disponibilidade ~24x7 a
SQL/Joins a
Transações ACID a
P1
P3
P2
P4
Management
P3
P1
P4
P2
E mais:
• Permite mudanças no
schema sem interrupção de
leituras ou escritas
• Permite adicionar colunas
e índices online

Qual API devo usar?

APIs Java: ClusterJ e JPA
ClusterJ
API de persistência Domain
Object Model (DataMapper)
JPA
API de persistência padronizada
pelo OpenJPA

ClusterJ ou JPA?
ClusterJ
 Fácil de usar, parecida com Hibernate /
JPA / JDO
– Domain Object Model DataMapper pattern
– Dados são representados por Objetos de Domínio
– Objetos de Domínio não contém lógica de negócio (camada
separada)
– Objetos de Domínio são mapeados para tabelas no MySQL
 Altíssima Performance
 Construído sobre interface nativa Java
– JNI adapter (ndbjtie)
– Parte integral do MySQL Cluster
– Mapeamento direto do MySQL Cluster API (NDB API) para
Java
 Limitação: não suporta relacionamentos
– Olhe na API JPA / JDO para estes padrões de modelagem
JPA
 A interface JPA interface é compatível
com o padrão Java Persistent API
– Implementada como um plugin OpenJPA
 Performance mais alta que o JDBC puro
 Construída sobre ClusterJ e JDBC
– Usa ClusterJ onde possível e reverte para JDBC para
algumas operações
 Adoção mais natural para profissionais
Java
 Facilita adoção do Cluster em aplicações
web e aplicações legadas

Opção 1: Auto-Installer
MySQL Cluster 7.3 e 7.4
Rápida configuração
Auto-discovery
Otimização de acordo com a
carga prevista
Melhores práticas de
implantação
MySQL Cluster 7.3 e 7.4
Especifique
a carga
Auto-
Discover
Defina a
TopologiaDeploy

MySQL Cluster Auto-Install
 Simples de instalar e provisionar clusters multi-node
 Complementa MySQL Cluster Manager no gerenciamento de cliclo de vida

1. Download MCM/Cluster package: edelivery.oracle.com:
2. Unzip
3. Execute o agent (usuário diferente de root), defina, crie e
inicialize o Cluster com um comando!
$> binmcmd --bootstrap
Opção 2: MySQL Cluster Manager
Para testes em uma única máquina

ClusterJ: como usar
• Defina Table para Java Mapping
• Defina Connection para o Cluster
• Crie Session
• Comandos: Create, Update, Delete, Find by primary
key
• Query (SELECT)
• O que achou da PERFORMANCE?

ClusterJ Gera Classes
@PersistenceCapable(table="employee")
public interface Employee {
long getId();
void setId(int id);
@Column(name="full_name")
String getName();
void setName(String value);
int getSalary();
void setSalary(int value);
Integer getAge();
void setAge(Integer value);
}

ClusterJ Base Class
public class Employee
extends DynamicObject {
public String table() {
return "employee";
long getId() {
return (Long)get(0);
}
void setId(long value) {
set(0, value);
}
...
// other fields and behavior
}

Exemplo: ClusterJ 1/3
Session session;
void getSession() {
session = sessionFactory.getSession();
}
Employee createEmployee(long id, String name,
int salary, int age) {
Employee employee =
session.newInstance(Employee.class);
employee.setId(id);
employee.setName(name);
employee.setSalary(salary);
employee.setAge(age);
session.persist(employee);
return employee;
}

Employee findEmployee(long id) {
Employee employee =
session.find(Employee.class, id);
return employee;
}
void updateSalary(long id, int salary) {
Employee employee = findEmployee(id);
employee.setSalary(salary);
session.updatePersistent(employee);
}

Query
QueryDomainType qemp =
builder.createQueryDefinition(Employee.class) ;
Predicate geAge = qemp.get("age")
.greaterEqual(qemp.param("ageFloor"));
Predicate leSalary = qemp.get("salary")
.lessEqual(qemp.param("salaryCap"));
qemp.where(geAge.and(leSalary));
Query query = session.createQuery(qemp) ;
query.setOrdering(Query.DESCENDING, "age");
query.setParameter("ageFloor",33);
query.setParameter("salaryCap", 44000);
List<Employee> results = query.getResultList() ;

Mais Exemplos ClusterJ e ClusterJPA
Whitepaper:
MySQL Cluster NoSQL APIs for Java
August 2015

Teste e nos diga o que achou da
Performance!

Exemplos Memcached API
Ondemand Webinar:
NoSQL Memcached API for MySQL Cluster
22 August 2012
mysql.com/news-and-events/on-demand-webinars/display-od-723.html
Slides:
https://www.mysql.com/why-mysql/presentations/mysql-cluster-nosql-
memcached-api

Algumas limitações MySQL Cluster no white paper
Whitepaper:
MySQL Cluster Evaluation Guide
February 2015

Sumário
 As aplicações Web demandam mais dos bancos de dados
nos dias de hoje.
 O MySQL pode escalar horizontalmente e ainda oferecer a
tranquilidade de uma solução madura, usada em larga
escala e com suporte (opcional) da Oracle.
 Teste e nos dê feedback!

@MySQLBR meetup.com/MySQL-BRfacebook.com/MySQLBR
pt.planet.mysql.com
Estes slides e mais novidades…

@MySQLBR
meetup.com/MySQL-BR
facebook.com/MySQLBR
Obrigado!

Perguntas?

Enterprise Management
Services and Utilities
Backup & Recovery
Monitor
Workbench
Utilities
Connection Pool, SQL Interface, Parser, Optimizer, Caches
Clients & Connectors
Native C API, JDBC, ODBC, .Net, PHP, Ruby, Python, VB, Perl mysqld
Clients and Apps
Arquitetura plugável do MySQL
Storage Engines
InnoDB, MyISAM, Memory, Archive, Cluster (NDB API), etc…
Filesystems, Files & Logs
Data, Index, Logs…

Cluster Data Nodes
NDB NDB
Connection Pool, SQL Interface, Parser, Optimizer, Caches
Enterprise Management
Services and Utilities
Backup & Recovery
Monitor
Workbench
Utilities
Clients & Connectors
Native C API, JDBC, ODBC, .Net, PHP, Ruby, Python, VB, Perl
Arquitetura MySQL com NDB Cluster
Storage Engines
InnoDB, MyISAM, Memory, Archive, Cluster (NDB API), etc…
Filesystems, Files & Logs
Data, Index, Logs…
mysqld
Clients and Apps
ndbd
mgm_ndbd
Management

Serviços Escaláveis e de Alta Performance com MySQL e Java

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (7)

Semelhante a Serviços Escaláveis e de Alta Performance com MySQL e Java

Semelhante a Serviços Escaláveis e de Alta Performance com MySQL e Java (17)

Mais de MySQL Brasil

Mais de MySQL Brasil (14)

Serviços Escaláveis e de Alta Performance com MySQL e Java