MySQL Cluster - visão geral

MySQL Cluster – visão geral
Airton Lastori
airton.lastori@oracle.com

25-out-2013
1

Copyright © 2012, Oracle and/or its affiliates. All rights reserved.

@MySQLBR

facebook.com/MySQLBR

meetup.com/MySQL-BR

2


MySQLBR

MySQL é estratégico para Oracle
 Soluções Completas

 #1 em todos os níveis da pilha
 Cloud e On Premise

 MySQL: Web, Mobile & Embedded
 Investimentos na Engenharia do MySQL

3


Compromisso Oracle com MySQL

https://blogs.oracle.com/MySQL/entry/mysql_connect_keynotes_and_news
4


Agenda

 O que é o MySQL Cluster?
 Como começar?

 Como o MySQL Cluster funciona?
 Perguntas?

5


O que é o MySQL Cluster?

6


MySQL Cluster
Escalabilidade

• Escalabilidade linear de Escritas e Leituras
• Elasticidade, crescimento incremental, distrib. simétrica

Alta Disponibilidade

• 99,999% de disponibilidade, 5min / ano
• Self-healing, failover menor que 1s, geo-replicação

Alta Performance

• Performance em tempo real, in-memory e em disco
• Latência baixa e preditiva, acessos paralelos

Flexibilidade
Baixo TCO
7


• Modelo relacional ACID, SQL e Foreign Keys
• APIs NoSQL (C++, Java, Memcached, Node.js)

• Open Source, suporte e ferramentas comerciais opcionais
• Hardware commodity

Arquitetura MySQL Server
Clients & Connectors
Native C API, JDBC, ODBC, .Net, PHP, Ruby, Python, VB, Perl

Clients and Apps

mysqld

Connection Pool, SQL Interface, Parser, Optimizer, Caches
Enterprise Management
Services and Utilities
Storage Engines
InnoDB, MyISAM, Memory, Archive, Cluster (NDB API), etc…

Filesystems, Files & Logs
Data, Index, Logs…

8


Backup & Recovery
Monitor
Workbench
Utilities

Arquitetura MySQL Cluster
Clients and Apps

Clients & Connectors
Native C API, JDBC, ODBC, .Net, PHP, Ruby, Python, VB, Perl

mysqld
ndbd

Connection Pool, SQL Interface, Parser, Optimizer, Caches
Enterprise Management
Services and Utilities
Storage Engines
InnoDB, MyISAM, Memory, Archive, Cluster (NDB API), etc…
Filesystems, Files & Logs
Data, Index, Logs…
NDB

NDB

Cluster Data Nodes

9


mgm_ndbd
Management

Backup & Recovery
Monitor
Workbench
Utilities

MySQL Cluster: arquitetura simplificada
Clients

Application Layer

mysqld

mysqld

Management
mgm_ndbd

Data Layer

ndbd

ndbd

MySQL Cluster Data Nodes
10


O que NÃO é o MySQL Cluster
1. SGBD de uso geral, “bala de prata”
•

Tabelas NDB ainda não são recomendadas para todos tipos de aplicações / workloads

•

NDB ainda não é 100% compatível com InnoDB, mas podem ser usados em conjunto

•

MySQL Cluster requer relativamente mais memória RAM

2. Cluster do tipo Shared-All que requer Shared Storage
•

Como, por exemplo, Oracle RAC

•

Cada Data Node tem sua unidade de armazenamento independente

3. Replicação tradicional do MySQL Server
•

MySQL Cluster possui seu próprio mecanismo interno de replicação síncrona

•

Também pode ser usado opcionalmente em conjunto com replicação externa tradicional do MySQL

4. “Apenas” o MySQL Server (mysqld)
•

MySQL Cluster possui outros componentes: ndbd, ndb_mgmd

5. Produto de código fechado
•
11

Possui edição community (GPL) e carrier-grade edition (suporte e ferramentas comerciais)


Tabelas InnoDB vs NDB Cluster
Preferível InnoDB

Preferível NDB Cluster

• Datasets ou linhas muito grandes, muitos
BLOBs, tabelas histórico, fulltext search

• Escalabilidade de escrita, multi-master, autosharding

• Memória RAM mais limitada

• 99,999% uptime com operações online: adição de
nós, upgrade, manutenção do esquema
• Baixa latência para transações mais curtas,
performance tempo-real, paralelismo
• APIs NoSQL schemaless: Java, node.js, REST,
C++, memcached
• Uso limitado de colunas BLOB
• Foreign keys são suportadas, porém podem
causar impacto na performance em condições
extremas

• Transações muito longas ou com isolamento
diferente de READ COMMITTED
• Foreign keys sob uso intensivo
• Muitos full table scans, queries analíticas

dev.mysql.com/doc/refman/5.6/en/mysql-cluster-compared.html
13


InnoDB + NDB Cluster
Opções com Geo-Replicação
Replicação síncrona
Cluster 1

Cluster 2

entre os grupos de nós para HA

Geo-Replicação
assíncrona ou síncrona entre
nós remotos NDB para
redundância geográfica

Replicação assíncrona
InnoDB

InnoDB

InnoDB

Replicação
síncrona
Replicação
assíncrona
15


entre Storage Engines
diferentes para aplicações
especializadas como geração
de relatórios

Alguns Clientes MySQL Cluster

16


Caso de Sucesso
MySQL Cluster
 sistema de recomendações de

games casuais que identifica o
visitante e exibe conteúdo
direcionado ao seu perfil
 já nos testes, com 2 data nodes,
capacidade de 87k INSERTs por
segundo e 3k SELECTs por
segundo
 latência extremamente baixa (submilisegundos) e alta-disponibilidade
 NoSQL ClusterJ API (Java)

“As a strategic project, we couldn’t afford to take
any chances. MySQL Cluster provided us with a
proven and trusted solution to meet the
demands of both our business and our users.”

mysql.com/why-mysql/case-studies/mysql-cs-bigfish.html
17


Sean Chighizola
Database Director, Big Fish

18


Caso de Sucesso
ACID em tempo real
 sistema global de detecção de

fraudes que monitora transações
financeiras, sessões dos usuários e
histórico em tempo real
 Trabalha com mais de 100TB e
100m de usuários, transações
ACID, R/W <1 segundo em
qualquer parte do mundo com georeplicação
 Escalabilidade linear com 99,999%
de disponibilidade, na nuvem AWS

“Technologies such as MySQL Cluster enables
users to get the best of both world’s: the agility of
NoSQL systems with the trust, maturity and
reliability of the SQL model.”

mysql.com/customers/view/?id=1223
19


Daniel Austin
Chief Architect, Paypal

PayPal

20


Caso de Sucesso
Online Games
 Social game para Facebook
 2 milhões usuários, com +30k

novos usuários por dia
 10K usuários concorrentes,

~10K TPS

“The MySQL support service has been essential
in helping us for troubleshooting and giving
recommendations for the production cluster.”

 99.999% uptime

blogs.oracle.com/MySQL/entry/mysql_cluster_powers_el_chavo
21


Carlos Morales
DBA, playfulplay.com

Playful Play

22


MySQL Cluster
Customers
mysql.com/customers/cluster

23


Como começar a usar
o MySQL Cluster?

24


MySQL Cluster Auto-Install

clusterdb.com/u/ai
downloads.mysql.com/tutorials/cluster/mysql_wp_cluster_quickstart.pdf
25


MySQL Cluster Manager
Para testes em uma única máquina
1.
2.

Download MCM/Cluster edelivery.oracle.com:
Unzip e execute o comando com usuário diferente de root:

C:MySQLmcmbin> mcmd --bootstrap
MySQL Cluster Manager 1.1.2 started
Connect to MySQL Cluster Manager by running “C:MySQLmcmbinmcm" -a NOVA:1862
Configuring default cluster 'mycluster'...
Starting default cluster 'mycluster'...
Cluster 'mycluster' started successfully
ndb_mgmd NOVA:1186
ndbd NOVA
ndbd NOVA
mysqld NOVA:3306
mysqld NOVA:3307

ndbapi *
Connect to the database by running “C:MySQLmcmclusterbinmysql" -h NOVA -P 3306 -u root
26


MySQL Cluster Manager Bootstrap
Application Layer

3306

3307

Management
1186
Data Layer

ndbd

ndbd


27


Teste via MySQL Workbench: 3306 ou 3307

28


Teste via MySQL Workbench: Modelo com FKs

29


Flexibilidade na interação com os dados
Escalabilidade



• 99.999% de disponibilidade, 5min / ano

Alta Performance


Flexibilidade
Baixo TCO
30




MySQL Cluster

exemplo simplificado com APIs NoSQL

Clients

Application Layer

Data Layer

ndbd

31


ndbd

APIs de Acesso aos Dados
Apps

Apps

Apps

Apps

Apps

Apps

Apps

Apps

Apps

Apps

Apps

ClusterJ

JS

Apache

Memcached

JNI

Node.js

mod-ndb

Apps

ndb-eng

JPA
ClusterJPA
PHP

PERL

Python

Ruby

JDBC

MySQL

NDB API (C++)


32


Os mesmos dados
acessados
simultaneamente
através de interfaces
SQL e NoSQL

Qual API devo usar?

SQL
• Padrão da
indústria
• Joins e
Queries
complexas

• Modelo
relacional

33

ClusterJ /
OpenJPA
• ORM Java
• Simplicidade
• Acesso nativo
e rápido ao
Cluster
• Ex: Web e
Telco


memcached
• chave/valor
• Simples de
usar
• Driver para
diversas
linguagens
• Ex: PHP
Proxy

node.js

mod_ndb

C++

• Javascript
• Mesma
tecnologia do
browser no
lado do
servidor
• Ex: Mobile
Apps

• REST/JSON
• HTML
• Uso do
Apache httpd

• Performance
extrema
• Tempo real
• Desenvolved
or experiente
• Mais baixo
nível

Exemplos Memcached API

Blog:
Scalable, persistent, HA NoSQL Memcache storage using MySQL
Cluster
15 February 2012
clusterdb.com/mysql-cluster/scalabale-persistent-ha-nosql-memcachestorage-using-mysql-cluster

34


Cluster & Memcached
Schema configurável
key

value

<estado:SP,Campinas>
visão da Aplicação

SELECT * FROM mapa.cidades
WHERE cidade LIKE ’C%’;

visão MySQL Cluster
prefix

key

value

<estado:SP,Campinas>
Prefix

Table

Key-col

Val-col

policy

sigla_estado

...

cidade

...

estado:

mapa.cidades

sigla_estado

cidade

cluster

SP

...

Campinas

...

Config tables
35


Tabela cidades do DB mapa

Exemplos JavaScript / Node.js API

Blog:
MySQL Cluster Tutorial: NoSQL JavaScript Connector for Node.js
17 April 2013
blogs.oracle.com/MySQL/entry/mysql_cluster_tutorial_nosql_api

36


Como o MySQL Cluster funciona?

37


Como escalar leituras e escritas?
Escalabilidade




Alta Performance


Flexibilidade
Baixo TCO
38




MySQL Cluster exemplo simplificado: 2 SQL + 4 Data Nodes
Clients

Application Layer

mysqld

mysqld

Data Layer

ndbd

39


ndbd

ndbd

ndbd

Data Sharding: escalando ESCRITAS
Table T1

Data Node 1

P1

Data Node 2

P2
P3

Data Node 3

P4
Data Node 4

40


Table T1

Data Node 1
F1

P1

Data Node 2

P2
P3

Data Node 3

P4
Data Node 4

41


Table T1

Data Node 1
F1

P1
P2
P3

Data Node 2
F3

Data Node 3

P4
Data Node 4

42


Table T1

Data Node 1
F1

P1
P2
P3
P4

Data Node 2
F3

Data Node 3
F2

Data Node 4

43


Table T1

Data Node 1
F1

P1
P2
P3
P4

Data Node 2
F3

Data Node 3
F2

Data Node 4
F4

44


MySQL Cluster: auto-sharding
Table T1

Clients
SQL
Application Layer

mysqld

mysqld

visão MySQL Cluster
NDB API
Table T1

Data Layer

F1

F2

F4

ndbd

45

F3
ndbd

ndbd

ndbd


P1
P2
P3
P4

In-Memory, parallel thrds, AQL, Pushdown Joins
1. Memória RAM mais barata e redes mais rápidas
• Escrever em memória RAM remota é mais rápido que em disco local

2. Múltiplas threads trabalhando em paralelo em diversas máquinas
• Uso de arquiteturas multi-core

3. Adaptative Query Localization
• Queries mais complexas, envolvendo apenas Data Nodes necessários

4. Pushdown Joins
• JOINs resolvidos nos Data Nodes, em paralelo

46


Millions of UPDATEs per
Second

20 Milhões de UPDATEs / seg
25

20

15

10

5

0
2

4

6

8

10

12

14

16

18

20

22

24

26

28

30


 NoSQL C++ API, flexaSynch benchmark
 30 x Intel E5-2600 Intel Servers, 2 socket, 64GB
 ACID Transactions, Synchronous Replication
47


Como garantir a alta-disponibilidade?
Escalabilidade




Alta Performance


Flexibilidade
Baixo TCO
48




MySQL Cluster exemplo: 2 SQL + 4 data + 2 mgmt nodes
Clients

Application Layer

mysqld

mysqld
Management
mgm_ndbd

Management
mgm_ndbd

Data Layer

ndbd

49


ndbd

ndbd

ndbd

Data Sharding + Replicação
Table T1

Data Node 1
F1

P1
P2
P3

Data Node 2
F1

Data Node 3

P4
Data Node 4

50


Table T1

Data Node 1
F1

P1
P2
P3

F3

Data Node 2
F3

F1

Data Node 3

P4
Data Node 4

51


Table T1

Data Node 1
F1

P1
P2
P3
P4

F3

Data Node 2
F3

F1

Data Node 3
F2

Data Node 4
F2

52


Table T1

Data Node 1
F1

P1
P2
P3
P4

F3

Data Node 2
F3

F1

Data Node 3
F2

F4

Data Node 4
F4

53


F2

Table T1

Data Node 1

P2
P3
P4

Data Node 2
F3

F1

Data Node 3
F2

F4

Data Node 4
F4

54


F2

Group 2

P1

F3

Group 1

F1

Table T1

Data Node 1

P2
P3
P4

Data Node 2
F3

F1

Data Node 3
F2

F4

Data Node 4
F4

55


F2

Group 2

P1

F3

Group 1

F1

MySQL Cluster: alta-disponibilidade
Table T1

Clients

Application Layer

mysqld

mysqld
Management
mgm_ndbd

Management
mgm_ndbd

Data Layer

F1
F3

F3
F1

F2
F4

F4
F2

ndbd

ndbd

ndbd

ndbd

56


Qual o custo?

57


Como manter TCO baixo?
Escalabilidade




Alta Performance


Flexibilidade
Baixo TCO
58




Principais componentes do TCO
1. Custo de aquisição
• Licenciamento do Software (desenvolvimento e produção)
• Hardware necessário
• Conhecimento da equipe
• Produtividade do time de desenvolvimento

2. Custo de manutenção e evolução
• Hospedagem e manutenção do hardware

• Conhecimento da equipe
• Estabilidade e maturidade do software
• Suporte do fabricante

• Produtividade: Ferramentas de gerenciamento, monitoramento e backup
• Produtividade do time de evolução do produto

59


Carrier Grade Edition (CGE) - comercial
Suporte

Cluster
Manager

MySQL
Cluster

Monitor
&
Backup

Plug-ins

mysql.com/products/cluster/features.html
60


Agilidade e redução do risco de downtime

Gerenciamento Automatizado

• Start / Stop de nós
individuais ou todo cluster
• Escalabilidade On-Line
• Reconfiguração On-Line
• Upgrades On-Line
• Backup & Restore On-Line

61


Self-Healing

• Monitoramentos dos nós
• Auto-recovery nos nós
SQL + mgmt

Alta-disponibilidade

• Configuração consistente
em todo cluster
• Configurações persistentes
• Agentes para HA

Como o MySQL Cluster Manager pode ajudar?
Exemplo: upgrade do MySQL Cluster 7.0 para 7.3

Sem MySQL Cluster Manager

• 1 x preliminary check of cluster state
• 8 x ssh commands per server
• 8 x per-process stop commands
• 4 x scp of configuration files (2 x mgmd & 2 x mysqld)
• 8 x per-process start commands
• 8 x checks for started and re-joined processes
• 8 x process completion verifications
• 1 x verify completion of the whole cluster.
• Excludes manual editing of each configuration file.

Total: 46 comandos 2,5 horas de operações manuais

62


Com MySQL Cluster Manager
upgrade cluster --package=7.3 mycluster;

Total: 1 comando –
operações automatizadas

Aprenda mais…

63


Mais sobre como começar com MySQL Cluster

Whitepaper:
MySQL Cluster Evaluation Guide
June 2013
mysql.com/why-mysql/white-papers/mysqlcluster-evaluation-guide

64


Próximo passo: documentação
Reference Manual
Cap. 17.1, MySQL Cluster Overview
1. MySQL Cluster Core Concepts
2. MySQL Cluster Nodes, Node Groups, Replicas, and Partitions
3. MySQL Cluster Hardware, Software, and Networking

Requirements
4. MySQL Cluster Development History
5. MySQL Server Using InnoDB Compared with MySQL Cluster
6. Known Limitations of MySQL Cluster
dev.mysql.com/doc/refman/5.6/en/mysql-cluster.html
65


Mais sobre como MySQL Cluster para Web

Whitepaper:
Guide to Scaling Web Databases with
MySQL Cluster
June 2013
mysql.com/why-mysql/white-papers/guide-toscaling-web-databases-with-mysql-cluster

66


Treinamentos e certificações
MySQL DBA

MySQLDeveloper

MySQL Boot Camp
Accelerated

MySQL Boot Camp
Accelerated

MySQL Performance
Tuning Boot Camp
Accelerated

MySQL Performance
Tuning Boot Camp
Accelerated

MySQL for Begginers

MySQL for Begginers

MySQL for Database
Administrators

MySQL and PHP
Developing Dynamic
Web Applicationg

MySQL Performance
Tuning

MySQL for Developers

MySQL High Availability

MySQL Advanced Stored
Procedures

MySQL Cluster

67

Certificações


Opcional
Necessário

mysql.com/training

Sumário



Trata-se de um banco de dados distribuído com arquitetura shared-nothing
e que pode oferecer 99,999% de disponibilidade, performance superior a 1
bilhão de escritas por minuto, escalabilidade linear, conformidade com o
modelo ACID, flexibilidade das interfaces NoSQL e geo-replicação multimaster.



68

O MySQL Cluster é um produto derivado do popular MySQL Server que é o
"M" do LAMP stack.

Instale, migre algumas tabelas e comece a usar!


Slides disponíves em…

@MySQLBR

69


facebook.com/MySQLBR

Obrigado!

MySQL Cluster - visão geral

Mais conteúdo relacionado

Mais procurados

Destaque

Semelhante a MySQL Cluster - visão geral

Mais de MySQL Brasil

MySQL Cluster - visão geral