1) O documento apresenta os conceitos de alta disponibilidade, cluster, Oracle RAC e Extended Cluster. 2) É descrito a evolução do Oracle Clusterware e como funciona o Oracle RAC e Extended Cluster. 3) São apresentadas considerações importantes para o projeto de um Extended Cluster, incluindo conectividade, espelhamento de discos e quorum.

1. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Maior Disponibilidade com o Oracle RAC
Extended Cluster
Oracle ACE OTN
Marcus Vinicius Miguel Pedro

2. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Agenda
• Palestrante
• O que é Alta Disponibilidade?
• O que é Cluster?
• Evolução do Oracle Clusterware;
• O que é o Oracle RAC?
• SPOF;
• Como Funciona o Oracle RAC?
• Extended Cluster;
• Considerações para o Extended Cluster;
• Como Funciona o I/O no Extended Cluster?
• Dúvidas

3. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Palestrante
Marcus Vinicius Miguel Pedro
• 15 anos de experiência em T.I.;
• 6 anos de experiência com Banco de Dados Oracle;
• Oracle ACE;
• Trabalha como DBA Oracle na Discover Technology, parceira Oracle nível Platinum;
• Professor no curso de Pós-Graduação em Administração de Banco de Dados Oracle do Veris-IBTA;
• Consellheiro Técnico do GUOB;
• Pela Discover atuou em clientes como: Carrefour Brasil, ESPN Brasil, Grupo B2W, Goodyear do Brasil,
Medial Saúde, Aerofast Speedpak, Editora Abril, SEFAZ-SP, Oracle do Brasil, Indústrias Romi, Usina
Alta Mogiana, Magazine Luíza, etc.
• Certificações:
• Oracle Database 9i Administrator Certified Associate (OCA);
• Oracle Database 9i Administrator Certified Professional (OCP);
• Oracle Database 10g Administrator Certified Professional (OCP);
• Oracle Database 10g: RAC Administrator Certified Expert (OCE);
• Oracle Database 11g Administrator Certified Professional (OCP);
• Oracle Database 11g Certified Implementation Specialist (OCS);

4. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
O que é Alta Disponibilidade?
• Sistema resistente a falhas de hardware, software, energia e desastres;
• Um só objetivo: manter os serviços disponibilizados pelo maior tempo;
• Quanto menores os SPOF’s (Single Point of Failure), maior a disponibilidade;
• Quanto maior a disponibilidade, mais cara ($$) fica a solução;
• É medida pela fórmula: disponibilidade = MTBF / (MTBF + MTTR);
• Níveis de disponibilidade: Dispon. % Downtime/Ano Downtime/Mês
95% 18 dias 6:00:00 1 dia 12:00:00
96% 14 dias 14:24:00 1 dia 4:48:00
97% 10 dias 22:48:00 0 dia 21:36:00
98% 7 dias 7:12:00 0 dia 14:24:00
99% 3 dias 15:36:00 0 dia 7:12:00
99,9% 0 dia 8:45:35.99 0 dia 0:43:11.99
99,99% 0 dia 0:52:33.60 0 dia 0:04:19.20
99,999% 0 dia 0:05:15:36 0 dia 0:00:25.92

5. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
O que é Cluster?
• Conjunto de computadores interconectados funcionando como um só;
• Os discos estão disponíveis para leitura e gravação por todos os nós;
• O sistema operacional deve ser o mesmo em cada servidor;
• Pode oferecer alta disponibilidade;
• Pode oferecer balanceamento de carga;
• Pode oferecer alto desempenho.

6. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Evolução do Oracle Clusterware
• Cluster Manager (9i): suporta BD’s Oracle RAC 9i no Linux e Windows;
• CRS – Cluster Ready Service (10gR1): suporta o BD Oracle RAC em todas as
plataformas. Introdução do ASM;
• Clusterware (10gR2): suporta o BD Oracle RAC em todas as plataformas. Pode
ser usado como solução de cluster principal do ambiente, não só para BD’s
Oracle;
• Grid Infrastructure (11gR2): suporta o BD Oracle RAC em todas as plataformas.
Introdução do ADVM / ACFS.

7. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
O que é o Oracle RAC?
• Múltiplas instâncias acessando o mesmo banco de dados;
• Múltiplos servidores acessando o mesmo conjunto de discos;
• Permitido apenas uma instância de um determinado banco de dados por nó;
• Alta disponibilidade de banco de dados sobrevivendo a falhas entre nós e
instâncias;
• Escalabilidade: mais usuários com o mesmo tempo de resposta;
• Banco de dados em grid: adição/remoção de nós conforme a demanda;
• Não sobrevive a falha de sites.

8. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
O que é o Oracle RAC? (continuação)

9. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
SPOF - Single Point of Failure
• SPOF ou Ponto Único de Falha é o item na arquitetura computacional que
quando sofre alguma falha provoca a indisponibilidade de parcial ou total da
arquitetura;
• Considerando o ambiente de alta disponibilidade de BD’s Oracle alguns dos
SPOF’s conhecidos são:
• Arquivos de redo log;
• Control files;
• Instância;
• Servidor;
• Fontes de alimentação (antigamente);
• Discos internos;
• Interfaces de rede;
• Switches LAN;
• Controladoras HBA;
• Discos storage;
• Switches SAN;
• Storages;
• Site.

10. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Como Funciona o Oracle RAC?
Rede Pública Rede Pública
Rede Privada Rede Privada
Switch LAN
Switch SAN 1
Switch SAN 2Storage
Controladora A
Controladora B
HBA 1 HBA 1
HBA2
HBA2
Switch LAN 2
Switch LAN 1
Rede Pública
Rede Pública
Rede Privada Rede Privada
Storage 2Storage 1
Controladora A
Controladora B
Site Matriz

11. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Extended Cluster
• Permite utilizar o Oracle RAC distribuído entre sites separados geograficamente;
• Assim como o Oracle RAC, não protege contra corrupção de dados ou falhas de
dados (Data Guard);
• Utilização total dos recursos, não importando onde estiverem localizados;
• Recuperação rápida após falha de site;
• Considerações para o design da arquitetura:
• Conectividade;
• Espelhamento de discos;
• Quorum.

12. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Extended Cluster (continuação)

13. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Considerações para o Extended Cluster
• Conectividade
• Conexões redundantes para o tráfego de redes pública, privada e SAN.
• Distâncias:
• Menor que 10km: cabos normais de rede;
• Maior ou igual a 10km: links DWDM;
• Entre 10km e 50km: requer créditos de buffer SAN para minimizar o
impacto no desempenho devido à distância;
• Maior que 50km: ainda não recomendado.
• Tentar minimizar a latência o quanto possível, pois poderá causar impacto no
Cache Fusion;
• Links DWDM são extremamente caros.

14. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Considerações para o Extended Cluster (continuação)
• Espelhamento de Discos
• Necessário cópia dos dados em cada site;
• Duas opções existentes:
• Host Based Mirroring (ativo/ativo): ASM / CLVM:
• Discos aparece como um único conjunto;
• Todas as operações de escrita são enviadas para ambos os sites;
• Remote Array Based Mirroring (ativo/passivo): EMC SRDF :
• Todas as operações de I/O são enviadas para um site e então
espelhada para o outro site;
• Longa indisponibilidade em caso de falha no primeiro site;
• SPOF!

15. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Considerações para o Extended Cluster (continuação)
Host Based Mirroring Remote Array Based Mirroring

16. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Considerações para o Extended Cluster (continuação)
• Quorum:
• O que acontecerá se for perdida a comunicação entre os sites?

17. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Considerações para o Extended Cluster (continuação)
• Quorum:
• Necessário usar um terceiro site para um device (voting disk) de quorum para
a máxima disponibilidade.
Terceiro Site
• Tecnologias suportadas: NFS / ASM (quorum failgroup)

18. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Considerações para o Extended Cluster (continuação)
• Quorum:
SQL> create diskgroup DG_OCR_VD normal redundancy
failgroup fg1 disk 'ORCL:ASMDISK1'
failgroup fg2 disk 'ORCL:ASMDISK2'
quorum failgroup fg3 disk 'ORCL:ASMDISK3'
attribute 'compatible.asm' = '11.2.0.0.0';
SQL> create diskgroup DG_OCR_VD normal redundancy
failgroup fg1 disk 'ORCL:ASMDISK1'
failgroup fg2 disk 'ORCL:ASMDISK2'
quorum failgroup fg3 disk '/nfs/voting3.dsk'
attribute 'compatible.asm' = '11.2.0.0.0';

19. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Como Funciona o I/O no Extended Cluster?
Select/DML
Maior consumo de InterConnect!
Maior consumo de rede SAN
• 10g:

20. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Como Funciona o I/O no Extended Cluster?
Select
• 11g:
• ASM_PREFERRED_READ_FAILURE_GROUPS
DML
Maior consumo de rede SAN

21. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Como Funciona o I/O no Extended Cluster?
• 11g:
• ASM_PREFERRED_READ_FAILURE_GROUPS
+ASM1.ASM_PREFERRED_READ_FAILURE_GROUPS=DATA.SITE1;
+ASM2.ASM_PREFERRED_READ_FAILURE_GROUPS=DATA.SITE1;
+ASM3.ASM_PREFERRED_READ_FAILURE_GROUPS=DATA.SITE2;
+ASM4.ASM_PREFERRED_READ_FAILURE_GROUPS=DATA.SITE2;
+ASM1 +ASM2 +ASM3 +ASM4

22. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Dúvidas?

23. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Comunidades Oracle

24. 16 de julho de 2011 no Hotel Blue Tree Morumbi, São Paulo - SP
Contato
• Blog: http://www.viniciusdba.com.br
• E-mail: blog@viniciusdba.com.br
• Twitter: @viniciusdba
• LinkedIn: http://br.linkedin.com/in/viniciusdba