Exadata - O Todo é maior que a soma das Partes

EXADATA
“O TODO É MAIOR QUE A SOMA DAS
PARTES”
Luís Marques - @drune http://lcmarques.com
@FailsafeSA
#failsafedays

AGENDA
• O que é o Exadata – “O Ferro”
• Offloading / Smart Scan – “A alma do negócio”
• Storage Indexes
• Hybrid Columnar Compression
• Exadata Smart Flash Cache
• Entender Exadata Performance – “Isto sim!”
• (Des)(Re) Aprendizagem Exadata
Twitter: @failsafeSA #failsafedays

EXADATA – O QUE É?
• Bottleneck: Mover quantidades massivas de dados da Storage
para o Database Server
• 2 partes: “Storage layer” e “Database layer”

EXADATA – O QUE É?
• Database layer
• Vários servidores (Sun Intel x86-64) a correr Oracle 11gR2
• Configurados em um ou mais RAC clusters
• RAC não é obrigatório
• ASM é obrigatório com o objectivo do mapping do “storage
layer”.
• Storage layer
• Vários servidores (Sun Intel x86-64)
• Corre Oracle software server software – cellsrv
• A comunicação é feita entre layers via iDB – protocolo de
rede sobre InfiniBand
• Não há comunicação directa entre storage cells

EXADATA – DB LAYER
• Database Layer/Server Software
• Arquitectura Intel x86-64 a correr OEL 5/6
• Oracle 11gR2 instalado – Nada específico em relação ao
Exadata
• ASM (Oracle Automatic Storage Management) – DB
servers sem acesso directo ao storage
• iostat torna-se inútil – Sem OS calls para abrir/fechar
ficheiros.
• ASM é totalmente responsável pela redundância:
Normal/High – Não há RAID por hardware/software
• ASM – Mirroring entre as storage cells
• RAC é aconselhado quando necessário!

EXADATA – STORAGE LAYER
• Storage Layer/Server Software
• Arquitectura Intel x86-64 a correr OEL 5/6
• Cell Services (cellsrv)
• Multi-threaded
• Processa pedidoPode enviar dados já processados ou blocos
de volta para o database server
• s I/O vindos dos Database Layer.
• Implementa o IORM (I/O Resource Manager)
• Management Server (MS)
• Interface entre o cellsrv e o cellcli (Cell Command Line
Interface)
• Restart Server (RS)
• Monitorização de processos
• OSWatcher
• Colecta informação acerca do SO: vmstat e netstat

EXADATA – IDB
• IDB – Intelligent Database protocol
• Comunicação entre os 2 layers
• Function shipping architecture – Informação sobre o SQL
executado para as storage cells e reenvio de dados
processados
• Limita os dados enviados para o Database server –
apenas as rows e colunas que satisfazem a query
• Podem enviar blocos quando o offload não é possível;
• IDB usa RDS (Reliable Datagram Sockets) “over”
Infiniband:
• Baixa latência
• Baixo overhead
• Uso mínimo de CPU

EXADATA – DBS + SC + IDB

EXADATA – É BONITO POR FORA?

OFFLOAD/SMART SCAN
• Offload / Smart Scan – A cura para todos (quase) os males.
• Processamento feito nos storage servers em vez dos
database servers = OFFLOAD
• Smart Scan é uma “run time decision”
• Objectivos:
• Reduzir o volume de dados transferidos entre a storage e
o database servers
• Reduzir o consumo de CPU nos database servers
• Reduzir o tempo de acesso aos discos

SMART SCAN - EXEMPLO
• Imaginemos que….
• 1 tabela com 1 coluna
• 50 registos por bloco
• Apenas 1 bloco de 8k
• Query:
select * from t1 where rowid = ‘AAAAB0AABAAAAOhAAA’
• Pelo menos o bloco todo tem que ser lido (8k) significando
uma transferência extra e inutil de 49 registos.
• Multipliquem isto por biliões = Demasiados dados
irrelevantes passados ao database server = bottleneck

SMART SCAN - REQUISITOS
• Para obter um smart scan:
• Full Scan
• Full Table Scan (Table Access Storage Full)
• Index Fast Full Scan
• Direct Path Read
• Presente no 11gR2
• Os dados são lidos directamente para o PGA, fazendo
bypass da buffer cache (SGA)
• Parallel e Serial (SMALL_TABLE_THRESHOLD)
• Exadata Storage
• Objectos que usem uma mistura de Exadata Storage e
“não” Exadata storage não são eligiveis

SMART SCAN – COLUMN
PROJECTION
• Column Projection
• Metadata enviada para as storage cells (via iDB)
• Resultado enviado via iDB
• Exemplo: 4 colunas de uma tabela de 100 colunas
possíveis : select a, b, c, d, e, f from table t where a=7;
• IO_CELL_OFFLOAD_ELIGIBLE_BYTES (volume de
dados evitados pelo uso da column projection)
• IO_INTERCONNECT_BYTES (volume de dados que
foram efectivamente retornados ao DB server)

SMART SCAN –
PREDICATE FILTERING
• Predicate Filtering
• O iDB contem informação sobre os predicados
• As clausulas WHERE (filtering) é feito nas storage cells
em vez do database server.
• Exemplo:
• select a, b, c, d, e, f from table t where a=7;
• Redução do volume de dados enviado para o database
server
• Redução do uso do CPU
Twitter: @failsafeSA

“NON” SMART SCAN
• Smart File Creation
• Inicialização de blocos (formatação) quando alocados pelo
Database server
• Criação e extensão de datafiles (tablespaces)
• RMAN Incremental Backups
• BCT (Block Change Tracking) passa a ser individual ao
bloco em vez de grupo de blocos
• Menos blocos a serem backup, menos tempo de backup
• RMAN Restores
• “File initialization” durante o Restore

SMART SCAN – “DISABLERS”
• Se algum dos requisitos não for cumprido
• No caso de:
• Clustered Tables
• Index Organized Tables (IOTs)
• Partial Smart Scan (block shipping mode)
• Chained rows – Smart Scan pausa, single block read
database server
• Read Consistency Issues – Se existir um bloco “mais
novo” que o lido pela query, single block read no database
server

SMART SCAN – STORAGE
INDEXES
• Não são indices regulares (Btree, bitmap, etc)
• Indentificam a localização onde o registo não está
• Guardam o valor máximo e mínimo cada coluna e uma
flag para NULL em cada unidade de storage de 1MB.
• Não são passiveis de tuning nem alteração
• São recriados a cada storage cell reboot

STORAGE INDEXES - IMAGEM
• Select a,b,c,d,e,f where col1=1001

STORAGE INDEXES - REQUISITOS
• Requisitos
• Smart Scan / Offload
• Pelo menos um predicato (WHERE)
• Comparação: =, <, >, BETWEEN, >=, <=, IN, IS NULL, IS NOT NULL
• Suporta
• Multi predicados (WHERE…AND…AND)
• Joins entre várias tabelas
• Parallel Querys
• HCC
• Bind Variables
• Partitions
• Sub-querys
• Não Suportado
• CLOB
• Predicados com % (LIKE ‘%’)

STORAGE INDEXES -
PERFORMANCE
• Podem resultar em aumentos dramáticos de performance
• A forma como os dados são ordenados) é
determinante (clustering factor*)
• Flag para valores NULL permite, ao contrário dos Btree
uma acrescimo de performance

HCC – HYBRID COLUMNAR
COMPRESSION
• Tipos de Compressão disponíveis:
• BASIC
• Compressão apenas com operação de direct path insert
• Unidade de compressão: bloco (8k/16k…)
• Datawarehousing oriented
• OLTP
• Compressão para todos os tipos de operação
• Symbol table para valores repetidos
• Compressão não imediata: Quando o bloco fica cheio, a
compressão ocorre
• Fallback do HCC
• HCC
• Compressão apenas com operação de direct path insert:
• APPEND/ Parallel Insert/ SQL*Loader/CTAS…
• Outro tipo de operações = OLTP

HCC – MECÂNICA
• Dados guardados em formato não convencional – ordenados e
em forma de coluna
• Disponível apenas na Exadata storage
• Blocos combinados em estruturas: Compression Units (CU)
com 32k/64k
• Formato intermédio entre row e column oriented storage:
• Permite ler um registo inteiro numa única CU
• Dados enviados para o Database server são comprimidos
• Decompressão = Database server

EXADATA SMART FLASH CACHE
• Marketing: “The World’s First Database Machine for OLTP”
• Hardware
• Cell cache nos storage servers
• Cada storage server = 4 cartas Sun Flash PCIe
Accelerator F20 no total de 3.2TB (X4)
• “Oracle is using flash PCIe cards in Exadata – not
flash disks”
• 1.33 GB/s throughput em cada PCIe flash disk
• 1,960,000 8K write I/Os per second
• Full RAC = 56 PCI Flash Cards – 44.8 TB
• Energy Storage Module (ESM) – Flush de dados voláteis
para storage não volátil.

ESFC – É BONITO POR FORA?

EXADATA SMART FLASH CACHE
• Cache para os Storage disks
• Não sujeito a Smart Scans!
• Use Cases
• Cache (ESFC) – [CellCLI> create flashcache all]
• Discos ASM (SSD) [CellCLI> create flashcache all size=200g]
• Ambos
• Performance
• Usa PCIe cards em vez de discos SSDs para evitar
bottleneck das controladoras (disk interface)
• Smart Caching
• Data cache inteligente – Dados “hot” na Flash Cache
• Dados ou objectos “non hot” são ignorados
• Optimização de políticas de caching por parte do DBA (alter
table foo.bar storage (cell_flash_cache keep);
• Exadata Flash Cache compression (~80T X4 full rack):
Hardware capable

ESFC – COMO FUNCIONA?

EXADATA SMART FLASH LOG
• Redo no discos Flash Cache/SSD? NÃO!
• A não ser que…
• Over budget – Demasiado dinheiro para comprar discos
normais 
• Tenham um Exadata:
• Parallel write redo discos e flash: “Faster wins”
• LGWR notificado assim que o primeiro termina
• Bottleneck mitigado: 1 dos I/O subsystem sobrecarregado

EXADATA – (RE)APRENDER
• OLTP
• ESFC
• Percentagem alta para physical I/O (avg wait 0.5ms)
• Escalabilidade: Upgrade half/full rack = 2x CPUs, 2x ESFC
• ESFL
• Write-Intensive workload = LGWR performance
• Datawarehousing
• Smart Scans/Offload
• FTS/IFFS – Direct path: “Run-time decision”:
• Explain Plan é inutil
• Chained Rows – “pass-through mode”
• Hints? “No No No”
• Storage Cells demasiado ocupadas:
• Column projection e Predicate filtering não executados
• Block shipping mode
• “Workaround solution” – “cell physical IO bytes pushed back to excessive
CPU”
• Partitioning
• Tamanho interessa!
• To Index or Not to Index
• Exadata is different – Thing differently ™

EXADATA – PERGUNTAS

Exadata - O Todo é maior que a soma das Partes

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Exadata - O Todo é maior que a soma das Partes

Semelhante a Exadata - O Todo é maior que a soma das Partes (20)

Mais de Luis Marques

Mais de Luis Marques (7)

Exadata - O Todo é maior que a soma das Partes

Notas do Editor