Optimizeprime

29/05/2019 MYSQL / MARIADB
localhost:8383/conference/mysql/optimyzeprime.html??print-pdf#/ 1/68
AFUP AIX-MARSEILLEAFUP AIX-MARSEILLE
MEETUP 28 Mai 2019
1 . 1

Maxime LONGUET
50% - Administrateur système et services
Linux/Internet
50% - Développeur Php
Depuis 15 ans... :(
1 . 2

Cool maintenant je suis DevOps
Et un Dev Ops Libre !
1 . 3

Entrepreneur passionné
1 . 4

Coordinateur de l'antenne AFUP Aix/Marseille
1 . 5

OPTIMIZE PRIMEOPTIMIZE PRIME
2 . 1

AU MENUAU MENU
Le choix du moteur de stockage
Les paramètres de configuration
Les systèmes de cache
Les optimisations système
vi /etc/mysql/my.cnf
2 . 2

CE QU'ON NE VERRA PASCE QU'ON NE VERRA PAS
Le bon MCD et le mauvais MCD
Le bon choix des types de données
La récriture de requête SQL
La bonne utilisation de doctrine
2 . 3

LES MOTEURSLES MOTEURS
3 . 1

CHOIX DES MOTEURSCHOIX DES MOTEURS
Innodb - Si beaucoup de lock de table c'est mieux.
Mais ACID = perte de perf
Myisam - Meilleur en simple lecture, mais moteur
non ACID et limité
3 . 2

INNODBINNODB
3 . 3

INNODB_BUFFER_POOL_SIZEINNODB_BUFFER_POOL_SIZE
Le Cache principal (données et index).
2/3 DE LA RAM OU MOINS2/3 DE LA RAM OU MOINS
innodb_buffer_pool_size = 3G
3 . 4

CONSERVER VOTRE DUMP INNODBCONSERVER VOTRE DUMP INNODB
Permet de recharger les pages du buﬀer innodb
[mysqld]
innodb_buffer_pool_dump_at_shutdow = 1
innodb_buffer_pool_load_at_startup = 1
3 . 5

3 AUTRES VARIABLES3 AUTRES VARIABLES
innodb_log_file_size = 256M
le journal transactionnel => Une heure de
stockage
innodb_file_per_table
Fichier ibdata par table => 1
Innodb_io_capacity /
Innodb_io_capacity_max
SATA = 200 à 400 io/s
SSD = 2000 io/s 3 . 6

MYISAMMYISAM
3 . 7

KEY_BUFFER_SIZEKEY_BUFFER_SIZE
Le seul, l'unique !
Comment on calcule son bon bon key_buﬀer_size
Key_read
nombre de lectures d'index non statisfaites
par le cache
Key_read_request
le nombre de lectures dans l'index
key_buﬀer_size = 128M
( 1 - Key_reads/Key_read_requests) *100 = 99%
3 . 8

LES TABLES TMPLES TABLES TMP
Mysql créer des tables temporaires pour travailler.
Qui peuvent finir sur le disque.
show global status LIKE 'Created_tmp%tables'
+-------------------------+----------+
| Variable_name | Value |
+-------------------------+----------+
| Created_tmp_disk_tables | 49094 |
| Created_tmp_tables | 37842181 |
+-------------------------+----------+
4 . 1

RECOMMANDATIONSRECOMMANDATIONS
Ratio table sur disque : doit rester inférieur à 20 %
created_tmp_tables / Uptime -- En dessous de
20/s
created_tmp_disk_tables / Uptime -- En dessous
de 1/seconde
Tmp_disk_tables=((created_tmp_disk_tables*100/
(created_tmp_tables+created_tmp_disk_tables))
4 . 2

ON PEUT JOUER SUR LES VARIABLESON PEUT JOUER SUR LES VARIABLES
Variable_name Value
max_heap_table_size
taille maximale des tables
Memory
tmp_table_size
taille maximale de la
mémoire utilisée par les
tables temporaires
4 . 3

QUERY CACHEQUERY CACHE
Le cache c'est le bien ! ou pas ?!
5 . 1

LE CACHE DES REQUÊTES ?LE CACHE DES REQUÊTES ?
le résultat des SELECT en mémoire
Un renvoi immédiat du résultat au 2éme même
select
Génial! là ça va bien marcher !
5 . 2

QUI NE PASSE PAS EN CACHE ?QUI NE PASSE PAS EN CACHE ?
les requêtes non deterministes,
NOW(), RAND(), CURRENT_DATE, UUID() ...
SELECT sur table temporaire ne passe pas en
cache
SELECT dans les procédures stockées
Les syntaxes diﬀérentes
SELECT id, nom FROM t;
SELECT id,nom FROM t;
5 . 3

LES PARAMÈTRES DELES PARAMÈTRES DE
CONFIGURATION DU CACHECONFIGURATION DU CACHE
SHOW GLOBAL VARIABLES LIKE 'query_cache%'
Variable_name Value
query_cache_limit 512000
query_cache_min_res_unit 4096
query_cache_size 47185920
query_cache_type ON
query_cache_wlock_invalidate OFF
6 . 1

Paramètre Définition
query_cache_size Taille du cache global
query_cache_limit
Taille maximum du
résultat d'une requête
query_cache_min_res_unit
taille minimum du
block de stockage.
query_cache_type ON / DEMAND / OFF
6 . 2

TROUVER LES BONNES VALEURSTROUVER LES BONNES VALEURS
show global status like '%qcache%'
Variable_name Value
Qcache_free_blocks 1509
Qcache_free_memory 45212856
Qcache_hits 20775204
Qcache_inserts 4072610
Qcache_lowmem_prunes 303605
Qcache_not_cached 223013
Qcache_queries_in_cache 940
Qcache_total_blocks 3499
6 . 3

Qcache_free_memory espace libre du cache
Qcache_lowmem_prunes
Nombre de requêtes
supprimées du cache
Qcache_hits Nombre de hit
6 . 4

On se sert ensuite de 'Com_select' et 'Uptime'
Com_select Nombre total de select executé
Uptime Services démarré depuis ...
show global status like 'Com_select'
Com_select 4518550
show global status like 'Uptime'
Uptime 16054064
6 . 5

CALCUL DE TAUXCALCUL DE TAUX
TAUX DE HIT
TAUX d'insertions
Ou encore d'autre taux ...
100*Qcache_hits/(Qcache_hits+Com_select)
100*Qcache_inserts/Com_select
6 . 6

https://stackoverflow.com/questions/45259529/query-cache-size
* Pct Query Cache free -- Qcache_free_memory / query_cache_siz
* Running out of room in QC -- Qcache_lowmem_prunes / Uptime
* SQL_CACHE attempted, but ignored -- Qcache_not_cached / Upti
* Percent of SELECTs that were not cached in the QC. -- Qcache
* Fragmentation in Query Cache -- Qcache_free_blocks * 4096 /
* Hit to insert ratio -- high is good -- Qcache_hits / Qcache_
* Hit ratio -- SELECTs that used QC -- Qcache_hits / (Qcache_h
* Query cache hit rate -- Qcache_hits / (Qcache_hits + Qcache_
* Fragmentation in Query Cache. -- Qcache_free_blocks / Qcache
* Invalidations/sec. -- Qcache_inserts - Qcache_queries_in_cac
6 . 7

Exemple à ne pas faire :
!! Il ne faut pas un query_cache_limit trop grand !!
query_cache_size pas forcément plus que 50M
Current query_cache_size = 512 M
Current query_cache_limit = 128 M
Current query_cache_min_res_unit = 4 K
6 . 8

LE CACHE C'EST PAS BIEN SILE CACHE C'EST PAS BIEN SI
Trop de requêtes en écriture
Beaucoup de requêtes diﬀérentes
Un cache trop petit
Beaucoup d'accès concurrents
6 . 9

DONC EN FAIT PAS DE CACHEDONC EN FAIT PAS DE CACHE
Mysql 5.7 le cache est déprécié, Mysql 8 le cache
n'existe plus !
Mariadb donne sur sa doc en réponse courte :
query_cache_type = OFF
query_cache_size = 0
A la rigueur on pourrait garder le cache si
Qcache_hits / Qcache_inserts > 5
6 . 10

ET DANS TOUS LES CAS PAS ENET DANS TOUS LES CAS PAS EN
DEV !DEV !
Pour tester vos requêtes : SELECT SQL_NO_CACHE
Désactivé tout simplement le cache mysql en dev
6 . 11

D'AUTRES CACHES UTILESD'AUTRES CACHES UTILES
6 . 12

TABLE_OPEN_CACHETABLE_OPEN_CACHE
Nombre de table ouverte pour chaque thread.
table_open_cache de 4000 n'est pas choquant
table_definition_cache un peu plus que le nombre de
tables total
SELECT @@table_open_cache;
SELECT @@table_definition_cache;
show global status like 'opened_tables';
6 . 13

LES THREADSLES THREADS
thread_cache_size et Threads_created
Threads_created : Doit rester en dessous de 5 par
secondes
6 . 14

LES SLOW QUERIESLES SLOW QUERIES
7 . 1

L'ACTIVATION DES SLOWS QUERIESL'ACTIVATION DES SLOWS QUERIES
De façon temporaire
Global
set global slow_query_log = 1;
set global slow_query_log_file = <some file na
set global long_query_time = 3;
slow_query_log = 1;
long_query_time = 3
slow_query_log_file = '/___/___/_____/___.log
7 . 2

Mais comment on étudie des slow querie
Premier choix on regarde juste le fichier....
Diminuer par palier 10s -> 7s -> 3s -> 1s
7 . 3

Mais est-ce qu'une requête de 7secondes qui
arrive une fois par semaine est plus importante
qu'une requête de 1,4 seconde qui se produit 700
fois.
7 . 4

LES OUTILS DE SLOW QUERIESLES OUTILS DE SLOW QUERIES
7 . 5

MYSQLDUMPSLOWMYSQLDUMPSLOW
Un binaire inclus avec mysql.
Note : Si vous avez accès en lecture au slow queries
alors vous pouvez lancer ce binaire avec un simple
utilisateur.
7 . 6

PT_QUERY_DIGESTPT_QUERY_DIGEST
En provenance de PerconaToolkit
pt-query-digest /var/log/mysql/mysql-slow.log
Sur serveur de dev se faire une petite session avec
long_query_time = 0
# Profile
# Rank Query ID Response time Calls R/Call V/M Item
# ==== ============= ============== ===== ======= ===== ======
7 . 7

ANEMOMETERANEMOMETER
Interface Web des résultats compilés de pt-query-
digest
https://github.com/box/Anemometer
7 . 8

LES INDEXLES INDEX
On cherche les requêtes n'utilisant pas d'index, le plus
souvent de façon temporaire
SET GLOBAL
log_queries_not_using_indexes=1;
7 . 9

LA GESTION DES INDEXLA GESTION DES INDEX
b.a.-ba. d'une base de données.
Toujours avoir une clef primaire
Index sur les Foreign-Keys
Index sur les Conditions et les ORDER BY selectif.
Index sur plusieur colonnes correspondant !
8 . 1

Juger de la pertinence d'un index selon sa
sélectivité. On met pas un index sur Homme /
Femme ça sert à rien.
Sur une table commune de 100 lignes il n'y a pas
d'intêret d'avoir un index...
Un index composite (A,B) peut utiliser A seul mais
pas B seul
8 . 2

LA MAINTENANCELA MAINTENANCE
TABLE FRAGMENTÉETABLE FRAGMENTÉE
A surveiller via une simple requête :
Et il suﬀit alors de lancer
SELECT CONCAT(TABLE_SCHEMA, '.', TABLE_NAME) AS Name,Data_free
FROM information_schema.TABLES
WHERE TABLE_SCHEMA NOT IN ('information_schema','mysql')
AND Data_free > 0;
OPTIMIZE TABLE TABLE1,TABLE2,TABLE3
9 . 1

Ou de façon périodique
mysqloptimize -o -A -u root -p
9 . 2

OPTIMIZEOPTIMIZE
Pour les tables MyISAM, celles-ci seront
défragmentées et l’espace disque vide non utilisé
sera récupéré.
Pour les tables InnoDB, l’optimisation consiste en
un alter table pour récupérer l’espace libre.
Si vous avez des index, ces derniers seront
réindexés et les stastistiques mises à jour.
9 . 3

LES OPTIMISATIONSLES OPTIMISATIONS
SYSTÈMESYSTÈME
10 . 1

LE PROCESSEURLE PROCESSEUR
Beaucoup de Core pour les accès concurrents
Des Ghz pour une requête
Des GHz pour la replication (cpufreq-info Vérifier
que vous n'avez pas de powersave en governor du
cpu)
10 . 2

LE DISQUELE DISQUE
Séparation des flux (journal, binlog,
partitionnement) sur disque distinct
Attention pas de RAID5 et de séparation des flux
sur des simples partitions distinctes...
Privilégier : SSD -> NVMe - Gaint significatif pour
les bases non optimisées
Les options noatime,nodirtime
10 . 3

LA RAMLA RAM
Un rôle crucial
Assez pour mettre toute la base en cache
(Key_buffer_size et innodb_buffer_pool_size)
Ou au moins suffisament pour les données
chaudes
Le bon vieux swapiness (60 -> 10)
10 . 4

LES OUTIL D'AUDITLES OUTIL D'AUDIT
11 . 1

MYSQLTUNNERMYSQLTUNNER
TUNING-PRIMER.SHTUNING-PRIMER.SH
git clone https://github.com/major/MySQLTuner-perl.git
cd MySQLTuner-perl/
perl mysqltuner.pl
$ wget http://www.day32.com/MySQL/tuning-primer.sh
$ sh tuning-primer.sh
11 . 2

PHPMYADMINPHPMYADMIN
Phpmyadmin fournit également des conseils
quand on va dans les variables d'état
11 . 3

LE MEILLEUR TRUCLE MEILLEUR TRUC
11 . 4

QUI DECHIRE TOUTQUI DECHIRE TOUT
11 . 5

MIGRER SOUSMIGRER SOUS
POSTGRESQL11POSTGRESQL11
:):)
11 . 6

RENDEZ-VOUSRENDEZ-VOUS
19 JUIN 2019 - PGDAY FRANCE à Lyon
www.pgday.fr
11 . 7

MERCIMERCI
Merci pour l'orga et à Oxatis
12

CHUUUUUTTTT.....CHUUUUUTTTT.....
13 . 1

L'OPTIMISEUR DE REQUÊTEL'OPTIMISEUR DE REQUÊTE
EXPLAIN .....
optimizer_search_depth = 7
13 . 2

MYSQLTMP EN TMPFSMYSQLTMP EN TMPFS
Création du ramdisk et point de montage
Modification de /etc/fstab
Modification de my.cnf
tmpdir = "/mnt/ramdisk"
# mkdir -p /mnt/ramdisk
# mount -t tmpfs -o size=512M tmpfs /mnt/ramdisk
# chown mysql:mysql /mnt/ramdisk
tmpfs /mnt/ramdisk tmpfs rw,mode=1777,size=512
13 . 3

14

QUESTIONS ?QUESTIONS ?
15

16

Optimizeprime

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Optimizeprime

Semelhante a Optimizeprime (20)

Optimizeprime