Codemotion - DevCast DevOps Serie 10 ottobre 2021 https://live.codemotion.com/devcast/a-tutto-devops-pratiche-ci-cd

1. Perché è così difficile il deploy dei database?
Giulio Vian
Senior DevOps Engineer, Unum

2. I problemi
Sovrapposizione Campionatura
Distacco
© Lauren Knipp

3. DBA
Senior
Dev
Scrum
Master
Junior
Dev
In a Start-up far far away

4. Gratis!
Troppo bello per
esser vero
• gratis
• open source
• tutti i DB!
• ed è pure usato
• e funziona!

5. Passano
I mesi
fino
ad un certo
venerdì

7. Colpiamo il nemico
con dacpac
con Doctrine Migrations
con …

8. la rivelazione

9. La legge
di Murphy
Non ha
eccezioni

10. Hardware spec:
1 KB RAM
(16KB after upgrade)
4 KB ROM
(8KB after upgrade)
First computer Past Companies Communities
Giulio Vian Senior DevOps Engineer
@giulio_vian
giuliovdev@hotmail.com

11. Agenda
Paradigmi cambiamento
Test Automatizzati
Tecniche per il Deploy

12. Paradigmi

13. Migration-based
Source: https://www.red-gate.com/hub/product-learning/sql-source-control/moving-from-application-automation-to-true-devops-by-including-the-database

14. Baseline (aka v0.0.0)

15. Script di migrazione independentI
Conflitto?

16. State-based
Source: https://www.red-gate.com/hub/product-learning/sql-source-control/moving-from-application-automation-to-true-devops-by-including-the-database

17. Diff script from schema-based tool
uh oh

18. Migration based
v1  v2
Non rileva conflitti
L’ordine è cruciale
State based
v1  v2
Non riconosce i rename
Azzera eventuali
differenze
I due paradigmi

19. Migration based
v1  v2
State based
v1  v2
Cosa usare

20. Migration based
v1  v2
Tante versioni in
esercizio
• On-premises
• Clients
State based
v1  v2
Una sola versione in
produzione
• On-line services
I due paradigmi

21. Test

22. Unit testing
tSQLt
Open source database Unit Testing
framework for SQL Server
https://tsqlt.org/
DbUnit
JUnit extension
http://www.dbunit.org/
NDbUnit2
.NET library for managing database state
during unit testing
https://github.com/savornicesei/NDbUnit
2
DbFit
Fitness style (Java+Jdbc)
http://dbfit.github.io/dbfit/
Respawn
Intelligent database cleaner for
integration tests
https://github.com/jbogard/Respawn

23. Reset del Database
Containers
Virtual Machines
Volume Snapshots
Database Snapshots

24. Dati RealisticI
Dimensioni
Requisiti di riservatezza
(PII)
Pre-trattamento
Masking / Substitution / Encryption /
Shuffling / Generation
Spazio occupato

25. Conseguenze
Problemi tecnici
Durata del Deployment
Performance delle query
Problemi commerciali e legali
Abuso di informazioni

26. Deploy

27. Database Refactoring Cycle
Initial state Final state
Implement the refactoring
Test on non-production
Refactoring completed
deploy new schema,
migrate data
deploy new application version

28. Forward change
Tempo di migrazione dei dati

29. Database Refactoring Cycle
Initial state Final state
Implement the refactoring
Test on non-production
Refactoring completed
deploy new schema,
migrate data
deploy new application version

30. Rollback
Perdita di dati contenuti nelle nuove strutture

31. Database Refactoring Cycle
Initial state Final state
Transitional state
Implement the refactoring
Test on non-production
Refactoring completed
All systems use the new schema
Coexistence of
old and new schema
Expand:
deploy new schema,
migrate data,
add scaffolding code
Contract:
Drop old schema objects
and scaffolding code

32. Elementi Chiave
In input solo sorgenti
Pacchetti (es. dacpac) vanno in un Artifact Store
e devono essere il risultato di una build
Istanze di database per la build
Ad ogni Branch la sua Istanza
Gestione delle credenziali

33. Riassumendo

34. applicazioni
DATi

35. La morale
Nessun tool
ti può salvare
Studiare è
l’unico modo
di prevenire
problemi
Disciplina,
tanta
disciplina

36. Strumenti
Open source
Liquibase
Flyway
dbup
gitSQL
DbPatch
dbdeploy.net
OnlineSchemaChange
Prodotti
SQL Server Data Tools (SSDT)
RedGate SQL Compare
devart

37. Bibliografia: Articoli
Schema migration
Evolutionary Database Design
100% Online Deployments
Blue-Turquoise-Green
Deployment
ALTER MySQL tables without
locking them
Automated blue/green
database deployments
Blue-Green Deployment on
AWS with Database
Synchronisation

38. Bibliografia: Libri
Refactoring Databases: Evolutionary Database Design
http://www.agiledata.org/

39. Grazie e attendo le vostre domande
Giulio Vian
Senior DevOps Engineer, Unum
Il contenuto della presentazione ha carattere
didattico. Ogni sforzo è stato fatto per risalire agli
autori delle immagini impiegate. In caso di errori od
omissioni, vi chiediamo di segnalarli per procedere
alle correzioni.