Von der Strategie zur Praxis - Installationen und Updates global ausgerollt

Von der Strategie zur Praxis
Installationen und Updates global ausgerollt
Andreas Haak und Dirk Gießler
OPITZ CONSULTING Deutschland GmbH

DOAG Konferenz 2013, Nürnberg, 21.11.2013
DOAG 2013 – Von der Strategie zur Praxis: Installationen und Updates global ausgerollt

© OPITZ CONSULTING GmbH 2013

Seite 1

Seite 1

Systemumgebung
 Global agierendes Unternehmen mit mehr als
40.000 Mitarbeitern
 Systemarchitektur
 Serverarchitektur global verteilt mit zwei zentralen Rechenzentren in
Europa und USA und zahlreichen lokalen Systemen
 Mehr als 3.000 Server (50% Linux / 40% Windows / 10% UNIX)
 Mehr als 10.000 Datenbanken (60% Oracle / 40% SQL Server)
 90 % der Oracle Datenbanken laufen unter RedHat Linux

 IT-Organisation nach ITIL
 Etabliertes Release Management / Change Management
 Systemarchitektur zentral dokumentiert



Seite 2

Anforderungen
Reduzierung der IT-Kosten
bei Erhöhung der Service-Qualität durch
 Globale, einheitliche Release-Strategie
 Betriebssystem, Oracle (DB, Middleware, EM GC, … )

 Regelmäßige Updates
 Major – Minor Releases
 Scheduling, Automatisierung
 Maintenance Windows

 Qualitätssicherung
 Freigabe geprüfter Releases
 Abweichung durch Monitoring erkennen (gültiges Release, „Fehler“)

 Bestellverfahren
 Automatische Installation des Unternehmensstandards


Seite 3

Inhalt

1.

Architekturkonzept

2.

Distribution der Software

3.

Architektur RPM Release

4.

Anwendungsbeispiele

5.

Automatisierung und Update-Zyklen



Seite 4

1

Architekturkonzept



Seite 5

Anforderungsszenario Beispiel Oracle Datenbank
OS (RHEL)
ORACLE BINARIES

Netzwerkkonfiguration

DB Instanz

Backupkonfiguration

DB Instanz

Monitoringkonfiguration

DB Instanz

Umgebungskonfiguration
Dokumentation



Seite 6

Lösungsarchitektur Distributionsstandard RPM
 Anbindung der Serverarchitektur an zentrales
Installationsrepository (RedHat Satellite)
 Bereitstellung standardisierter RPM Installationspakete
(RedHat Paket Manager)
 Installation Softwarekomponenten
 Konfiguration Systemumgebung
 Administrationstools

 Flexible Konfiguration über zentrale Release XMLs
 Definition von validierten OS und Oracle Releases (linux.xml, oracle.xml)
 Distribution auf alle Server



Seite 7

Warum RPM?
 Robustheit
 Standardisiertes Produkt mit definierten Eigenschaften
 Bewährt – millionenfach im Einsatz

 Flexibilität





Gut dokumentiert
Sehr mächtig durch Unterstützung von UNIX Shell und Skriptlets
Abbildung komplexer Installationen über Phasenmodell
Leichte Portierbarkeit auf alternative Linux Distributionen

 Funktionalität
 Einfache Anwendung durch leistungsfähigen Paketmanager
 wenige Befehle (install, update, remove)
 automatische Abhängigkeitsauflösung

 Unterstützung für zentrales Repository



Seite 8

Beispiel 1
 Paketierung (RPM)


Hersteller RPMs

kernel-2.6.18-308.4.1.el5
device-mapper-1.02.67-2.el5

Versionsbezeichnung
lt. Hersteller

hpdiags-8.7.0-26
hp-ilo-8.5.0-1.rhel5

TIVsm-API-6.2.4-1
TIVsm-BA-6.2.4-1



Seite 9

Beispiel 2
 Paketierung (RPM)


Entwicklung eigener RPMs

oc-oracle-preparations-1.6-5.el5
oc-oracle-rdbms-ora11r2-3-3-1.0-1

Interne Versionierung
oc-release-4.3-1
oc-perl-libs-1.1-4
oc-tdpo-1.1-2


-

Konfiguration
Skripte
Skript Libraries
(…)


Seite 10

2

Distribution der Software



Seite 11

Red Hat Network Satellite Server

https
Apache HTTP Server

Red Hat
Network

FW

https
RHN Core System

RPM Files
Config File

Repository DB



Seite 12

Bereitstellung der RPMs – Software Channels
 Zuordnung der RPMs zu Software Channels
<RPM-1>
<RPM-2>

<Release-Channel>

(…)

<RPM-n>
<RPM-001>

<Sub-Cannel 1>

(…)

<RPM-00n>

<Sub-Cannel 2>

<RPM-011>
(…)

<RPM-01n>

(…)
<Sub-Cannel n>

<RPM-021>
(…)
<RPM-02n>



Seite 13

Zentrale Verwaltung im Red Hat Satellite
Satellite Repository

abonniert

OC-RHEL5-4.0
OC-RHEL5-4.0
OC-RHEL5-4.0
OC-RHEL5-4.0
OC-RHEL5-4.0
OC-RHEL5-4.3
OC-RHEL5-4.3

Apps
Backup
Clustering
Oracle Server OC-ORA11
Security Update
Update

Konfigurationschannels
OC-RHEL5-4
OC-RHEL5
OC-LINUX



OC-LINUX-RHEL5-4.3

Softwarechannels

Seite 14

Beispiel: Konfiguration Channels



Seite 15

Installations- und Updateprozess

RPM/Konfig.
.

Software /
Konfiguration Channels Download RPMs

Download Konfig.

System X

System X
Einheitlicher Installationsprozess


OC Linux 5.4-1
OC Oracle 11.3.2


Seite 16

Bedingungen für Installation und Update
 Installation und Update nur über Satellite Server möglich
 Alle Server haben Zugriff auf das Repository
 Definition eines Release durch RPM-Versionen und Konfigurationsdateien
 Definition in zentralen XML Dateien (linux.xml, oracle.xml)

Nur Installation validierter („gültiger“ Releases)



Seite 17

3

Architektur RPM Release



Seite 18

Aufbau OC Release-Schema
OC Release
RPM Package

Zusätzliche
Installationsdateien

SPEC File

Configuration XML

Installationsdateien



Seite 19

RPM (Red Hat Package Manager)
 Definition eines SPEC Files (Beispiel)
Summary:
Version:

Eigenschaften

License:
Group:
%build
%install

%clean

Aufbau, Clean-up, Dateien

%files
%pre
%preun
%post

Pre-/Post Install und Uninstall

%postun


Seite 20

Aufbau RPM SPEC Oracle RDBMS (Ausschnitt)



Seite 21

RPM generieren und installieren
 Generierung eines RPM aus den SPEC Files
 rpmbuild <Optionen> <Spec-File>
 Generiert <RPM-Name>.rpm

 Installation und Update eines RPM
 Installation rpm –ivh <RPM-Name>.rpm
 Update rpm –Uvh <RPM-Name>.rpm
 Installation / Update via Red Hat Satellite
 yum [install|update] <RPM-Name>.rpm



Seite 22

Upgrade des Systems mittels RPMs
 Installation / Upgrades von RPMs in der Reihenfolge ihrer
Abhängigkeit
 Die Abhängigkeiten sind im RPM selbst definiert
 Die Inhalte und Reihenfolge der Pre-/und Post Installation
sind im RPM selbst definiert
 Weiter Pre-/Post Installation Tasks sind in der zentralen
XML Datei vorgeben (linux.xml,oracle.xml)
 Nach Installation / Upgrade: Validierung des
Installationsstandes der RPMs gegen die XML Datei

Validiertes ( = „gültiges“ Release)


Seite 23

4

Anwendungsbeispiele



Seite 24

Anforderungsszenario Beispiel Oracle Datenbank
OS (RHEL)
ORACLE BINARIES

Netzwerkkonfiguration

DB Instanz

Backupkonfiguration

DB Instanz

Monitoringkonfiguration

DB Instanz

Umgebungskonfiguration
Dokumentation



Seite 25

Oracle XML – zentrale Konfigurationsdatei
 Enthält alle wesentlichen Konfigurationsparameter





Packagedeklaration (Checksum, Packageversionierung, ...)
Pre/Post Update Erweiterungen
Installationsparameter (Kernelparameter, Homesize, Instanzparameter, …)
Standardreleasedeklaration über
 Standardpatches und Lebenszyklusmodell

 …

 Auswertung erfolgt vom innersten Knoten (Leaf) zum
äußersten Knoten (Tree)
 Tag-Suche wird nach Treffer beendet
– Ermöglicht maximale Flexibilität bei minimaler Größe

 Liegt zentral auf Repository Server (Satellite), wird vor jeder
Installation / Update per wget vom Satellite Server geladen



Seite 26

Aufbau Oracle XML


Tree – produktspezifische Deklarationen



Branch Major – Release-übergreifende Deklarationen



Major Minor – Release-übergreifende Deklarationen



Minor Leaf – Release-spezifische Deklarationen



Seite 27

Installation Oracle Software



Seite 28

Installationsprozess Beispiel Oracle RDBMS
 Zweiteiliger Installationsmechanismus
 RPM Package mit Installationslogik und Pre/Post-Installationschecks
(wenige KB)
 Tar File (mehrere GB) mit komplettem Oracle Home
PostInstallationschecks

Durchführung von
Systemchecks
RPM von
Repository holen
Auflösung der
Abhängigkeiten
durch
Paketmanager

Oracle Tar File von
Repository holen
und entpacken
Oracle CloneProzedur



Seite 29

Oracle Update 1
 Stage-Routinen für automatisierte Updates
 Stage0 Pre-Update Checks
 Stage1 Oracle Software-Installation
 Stage2 Oracle Instanz-Update

 Unterstützte updates
 Updates innerhalb Oracle Major Release (11R2,10R2) unterstützt
 Updates zwischen Major Releases manuell über Export/Import

 Stage0






Holt aktuelle oracle.xml vom repository Server
Prüft Systemumgebung (Cluster, Single Server)
Prüft ob es sich um ein Standardrelease handelt
Prüft ob die Zielversion des Updates bereits installiert ist
Prüft ob das update für die Zielinstanz unterstützt wird



Seite 30

Oracle Update 2
 Stage1 (optional)
 Installiert Oracle Software nach Oracle Software-Installationsverfahren

 Stage2
 Setzt Blackout für Instanzmonitoring und Freeze der Clusterservices
 Führt Pre-Update Steps aus oracle.xml aus
 Switch des Oracle Home
 Update oratab
 Update Links zu zentralen Konfigurationsdateien (TNS-Names, init.ora,…)






Instanz-Upgrade
Führt Post-Update Steps aus oracle.xml aus
Nachgelagerte Update Checks
Auflösung Blackout



Seite 31

Anforderungsszenario Linux Upgrade
OC LINUX-RHEL5-3.2
Installation OC-RHEL Update Tools
Zuweisung Channels
Pre-installation Tasks
Update der RPMs
Get all RHN Config Files
Post-installation Tasks
Bei Major Update Reboot

OC LINUX-RHEL5-4.3


Seite 32

Aufbau Linux XML analog Oracle XML
<tree name=„OC-LINUX">
<pre_upgrade_rpm value=„oc-customization yum rhn*"/>
<post_upgrade_rpm value=„oc-customization bibit"/>
<pre_upgrade_service_major value="rgmanager|stop"/>
<post_upgrade_shell_minor value="killall -9 clurgmgrd"/>
<UpdateExclude value=„oc-oracle* ocbit*"/>
<branch name="RHEL6">
<leaf_major_version name="3"
<leaf_minor_version name= "2" status="productive">
<kernel_version value="2.6.32-279.el6.x86_64"/>
<RPM_required value="device-mapper-multipath-0.4.9-56.el6.x86_64
lvm2-2.02.95-10.el6.x86_64 sssd-1.8.0-32.el6"/>
<RPM_optional value="rzoper-3-0.noarch ocbit-3.6-1 oc-ovoagt-8.6-7
cfg2html-linux-1.74-1.noarch"/>
<CONFIG_optional value="/etc/snmp/snmpd.conf /opt/hp/hpsmh/conf/smhpd.xml
"/>
( ... )



Seite 33

5

Automatisierung und Update-Zyklen



Seite 34

Automatisierung – Oracle Self Service
 Automatisch erfolgt:
 Systemprüfung
 Bereitstellung der Software-Installation
 Erstellung der Instanz nach
Kundenparametern
 Einbindung in Monitoring
 Einbindung in Backup Management
 Systemabnahme
 Erstellung der Systemdokumentation
 Benachrichtigung nach Fertigstellung

Ohne manuelle Eingriffe!



Seite 35

Release-Zyklus Linux/Oracle 1
 Development
 Aktuelle Arbeitsversion
 Kann manuell für Tests installiert werden, keine Installation mit
Standard-Installationsverfahren
 Kein Support durch OS/Datenbankbetrieb

 Default
 Standard-Release
 Bevorzugtes Release für Standard-Installationsverfahren
 Support durch OS/Datenbankbetrieb

 Produktiv
 Produktives Release
 Installation bei begründeten Anforderungen möglich


Seite 36

Release-Zyklus Linux/Oracle 2
 Phase Out
 Unterstütztes Release
 Keine Installation mit Standard-Installationsverfahren

 Terminated
 Nicht unterstütztes Release
 Keine Installation mit Standard-Installationsverfahren
 Kein Support durch OS/Datenbankbetrieb



Seite 37

Beispiel Update-Zyklen Linux OS
 Minor Updates in monatlichen Zyklen
 analog den MS Windows Updates
 Automatisiert über den Red Hat Satellite in einzelnen Waves
 Patchwaves: Zeitzonen gesteuert

 Major Updates in Quartalszyklen
 Reboot erforderlich
 Manueller (kontrollierter) oder automatischer Start

 Automatische Koordination mit Oracle Updates



Seite 38

Beispiel Update-Zyklen Oracle DB Instanz
 Minor-Updates in monatlichen Zyklen
 Minor Update Prozess komplett automatisiert
 Automatische Software Installation Teil des Update Prozesses
 Instanz-Updates analog Linux Updates über Satellite in Patchwaves

 Major-/ Non Standard-Updates in Quartalszyklen
 Updates werden manuell gestartet und ausgewertet
 Software Installation als Oracle Self Service verfügbar

 Automatische Koordination mit Linux Updates



Seite 39

Diskussion



Seite 40

Kontakt
Andreas Haak, Seniorberater
Standort Bad Homburg
andreas.haak@opitz-consulting.de
Telefon +49 6172 66260-0
Mobil
+49 173 7279053

Dirk Gießler, Seniorberater
Standort Bad Homburg
dirk.giessler@opitz-consulting.de
Telefon +49 6172 66260-0
Mobil
+49 173 7276090

youtube.com/opitzconsulting
@OC_WIRE
slideshare.net/opitzconsulting
xing.com/net/opitzconsulting



Seite 41

Von der Strategie zur Praxis - Installationen und Updates global ausgerollt

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (15)

Mais de OPITZ CONSULTING Deutschland

Mais de OPITZ CONSULTING Deutschland (20)

Von der Strategie zur Praxis - Installationen und Updates global ausgerollt