OpenShiftでJBoss EAP構築

RED HAT | Daein Park
#rhconvergence
1
Red Hat Customer Convergence
#rhconvergence

#rhconvergence
2
OpenShift で JBoss EAP 構築
Daein Park
Technical Support Engineer
2018/05/29

#rhconvergence
3
AGENDA
●
OpenShift の概要
●
OpenShift と JBoss EAP
●
JBoss EAP の構築（ DEMO ）
●
アプリケーション構築の TIPs
●
QA

#rhconvergence
4
OpenShift の概要

#rhconvergence
5
OpenShift の簡単なご紹介
●
Enterprise Kubernetes and more
https://www.openshift.com/learn/topics/kubernetes/
●
Product Family
●
OpenShift Online (Multi tenant)
●
OpenShift Dedicated (Single tenant)
●
OpenShift Container Platform ( 本日の対象 )
●
Built on RHEL, Kubernetes, Docker +Alpha
●
Microservice Architecture, Infrastructure as Code
●
DevOps ...

#rhconvergence
6
OpenShift のコアコンセプト
●
Containers and Images
●
Pods and Services
●
Projects and Users
●
Builds and ImageStreams
●
Deployments
●
Routes
●
Persistent Volumes
●
Persistent Volume Claims

#rhconvergence
7
OpenShift のレイヤ構成

#rhconvergence
8
OpenShift のデプロイフロー
●
S2I(Source To Image) はソースコードから Docker イメージをビルドするツールセット
●
ベースイメージにソースを入れて新しいイメージ作成 Speed, Image flexibility, Operational security ...
※ 下記の図は処理フローの説明のため一部処理が省略されております。

#rhconvergence
9
OpenShift と JBoss EAP

#rhconvergence
10
OpenShift で JBoss EAP の構築メリット
●
Java EE のアプリケーションをコンテナ環境で稼働する Best Practice→JBoss EAP
●
RHCC から提供するイメージで簡単に利用可能（＋セキュリティ）
●
OpenShift をサポートする機能を提供
●
Automated transaction recovery 機能
●
OpenShift 機能と関連して設定ガイド及び資料が充実
●
関連製品に対しても OpenShift をサポート (AMQ, RHDM, Fuse ...)

#rhconvergence
11
JBoss EAP の構築 (DEMO)

#rhconvergence
12
OpenShift での JBoss EAP 構築
★ 実は 1 行のコマンドで JBoss EAP が構築できます！
# oc new-app eap71-basic-s2i
クラスタも対応済みで追加設定なしで利用できる程度
●
上記のコマンドの背景を理解すると自由に応用可能
●
OpenShift のリソース定義コードを分かるのが IaC の最初一歩
（コマンドで殆ど自動に生成してくれます。修正したいところだけ直すイメージです。）
●
JBoss EAP を利用した Application Development のライフサイクルを DEMO
●
JBoss EAP を OpenShift で構築するフローを確認すると導入時のイメージが明確に

#rhconvergence
13
DEMO 環境
●
OpenShift 構成
●
OpenShift Container Platform v3.9
●
Master ホスト x 1
●
CPU: Core x 4
●
Memory: 8Gi
●
Node ホスト x 3
●
CPU: Core x 2
●
Memory: 4Gi
●
ストレージ構成
●
内部 Service の Pod 用 : NFS
●
Apps の Pod 用 : CNS (GlusterFS)
★iSCSI で Block タイプの Volume を Provision

#rhconvergence
14
DEMO システム構成
●
Application 構成
●
JBoss EAP (Application Server)
●
JBoss EAP v7.1 for OpenShift
●
Httpd v2.4 (Web Server)
●
PostgreSQL v9.2 (DB Server)
●
Management System 構成
●
CI/CD : Jenkins
●
Monitoring : Prometheus
●
Logging : EFK

#rhconvergence
15
DEMO 内容
●
アプリケーション環境を Dev(Build)→Stg(Deploy)→Prod(Deploy) 順に作成
●
S2I による Build, Rolling Update による Deploy

#rhconvergence
16
JBoss EAP for OpenShift イメージ関連設定 #1
●
Jboss EAP for OpenShift イメージを取得する方法
●
Red Hat Registry から直接 PULL する方法
●
それ以外には third-party registry, Satellite 等
●
作業手順
●
Red Hat Container Catalog サイトにアクセス
●
関連イメージを検索して PULL するイメージを選択
●
Get Latest Image タグを選択して関連プラットフォームを選択
●
提示された方法に従ってイメージを取得

#rhconvergence
17
●
Red Hat Container Catalog
●
RHCC
[ https://access.redhat.com/containers ]
●
日本語の説明ページ
[http://jp-redhat.com/openeye_online/column/oss-note/5894/]
●
セキュリティチームの審査
●
FAQ

#rhconvergence
18

#rhconvergence
19
●
RHCC からコピーしたコマンドの実行
●
openshift プロジェクトにインポートすることで共有可能
●
既存 ImageStream 名を指定し、タグでバージョンを指定（バージョンアップも同じ手順）
-- Import the image to openshift namespace
master1~# oc import-image jboss-eap71-openshift:1.1 -n openshift
--from=registry.access.redhat.com/jboss-eap-7/eap71-openshift:1.1
--confirm
-- Check the image imported
master1~# oc get is jboss-eap71-openshift -n openshift
-- Tag the latest version
master1~# oc tag jboss-eap71-openshift:1.1 jboss-eap71-openshift:latest -n openshift

#rhconvergence
20
DEMO: Jenkins 環境構築

#rhconvergence
21
DEMO: Jenkins 環境構築 #1
●
各環境の Build(Dev) 及び Deploy(Stg, Prod) のタスク管理
●
stg と prod 環境の Pipeline を利用して BuildConfig を定義（ Build はしない）
●
git サーバの webhook で trigger できるように設定
●
必要なリソース : Project, BuildConfg
●
Project
# oc new-project jenkins
●
BuildConfig
# oc create -f <YAMLFILE>

#rhconvergence
22
DEMO: Jenkins 環境構築 #1-1
●
検証環境 (stg) に実施される Build 及び Deploy を定義した Pipeline の BuildConfig
apiVersion: v1
kind: BuildConfig
metadata:
labels:
name: stg-pipeline
name: stg-pipeline
spec:
runPolicy: Serial
strategy:
jenkinsPipelineStrategy:
jenkinsfile: |-
node(''){
stage 'Preparation for Build'
openshiftVerifyBuild(namespace: 'dev', bldCfg: 'petstore-dev')
stage 'Preparation for Deployment'
openshiftVerifyDeployment(namespace: 'stg', depCfg: 'petstore-stg')
stage 'Build by S2I'
openshiftBuild(namespace: 'dev', bldCfg: 'petstore-dev', showBuildLogs: 'true')
stage 'Verify the Deployment'
openshiftVerifyDeployment(namespace: 'stg', depCfg: 'petstore-stg', verifyReplicaCount: 'true')
}
type: JenkinsPipeline
triggers:
- github:
secret: gitsecret
type: GitHub
- generic:
secret: genericsecret
type: Generic

#rhconvergence
23
DEMO: Jenkins 環境構築 #1-2
●
検証環境 (prod) に実施される Deploy を定義した Pipeline の BuildConfig
apiVersion: v1
kind: BuildConfig
metadata:
labels:
name: prod-pipeline
name: prod-pipeline
spec:
runPolicy: Serial
strategy:
jenkinsPipelineStrategy:
jenkinsfile: |-
node(''){
stage 'Preparation for Deployment'
openshiftVerifyDeployment(namespace: 'prod', depCfg: 'petstore-prod')
stage 'Confirmation of Deployment'
input 'Confirmation Required: Do you proceed with this Deployment on the prod system ?'
stage 'Deployment on the Production Env'
openshiftDeploy(namespace: 'prod', depCfg: 'petstore-prod')
stage 'Verify the Deployment'
openshiftVerifyDeployment(namespace: 'prod', depCfg: 'petstore-prod', verifyReplicaCount: 'true')
}
type: JenkinsPipeline

#rhconvergence
24
DEMO:Dev 環境構築
COMPLETED

#rhconvergence
25
DEMO:Dev 環境構築 #1
●
Build 専用環境、 Build した Image を内部 Registry に Push する役割
●
必要なリソース : Project, ImageStream, BuildConfig
●
Project
# oc new-project dev
●
権限付与： jenkins から dev に対して Build 操作する権限として edit ロールを付与
# oc adm policy add-role-to-user edit system:serviceaccount:jenkins:jenkins -n dev
●
ImageStream
# oc create is petstore-dev
●
BuildConfig
●

#rhconvergence
26
DEMO:Dev 環境構築 #1-1
●
Git リポジトリの Source を利用した Build (S2I) を定義した Dev 環境の BuildConfig
apiVersion: v1
kind: BuildConfig
metadata:
labels:
app: petstore-dev
name: petstore-dev
spec:
failedBuildsHistoryLimit: 5
output:
to:
kind: ImageStreamTag
name: petstore-dev:latest
runPolicy: Serial
source:
git:
uri: http://git.app.example.com/dapark/petstore.git
type: Git
strategy:
sourceStrategy:
from:
name: jboss-eap71-openshift:latest
namespace: openshift
type: Source
successfulBuildsHistoryLimit: 5
triggers:
- type: ConfigChange
- imageChange: {}
type: ImageChange
1 2

#rhconvergence
27
DEMO:Stg 環境構築
COMPLETED COMPLETED

#rhconvergence
28
DEMO:Stg 環境構築 #1
●
Dev で Build された ImageStream を利用して Deploy する検証環境 (stg)
●
必要なリソース : Project, DeploymentConfig (application<petstore>, httpd, postgresql)...
●
Project
# oc new-project stg
●
権限付与 : jekins から stg にデプロイ、 dev からは image pull できる権限設定
# oc policy add-role-to-user edit system:serviceaccount:jenkins:jenkins -n stg
# oc policy add-role-to-group image-puller system:serviceaccounts:stg -n dev
●
Httpd → PostgreSQL → Application<petstore> 順にリソース定義
●
Httpd は Dockerfile を利用してカスタムしたイメージを作成
●
カスタムした Httpd の設定は ConfigMap を利用して利用するように設定
●
PostgreSQL は new-app コマンドで作成 (Template)

#rhconvergence
29
DEMO:Stg 環境構築 #1-1
●
既存 httpd イメージをベース次の仕様に合わせた新しいベースイメージを作成
●
“/etc/httpd/custom.d” 配下の *.conf を反映する設定を追加
●
stg と prod の各環境での httpd の追加設定ファイルは configMap を利用して作成
●
作成された configMap ”は /etc/httpd/custom.d” にマウントされるように実装
●
Httpd の設定変更するたびに再 Build する必要がないし、直感的な管理
●
新しい httpd のベースイメージを Build する Dockerfile
FROM registry.access.redhat.com/rhscl/httpd-24-rhel7:latest
USER 0
RUN mkdir -p /opt/rh/httpd24/root/etc/httpd/custom.d &&
chgrp -R 0 /opt/rh/httpd24/root/etc/httpd/custom.d &&
chmod -R g=u /opt/rh/httpd24/root/etc/httpd/custom.d &&
echo "IncludeOptional custom.d/*.conf" >> /opt/rh/httpd24/root/etc/httpd/conf/httpd.conf
USER 1001

#rhconvergence
30
●
Httpd のカスタムした Docker イメージを Build して Internal Repository に Push
●
予め作成した Dockerfile で新しい Docker Image を Build
# docker build .
●
Build した Image ID に内部レジストリで利用する新しい tag を作成
# docker tag <IMAGE_ID> docker-registry.default.svc:5000/openshift/httpd-custom:latest
●
Push するため内部レジストリに認証
# docker login -u admin -p $(oc whoami -t) docker-registry.default.svc:5000
●
Build した Image を Push
# docker push docker-registry.default.svc:5000/openshift/httpd-custom:latest

#rhconvergence
31
●
stg 環境で利用するため作成 httpd の設定ファイルで ConfigMap を作成
# oc create configmap httpd-stg --from-file=stg.conf
●
先程作成した httpd-custom を利用して httpd の Pod を作成
# oc new-app --name=httpd httpd-custom
# oc volume dc/httpd --add --type=configmap --name=httpd-stg
--configmap-name=httpd-stg --mount-path=/etc/httpd/custom.d
●
stg-petstore.app.example.com で外部公開
# oc expose service httpd --hostname=stg-petstore.app.example.com
●
PostgreSQL は Built-in の Template を利用して作成
# oc new-app -i postgresql:9.2 -e POSTGRESQL_USER=petstore
-e POSTGRESQL_PASSWORD=petstore -e POSTGRESQL_DATABASE=petstore
-e POSTGRESQL_ADMIN_PASSWORD=redhat --name postgresql
●
CNS(GlusterFS) を利用して PVC を定義→動的な PV の割り当て
# oc set volumes dc/postgresql --name=postgresql-volume-1
--claim-name=postgres-pvc --claim-mode=ReadWriteOnce --claim-size=1Gi --claim-class=glusterfs-storage --add --overwrite
# filename: stg.conf
RewriteEngine On
RewriteRule ^/applicationPetstore/(.*) /$1 [PT,QSA,L]
ProxyRequests Off
ProxyPreserveHost On
<Proxy *>
Require all granted
</Proxy>
Define stg-svc petstore-stg.stg.svc:8080
ProxyPass / http://${stg-svc}/applicationPetstore/
ProxyPassReverse / http://${stg-svc}/applicationPetstore/
ExtFilterDefine title_update mode=output intype=text/html
cmd="/bin/sed s/Yaps/STAGING/g"
SetOutputFilter title_update

#rhconvergence
32
●
Httpd の Pod と連携する Service を先に作成
●
Service に付与されるデフォルトのドメインの形式
<Service Name>.<Project Name>.svc
●
Internal load balancer
●
JBoss EAP のクラスタ用の PING も Service で定義される
●
Pod はの追加／除外が実施される (ReadinessProbe でカスタム可能 )

#rhconvergence
33
●
petstore-stg は WEB サービス用で petstore-stg-ping はクラスタ用の PING
apiVersion: v1
kind: Service
metadata:
annotations:
service.alpha.kubernetes.io/tolerate-unready-endpoints: "true"
labels:
app: petstore-stg
application: petstore-stg
name: petstore-stg-ping
spec:
clusterIP: None
ports:
- name: ping
port: 8888
protocol: TCP
targetPort: 8888
selector:
app: petstore-stg
deploymentconfig: petstore-stg
type: ClusterIP
apiVersion: v1
kind: Service
metadata:
labels:
app: petstore-stg
name: petstore-stg
spec:
ports:
- port: 8080
protocol: TCP
targetPort: 8080
selector:
app: petstore-stg
type: ClusterIP

#rhconvergence
34
spec:
containers:
- env:
- name: JGROUPS_PING_PROTOCOL
value: openshift.DNS_PING
- name: OPENSHIFT_DNS_PING_SERVICE_NAME
value: petstore-stg-ping
- name: OPENSHIFT_DNS_PING_SERVICE_PORT
value: "8888"
- name: MQ_CLUSTER_PASSWORD
value: change_the_password
- name: MQ_QUEUES
- name: MQ_TOPICS
- name: JGROUPS_CLUSTER_PASSWORD
- name: AUTO_DEPLOY_EXPLODED
value: "false"
image: “dev/petstore-dev:latest”
imagePullPolicy: Always
name: petstore
ports:
- containerPort: 8778
name: jolokia
protocol: TCP
name: http
protocol: TCP
name: ping
protocol: TCP
●
JBoss EAP の Pod を作成
●
空白なしで YAML ファイルに保存
apiVersion: v1
kind: DeploymentConfig
metadata:
generation: 1
labels:
app: petstore-stg
name: petstore-stg
spec:
replicas: 1
revisionHistoryLimit: 10
selector:
app: petstore-stg
strategy:
activeDeadlineSeconds: 21600
rollingParams:
intervalSeconds: 1
maxSurge: 25%
maxUnavailable: 25%
timeoutSeconds: 600
updatePeriodSeconds: 1
type: Rolling
template:
metadata:
labels:
app: petstore-stg
1 2

#rhconvergence
35
●
LivenessProbe: Pod の再起動
●
ReadinessProb: Pod へのトラフィック（ Service ）
●
Resources.limits: 利用率が制限値を超えると oom-killer で殺されて再起動
livenessProbe:
exec:
command:
- /bin/bash
- -c
- /opt/eap/bin/livenessProbe.sh
failureThreshold: 3
initialDelaySeconds: 60
periodSeconds: 10
successThreshold: 1
timeoutSeconds: 1
readinessProbe:
httpGet:
path: /applicationPetstore/shopping/main.xhtml
port: 8080
resources:
limits:
memory: 1Gi
TerminationGracePeriodSeconds: 30
triggers:
- imageChangeParams:
automatic: true
containerNames:
- petstore
from:
namespace: dev
type: ImageChange
3 4

#rhconvergence
36
DEMO:Prod 環境構築
COMPLETED COMPLETED COMPLETED

#rhconvergence
37
DEMO:Prod 環境構築 #1
●
stg 環境で検証済みの Image(ImageStream) でリリースされる商用環境 (Prod)
●
必要なリソース : Template
●
既存環境をから作成した Template で一式のリソースを一括で作成 ( これが基本 )
●
Web Console でも簡単に利用可能（一時的な環境、 Branch 環境の複製に便利等）
●
Project
# oc new-project prod
●
権限設定： jekins から prod にデプロイ、 dev からは image pull できる権限設定
# oc policy add-role-to-user edit system:serviceaccount:jenkins:jenkins -n prod
# oc policy add-role-to-group image-puller system:serviceaccounts:prod -n dev
●
Template 、 ${VAR} で環境依存情報等を変数にする修正が必要 (stg から取得 )
# oc export route,svc,dc,pvc,configmap -n stg --as-template=petstore > petstore-template.yml

#rhconvergence
38
DEMO:Prod 環境構築 #1-1
●
petstore-template.yaml 、定義の記載の間に空白なしで 1 つのファイルにしてご利用ください。
apiVersion: v1
kind: Template
metadata:
name: petstore
annotations:
description: "PetStore Application for Java EE DEMO"
iconClass: icon-eap
openshift.io/display-name: PetStore with JBoss EAP 7.1 (https)
parameters:
- name: APP_NAME
value: petstore-prod
description: "The Application name"
- name: HOSTNAME
value: "FQDN hostname"
required: true
description: "The hostname for external access point"
objects:
- apiVersion: v1
kind: Route
metadata:
labels:
app: httpd
name: httpd
spec:
host: ${HOSTNAME}
port:
targetPort: 8080-tcp
to:
kind: Service
name: httpd
- apiVersion: v1
kind: Service
metadata:
labels:
app: httpd
name: httpd
spec:
ports:
- name: 8080-tcp
port: 8080
protocol: TCP
targetPort: 8080
- name: 8443-tcp
port: 8443
protocol: TCP
targetPort: 8443
selector:
app: httpd
deploymentconfig: httpd
type: ClusterIP
1 2

#rhconvergence
39
- apiVersion: v1
kind: Service
metadata:
annotations:
service.alpha.kubernetes.io/tolerate-unready-endpoints: "true"
labels:
app: ${APP_NAME}
application: ${APP_NAME}
name: ${APP_NAME}-ping
spec:
clusterIP: None
ports:
- name: ping
port: 8888
protocol: TCP
targetPort: 8888
selector:
app: ${APP_NAME}
deploymentconfig: ${APP_NAME}
type: ClusterIP
●
petstore-template.yaml
- apiVersion: v1
kind: Service
metadata:
labels:
app: ${APP_NAME}
name: ${APP_NAME}
spec:
ports:
- port: 8080
protocol: TCP
targetPort: 8080
selector:
app: ${APP_NAME}
type: ClusterIP
3 4

#rhconvergence
40
●
- apiVersion: v1
kind: Service
metadata:
labels:
app: postgresql
name: postgresql
spec:
ports:
- name: 5432-tcp
port: 5432
protocol: TCP
targetPort: 5432
selector:
app: postgresql
deploymentconfig: postgresql
type: ClusterIP
- apiVersion: v1
metadata:
labels:
app: httpd
name: httpd
spec:
replicas: 1
selector:
app: httpd
template:
metadata:
labels:
app: httpd
spec:
containers:
- imagePullPolicy: Always
image: "openshift/httpd-custom:latest"
name: httpd
ports:
protocol: TCP
protocol: TCP
65

#rhconvergence
41
●
volumeMounts:
- mountPath: /etc/httpd/custom.d
name: httpd-config
volumes:
- configMap:
defaultMode: 420
name: httpd-config
name: httpd-config
test: false
triggers:
automatic: true
containerNames:
- httpd
from:
name: httpd-custom:latest
type: ImageChange
7 6
- apiVersion: v1
metadata:
labels:
app: ${APP_NAME}
name: ${APP_NAME}
spec:
replicas: 1
selector:
app: ${APP_NAME}
strategy:
rollingParams:
intervalSeconds: 1
maxSurge: 25%
maxUnavailable: 25%
timeoutSeconds: 600
updatePeriodSeconds: 1
type: Rolling
template:
metadata:
labels:
app: ${APP_NAME}
spec:
containers:
8

#rhconvergence
42
livenessProbe:
exec:
command:
- /bin/bash
- -c
- /opt/eap/bin/livenessProbe.sh
readinessProbe:
httpGet:
path: /applicationPetstore/shopping/main.xhtml
port: 8080
resources:
limits:
memory: 1Gi
TerminationGracePeriodSeconds: 30
triggers:
automatic: false
containerNames:
- petstore
from:
namespace: dev
type: ImageChange
- env:
- name: JGROUPS_PING_PROTOCOL
value: openshift.DNS_PING
- name: OPENSHIFT_DNS_PING_SERVICE_NAME
value: ${APP_NAME}-ping
- name: OPENSHIFT_DNS_PING_SERVICE_PORT
value: "8888"
- name: MQ_CLUSTER_PASSWORD
- name: MQ_QUEUES
- name: MQ_TOPICS
- name: JGROUPS_CLUSTER_PASSWORD
- name: AUTO_DEPLOY_EXPLODED
value: "false"
image: “dev/petstore-dev:latest”
imagePullPolicy: Always
name: petstore
ports:
name: jolokia
protocol: TCP
name: http
protocol: TCP
name: ping
protocol: TCP
●
9 10

#rhconvergence
43
DEMO:Prod 環境構築 #1-6●
- apiVersion: v1
metadata:
labels:
app: postgresql
name: postgresql
spec:
replicas: 1
selector:
app: postgresql
template:
metadata:
labels:
app: postgresql
spec:
containers:
- env:
- name: POSTGRESQL_ADMIN_PASSWORD
value: redhat
- name: POSTGRESQL_DATABASE
value: petstore
- name: POSTGRESQL_PASSWORD
value: petstore
- name: POSTGRESQL_USER
value: petstore
image: "openshift/postgresql:9.2"
imagePullPolicy: IfNotPresent
name: postgresql
ports:
protocol: TCP
volumeMounts:
- mountPath: /var/lib/pgsql/data
name: postgresql-volume-1
volumes:
- name: postgresql-volume-1
persistentVolumeClaim:
claimName: postgres-pvc
triggers:
automatic: true
containerNames:
- postgresql
from:
name: postgresql:9.2
type: ImageChange
11 12

#rhconvergence
44
●
- apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: postgres-pvc
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
storageClassName: glusterfs-storage
- apiVersion: v1
data:
prod.conf: |
# filename: prod.conf
# Static file URL rewrite
RewriteEngine On
RewriteRule ^/applicationPetstore/(.*) /$1 [PT,QSA,L]
# Proxy to application server
ProxyRequests Off
ProxyPreserveHost On
<Proxy *>
Require all granted
</Proxy>
Define prod-svc petstore-prod.prod.svc:8080
ProxyPass / http://${prod-svc}/applicationPetstore/
ProxyPassReverse / http://${prod-svc}/applicationPetstore/
# Output filter for identification
ExtFilterDefine title_update mode=output intype=text/html
cmd="/bin/sed s/Yaps/PRODUCTION/g"
SetOutputFilter title_update
kind: ConfigMap
metadata:
name: httpd-config
13 14

#rhconvergence
45
●
Template を openshift プロジェクトに作成（共有）
# oc create -f petstore-template.yml -n openshift
●
Template を利用して Prod の環境を構築
# oc process petstore -n openshift -p APP_NAME=petstore-prod
-p HOSTNAME=prod-petstore.app.example.com | oc create -f -
●
手動で JBoss EAP の Pod を起動
# oc rollout latest dc/petstore-prod
●
Scale Up 1 → 3
# oc scale --replicas=3 dc/petstore-prod

#rhconvergence
46
●
Web Console, Service Catalog (Template Service Broker)

#rhconvergence
47
DEMO 内容（再掲）
●
Application 構成を Dev→Stg→Prod →順に作成完了
●
Build(S2I), Rolling Update による Deploy

#rhconvergence
48
アプリケーションの構築 TIPs

#rhconvergence
49
OpenShift でよく発生する問題
実はコンテナ環境だから OpenShift だから発生する問題ではないです。
●
アプリケーションの Pod を Scale したら追加される Pod が起動失敗する
●
急停止された DB の Pod が次回起動時に自動リカバリーできなくて起動失敗する
●
Pod の暴走によって node ホスト全体の Pod 移動が発生する
●
アプリケーションが DB 等依存サービスがあったら起動順序の制御はどうするのか？

#rhconvergence
50
アプリケーションの Pod を Scale したら追加される Pod が起動失敗する
●
アプリケーションで冗長構成が対応できるか確認
●
1 つの Pod では問題なかったのに Scale すると Pod が起動できなくなる
●
ログをみるとリソースへのロックや冗長構成に対応していないケース

#rhconvergence
51
急停止された DB の Pod が次回起動時に自動リカバリーできなくて起動失敗する
●
NFS で PV を作成して利用することが原因
●
殆どの RDBMS が該当
REDO ログ系は必ず DISK に保存される担保がないと異常停止されたらデータの Recovery ができない
そのため fsync/fdatasync で DISK に即時に書き込むよう制御する必要がある
●
Block 系の Storage を専用で利用する必要があります。
●
ReadWriteOnce の PV を作成して利用

#rhconvergence
52
Pod の暴走によって node ホスト全体の Pod 移動が発生する
●
メモリの場合、閾値を超えたら OOM-Killer 起動される。
●
Requests == Limits
●
CPU は Requests の設定を実施しましょう。
●
性能テスト等で事前に閾値を決めておきましょう。
resources:
requests:
memory: "512Mi"
cpu: "1000m"
limits:
memory: "512Mi"
cpu: "2000m"

#rhconvergence
53
アプリケーションが DB 等依存サービスがあったら起動順序の制御はどうするのか？
●
アプリケーションを構成するコンポーネント間の起動順序 == 依存関係
●
Liveness, ReadinessProbe を適切に設定して対応可能
●
LivenessProbe: Pod に再起動する必要か監視
●
DB サービスが稼働していない場合には AP サーバを再起動させる
●
ReadinessProbe: Pod のサービスが外部からアクセスできる状態か監視
●
WEB サーバは AP サーバで該当ページが表示できない限り外部トラフィックを受けない
●
両方を組み合わせれば自動リカバリーが実現できる
<1> AP サーバがアクセスできない
<2> 外部からのアクセス遮断
<3> 復旧しないと再起動
<4> アクセス可能になったら再度外部公開等 ⇒ <1>

#rhconvergence
54
QA

#rhconvergence
55
参考
●
OpenShift のコアーコンセプト [https://docs.openshift.com/container-platform/3.9/architecture/core_concepts/index.html]
●
OpenShift のレイヤ構成 [https://docs.openshift.com/container-platform/3.9/architecture/index.html]
●
OpenShift のデプロイフロー [https://blog.openshift.com/builds-deployments-services-v3/]
●
OpenShift v3 と source-to-image (s2i) [https://qiita.com/nak3/items/6407c01cc2d1f153c0f1]
●
RED HAT JBOSS ENTERPRISE APPLICATION PLATFORM FOR OPENSHIFT
[https://access.redhat.com/documentation/en-us/red_hat_jboss_enterprise_application_platform/7.1/html/red_hat_jboss_enterprise_application_platform_for_openshift/]
●
Create Your Own Build Pipelines with OpenShift 3.3 [https://blog.openshift.com/create-build-pipelines-openshift-3-3/]
●
PetStore Sample Application [https://github.com/agoncal/agoncal-application-petstore-ee7]
●
Kubernetes アンチパタン [http://nekop.github.io/slides/hbstudy78.html#/]
●
OpenShift の作業全般 [https://docs.openshift.com/container-platform/3.9/welcome/index.html]
●
Jboss Transaction Recovery
[https://access.redhat.com/documentation/en-us/red_hat_jboss_enterprise_application_platform/7.1/html-single/red_hat_jboss_enterprise_application_platform_for_openshift/#transaction_recovery_demo]
●
OpenShift CNS で gluster-block を有効化する [https://nekop.hatenablog.com/entry/2018/03/30/111737]

OpenShiftでJBoss EAP構築

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to OpenShiftでJBoss EAP構築

Similar to OpenShiftでJBoss EAP構築 (20)

OpenShiftでJBoss EAP構築