Moodle Moot 2017JPでの発表 Moodleでの大規模対応、オンプレの場合、クラウドの場合

2. • 株式会社イーラーニング
– 東京都港区芝5-29-20 クロスオフィス三田 2F
– Moodleパートナー
• Moodle構築、ホスティング、テーマ作成、プラグイン開発 トレーニング、
コンサルティング、コンテンツ作成
– IT エンジニア向けコンテンツ
• CCNA, iOSプログラミング, LPIC
• 鈴木 重毅 (Atsutoshi Suzuki)
– インフラ構築サポート担当
– 資格など
• CompTIA CTT+
• CompTIA Security+
• 応用情報技術者
• かつては MCT, MCAD なども

3. • サーバー台数の増強
スケールアップ スケールアウト
DB Web
• CPU、メモリ、ストレージの
性能向上
2GHz x 1
16GiB
RAID1
x N台
2GHz x 1
16GiB
RAID1
4GHz x 4
64GiB
RAID 5
2GHz x 1
16GiB
RAID1

4. • moodleディレクトリ
– プログラムファイル
– プラグイン
• moodledataディレクトリ
– アップロードしたファイル
• コースデータ
– 一時データ
– セッション情報
• データベース保存も可能
• データベース
– ユーザー情報
• 学習状況、ログイン情報
– 各種モジュールで利活用
traditional
server
generic
database
Amazon
RDS
Amazon
EFS

5. オンプレミス クラウド
会計区分 資産 経費
初期投資 高額 低額（あるいは無し）
運用コスト 維持管理コストが高額 低額、かつ柔軟
調達期間 日数がかかる 即座
カスタマイズ ほぼ自由 制限あり（IaaSは ）
セキュリティ 組織内ポリシーに準拠
組織内での管理
組織内ポリシーとSLAの調整が必要
組織外での管理
既存システム
との連携
自由度が高い インターネット接続が制限になることも
→プライベート/ハイブリッドクラウド
障害対応 社内の担当者か、
社外から来てもらう
クラウド事業者が対応
インターネット越しに状況確認/変更
モバイル 別途に考慮 考慮済み
ロックイン なし プロバイダ変更は困難（IaaSは ）

6. users
Server
MariaDB
database
Cold
Standby
Video
Video
URL
Active
Backup
device
moodle
moodledata
EOPVideo
on-premises
https://FQDN/SSL
EL Video Server

7. https://FQDN/
backup
SSL
moodle
data
users
Servers
2…N (Fix) Memcached
or Redis
or None
GlusterFS
Video
Video
URL
Galera
Load
Balancin
g
on-premises
moodle
database
EOPVideo
Backup
device
EL Video Server

8. • httpdサーバー上に配置
– 負荷分散装置により、アクセスを振り分け
– GluterFS（後述）をマウントすることも可能
• 物理サーバーを分ける
– 負荷に応じて物理サーバーの新規導入が必要
• 資産扱いのため、導入に時間が必要
• 仮想PCでテスト可能だが、目的は物理障害や負荷分散への対応
• 変更頻度は低い
– rsyncによる同期で十分
• EOPVideo (e-learning On-Premises Video)
– オリジナルモジュール
– e-learning Video Server との間で認証を行う

9. • NASストレージのスケールアウト
– 複数のディレクトリ（brick）を一つに見せる
• マスターレス
– どのホストがダウンしても関係ない
• 導入が簡単
• ３つのボリュームオプションを組み合わせ
– Distributed ファイル単位で分散
– Replicated ファイルの複製を作成（ミラーリング）
– Striped ファイルをブロック単位に分割して分散
• NFS, CIFS, Nativeでマウントして使用
• パフォーマンス向上はあまりしない
• スプリットブレイン対策
– quorum設定により、過半数のノードを「正」とする

10. • 共有ファイルシステム上に構築
– NFS
– GlusterFS
– SAN
• キャッシュなしでも実用上は支障なし
– 単純な構成にしたほうが問題は起きにくい
– 必要ならMemcachedかRedis（Moodle 3.2以降）を使用

11. • データベースクラスタ上にmoodle DB
– MySQL/MariaDB 準同期レプリケーション
• 復旧が大変！
– ２台構成におけるスプリットブレイン問題
• 自動復旧は考えないが吉
– 早期復旧のため、双方向レプリケーションを行う
– MariaDB Galera
• ３台以上で構成することで、スプリットブレイン問題を解消
• データベースプロキシーで接続制御
– 各httpdサーバー上に配置
• MaxScale + MariaDB Replication Manager
• オートインクリメント値がとびとびになる
– 動作に支障はない
• https://moodle.org/mod/forum/discuss.php?d=237573

12. オンプレミス クラウド
会計区分 資産 経費
初期投資 高額 低額（あるいは無し）
運用コスト 維持管理コストが高額 低額、かつ柔軟
調達期間 日数がかかる 即座
カスタマイズ ほぼ自由 制限あり（IaaSは ）
セキュリティ 組織内ポリシーに準拠
組織内での管理
組織内ポリシーとSLAの調整が必要
組織外での管理
既存システム
との連携
自由度が高い インターネット接続が制限になることも
→プライベート/ハイブリッドクラウド
障害対応 社内の担当者か、
社外から来てもらう
クラウド事業者が対応
インターネット越しに状況確認/変更
モバイル 別途に考慮 考慮済み
ロックイン なし プロバイダ変更は困難（IaaSは ）

13. https://FQDN/
backup
SSL
users
AMI
Instance
CloudFront
Video
Video
URL
Amazon
RDS
Amazon AWS
Amazon S3
bucket
database region
SLA 99% を保証
moodle
moodledata
ACFVideo

14. https://FQDN/
backup
SSL
moodledata
users
AMI
OS Instance
2…N
Auto Scaling
group
Amazon
ElastiCach
e
Amazon
EFS
CloudFront
Video
Video
URL
Amazon
RDS
Amazon
Elastic
Load
Balancing
Amazon AWS
Amazon S3
bucket
moodle
ACFVideo
regiondatabase

15. • AMIとしてイメージを作成して複製
– オートスケーリングにより、
負荷に応じてAMIからインスタンスを起動
• 負荷分散はElastic Load Balancingで設定
– オートスケーリングと連動
• ACFVideo (Amazon CloudFront Video)
– オリジナルモジュール
– 認証を必要とする
CloudFront
高速なコンテンツ配信とストリーミング
コンテンツ配信ネットワーク(CDN)サービス
AMI
Amazon Machine Image

16. • Amazon EFS上に構築
– パフォーマンスが低い
• ユーザー登録ページ表示に約10秒
• ElastiCacheとセットで構築
– Memcached/Redis互換
– NFSやGlusterFSを使用した場合と遜色なし
• ユーザー登録ページ表示に数秒
Amazon ElastiCache
メモリ内分散キャッシュ環境
Amazon EFS
シンプルでスケーラブルな
ファイルストレージシステム
高い可用性と耐久性を実現するよう設計

17. • Amazon RDS (Relational Database Service)
– 高可用性（Multi-AZ）機能
• 異なるロケーションにスタンバイサーバーを配置
– データベースではスケールアップが有効
• クラウドなのでスケールアップは容易
– オートインクリメントは連番
• 余計な心配の必要がない
Availability Zone #1
RDS DB
instance
RDS DB
instance standby
(Multi-AZ)
Availability Zone #2
Amazon RDS
Availability Zone
可用性の観点で
独立したロケーション

18. • スケールアップとスケールアウトを使い分ける
• オンプレミス・スケーラブル構成
– moodle 物理サーバー追加によるスケールアウト
– moodledata GlusterFS
– moodle DB MariaDB Galera + MaxScale
– 別途に負荷分散装置を用意
• クラウド・スケーラブル構成（Amazon AWSの場合）
– moodle AMIをベースにした Auto Scalable Group
– moodledata Amazon EFS + Amazon ElastiCache
– moodle DB Amazon RDS (Multi-AZ)
– 負荷分散は Elastic Load Blancing を使用
• Scalable Group と連動

20. • 株式会社イーラーニング
• info@e-learning.co.jp
人と人を繋ぐeラーニング