Gmo media.inc 第9回西日本ossの普及を考える会

1. OSS無しでは語れないGMOメディアのOSS活用術第9回西日本のOSS 普及を考える会 Dai Utsui utsui@gmo-media.jp 2012/7/27

2. 目次 ■はじめに ■OSSを採用する理由 ■OSS活用事例

3. はじめに

4. システム管理者の日

5. 自己紹介名前：宇津井大（うついだい） Twitter ： @utsuidai 職業：オペレーションエンジニア @ GMO-Media.Inc 趣味：サーフィンとお酒と勉強会巡り。自宅サーバー： 1台のみ！

6. GMOインターネットグループ WEBインフラ・EC事業インターネットメディア事業インターネット証券事業 2位セキュリティ 1位決済 1位 EC支援 2,755万視聴者２位FX取引 3位株式取引 375万顧客（12月末） 1,150万ライブプラグイン 20万口座 12万口座 1位サーバー（6,500万累計配布） 1位ドメインアクセスネット広告リサーチ「人財・技術」「資金」スマートフォンソーシャルアプリ技術力・営業力ゲームプラットフォームテクノロジーサーバー運用ノウハウ共同マーケティング 4位クーポンソーシャル・スマートフォン関連事業

7. GMOメディア：会社概要メディア事業デジタルコンテンツ提供事業 • 楽しく便利な情報を提供するサイ • コンテンツプロバイダーとして、壁トや、ブログ・ＳＮＳなどのコミュニ紙画像や着メロなど様々なコンテティサービスを運営する事業です。ンツを制作・収集し、お客様に提供 • スポンサー企業様からの広告をおする事業です。届けする無料サービスと、月額課 • スポンサー企業様からの広告をお金制のサービスがあり、現在、Ｐ届けする無料サービスと、月額課Ｃ・携帯併せて10サイト以上の金制のサービスがあり、現在、Ｐサービスを提供しています。Ｃ・携帯併せて30サイト以上のサービスを提供しています。

8. 企業理念

9. 沿革 • インターネット広告および情報提供サービス事業を主力としたアイ・ウェブ・テ 2000年10月クノロジー・ジャパン株式会社（現GMOメディア株式会社）を設立 • 商号をユーキャストコミュニケーションズ株式会社に変更 2002年5月 • 本店の所在地を東京都渋谷区に移転 • 壁紙ドットコム株式会社と合併し、GMOモバイルアンドデスクトップ株式会社 2004年3月が発足 • GMOメディアアンドソリューションズ株式会社のメディア事業・EC事業と統合 2005年5月し、商号をGMOメディア株式会社に変更 • GMOメディアホールディングス株式会社から「ヤプログ！」事業を会社分割に 2007年8月より承継 • ＧＭＯティーカップ・コミュニケーション株式会社を吸収合併 2009年4月

10. 福利厚生プロジェクト http://www.gmo.jp/info/welfare/

11. GMOすごいエンジニア支援制度 http://www.gmo.jp/info/support/ 11

12. OSSを採用する理由

13. OSD(Open Source Definition) 1. 再頒布の自由 2. ソースコードの入手 3. 派生ソフトウェア 4. 作者のソースコードの完全性(integrity) 5. 個人やグループに対する差別の禁止 6. 利用する分野(fields of endeavor)に対する差別の禁止 7. ライセンスの分配(distribution) 8. 特定製品でのみ有効なライセンスの禁止 9. 他のソフトウェアを制限するライセンスの禁止 10. ライセンスは技術中立的でなければならない http://www.opensource.jp/osd/osd-japanese.html

14. 事業を営む上で重視するポイント • 圧倒的なスピード感 – 世界中の一般消費者(BtoC)に向けていち早く、より良いもの、役立つもの、面白いものを提供する • ローコスト – スタートアップを容易に – 利用者に優しいサービスを提供する

15. OSSを使用する最大の理由 • ベストプラクティス – 作りたい物を最も早く、かつ安価に構築できる仕組み・体系 • ソースの存在 – 世界中で開発されている – 必要なら改変が可能 – 例え開発が止まってもソースがあれば維持できる

16. その他のメリット • インフラ要素 – OSSのRHEL(及びRHELクローン)は最新かつ高性能、高効率なインフラ機器を利用可能 – x86サーバー、SSD、PCI-Express型ストレージ、メモリ等々 – 省エネも実現 • 人材 – OSSに関わるエンジニアが増加傾向

17. 全国のOSC参加人数 • 年度別参加者数推移 – 2005年 2,350 – 2011年 8,150 • 年度別参加コミュニティ数推移 – 2005年 97 – 2011年 503 http://www.ospn.jp/visitors/

18. 全国のOSC参加人数 • 西日本と東日本の比較 – 西日本 • 2005年 200 • 2011年 3,470 – 東日本 • 2005年 2,150 • 2011年 4,680 http://www.ospn.jp/visitors/

19. その他のメリット • 教育 – 初期教育コストがかなり抑えられる – 情報はweb、オープンなコミュニティから得られる – rhelならRedHatのサポートも得られる – 省エネも実現 • コミュニティ – 人気のプロジェクトは各地で勉強会が開催される – MLも活発 – 助けあいの文化

20. OSS採用事例 rhev3.0

21. 当時の仮想環境 2010.2 • ごった煮状態 – Xen,KVM,VMware Serverで構築した仮想サーバー(vm) が散乱。 • 開発環境不足 – 充分なリソースを割けず、開発・テスト・ステージング環境が野放しに – エンジニアが自由に弄れるサーバー環境が皆無

22. Why Red Hat Enterprise Virtualization for Servers • KVM（OSS） – カーネル2.6.20からマージされたKVMをどうしても使いたかった。 • ソケットライセンスでの価格優位性 – 集積度を上げるため12コア AMD Opteron 6000シリーズ (Magny-Cours)を使いたかった。 – （当時の）VMWareではvSphere4 Advanced、 Enterprise Plusには手が出せない。 – （現在の）VMWareでもvSphere5 Enterprise Plusには手が出せない。

23. 稟議！ • 物理サーバは低スペックのサーバが増えてきていて、ラック及び電力の消費効率が悪い。 • CPU・Memory・I/O性能不足で限界。スケールアウトもスケールアップもしない。 • EC2とか数分でサーバ出来るのにうちは・・・ • でもEC2は何気に高い

24. システム構成

25. メディアクラウドv1 2010.6 動的かつスケーラブル The Internet な仮想環境 Ethernet 1G Network Server Dell R815 * 3 AMD Opteron 6164HE 12Core * 4socket 4GB * 96 module CPU Total 144 core : Memory total 384GB iSCSI 10G Network Storage Dell EqualLogic PS6010XV SASmodule 14TB

26. メディアクラウドv2 2010.8 The Internet Server Dell R815 CPU 144 core -> 288 core Memory 384GB -> 768GB Storage Dell EqualLogic PS6010XVSASmodle 14TB -> 28TB

27. mediacloud v3

28. 要件１ • ストレージは重要 – ストレージが落ちると全体障害になりえる – データセンター内のネットワークはfablicを求めている – ベンダーロックインを減らす – i/o負荷の高いDBも仮想化したい

29. 要件２：データセンター作業 • 稼働させるまでのスピードが重要 – 人的コストの削減 – 配線の数 – スケールアウトを容易に

30. Mediacloud v3

31. 導入の効果 • ストレージの分離 – StoragePoolManagerが3つに。全体障害の回避。 • シンプル構成 – CPU Socket辺りの10Gb利用ポート数が約62%現象 • iscsiネットワーク内の話でブレードフル搭載の場合 – 現在はシャーシ辺り５台運用なので約37%。 » しかも全部10Gにしたのでポート数は増えてます – 配線が約60%減少 • 拡張性 – スケールアウトが容易 • エンクロージャに空スロットを用意しておけば増設が非常に楽 • エンクロージャ足すのも旧来の２Uサーバーと同等程度の作業量

32. 運用

33. Hypervisor Deployment • pxeboot – 2台以上のhypervisorを利用するなら必須 – Installは手作業で実施（自動化も可能） – Upgradeはキーボード2回たたくだけ – 詳しくはrhel6のHypervisor 導入ガイド » http://docs.redhat.com/docs/ja- JP/Red_Hat_Enterprise_Virtualization/3.0/html/Hypervisor_D eployment_Guide/sect-Deployment_Guide- Preparing_Red_Hat_Enterprise_Virtualization_Hypervisor_ins tallation_media- Deploying_RHEV_Hypervisors_with_PXE_and_tftp.html

34. Hypervisor Deployment • pxelinux.cfg/defaultの例 – Install label 9 kernel rhevh-6.2-20120510.0/vmlinuz0 APPEND rootflags=loop initrd=rhevh-6.2-20120510.0/initrd0.img root=live:/rhevh-6.2-20120510.0.iso rootfstype=auto ro liveimg nomodeset check rootflags=ro crashkernel=512M-2G:64M,2G-:128M elevator=deadline processor.max_cstate=1 install rhgb rd_NO_LUKS rd_NO_MD rd_NO_DM ONERROR LOCALBOOT 0 – Upgrade label 10 kernel rhevh-6.2-20120510.0/vmlinuz0 APPEND rootflags=loop initrd=rhevh-6.2-20120510.0/initrd0.img root=live:/rhevh-6.2-20120510.0.iso rootfstype=auto ro liveimg nomodeset local_boot nocheck check rootflags=ro crashkernel=512M-2G:64M,2G- :128M elevator=deadline processor.max_cstate=1 install rhgb rd_NO_LUKS rd_NO_MD rd_NO_DM ONERROR LOCALBOOT 0

35. VM deployment • Templates – 事前にテンプレート（AIMみたいなもの）作っておけば10 分程度でclone作成（５０GB程度の場合） – テンプレートからThin-Provisioningなら即時 – 新規に入れる場合はkickstartで10分程度

36. REST - API • Vm情報取得 # rhevm-config -s SearchResultsLimit=1000 # service jbossas restart # curl -s -X GET -H "Accept: application/xml" -H "Content-Type: application/xml" -- cacert rhevm.cer -u 'admin@internal:[pass]' https://[RHEVM Host]:8443/api/vms > vms.xml • Vm起動 # curl -X POST -H "Accept: application/xml" -H "Content-Type: application/xml" -- cacert rhevm.cer -u 'admin@internal:[pass]' -d "<action/>" https://[RHEVM Host]:8443/api/vms/0b08f839-f790-4612-99b9-db0d56ee93f6/stop • Vm停止 # curl -X POST -H "Accept: application/xml" -H "Content-Type: application/xml" -- cacert rhevm.cer -u 'admin@internal:[pass]' -d "<action/>" https://[RHEVM Host]:8443/api/vms/0b08f839-f790-4612-99b9-db0d56ee93f6/start 詳しくはAPI Guide – http://docs.redhat.com/docs/ja-JP/Red_Hat_Enterprise_Virtualization/3.0/html/REST_API_Guide/index.html

37. 利用方法

38. エンジニア向けVPS提供 • 全エンジニア（インフラ・PG）へvm提供 – 仮想CPU : 1Core～4Core – メモリ：1GB～4GB – ストレージ：70GB – Global IP(ipv4)：希望者のみ – クラウド事業者の最少プランで実現すると・・・ • GMOクラウド Publicだと月額2,400円*50vm – 4年償却で約576万円。 • ○○○のクラウドだと月額2,920円*50vm – 4年償却で700万円程度・・・

39. ソーシャルアプリ1 • モバゲー,Mixi向けアプリ – Amazon Web Serviceから完全移行 – サーバ性能というよりネットワーク(RTT)の改善により大幅にパフォーマンスアップ(当時は東京リージョンが無かった) – 大幅なコストダウン • AWS月額約20万円 ⇒ RHEV 約2万円

40. ソーシャルアプリ2 • 自社プラットフォームソーシャルアプリ – apサーバの高負荷で急遽利用開始 – サーバ10台緊急配備 • 11時に意思決定 -> 17時に本番稼動開始 • APIリクエスト数 – 2億 req/day （2010/10現在） – 2.7億 req/day （2012/2現在）

41. その他 • データセンター移転 2010.8 – 300台程度のDualCoreサーバ群 – rhev環境に積極的に取り込み実施。 • vmの数は物理台数の約半数で稼動可能だった。 • P2Vは不採用 – 100万円／月のコスト削減に成功！ – 節電にもかなり貢献した（はず）！

42. その他 • ストレージ及びデータベース以外は全て mediacloudへ

43. その他：GlusterFS 3.2 • スケールアウト可能なファイル置場をMediaCloud 上に構築 GlusterFS 3.2クラスタ on MediaCloud vm1：brick1:50GB vm2：brick2:50GB vm3：brick3:50GB vm4：brick4:50GB 100GB fuse NFS S3,swift REST Hadoop GlusterFS 3.3 vm5：client1 vm6：client2

44. OSS採用事例 MongoDB

45. OSS概要 MongoDB (from "humongous") is a scalable, high-performance, open source NoSQL database. Written in C++, MongoDB features: http://www.mongodb.org

46. MongoDBを利用したタイムラインシステム UPDATES REST API WEB SERVICE TIMELINE SYSTEM TIMELINE ブログサービスのフレンド更新タイムライン画像投稿サービスのお気に入りユーザー投稿タイムライン

47. システム概要 Kestrel Scala MQ WORKER HTTP Casbah Scala Java Jetty PHP WEB SERVICE API MongoDB

48. システム概要サービス規模 24,000,000 API CALL / DAY 2,400,000 ユーザ 34,000,000 STATUS UPDATES / DAY データ規模 TOTAL 55GB 8 DATABASES 2,200,000 COLLECTIONS 100,000,000 DOCUMENTS

49. システム概要サーバー構成 2 API SRVS API / WORKER / MQ 2 Worker SRVS 2 MQ SRVS 3 MongoDB SRVS 3 NODE REPLICA SET NO SHARDING 8 DATABASES 2.2 MILLION COLLECTIONS MongoDB

50. OSS採用事例 Fluentd + Redis

51. OSS概要 Fluentd is a log collector daemon written in Ruby. Fluentd receives logs as JSON streams, buffers them, and sends them to other systems like MySQL, MongoDB, or even other instances of Fluentd. http://fluentd.org/ Redis is an open source, advanced key-value store. It is often referred to as a data structure server since keys can contain strings, hashes, lists, sets and sorted sets. http://redis.io/

52. システム概要自社Webサービスに導入したリアルタイム EXEC レコメンデーションシステム LOG FORWAR FILE FLUENTD FLUENTD D SCRIPT RUBY FLUENTD WORKER PHP SCALA WEB REDIS API

53. システム概要サービス規模 133,000,000 REQUESTS / DAY 7,6000,000 PICTURES 6,500,000 USERS イベントログ 7GB / DAY 1500 EVENTS / SEC

54. システム概要サーバー構成 WEB 18 WEB SRVS 6 REDIS SRVS 4 API SRVS WORKER 4 WORKER SRVS API REDIS

55. 非リアルタイム時代

56. 非リアルタイムなレコメンデーション 1時間に1回のSCP & MapReduce scp map-reduce (houry) (houry) WEB SERVERS Hadoop REDIS

57. 非リアルタイムなレコメンデーション低いヒット率画像：60 - 70% 検索語：20 – 30%

58. リアルタイム時代

59. リアルタイムなレコメンデーションヒット率の劇的な改善画像：60 - 70% 画像：70 - 90% 検索語：20 – 30% 検索語：50 – 70%

60. トラブル

61. OSSならではのトラブル回避 in_tailで取り込んだログのパースが稀に失敗する 2012-03-27 03:10:27 +0900: fluent/parser.rb:85:parse: pattern not match: "...(a part of log line)" パッチ提供で解決 https://github.com/fluent/fluentd/pull/44

62. まとめ • システム管理者に感謝 • OSSは確実に広がっている • 中～大規模環境であってもOSSで先進的なサービスを作りだせる • OSS無しじゃ生きていけない • OSSは素晴らしい

Gmo media.inc 第9回西日本ossの普及を考える会

Gmo media.inc 第9回西日本ossの普及を考える会

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(20)

Similar a Gmo media.inc 第9回西日本ossの普及を考える会

Similar a Gmo media.inc 第9回西日本ossの普及を考える会(20)

Último

Último(9)

Gmo media.inc 第9回西日本ossの普及を考える会