O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

知られざる。Alibaba Cloudを支えるテクノロジー (manabiya.tech)

968 visualizações

Publicada em

2018年3月23日のmanabiya.techでの発表資料。
世界のトップ企業として君臨するAlibabaの技術がつまったAlibaba Cloudのご紹介。

Publicada em: Internet
  • Seja o primeiro a comentar

知られざる。Alibaba Cloudを支えるテクノロジー (manabiya.tech)

  1. 1. 知られざる、 Alibaba Cloudを支えるテクノロジー 世界に目を向けよう。Alibabaのクラウドテクノロジーを明かす 1 @mosuke5 manabiya.tech 2018/03/23
  2. 2. 2 Who are you? 名前:森 真也    もーすけ (@mosuke5) 仕事:  Alibaba Cloud Solutin Architect  MVPに日本人初として選ばれた。  以前はシステム開発エンジニア。 ネタ:  旅行がすき。登壇と相性がよい。
  3. 3. 3
  4. 4. 4
  5. 5. 5
  6. 6. 6
  7. 7. 7 本題
  8. 8. 今日伝えたいこと 1. Alibabaという謎深い企業と そのテクノロジーについて。 2. アメリカ以外の海外にも目を向ける きっかけになれば。 8
  9. 9. アジェンダ 1. 昨今の中国のIT事情 2. Alibaba Cloudについて 3. Alibaba Cloudの特徴1 MaxCompute 4. Alibaba Cloudの特徴2 オープンソース技術 5. さいごに 9
  10. 10. 自分がクラウドプロバイダーをやるまで 10 年 やってたこと チーム 2011年 当時大学3年生。はじめてのWebサービスの開発とそのビ ジネス展開を試みた。 ただの学生 2013年 社会人になり、携帯電話のネットワークの監視システムの 開発。そこでは、ソフトウェア開発に専念できる業務スタイ ルへの改善が必要だった。いわゆるInfrastructure as Codeによるインフラ作業の自動化などを推し進めていた。 日本企業、日本人 のみのチーム 2016年 縁あって、新規事業をやる部門へ。 そこで、Alibaba Cloudの日本リージョンの立ち上げから、 その展開に携わる。 外国企業とのジョ イントベンチャー、 多国籍メンバー
  11. 11. 11
  12. 12. 中国のIT事情に熱気 12出典:http://tomoima525.hatenablog.com/entry/2018/03/12/065926    https://www.slideshare.net/SORACOM/soracom-ug-tokyo-9-2018iot-lt
  13. 13. 世界時価総額(2018年1月末時点) 13 No 国名 会社名 時価総額 1 アメリカ アップル 859.638 2 アメリカ アルファベット(Google) 817.117 3 アメリカ マイクロソフト 731.557 4 アメリカ アマゾン・ドット・コム 699.144 5 中国 テンセント・ホールディングス 558.084 6 アメリカ フェイスブック 543.067 7 アメリカ バークシャー・ハサウェイ 530.275 8 中国 アリババ・グループ・ホールディング 516.724 9 中国 中国工商銀行 425.118 出典:http://www.180.co.jp/world_etf_adr/adr/ranking.htm
  14. 14. 気になりませんか?? 今日、それを明かしていきます 14
  15. 15. 15 時は20年ほど前の話…
  16. 16. 20年前のインターネット世界 16 1998年 Google誕生 1994年 Amazon.com誕生
  17. 17. 17
  18. 18. もう一方のインターネット世界(中国) 18 1999年 Alibaba誕生 1998年 Tencent誕生
  19. 19. 19 11月11日はネットセールで たった1日で2.8兆円近い売上をあげた。
  20. 20. なんだ向こうの世界線で すごいテクノロジー企業が うまれているらしいぞ 20
  21. 21. そのアリババが、 まさに今海外に出ようとしている その真っ最中。 それが「今」 21
  22. 22. アリババってどんな会社? 22 E-commerce data Marketing data Mobile app monitor & browser data PC website monitor data Entertainment data SNS data Health& life data Geographical data and Vehicle data Logistics data Alibaba 経済圏 One ID, One Platform eコマース企業ではな い。eコマースをはじ め、決済、物流などを One ID, Platform化し ている強み。
  23. 23. Alibaba Cloudなるものが誕生している 23
  24. 24. グローバルインフラストラクチャ(世界17リージョン) 24 2016年12月 東京リージョン開設
  25. 25. プロダクトラインナップ 25 Block Storage OSS Object Storage Service Archive Storage NAS Network Attached Storage Message Service グローバル IDC リージョン アベイラビリティゾーン Technical Support Professional Services Training & Certification Cloud Architects Pricing Report ECS Elastic Compute Service Auto Scaling SLB Server Load Balancer Container Service HPC High Performance Compute BatchCompute FunctionCompute RDS Relational Database Servie Oceanbase Memcache Table Store Redis MongoDB DMS Database Management Analytic DB DTS Data Transmission Service PetaData VPC Virtual Private Cloud ExpressConnect Elastic IP CDN HA-IP High Availability IP Nat Gateway EDAS Enterprise Distributed Application Service ONS Open Notification Service HttpDNS Log Service ROS Resource Orchestration Service Performance Testing Live streaming Domain IOT Suit DirectMail DataV Rec Eng DataHub ImageMaxCompute EMR DataIDE Face Rec API RAM Resource Access Management CLI Cloud Monitor Anti-DDoS Cloud Shield WAF Web Application Firewall HSM Hardware Secure Module KMS Key Management Service Server Guard Action Trail ビッグデータ アプリケーションサービスSupport コンピューティング ネットワーク ストレージ データベース 基  盤 DevOps 管理・セキュリティ
  26. 26. 勝手に考えてる、いいところ悪いところ 26 Alibaba自身が 苦労して乗り越えた ノウハウや技術 特にビッグデータ・機械 学習プロダクトは Alibabaの自信作 サーバレスなど新しい概 念のものは、まだフォロ ワーの立場。 独自の考え方をもっとだ せるといい。 日本サイトではまだ一 部のプロダクト しかない。 (がんばります) フォロワーなのもあって ユーザ要望は相当反 映される。開発スピード の速さ。
  27. 27. Alibaba Cloudのデータソリューション 27 ストリーム データ バルク データ LogService ストリーム処理 StreamCompute Object Storage TableStore 分散データ処理 MaxCompute データマート RDBなど BI, 可視化 分散ストレージ DataV
  28. 28. 28 オンプレミス MySQL TXT Text Data … Oracle データマネジメント データ収集 データアプリケーションデータ処理 / マネジメント MaxCompute 基盤 クラウド環境 RDS OSS ECS … データウェアハウス Data Mining Task Scheduling Scrubbing & Converting データ同期 ETL アプリケーショ ン レポート リアルタイム クエリ データ分析 マイニング 予想 データファイ ル アクセス制御・ポータルインテグレーション Alibaba Cloudのデータソリューション
  29. 29. GUIベースでタスクスケジューラが設定可能 29
  30. 30. 30 2015 2016 2015年のコンペティションで、 AlibabaクラウドチームはGray (100TBデータのソート時間)と Minute (60sでソートできるデータ 量) 試験で優勝。 2016年のコンペティションで、 Alibabaクラウドチームは Cloud (1TBをソートするための料金)試験 で優勝。 ソートベンチマーク大会の結果
  31. 31. Apsara Cloud Platform 31 Linux cluster Resource Management (Fuxi) Security Management (Zhongkui) Remote Procedure Call (Kuafu) Distributed Coordination Service (Nvwa) (Dayu)Cluster Deployment (Shennong)Cluster Monitoring Distributed File System (Pangu) Job Scheduling (Fuxi) ACE ECS RDS OSS TableStore MaxComput e Data center 青がApsara Platform
  32. 32. Apsara Cloud Platformは神様の名前由来 32 1. Apsara ←全体総称 2. Dayu 3. Pangu 4. Kuafu 5. Fuxi 6. Zhongkui 7. Nvwa 8. Shennong 「川,雲,電光,星の中などに住む、  古水の精の類。古くから美女の典型。」 出典: https://en.wikipedia.org/wiki/Apsara
  33. 33. Apsara Cloud Platform 33 Linux cluster Resource Management (Fuxi) Security Management (Zhongkui) Remote Procedure Call (Kuafu) Distributed Coordination Service (Nvwa) (Dayu)Cluster Deployment (Shennong)Cluster Monitoring Distributed File System (Pangu) Job Scheduling (Fuxi) ACE ECS RDS OSS TableStore MaxComput e Data center 青がApsara Platform
  34. 34. 分散処理を支えるプラットフォーム 34 Fuxi ・リソース管理基盤 ・ジョブスケジューラー Pangu ・分散ファイルシステム 1.https://en.wikipedia.org/wiki/Fuxi 2. https://en.wikipedia.org/wiki/Pangu
  35. 35. リソースマネージャ、ジョブスケジューラ Fuxi 1. Incremental resource management protocol 2. User transparent failure recovery 3. Faulty node detection and multi-level blacklist 出典) http://www.vldb.org/pvldb/vol7/p1393-zhang.pdf 35
  36. 36. 分散ファイルシステム Pangu (盘古) 36 ● Panguは中国の神様の名前(天と地を分けた神) ● Alibabaが独自に開発している分散ファイルシステム (Like GFS, HDFS but more advanced) ● Alibaba Cloudの多くのプロダクトのストレージレイヤーとして利用 Master Master Master Paxos Chank Server Chank Server Chank Server Chank Server Chank Server Chank Server Block Storage Object Storage Table Store Bigdata Service Message Queue Persistent Storage Layer Alibaba Cloud Service Pangu
  37. 37. さらに、オープンソース技術でも Alibaba Cloudを支えている 37
  38. 38. Tengine https://github.com/alibaba/tengine ● NginxベースのWebサーバ ● Nginx-1.8.1の機能はすべて継承 ● ダイナミックモジュール対応や、spdy対応、豊富なロードバラ ンス機能、Lua対応など ● Alibaba製プロダクトの殆どのWebサーバはTengine 38
  39. 39. そうだ、curlしてみよう $ curl -I https://jp.alibabacloud.com HTTP/2 200 date: Mon, 26 Feb 2018 04:35:47 GMT content-type: text/html; charset=utf-8 vary: Accept-Encoding server: Tengine vary: Accept-Encoding x-powered-by: Express 39
  40. 40. LoadBalancer(SLB)とCDNはTengineベースの実装 ● Alibaba Cloudのロードバラ ンサとCDNはTengineベー スで実装 ● 仮想サーバではなく専用の 物理クラスタがある。 Pre-Warmingは必要ない。 40 Server Load Balancer L4 layer: LVS L7 layer: アプリケーション 環境
  41. 41. OpenRestyは実は。。。 ● OpenRestyの作者はもとAlibaba(Taobao)の人で、Tengine のベースを作った人らしい。 41 OpenRestyOpenResty作者
  42. 42. AliSQL https://github.com/alibaba/AliSQL ● AlibabaカスタマイズのMySQL ● 100%MySQL互換 ● パフォーマンス改善と一部機能の追加 ● このAliSQLをマネージドで利用できる、ApsaraDB for RDSを AlibabaCloudで提供 42
  43. 43. RDSのアーキテクチャ 43 Load Balancer Proxy Proxy Proxy DB Engine Load Balancer Proxy Proxy Proxy DB Engine Replication Bare Metal Database Server ApsaraDB for RDSMaster Slave ベアメタルサーバを使ってデータベースサービスを提供。 仮想基盤のオーバーヘッドがないため、ハイパフォーマンスを実現。
  44. 44. ApsaraCache https://github.com/alibaba/ApsaraCache ● Redis 4.0ベース ● パフォーマンスチューニング(30%の性能向上) ● Memcacheプロトコルのサポート(!???) ○ そんなことができるのか? ○ どこまで互換性あるのか? ○ まさかMemcacheのサービスはこれで実装?? 44
  45. 45. ApsaraDB for RedisとMemcache というわけで、担当者に聞い てみました。 Alibaba CloudのRedisと Memcacheのプロダクトで利 用しているのか、どうなの か!? 45 RedisとMemcacheのプロダク トはまさかこれ使って両方実装 してるの? 昔はそうしてたけど、 Memcacheのほうが流石に対 応できないプロトコルもあって やめました さすがにそうっすよねwww でもRedisのパフォーマンス改 善の効果はよくでてるぜ。
  46. 46. Apache RocketMQ https://rocketmq.apache.org/ ● アリババがサービス展開するにあたって直面した課題から生 まれた。 ● ActiveMQのIOが辛くなってきた。Kafkaが要件に合わなかっ たので、自作しオープンソース化。 ● Apache Foundationプロダクト ● AlibabaCloudのメッセージキュープロダクトのベースに利用 されている。 46
  47. 47. Alibabaの技術が詰まっている。 そしてまだまだ謎深い 47
  48. 48. 48 <Developer Community> 2018年2月 AliEatersが立ち上がっ てました。
  49. 49. 49 Meetup第3回はあのWeWorkで 4月11日開催予定。らしいです。
  50. 50. 50 Alibaba Cloudのかっこいい 転写ステッカー配布してますの で、声かけて下さい! (早い者勝ち)
  51. 51. 51 ご静聴ありがとうご ざいました

×