O slideshow foi denunciado.
Seu SlideShare está sendo baixado. ×

Microsoft Azure Workshop day2

Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio

Confira estes a seguir

1 de 79 Anúncio

Mais Conteúdo rRelacionado

Diapositivos para si (20)

Semelhante a Microsoft Azure Workshop day2 (20)

Anúncio

Mais de Miho Yamamoto (20)

Mais recentes (20)

Anúncio

Microsoft Azure Workshop day2

  1. 1. “構造化” データ 表形式で表せる “非構造化” データ 表形式では表せない
  2. 2. “構造化” データ 表形式で表せる “非構造化” データ 表形式では表せない
  3. 3. データストア スト レージ データベース RDB その他
  4. 4. データ形 式 データサ イズ スケール と構造 データ間 の関係性 整合性モ デル スキーマ の柔軟性 同時実行 性 データの 移動 データの ライフサ イクル 製品がサ ポートす る機能 パフォー マンス スケーラ ビリティ データ複 製 同期と遅 延 信頼性 製品の制 限 PaaS/IaaS データ配 置場所 移植性 ライセン ス 総コスト とコスト 効率 セキュリ ティ 監査 ネット ワーク 開発者の スキル 利用者の スキル クライア ントツー ル 処理内容 バック アップ
  5. 5. 機能要件 セキュリ ティ 非機能要件 DevOps (Productivity) 管理とコス ト
  6. 6. 機能要件 セキュリ ティ 非機能要件 DevOps (Productivity) 管理とコス ト
  7. 7. データ形式 構造化/半構造化/非構造化 トランザクションデータ、JSON オブジェクト、利用統計情報、 検索インデックス、フラットファイル、画像、動画、・・・ データ サイズ 行/アーティクル/ファイルなどのサイズ、1日/1週間/1か月/1年の のサイズ、 経年増加、保持期間最大のサイズ エンティティは単一/複数のドキュメント、テーブル、コレク ションの分割可否 スケールと構造 ストレージの総容量、パーティション分割の可否、エラス ティック構造の 必要性 リレーションシップ 一対一/一対多/多対多、物理的なリレーションの可否、 同一データセット内の結合、外部データセットとの結合 整合性モデル ACID 特性(参照整合性)/Base 特性(結果整合性)の必要性、 トランザクションなし
  8. 8. スキーマの柔軟性 固定スキーマ/書き込み時スキーマ/読み取り時スキーマ、ス キーマ変更の 可能性・頻度 同時実行 オプティミスティック/ペシミスティック同時実行制御 参照と更新の同時実行性、更新と更新の同時実行性 同時実行ユーザー数、データのバージョン管理 データの移動 中間データストアとしてデータの移動が発生するか、最終的な データストアとして保存・参照されるだけか データライフサイクル 保存・書き込みだけか、更新頻度、読み取り期間、削除サイク ル、 読み取り頻度が減ったデータをコールドスタンバイ化 サポート機能 集計/グルーピング/他 複雑な関数の必要性、インデックス作成、 フルテキスト検索、MapReduce、他の特定機能の必要性
  9. 9. 機能要件 セキュリ ティ 非機能要件 DevOps (Productivity) 管理とコス ト
  10. 10. 機能要件 セキュリ ティ 非機能要件 DevOps (Productivity) 管理とコス ト
  11. 11. パフォーマンスと スケーラビリティ 分析/更新における参照レスポンス、データ更新時のレスポンス、 バッチ処理におけるスループット、集計/分析の処理時間、並列 数、 ワークロード負荷 信頼性 RASIS(Reliability、Availability、Serviceability、Integrity、 Security) 故障率、障害/災害を意識したフォールトトレランスレベル、 自己メンテナンスの範囲、バックアップ/リストア レプリケーション 遠隔地処理遅延時間、遠隔地へのデータ同期(レプリケーショ ン)の 必要性、データ同期ソリューション 制限 製品によるスケール/接続数/スループット/他の機能制限
  12. 12. 機能要件 セキュリ ティ 非機能要件 DevOps (Productivity) 管理とコス ト
  13. 13. 機能要件 セキュリ ティ 非機能要件 DevOps (Productivity) 管理とコス ト
  14. 14. 管理されたサービス PaaS で機能が充足しているか、IaaS が必要となってくるか 利用可能なリージョン サービスを展開する国や地域、ユーザーが利用する国や地域 移植性 既存システムの有無と移行の必要性、移行方式、ハイブリッド ライセンス 有償製品、OSS、ライセンスの種類、月額課金にライセンスが 含まれるか、購入における制限 総コスト 初期導入コスト、運用コスト、ライセンス料 コスト効率 データ分割を利用したコスト低減策、多機能で高額なデータス トアが 必要か機能が限定的でも低価格なデータストアで良いか、 コールドスタンバイを利用したコストセーブ
  15. 15. 機能要件 セキュリ ティ 非機能要件 DevOps (Productivity) 管理とコス ト
  16. 16. 機能要件 セキュリ ティ 非機能要件 DevOps (Productivity) 管理とコス ト
  17. 17. セキュリティ 認証、認可、ID管理、暗号化の有無と種類 監査 監査の必要性、監査方法、監査項目 ネットワーク要件 オンプレとクラウド相互通信、クラウドのみ限定、リージョン 間の接続、 インターネット接続、通信制御、Point to Site/Site to Site、 専用線接続、サービスネットワーク/管理ネットワークの分離、 使用するプロトコル
  18. 18. 機能要件 セキュリ ティ 非機能要件 DevOps (Productivity) 管理とコス ト
  19. 19. 機能要件 セキュリ ティ 非機能要件 DevOps (Productivity) 管理とコス ト
  20. 20. スキル セット OS、ミドルウェア、プログラミング言語、開発ツール 開発/運用担当者のスキル、ユーザーのスキールとトレーニング クライアント ユーザー/管理/開発者の端末、クライアントツール Windows/Mac/Linux、PC/タブレット/スマートフォン 専用アプリケーション/汎用アプリケーション
  21. 21. すべてを同等に考える必要はありま
  22. 22. オンプレ RDBMS 連動型 ETL PaaS RDB IaaS + PaaS NoSQL https://azure.microsoft.com/ja-jp/product-categories/databases/
  23. 23. • OS や SQL Server のパッチ マネージメントおよびアッ プグレード作業不要 • 高可用性(HA)構成 • SLA 99.99 % • 解りやすく使いやすい SQL Database 管理ポータル • スケール アウト • Azure 管理ポータルでの容 易な設定 • 迅速なアプリケーション開 発 • Visual Studio などの開発 ツールとの高い親和性 • 内部設置型の SQL Server と同じアーキテクチャ • 内部設置型および Azure VM 上の SQL Server との 同期フレームワークを提供
  24. 24. fully featured RDBMS transactional processing rich query managed as a service elastic scale internet accessible http/rest schema-free data model arbitrary data formats
  25. 25. • 内部設置型の SQL Server と同じ方法でアクセス・管理できるため、移行コストを 抑えられる • これまで培ったリレーショナル データベースの設計スキルや Transact-SQL プログ ラミングのスキルを活かすことができる • 内部設置型の SQL Server に付随する各種管理オーバーヘッド(ハードウェアのメ ンテナンスとか、容量拡張とか)が必要ないため、 IT 部門の負担はほぼゼロ • プロビジョニングは数分で実行され、サービスインまでの期間の大幅短縮と初期 コストが減少 • 使用率や負荷が大きく変動しても耐えられるだけの柔軟性を備えている • データの冗長コピーを複数の物理サーバーにレプリケートしており、データセン ターのハードウェア障害時は自動フェールオーバーによって可用性とビジネスの 継続性が担保されている • データの増大や利用ユーザーの増加に合わせてサービスやストレージサイズも拡 張可能 • 逆に、サービスやストレージサイズを縮小することも可能 • 従量料金モデルのため、使用したストレージに対して料金が発生 • クライアントとサーバー間の通信に内部設置型の SQL Server と同じ表形式データ ストリーム (TDS) プロトコルを使用しているため、Windows クライアントアプリ ケーションから Web アプリケーションまで、これまでと同じ手法で開発ができ る
  26. 26. 論理データベース 3つの物理的なデータベースの複製 プライマリ セカンダリ セカンダリ
  27. 27. データベース SQL Server OS Azure が管理 利用者が管理 VM上の SQL Server ホスト OS 仮想化 フルコントロール データベース SQL Server OS 仮想化 ホスト OS 容易な管理
  28. 28. オンプレミス 共有 低コスト 専有 高コスト 管理工数高 管理工数低 クラウド
  29. 29. 項目 SQL Server SQL Database 冗長構成 SQL Server の高可用性機能 を使用し個別に構成 既定で DC 内の3重化構成 (SLA:99.99 %) Geo レプリケーションで リージョン間の冗長構成が 可能 Premium / Business では、ゾーン冗長 / 読み取りスケールを利用可 能 トランザク ション分離レ ベル ロック方式 (Read Committed) が既定、行 バージョン管理方式への変 行バージョン管理方式 (RCSI または、 が既定
  30. 30. 自動バック アップ ポイントタイム 復元 エクス ポート エクスポート時 点への復元 Bacpac ファイル Azure SQL Database プライマリー レプリカ セカンダリ レプリカ セカンダリ レプリカ アプリケー ションからの 読み取りと書 き込み データセンター内 (三 重化)
  31. 31. コントロールリング
  32. 32. コントロールリング テナントリング
  33. 33. Azure SQL Database プライマリー レプリカ セカンダリ レプリカ アプリケー ションからの 読み取りと書 き込み 東日本リージョン セカンダリ レプリカ 西日本リージョン セカンダリ レプリカ 東アジアリージョン セカンダリ レプリカ 西ヨーロッパリージョン
  34. 34. Database Transaction Unit (DTU) とは 参考:データベース トランザクション ユニット (DTU) とエラスティック データベース トランザクション ユニット (eDTU) の説明 https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-what-is-a-dtu DTU 使用率
  35. 35. vCore モデル DTU モデル vCore モデル https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-service-tiers-vcore
  36. 36. vCore モデル別の違い モデル SLA 説明 汎用 99.99 % ほとんどのビジネスワークロードに最適でバランスの とれたオプション Azure Premium Storage ページ BLOB を使用 Business Critical IO要件の高いビジネスアプリケーション 分離された複数のレプリカを使用した最高の耐障害性 ローカルSSDストレージを使用 SQL Server の Azure ハイブリッド特典を使用すること で ライセンスコストを減らすことも可能 Premium ≒ Business Critical
  37. 37. AzureAzure Saas Azure Public Cloud Office 365Office 365
  38. 38. 53 Control Node SQL DB Compute Node Compute Node Compute Node Compute Node SQL DB SQL DB SQL DB SQL DB コンピュート層 • スケールアウト・ダウ ン可能 • 停止可能 データはストレージ層 MPP処理 コンピュート層とスト レージ層を分離するこ とで、スケール アウトを容易にし、同 時に 課金も柔軟にする DMS DMS DMS DMS DMS Compute Node SQL DB DMS プレミアムストレージ(SSD)
  39. 39. 54 Geo- replicated Restore from backup SQL Data Warehouse backups sabcp01bl21 Azure Storage sabcp01bl21
  40. 40. 55
  41. 41. 56 詳細は下記URL参照 https://azure.microsoft.com/ja-jp/pricing/details/sql-data-warehouse/gen1/ https://azure.microsoft.com/ja-jp/pricing/details/sql-data-warehouse/gen2/
  42. 42. 57 0-4 TBs 4-8 TBs 8-12 TBs 12-16 TBs 16-20 TBs 20-36 TBs 36-48 TBs 48-60 TBs 60-80 TBs 80-160 TBs >160 TBs 100 200 300 400 500 600 1000 1200 1500 2000 3000 6000 推奨スタートサイズ 任意に指定可能な範囲
  43. 43. 61 ターン キー 形式の グローバル分散 すべてのデータを自動的に 世界中の Azure リージョンにレプリケート
  44. 44. 62
  45. 45. 63 ドキュメント キー/バリュー グラフ 列指向形 SQL (DocumentDB) MongoDB Azure Table Storage Gremlin グラフ Cassandra (Preview)
  46. 46. 64 Read < 2 ms Writes < 6 ms Read < 10 ms Writes < 15 ms 99%50%
  47. 47. 65 9 PM PST 少ない スループット 多くの スループット 多くの スループット 少ない スループット 11 PM PST11 PM PST
  48. 48. 66 01 Strong Bounded Staleness Session Consistent Prefix Eventual 整合性 パフォーマンス 高可用性 02 04 03 05
  49. 49. 67 詳細は下記URL参照 https://azure.microsoft.com/ja-jp/pricing/details/cosmos-db/ https://www.documentdb.com/capacityplanner
  50. 50. 要求ユニット (RU) % IOPS% CPU% メモリ
  51. 51. 要求ユニット (RU) GET POST PUT Query … = = = =
  52. 52. 要求ユニット (RU) 最小 RU/秒 最大 RU/秒 入力リクエスト レプリカが 休止状態 レート制 限 レート制限な し
  53. 53. 71 Call Log Files Customer Table Call Log Files Customer Table Customer Churn Table Data Sources Ingest Transform & Analyze Publish Customer Call Details Customers Likely to Churn
  54. 54. 72
  55. 55. 73
  56. 56. 74 LINKED SERVICE 1 接続先情報+資格情報 LINKED SERVICE 2 接続先情報+資格情報
  57. 57. Data Set 1 データ構造 フォルダ名/(ファイル名) LINKED SERVICE 1 接続先情報+資格情報 データの実体
  58. 58. データのコピー データの変換/分析 • DATA SET 間のデータコ ピー • LINKED SERVICE (コンピューティング サービス)を活用したデータの変換/分析
  59. 59. ・・・ https://azure.microsoft.com/ja-jp/documentation/articles/data-factory-create-pipelines/
  60. 60. Power BI Power BI Embedded データとコントロールを 関連付けることで多彩な ダッシュボードの表現が可能 ダッシュボードを 自社のソリューションに 組み込むことで 可視化部品として利用可能
  61. 61. モデル化 配信分析/オーサリング モデル化
  62. 62.  本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に対していかなる責務を負うものではなく、提示 された情報の信憑性については保証できません。  本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。  すべての当該著作権法を遵守することはお客様の責務です。Microsoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段(電子的、機械 的、複写、 レコーディング、その他)、および目的であっても禁じられています。 これらは著作権保護された権利を制限するものではありません。  Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoftから書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの特許、 商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません。 © 2018 Microsoft Corporation. All rights reserved. Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。 その他、記載されている会社名および製品名は、一般に各社の商標です。  本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に対していかなる責務を負うものではなく、提示された情報の信憑 性については保証できません。  本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。  すべての当該著作権法を遵守することはお客様の責務です。Microsoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段(電子的、機械的、複写、 レコーディング、その他)、および目的であっても禁じられています。 これらは著作権保護された権利を制限するものではありません。  Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoftから書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの特許、商標、著作権、ま たはその他の知的財産へのライセンスを与えるものではありません。 © 2018 Microsoft Corporation. All rights reserved. Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。 その他、記載されている会社名および製品名は、一般に各社の商標です。

Notas do Editor

  • データには大きく分けて2種類あります。
    表形式で表すことができる、構造化されたデータと特定の構造を持たない非構造化データです。
    構造化データは、主に
    ・OLTP(オンライントランザクションプログラム)
    ・モバイル
    ・ERP(ERPとはEnterprise Resource Planningの略称で、企業の資産である人・モノ・カネを一元管理し、経営の効率化を図るための製品です。)
    ・LOBことラージオブジェクト
    といった用途で使用されるデータのことを示します。

    対して、非構造化データは、
    ・グラフ
    ・ソーシャル
    ・IoT (Internet of Things、モノのインターネット)
    ・メディア

    メール、文書、画像、動画、音声などのほか、Webサイトのログやバックアップ/アーカイブなどを指します。
    構造化されたデータはこれらの非構造化データを整理、整形して表形式で表せるようにしたものも含まれます。
  • ACID 特性
    原子性(Atomicity)
    一貫性(Consistency)
    独立性(Isolation)
    永続性(Durability
  • 3層構造のMPPアーキテクチャを使用したRDB
    スケーラビリティのため、Computeとストレージを分離しており、一時停止/再開にて、臨機応変な処理に対応可能

    細かいトランザクションには向いていないが、カラムストア型のアクセスが得意で大量データの抽出が得意
    SQL Server や SQL Database と類似している使い慣れた SQL 文が利用可能

  • に5年以上の歴史がある
    2010年にMicrosoft社内の大規模なアプリケーションに対応するため、 "Project Florence" として運用が開始
    2015年にAzure DocumentDBとしてGA
    2017年5月にAzure Cosmos DBに変更(昇格?)
  • また、
    Redis Cache
    Table Storage はAzure のPaaSとして対応しています。
  • 1粒を1バイトとすると1カップがキロバイト、メガバイトは8袋(これって何キロかんさん?)テラバイトは2コンテナ分、ペタバイトで山手線の内側くらい、エクサバイトで、ウエストコーストくらい、ゼッタバイトで太平洋を埋め尽くし、ヨッタバイトで地球のサイズのおにぎりできちゃう。
  • 70

×