20190108 Azure Data Services
•Transferir como PPTX, PDF•
1 gostou•642 visualizações
とあるハッカソン参加者向けに Microsoft Azure の基本コンセプトから役立ちそうなソリューションについてご紹介した資料です。
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a 20190108 Azure Data Services
Semelhante a 20190108 Azure Data Services (20)
Mais de Miho Yamamoto
Mais de Miho Yamamoto (17)
20190108 Azure Data Services
- 4. Productive + Hybrid + Intelligent + Trusted
- 5. どなたでも 2
- 6. 地球約56 周
- 7. Productive + Hybrid + Intelligent + Trusted
- 11. Azure JAPAN
- 15. Dynamics 365Azure Microsoft 365 Azure Bot Service Azure Cognitive Services Azure Cognitive Search Azure Databricks Azure Machine Learning Azure Ai infrastructure
- 19. Security operations that work for you Partnerships for a heterogeneous worldEnterprise-class intelligent security
- 20. Threat protection Information protection Identity & access management Security management New Capabilities Azure Active Directory Identity Governance Azure Active Directory password-less login Microsoft Threat Protection Microsoft Graph Security API Microsoft Information Protection: unified classification and labeling Microsoft Secure Score expanding to include EMS & Azure
- 21. Productive + Hybrid + Intelligent + Trusted
- 22. ストレージ サーバー ネットワーク OS ミドルウエア 仮想化 データ アプリケーション ランタイム OS ミドルウエア データ アプリケーション ランタイム ユ ー ザ ー 管 理 アプリケーション データ ベ ン ダ ー 管 理 Microsoft Azure 仮想マシン Windows Server Hyper-V Windows Server Microsoft Azure App Services Office 365 Dynamics 365 など ベ ン ダ ー 管 理 ベ ン ダ ー 管 理 ユ ー ザ ー 管 理 ユ ー ザ ー 管 理
- 24. しない
- 28. https://docs.microsoft.com/ja-jp/azure/architecture/guide/technology-choices/data-store-overview
- 29. ワークロード データの種類 例 • 新しいレコードの作成と既存 データの更新の両方が定期的 に発生 • 1 つのトランザクションで複数 の操作を完了する必要がある • 集計関数が必要 • レポート作成ツールによる統 合 • データベースの制約を使用し て、リレーションシップが強 制的に適用 • クエリのパフォーマンスを最 適化するために、インデック スが使用される。 • データの特定のサブセットへ のアクセスを許可する。 • 高度に正規化される。 • データベース スキーマが必要 であり、強制的に適用される。 • データ エンティティ間の多対 多リレーションシップ。 • 制約はスキーマで定義され、 任意のデータに適用される。 • データには、高度な整合性が 必要 • インデックスおよびリレー ションシップは、正確に維持 される • データには、強固な一貫性が 必要 • 100% のトランザクション整合 性 • 個々のデータ エントリのサイ • 基幹業務 (人材管理、顧客関係 管理、エンタープライズ リ ソース プランニング) • 在庫管理 • レポート データベース • 会計 • アセット管理 • ファンド管理 • 注文管理
- 30. データベース SQL Server OS Azure が管理 利用者が管理 VM上の SQL Server ホスト OS 仮想化 フルコントロール データベース SQL Server OS 仮想化 ホスト OS 容易な管理
- 32. 項目 SQL Server SQL Database 冗長構成 SQL Server の高可用性 機能を使用し個別に構成 既定で DC 内の3重化構成 (SLA:99.99 %) Geo レプリケーションで リージョン間の冗長構成が 可能 Premium / Business Critical では、ゾーン冗長 / 読み取りスケールを利用可 能 トランザク ション分離レ ベル ロック方式 (Read Committed) が既定、行 バージョン管理方式への 行バージョン管理方式 (RCSI または、SNAPSHOT) が既定
- 33. 自動バック アップ ポイントタイム 復元 エクス ポート エクスポート時 点への復元 Bacpac ファイルAzure SQL Database プライマリー レプリカ セカンダリ レプリカ セカンダリ レプリカ アプリケー ションからの 読み取りと書 き込み データセンター内 (三 重化) https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-read-scale-out
- 34. コントロールリング
- 36. Azure OSS Database • IaaS ではなく、PaaS • バックアップ、リストア、パッチ 適用などの作業はおまかせ • 高可用性と高セキュリティを両立 • ダウンタイム無しでスケールアッ プ、 スケールダウンも自在 • 既存のドライバ、ライブラリ、 ツールと完全互換 使い慣れたツール、アプリケー ションでからすぐに利用可能 Azure リージョン Azure Resource Manager Application Postgres Client Database Tools (Pgadmin, psql) Postgres Client Database Tools (MySQL Workbench, mysql Client) MySQL Client Azure Database Mgmt Service Application MySQL Client REST API Azure Portal Custom Mgt. ApplicationsAzure CLI
- 37. Azure OSS Database (新機能プレビューアップデー ト）• Intelligent Performance • クエリストア • パフォーマンスリコメンデーション • クエリパフォーマンスインサイト • Advanced Threat Protection • Custom Metrics • Azure Database for MariaDB Apps Advanced Threat Protection (1) Turn on Advanced Threat Protection (3) Real-time actionable alerts (2) Possible threat to access / breach data
- 39. ワークロード データの種類 例 • データは識別され、単一の ID キーを使用して、ディクショ ナリのようにアクセスされる。 • 極めて高い拡張性。 • 結合、ロック、統合は必要な い。 • 集計メカニズムは使用されな い。 • 一般に、セカンダリ インデッ クスは使用されない • データ サイズが大きくなる傾 向がある。 • 各キーは、アンマネージ デー タの BLOB である単一の値に 連付けられる。 • スキーマの適用はない。 • エンティティ間にリレーショ ンシップはない。 • データ キャッシュ • セッションの管理 • ユーザーの基本設定とプロ ファイルの管理 • 製品推奨と広告提供 • ディクショナリ
- 41. ワークロード データの種類 例 • 汎用的な用途。 • 挿入や更新の操作は共通 • 新しいレコードの作成と既存 データの更新の両方が、定期 的に発生 • 非オブジェクト リレーショナ ル インピー ダンスは適合しな い • ドキュメントには、アプリ ケーション コードで使用され るオブジェクト構造のほうが より適合します。 • オプティミスティック コンカ レンシーが、より一般的に使 用される。 • データは、アプリケーション を使用して変更され処理され • 非正規化された方法で、デー タを管理できる。 • 個々のドキュメント データの サイズは比較的小さい。 • 各ドキュメントの種類で、独 自のスキーマを使用できる • ドキュメントには、省略可能 なフィールドを含めることが できる • ドキュメント データは半構造 化されている。つまり、各 フィールドのデータは、厳密 には定義されていません。 • データ集計がサポートされて いる • 製品カタログ • ユーザー アカウント • 部品表 • パーソナル化 コンテンツ管理 • 操作データ • 在庫管理 • トランザクション履歴データ • その他の NoSQL ストアの具体 化されたビュー • ファイルや BLOB のインデッ スを置換する。
- 43. ワークロード データの種類 例 • データ項目間のリレーション シップは非常に複雑であり、 データ項目間に多数のホップ が関連している。 • データ項目間のリレーション シップは動的であり、時間と 共に変化する。 • オブジェクト間のリレーショ ンシップは最上位の扱いにな り、外部キーと走査のための 結合は必要ない。 • データは、ノードとリレー ションシップで構成される。 • ノードは、テーブル行または JSON ドキュメントに似ている。 • リレーションシップはノード と同様に重要であり、クエリ 言語で直接公開される。 • 複数の電話番号の保持者など、 複合オブジェクトは、走査可 能なリレーションシップと組 み合わせて、個々のより小さ なノードに分割される傾向が ある。 • 組織図 • ソーシャル グラフ • 不正行為の検出 • Analytics • 推奨エンジン
- 44. Azure Cosmos DB グローバル分散、スケーラ ブル、 マルチ モデル データベース サービス 多彩な整合性モデル • Strong (強い整合性) • Bounded Staleness (有界整合性制約) • Session (セッション) • Consistent Prefix (一貫性のあるプレフィックス)
- 45. Azure Cosmos DB SQL MongoDB Table API ターンキー グローバル分散 ストレージ、スループットの エラスティック スケール アウト 99 パーセンタイルでの 低レイテンシ保証 包括的な SLA 5 つの明確に定義された 整合性モデル ドキュメント列ファミリ キー/値 グラフ
- 46. Azure Cosmos DB Multi-Master • マルチマスター書き込み サポート （これまでは読み書き可能な単一 の書き込みリージョン＋複数の読 み取り専用リージョンの構成） • グローバル分散が構成さ れているすべてのリー ジョンで読み書き可能 • SLA 99.999% （読み書き両方に対して）
- 49. ワークロード データの種類 例 • 複数のソースおよびサービス からのデータにインデックス を作成する。 • クエリはアドホックであり、 複雑になる場合がある。 • 集計が必要になる。 • フルテキスト検索が必要にな る。 • アドホックのセルフ サービス クエリが必要になる。 • すべてのフィールドでイン デックスによるデータ分析が 必要になる。 • 半構造化または非構造化 • Text • 構造化データへの参照を備え たテキスト • 製品カタログ • サイトの検索 • ログの記録 • Analytics • ショッピング サイト
- 50. ワークロード データの種類 例 • キーによって識別される。 • オブジェクトは、パブリック またはプライベートでアクセ スできる。 • コンテンツは通常、スプレッ ドシート、イメージ、ビデオ ファイルなどのアセットであ る。 • コンテンツは持続性 (永続性) があり、任意のアプリケー ション層または仮想マシンの 外部に存在する必要がある。 • ファイル システムと対話する 既存アプリからの移行。 • SMB インターフェイスが必要 である。 • データ サイズが大きい。 • Blob データ。 • 値は非透過的である。 • フォルダーの階層セット内の ファイル。 • 標準の I/O ライブラリを使っ アクセスできる。 • イメージ、ビデオ、office ド キュメント、PDF • CSS、スクリプト、CSV • 静的 HTML、JSON • ログおよび監査ファイル • データベースのバックアップ • レガシ ファイル • 多数の VM またはアプリ イン スタンスからアクセス可能な 共有コンテンツ
- 53. Azure Cognitive Services Azure Bot Services Azure Search (Cognitive Search) Azure Databricks Azure Machine Learning Azure AI Infrastructure ナレッジ マイニングAI アプリ & エージェント 機械学習 Microsoft Azure AI プラットフォーム 53
- 54. オンプレミス クラウド エッジ Vision Language Azure Search Azure Machine Learning ONNX Speech 人気のフレームワーク 高度なディープラーニングソリューションを構築する 生産的なサービス データサイエンティスト/開発チームの生産性を向上する 柔軟な展開 クラウドとエッジに、モデルを展開/管理する 洗練された Pre Trained モデル ソリューション開発を簡素化する 強力なインフラストラクチャ 高速な環境を提供する Keras Cpu Gpu Fpga Azure Databricks Machine Learning vm TensorFlowPytorch Cognitive Services 54
- 55. 55
- 56. 56
- 57. 57 "faceId": "48cdf8c8-841c-4d33-b875-1710a3fc6542", "faceRectangle": { “width”: 228,“height”: 228, "left": 460,"top": 125 }, "faceAttributes": { "age": 23.5,"gender": "female", "headPose": {"roll": -16.5,"yaw": 22.1,"pitch": 0}, "smile": 0.998, "facialHair": {"moustache": 0,"beard": 0,"sideburns": 0}, "glasses": "ReadingGlasses" } Detection Result Grouping Identity • 感情認識 – 喜び、驚き、悲しみ、怒り、恐れ、 嫌悪、軽蔑、中立 Emotion API Emotion
- 58. 58 • 画像分析 – オブジェクト、前景、背景カラー、 画像/絵、アウトライン化 – 顔: 年齢/性別/表示位置 • 画像から文字データの読み取り (OCR: Optical Character Recognition) • 手書き文字の読み取り（プレビュー） (現在 英語のみ) • 著名人、ランドマークの認識 A GOAL WITHOUT A PLAN IS JUST A WISH Analyze image Category People; 1 face found Adult False Black & White? No Dominant colors Accent color OCR OCR Handwriting chapter Mr. Sherlock Holmes In the year 1878 I took my degree of Doctor of medicine of the university of London and proceeded to Netley to go through… { "categories": [ { "name": "Satya Nadella", "confidence": 0.99727016687393188 } ]} { "categories": [ { "name": "Colosseum", "confidence": 0.94450044631958008 } ] }
- 59. 59 独自の画像認識サービスを構築することが可能です。独自の画像と独自のタグ付けを行い、学習をさせて、自動 認識を行えるようにできます。画像分類/オブジェクトの認識が可能です。 また、Compactで作成したClassificationモデルは、エクスポートして、 Tensorflow for Android / CoreML for iOS11 / ONNX for Windows ML / Windows or Linux container で利用可能です。 Object Detection (オブジェクト認識)
- 60. 60 動画を分析し、会話内容をスクリプト化したり、動画に出てくる人物や文字を自動認識し、洞察を与えてくれま す。 https://vi.microsoft.com/ • 対応するビデオソース言語 – Arabic – Chinese(Simplified) – English – French – German – Italian – Japanese – Portuguese – Russian – Spanish
- 61. 61 Text to Speech Conversion Speech Recognition 450 6th St. San Francisco• 音声からテキストへの自動変換 – 20 言語 / 30 地域 ※日本語含む Speech to Text • 話し言葉からリアルタイムで翻訳後のテキストを出力 • 10言語 ※日本語含む Speech Translation • テキストから音声への自動変換 – 35 言語 / 51 地域 ※日本語含む Text to Speech Conversion translation 450 6th St. San Francisco
- 62. 62 • アプリケーションやユーザーに合わせ、カスタマイズされた言語モデルと音響モデルを作成可能 （現在日本語は言語モデルのみ対応） • 音声/テキスト データをアップロードして、マイクロソフトの最新の音声モデルをベースにした カスタムモデルを作成 • Pronunciation(特殊な発音の認識)は、現在英語のみ対応 – 発音 see Three pea o -> C3PO などの登録 Custom Speech 音響ファイルと、それ対応するテキストファイルを用意し、学習 –対応言語は en-US, en-IN, de-DE, zh-CN, it-IT, fr-FR, ru-RU 音響ファイルは利用シナリオに合ったものを用意 –騒音のある工場でのスピーチを認識させるには、騒音のある工場でのスピーチ データを用意 テキストファイルを用意し、学習 –対応言語は en, de-DE, zh, es, it-IT, fr, hi-IN, pt, ja-JP, ko-KR, nl-NL, ru-RU, ar-EG 音響ファイルは必要なし –発話例のリストを作成するだけ
- 63. 63 Speaker Recognition API • 声紋登録 – ユーザープロファイルを作成して 登録が可能 Speaker Recognition プレビュー • 登録された声紋による話し手認識 – 音声ソースの中から誰が話しているかを 特定 • 登録された声紋から識別 – 登録された声紋と一致するかY/N判定が 可能
- 65. 65 This translation tool is an eas y way to extend the reach of your internal and ex ternal content. クライアントアプリ / Webページ この翻訳ツールは、内部および 外部コンテンツの範囲を拡張す る簡単な方法です。 Web API Microsoft Translator サービス すべてのプランで、No-Trace Optionを採用 • 文章やリクエストは、サービスの品質向上に利用されない • 文章やリクエストは、データセンター側に一切保存されない https://www.microsoft.com/en-us/translator/notrace.aspx Translator Text API V3 • 一つのリクエストで、複数言語に翻訳 • Profanity(ぼうとく的な表現) への対処 • Dynamic dictionary(動的な辞書)の利用 • Transliterate(音訳)の提供 • Dictionary Lookup / Dictionary Examplesの提供
- 66. 66 ロード 学習 テスト デプロイ 対訳文 それぞれのビジネスや業界で使用される用語を解釈できるカスタムの翻訳システムを構築するための Microsoft Translatorの拡張機能 ・Neural Machine Translation(NMT) ・Translator Hubは、Standard Machine Translation(SMT)を利用 https://portal.customtranslator.azure.ai/
- 68. 68 質問＆回答リストから FAQ を作成 Knowledge Base •質問＆回答のリスト Test •チューニング 入力に対する適切な回答 入力のバリエーションの追加 Save & train Publish •WebサービスとしてAPI経由で利用可能に
- 70. 2018年11月現在、Face, OCR, 感情分析, 言語検出, キーフレーズ抽出 の Cognitive Service がコンテ ナ上でご利用できるようになりした（Face, OCRについては申請が必要） Cognitive Services のコンテナ対応によるベネフィット データの制御: この機能ではクラウドにデータを送信せずに Cognitive Services テクノロジにアクセスすることが可能です。ハイブ リッド環境でデータ、管理、ID、セキュリティの整合性をサポートします。 モデルの更新の制御 ソリューションにデプロイされているモデルのバージョン管理と更新を柔軟に行うことができます。 移植可能なアーキテクチャ クラウド、オンプレミス、エッジにデプロイできる移植可能なアプリケーション アーキテクチャを作成できます。 高スループット/低待機時間 お客様は、アプリケーションのロジックとデータに物理的に近い Azure Kubernetes Service で Cognitive Services を実行できるようにすることで、高いスループットと低待機時間の要件に合わせてスケーリングできます。 将来的な拡張性 Cognitive Servicesのコンテナ対応は順次開発される予定です。
- 71. 対応するCognitive Services のコンテナ機能の詳細 Service コンテナー 説明 Computer Vision Recognize Text レシート、ポスター、名刺など、さまざまな表面や背景を持ついろいろなオブジェクトのイメー ジから、印刷されたテキストを抽出します（現在英語でのみ機能）。 Face Face Face には、画像中の人の顔を検出し、顔のパーツ (鼻や目など)、性別、年齢のほか、マシンが 予測するその他の顔の特徴などの属性を識別します。 検出に加えて、Face では、同じ画像また は異なる画像中の 2 つの顏が同じかどうかを信頼スコアを使って確認したり、データベースと顏 を比較して、似ている顏や同一の顔が既に存在するかどうかを調べたりできます。 また、同じ視 覚的特徴を使用して、似た顔をグループに分けて整理することもできます。 Text Analytics キー フレーズ抽出 主なポイントを識別するキー フレーズを抽出します。 たとえば、「食べ物はおいしくて、すば らしいスタッフがいた」というテキストを入力すると、この API は話題の中心として "食べ物" と "すばらしいスタッフ" を返します。 Text Analytics 言語検出 最大 120 の言語に対して、入力テキストが書かれている言語を検出し、要求で送信されたドキュ メントごとに 1 つの言語コードを報告します。 言語コードは、確信度との組みになります。 Text Analytics 感情分析 肯定的または否定的な感情の手がかりを探して未加工のテキストを分析します。 この API はド キュメントごとに 0 から 1 までの感情スコアを返します。1 が最も肯定的となります。 分析モデ ルは、広範囲にわたるテキスト本文と Microsoft の自然言語技術を利用して事前トレーニングさ れています。 一部の言語については、この API はユーザーが指定したあらゆる未加工テキストを 分析し、評価し、呼び出し元のアプリケーションに結果を直接返すことができます（日本語未対 応）。
- 73. App Service Environments アプリケーションを 安全に実行するため の完全に分離された 専用環境を実現でき ます。 Functions イベント ドリブン型 のサーバレス コンピューティング Web App for Containers コンテナベースの Web アプリ Web App
- 74. 色々な開発環境 • .NET Framework, PHP, Python, Node, Java, .. • リモートデバッグ • DevOps • ステージングデプロイのための サイトスロット • サイトエクステンション ギャラリー • ブラウザーベースのエディタ • Kudu • など フルマネージ • スケールアップ、スケールアウト • オートスケール • WW のデーターセンター • OS と Framework • ロードバランサー • モニタリング＆アラート • Web ジョブ(WebJobs) • サービスの再起動 • など Enterprise • Enterprise グレードの SLA • セキュリティとコンプライアンス • ロールベースアクセスコントロール • バックアップスケジュール • カスタムドメイン、SSL証明書 • Azure Active Directory 統合 • オンプレミス統合 VNET統合 /ハイブリッド接続 • App Service Environment • など
- 77. Power BI Power BI Embedded データとコントロールを 関連付けることで多彩な ダッシュボードの表現が可能 ダッシュボードを 自社のソリューションに 組み込むことで 可視化部品として利用可能
- 81. 本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に対していかなる責務を負うものではなく、提示された情報の信憑性 については保証できません。 本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。 すべての当該著作権法を遵守することはお客様の責務です。Microsoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段（電子的、機械的、複写、 レコーディング、その他）、および目的であっても禁じられています。 これらは著作権保護された権利を制限するものではありません。 Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoftから書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの特許、商標、著作権、また はその他の知的財産へのライセンスを与えるものではありません。 © 2019 Microsoft Corporation. All rights reserved. Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。その他、記載されている会社名および製品名は、一般に各社の商標です。