Share pointを支えるsql server2014最新情報

2014

SharePointを支える
SQL Server2014最新情報

2014.2.22
株式会社 CSK Winテクノロジ
技術フェロー特別役員
熊澤幸生
Copyright© CSK WinTechnology Corporation

Agenda
SQL Server のこれまでと今後
 SharePoint の基盤設計と設定
 本稼働後の性能監視
 まとめ



1

2014

自己紹介


1977年に富士通メインフレームで初めてデータベースと出会う




1979年-1983年米国駐在日系企業全米オンラインシステム構築に従事




データ主導型アーキテクチャを学ぶ(リポジトリによるメタデータ管理:IDMS/R)

メインフレーム上で大規模DB設計とチューニングを数多く経験




自動車会社割賦販売システム用DB移行プロジェクト

運送会社貨物追跡システム等を構築

1994年アスキーNT(現㈱CSK Winテクノロジ)設立に参加






株主 : アスキー、マイクロソフト、NTT データ、CSK 、みずほ銀行

Windows Server と SQL Server に特化し、教育、構築に従事

現在
SQL Server 上のDBコンサルティングとチューニングに従事
㈱CSK Winテクノロジ技術フェロー特別役員
Microsoft MVP – SQL Server (2007.4 – 2014.3)
 Microsoft Press インサイド SQL Server 2005 シリ－ズ監修
 日本マイクロソフト株式会社 SQL Server 技術顧問 (2008.7 - )





2

2014

SQL Server の歴史


第一世代 1994 - 1998


SQL Server 4.2 / 6.0 / 6.5


Sybase 社から技術提供を受け、Windows NT Server 上に移植




第二世代 1998 - 2005


SQL Server 7.0 / 2000


Dr. Jim Gray / Dave Campbell 氏らを迎えアーキテクチャを刷新






8KB/ページ 64KB/エクステント行ロックの導入
SQLOSの採用
Analysis Service / ETL の提供開始 / XML のサポート

第三世代 2005 - 2012


SQL Server 2005 / 2008 / 2008R2










2KB/ページ 16KB/エクステントページロック

IA32 から x64 への移行
NUMA アーキテクチャの拡張
クエリー並列処理機能の強化
動的管理ビューによる内部動作と問題点の可視化
ラージオブジェクト格納への対応
BI 機能の強化
パラレル・データ・ウェアハウス

第四世代 2012 

SQL Server 2012


Non Clustered ColumnStore Index


Read Only



Always On : HA DR 機能の強化
Power View : Self Service BI 機能の強化
FileTable : NTFSファイルとディレクトリの統合



Clustered Columnstore Index






SQL Server 2014





Insert / Update / Delete を透過的に処理可能

インメモリー OLTP (Hekaton)
SSD バッファープール拡張機能


3

2014

Dr. Jim Gray 行方不明に

1966年カルフォルニア大学バークレー校卒業
1995年 IBM / タンデムを経てマイクロソフトに入社
1998年 DB とトランザクション処理に関して、チューリング賞を受賞
1998 年、2005 年に来日

4

2014

Dr. Jim Gray の後継者出現


Dr. David J. DeWitt
Technical Fellow,
Data and Storage Platform Division
Microsoft Corp.
2008.3 入社

University of Wisconsin – Madison 校
Computer Sciences Department 教授
 Teradata を開発し、NCRに売却
 Microsoft Jim Gray Systems Lab 創設者




大規模リレーショナル型DHWのアーキテクチャ
を設計 (パラレル DWH)



SQL Server 2008 R2 PDWH 開発に貢献
カラム・ストアーインデックスを実装

5

2014

バランスドシステムとは


SQL Server リレーショナルエンジンに最適化された
ハードウエア構成




考慮すべき構成要素 (共有リソース)









プロセッサ
メモリ
ストレージサブシステム
ネットワーク

SQL Server 専用サーバー上に配置する




リファレンスアーキテクチャ

トランザクション処理用と、DWH系は、分離したサーバー上に
配置する

将来のトランザクションベースラインを明確化する
SQLOS の内部動作を理解する


6

2014

プロセッサの選定



主流は、x 64 アーキテクチャ
NUMA アーキテクチャサポートの有無


NUMA 対応 CPU







マルチコア化が今後も加速










Intel Xeon E3 / E5 / E7 シリーズ
AMD Opteron
CPU ソケット内にローカルメモリコントローラーと複数の
高速インターコネクトを内蔵

Intel Xeon E3 4 Core/ソケット
Intel Xeon E5 8 Core/ソケット
Intel Xeon E7 V2 15 Core/ソケット
AMD Opteron 16 Core/ソケット

クロック数と、キャッシュサイズも重要
CPU 占有率の監視より、コア数不足
(SQLOS スケジューラと 1: 1) を監視する


7

2014

必要なメモリサイズの考え方






SQL Server 2000 では、最もクリティカルな
共有リソースだった
現在 x64 64 ビットアドレス方式が主流
SQL Server 2012 Enterprise Edition は、最大 4TB の
メモリ空間を利用可能
SQL Server 2012 からメモリーの利用方法が大きく変更された


8 KB Page vs Large page
 リソースガバナーを利用してインメモリー OLTP と
ColumnStore Index に対応


必要な物理メモリサイズは?


NUMA アーキテクチャの場合




SMP アーキテクチャの場合




NUMA ノードあたり 32–64 GB を推奨
CPU 物理コアあたり、4 GB をスタートラインに

OLTP の場合、ユーザー DB 容量の 10% を目安に
メモリ見積もりを実施する


8

2014

ストレージサブシステムの選定


接続方法






HBA 経由ファイバーチャネル接続
(複数の HBA による MPIO 構成を推奨する)
iSCSI
DAS / PCI 直結型 (高信頼性 SSD : Violin Memory Array / fusion I/O)

デバイスタイプ


処理スピード順 (目的別の階層化を考慮)




トランザクションログ






複数の高回転 (15,000 rpm) デバイスを利用

DWH




順アクセスの書込み処理 (1,000 IOPS/物理ドライブ)

トランザクション処理




SSD/FC ディスク/SAS/SATA

大容量の中速ディスクを利用

容量より、回転数と物理ディスクの数が重要
RAID 1 + 0 を推奨
(4 + 4) 2 LUN (ユーザーデータ領域、tempdb 領域)
 (3 + 3) 2 LUN (トランザクションログ領域、Index 領域)
 搭載する物理ディスク数は、データボリュームとトランザクション負荷により決定する



9

2014

次世代のパフォーマンスを実現する
Flash Memory


Database on the Memory


HDD vs. Flash Memory (SSD) *1

1TB Random Read (8K) – 約 20 倍高速に

1TB Random Write (8K) – 約 10 倍高速に
HDD

<

SSD

*1 比較対象のストレージ詳細
SSD Violin Memory Array 3205
HDD CX4-240 (SAS 15K 450GB HDD x10 RAID10)
SQLIO を利用した自社社内検証結果より

10

2014

Flash Memory SSD の適用分野
仮想環境基盤のストレージサブシステム
 データベースアプリケーション基盤


スタースキーマ
 多次元データベース
 商品点数と顧客数の多いコマースサイト用
データベース
 生産管理用 BOM と MRP バッチ処理の短縮化
 データベースの論理設計と物理設計ノウハウが
重要となる
 DWH


11

2014

SQL Server と NUMA ノード
CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

メ
モ
リ

CPU

CPU

CPU

CPU

CPU

CPU

CPU

CPU

メモリー
コント
ローラ

メ
モ
リ

メモリー
コント
ローラ

メ
モ
リ

メモリー
コント
ローラ

メ
モ
リ

メモリー
コント
ローラ

インターコネクト
Windows
Node No

Node 0

Node 1

Node 2

Node 3

SQLOS
Node No

Node 1

Node 0

Node 2

Node 3

SQLOS
グローバル・
リソース
システムノード
12

SQLOS
ユーザノード

SQLOS
ユーザノード

OS
グローバル・
リソース
SQLOS
ユーザノード

2014

2/19 Xeon E7 V2 発表


13

2014

4 ソケット 60 物理コア 2,000 User


14

2014

SQL Server サービス起動ログ










































Configuration option 'max degree of parallelism' changed from 0 to 15. Run the RECONFIGURE statement to install.
Configuration option 'show advanced options' changed from 0 to 1. Run the RECONFIGURE statement to install.
Starting up database 'Northwind'.
Configuration option 'show advanced options' changed from 0 to 1. Run the RECONFIGURE statement to install.
Service Broker manager has started.
The Database Mirroring endpoint is in disabled or stopped state.
The Service Broker endpoint is in disabled or stopped state.
Starting up database 'tempdb'.
Clearing tempdb database.'.
The resource database build version is 11.00.2100.
Starting up database 'mssqlsystemresource'.
Starting up database 'msdb'.
Resource governor reconfiguration succeeded.
CLR version v4.0.30319 loaded.
Lock partitioning is enabled.
Using dynamic lock allocation. Initial allocation of 2500 Lock blocks and 5000 Lock Owner blocks per node.
Node configuration: node 3: CPU mask: 0x0fffe00000000000:0 Active CPU mask: 0x0fffe00000000000:0. This message
provides a description of the NUMA configuration for this computer.
Node configuration: node 2: CPU mask: 0x00001fffc0000000:0 Active CPU mask: 0x00001fffc0000000:0. This message
Node configuration: node 1: CPU mask: 0x000000003fff8000:0 Active CPU mask: 0x000000003fff8000:0. This message
Node configuration: node 0: CPU mask: 0x0000000000007fff:0 Active CPU mask: 0x0000000000007fff:0. This message
Machine supports memory error recovery. SQL memory protection is enabled to recover from memory corruption.
Large Page Allocated: 32MB
Using locked pages in the memory manager.
Detected 1048419 MB of RAM.
SQL Server detected 4 sockets with 15 cores per socket and 15 logical processors per socket<c/> 60 total
logical processors; using 60 logical processors based on SQL Server licensing.
The service account is 'NX7700X¥Administrator'.
Authentication mode is WINDOWS-ONLY.
System Manufacturer: 'NEC'<c/> System Model: 'Express5800/A2040b [NE3400-001S]'.
Server process ID is 5304.
Microsoft SQL Server 2012 - 11.0.2100.60 (X64) <nl/>
Feb 10 2012 19:39:15 <nl/>
Copyright (c) Microsoft
Corporation<nl/>
Enterprise Edition: Core-based Licensing (64-bit) on Windows NT 6.2 <X64> (Build 9200: )


15

2014

PASS Summit 2013 at Charlotte


16

2014

ハードウエアトレンド (CPU と Memory)
キーワード




メニーコアを念頭においた並列処理化




NUMA を最大限に活用する DBMS エンジン

インメモリーテクノロジの活用


ColumnStore Index と OLTP インメモリーエンジン
ムーアの法則
トランジスタ数/コア頭打ち

クロック数増加の失速
発熱対策は限界
クロック当たりの処理能力
(ILP) は伸びず
$ per GB of PC Class Memory

Chart reference
http://www.gotw.ca/publications/concurrency-ddj.htm


RAM コストの低下
17

10000
100
1
1990
1991
1992
1993
1994
1994
1995
1996
1997
1998
1999
2000
2000
2001
2002
2004
2005
2007
2008
2009
2011

US$/GB

1000000

2014

第四世代 SQL Server RDB (1)


インメモリー機能の活用


インメモリー OLTP エンジン





インデックス情報とデータをメモリー上に保持する
従来のバッファーキャッシュとは異なる

カラムストアーインデックス





DWH の不定型検索処理や集計処理に最適
ビットマップインデックスの採用
データ圧縮機能によりインメモリー化に貢献
カラム(列)単位の検索処理と集計処理を、インメモリーテクノロジーを活用し
、高速化する





バッチ処理モード
従来の統計情報を利用しない実行プランの生成

導入されたテクノロジー


SQL Server 2012






従来型の行ストア型テーブルに、非クラスタカラムストアインデックスを付与する
ヒープ構造のテーブルを、直接クラスタカラムストアインデックスに変換する

SQL Server 2014


18

2014

インメモリ OLTP

アプリケーション
SIP (株式情報処理) –高ボリュームのリ
アルタイム取引データを取り、売買が終
わった後に市場株式価格を公開。待機時
間は 0.5 ミリ秒以下であることが要求さ
れる。

SQL Server に統合され、最新ハードウェア
のトレンドに合わせて設計された新しい高パ
フォーマンスのメモリ最適化 OLTP エンジン
SQL Server リレーショナルデータベース
に統合
インメモリ OLTP ソリューション
完全な ACID サポート
テーブル上の競合がなく、ネイティブに
メモリ最適化インデックス
コンパイルされたコードからのパス長が
(B ツリーおよびバッファープールなし)
短いので、アプリケーションは 0.4 ミリ
秒の予測可能なエンドツーエンドの待
ブロック不可マルチバージョン
機時間を達成
オプティミスティック同時実行制御
(ロック/ラッチなし)
待機時間 (ミリ秒)
ネイティブコードにコンパイルされた
T-SQL
お客様の利点:
•
短い待機時間
SQL Server
待機時間 (ミリ秒)
•
最大 10 倍のパフォーマンス向上
2008 SP1
•
2 ～ 5 倍のスケーラビリティ向上
SQL Server
•
SQL Server の投資を活用
2014

19

0

0.5

1

1.5

2014

SBI リクイディティマーケット様事例


http://www.microsoft.com/casestudies/Case_Study_Detail.aspx
?CaseStudyID=710000003429


20

2014

SBI FX トレード様システム概要

インメモリー OLTP を採用

21

2014

カラムストアインデックスの進化


SQL Server 2012 で非クラスタ化カラムストアインデックスを提供




従来型のクラスタ化インデックスを持つテーブルに設定可能
DWH 業務の非定型型の集計や検索処理が飛躍的にスピードアップ
非クラスタ化カラムストアインデックスを付与したテーブルは、検索処理専用で、
直接更新処理はできない




テーブル使用領域が大きくなる




ヒープ構造のテーブルをクラスタ化カラムストアインデックスに変換
データ圧縮機能によりテーブル使用領域が小さい
リアルタイムに透過的な更新処理が可能









従来のクラスタ化インデックス領域 + 非クラスタ化カラムストアインデックス領域

SQL Server 2014 でクラスタ化カラムストアインデックスを提供






バッチ処理等でデータ追加後に、非クラスタ化カラムストアインデックスの再作成が必要

Insert 処理 : 新たなパーティション内に追加
Update 処理 : Delete + Insert 処理
Delete 処理 : 行に削除フラグを設定する

定期的にインデックスの再構築を実施する

カラムストアインデックスは、ビットマップインデックスを利用
インデックスの格納は BLOB 領域を利用
カラムストアインデックスは統計情報を持たない


22

2014

カラム・ストアーの考え方
CPU
Core1

CPU
Core2

CPU
Core3

CPU
Core4

CPU
Core5

CPU
Core6

CPU
Core7

CPU
Core8

CPU
Core9

Core10

L1
L2

L1
L2

L1
L2

L1
L2

L1
L2

L1
L2

L1
L2

L1
L2

L1
L2

L1
L2

CPU

コア・キャッシュ・インターコネクト
30MB
L3 Cache
Intel Xeon E7 シリーズの例

行・オリエンテッド
データストアー

カラム・オリエンテッド
データストアー

キー1

a1

b1

c1

d1

a1

a2

a3

……. an

キー2

a2

b2

c2

d2

b1

b2

null

……. bn


23

2014

bigTransactionHistory14 の DDL

CREATE TABLE [dbo].[bigTransactionHistory14](
[TransactionID] [int] NOT NULL,
[ProductID] [int] NOT NULL,
[TransactionDate] [datetime] NULL,
[Quantity] [int] NULL,
[ActualCost] [money] NULL
) ON [PRIMARY]
CREATE CLUSTERED COLUMNSTORE INDEX [ClusteredColumnStoreIndex_BigTranHistory] ON [dbo].[bigTransactionHistory14]
WITH
(DROP_EXISTING = OFF) ON [PRIMARY]
ヒープ構造のベーステーブルは、 TransactionID 列の値で昇順にソート済み









テーブル内データ件数 31,263,601 / インデックス作成時間 1 分 23 秒


24

2014

sys.column_store_segments


min_data_id と max_data_id を参照し、検索セグメントを決定する

column_id segment_id version encoding_type
1
0
1
1
1
1
1
1
1
2
1
1
1
3
1
1
1
4
1
1
1
5
1
1
1
6
1
1
2
0
1
2
2
1
1
2
2
2
1
2
2
3
1
2
2
4
1
2
2
5
1
2
2
6
1
2
3
0
1
2
3
1
1
2
3
2
1
2
3
3
1
2
3
4
1
2
3
5
1
2
3
6
1
2
4
0
1
2
4
1
1
2
4
2
1
2
4
3
1
2
4
4
1
2
4
5
1
2
4
6
1
2
5
0
1
4
5
1
1
4
5
2
1
4
5
3
1
4
5
4
1
4
5
5
Copyright© CSK WinTechnology1Corporation 4
5
6
1
4

row_count has_nulls
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0
1,048,576
0

base_id
-2
29,478,774
28,112,318
27,060,751
26,154,758
24,975,944
23,916,675
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
0
0
0
0
0
25
0
0

min_data_id
1
29,478,777
28,112,321
27,060,754
26,154,761
24,975,947
23,916,678
1,001
1,001
1,001
1,001
1,001
1,001
1,001
164,716,290,768,896
172,996,987,715,584
172,571,785,953,280
172,258,253,340,672
171,966,195,564,544
171,601,123,344,384
171,274,705,829,888
1
1
1
1
1
1
1
0
0
0
0
0
0
0

max_data_id on_disk_size
31,263,601
4,194,888
31,245,824
2,796,792
30,197,248
2,796,792
29,148,672
2,796,792
28,100,096
2,796,792
27,051,520
2,796,792
26,002,944
2,796,792
50,999
2,097,736
50,999
2,097,736
50,999
2,097,736
50,999
2,097,736
50,997
2,097,736
50,999
2,097,736
50,999
2,097,736
173,508,088,823,808
1,408
173,503,793,856,512
1,728
173,198,851,178,496
1,760
172,893,908,500,480
1,800
172,567,490,985,984
1,784
172,253,958,373,376
1,840
171,914,655,956,992
1,800
100
191,600
100
320,600
100
361,488
100
370,952
100
388,768
100
379,240
100
402,056
7,014,151,213
4,125,176
7,156,143,655
5,035,760
7,027,283,306
5,068,400
7,144,141,920
5,050,616
7,126,428,747
5,030,512
7,137,000,989
5,054,416
7,096,266,811
5,056,520

2014

Row Mode と Batch Mode 処理


処理時間 : Row Mode 22 秒 vs Batch Mode 2 秒


26

2014

クラスタ化カラムストアインデックス
Batch Mode 実行プラン


27

2014

テーブル領域サイズの比較
• クラスタ化カラムストアインデックスの領域サイズは、データ圧縮機能
により、ヒープ構造領域サイズの 24.2 % (圧縮率約 4 倍 )
• クラスタ化インデックスの付与されたテーブルに、非クラスタ化カラム
ストアインデックスを定義すると、26.7 % の領域が増加する
クラスタ化カラムストアインデックスの領域サイズと比較すると、
領域サイズは 21.1 % (圧縮率約 5 倍 )

ヒープ構造
クラスタ化インデックス設定
クラスタ化インデックス設定 +
非クラスタ化カラムストアインデックス
クラスタ化カラムストアインデックス


データ領域
サイズ (KB)
1,269,592
1,147,296

インデックス領域
サイズ (KB)
8
1,864

1,269,600
1,149,160

1,147,296

308,648

1,455,944

307,288

0

307,288

28

合計 (KB)

2014

第四世代 SQL Server RDB (2)


ラッチ処理の見直し


ラッチ処理


三種類のラッチから構成される






ストレージエンジン内の処理のシリアライズ処理






PageIOLatch
PageLatch
Latch

ディスクからバッファープールへのデータ転送非同期処理の完了待ち
更新のロストの防止
データ領域の動的拡張処理の完了待ち

次世代データ格納構造の採用


従来型データ格納構造




B-Tree or Heap 構造
64KB エクステントと 8KB ページ
データの追加・削除によりページ分割が発生する




データページとインデックスページの両方

次世代データ格納構造 (SQL Server 2012 - 2014)


ファイルストリーム型




インメモリー OLTP (Hekaton)
 インデックス構造の排除
 メモリー展開時に、動的なインデックス情報を付加する

BLOB型


ColumnStore Index セグメント構造


29

2014

PageLatch のメカニズム


ページヘッダ内の
情報の変更が必要
(例 Checksum,
torn page bits)

なぜ Lock では不十分か?
INSERT VALUES
(3,300)

Page 100

Page 100
m_freedata=126

1

100

2

m_freedata=126
156
141

IX Page
100

PageLatch_
EX
1

200

2

400
300

96

4

141

INSERT VALUES
(4,400)
111

100

126

200

400

111

PageLatch_
EX

30

4
3

2014

96

ラッチ不要なアーキテクチャ


データベース格納構造は、1970 年代から同じアーキテクチャを採用


従来の階層型格納構造とページ構造







データベースデータファイル
格納制御用ビットマップ領域 (PFS / GAM)
インデックスアロケーションマップ (IAM)
エクステント ( 8 KB Page * 8)
ページ (8 KB)





インデックスページ
データページ

階層型格納構造の整合性を維持するためにラッチ処理を採用
トランザクション処理とは無関係な、ストレージエンジン内部の短時間
排他制御
 該当するトランザクションが異常終了しても、ロールバック処理は実施しない




これらの処理を排除するには、データベース格納構造の見直しが必要



インメモリー OLTP は、ファイルストリーム機能を利用
カラムストアインデックスは、BLOB ページに格納


31

2014

第四世代L Server RDB (3)


ロック処理の見直し






トランザクションの ACID プロパティの担保
ANSI トランザクション分離レベルの提供
行バージョニングと Read Committed Isolation Level の採用

ペシミスティック (悲観的)同時実行制御とオプティミスティック
(楽観的)同時実行制御


従来の SQL Server は、ペシミスティック同時実行制御をコンセプト
にデザイン






データ検索時に共有ロックを取得する

SQL Server 2005 から、オプティミスティック同時実行制御と
読み取り行のバージョニング機能を提供し、ユーザが選択可能

SQL Server 2014 インメモリー OLTP は、オプティミスティック
同時実行制御と読み取り行のバージョニング機能を、標準アーキ
テクチャとして採用


32

2014

3 種類のアーキテクチャにより実現


オプティミスティック (楽観的)同時実行制御
コンフリクト(更新の競合)の発生確率は多くない
 トランザクションは排他制御(ロック)を発行しない
 コンフリクト(更新の競合)発生検出メカニズムを実装する




同一データに対して複数のバージョンを保持する





データの更新と追加時には、新たなバージョンの行を作成する
コミット処理後、コンフリクト(更新の競合)が発生していないことを確認する
までは、他のトランザクションからはイン・ビジブル

データはタイム・スタンプにより管理する
それぞれのバージョンの行は、開始と終了のタイムスタンプを持つ
 トランザクション開始時には、開始時間により該当するバージョンの行を取得
する
 タイムスタンプは、行の作成された順序 (FIFO) でポインターにより検索可能
である
 最後にコミットされた行の終了時間は無限大となる



33

2014

ロック不要なアーキテクチャ
Begin

Pre-Commit

Commit

Terminate
Time

通常の
コンフリクト
トランザクション処理
の検出


通常トランザクション処理





RCSI によりコミットされた最新の行を検索
更新したデータは仮の行バージョンとなり、他のトランザクションからは
イン・ビジブル

コンフリクトの検出





トランザクション
後処理

他のトランザクションでコンフリクトの有無を検出
コンフリクトを検出した場合はロールバックを行いアプリケーションに通知

トランザクション後処理
トランザクションが更新した最後の行バージョンを他のトランザクションから
参照可能な状態に変更する(非同期処理)
 CMPXCHG : Compare and Exchange 命令を利用



34

2014

インメモリーインデックスとバージョニング
Timestamps Chain ptrs

Name

City

Row format

Hash index
on Name

J
S

Hash index
on City

200, ∞

John

100, 200
90,150

•
•
•
•
•

John

Paris

Susan Bogota
50, ∞

70, 90

B
P

Beijing

Jane

Prague

Susan Brussels

テーブルは行の集まり。行は複数バージョン。
それぞれの行は2つのタイムスタンプにより有効な範囲を持っている。
トランザクションのリードの時刻がそのタイムスタンプ内の場合に読める。
バージョンのガベージコレクションはインクリメンタル、パラレル処理でブロック
しない。
テーブルは複数のインデックスを持てる。


35

2014

一般のデータ検索機能


一般のデータ検索機能


OLTP とバッチ処理






ETL と DWH








マルチユーザによる多頻度更新処理
トランザクション属性を保障したリアルタイムデータを保持
正規化された構造化データを扱う
ペタバイト (10の15乗) のデータをスタースキーマ形式で格納する
大量データ追加更新を短時間で
定型検索
データ反映の即時性の有無

多次元検索機能



事前集計された多次元データのドリルダウン検索
大量データ追加更新を短時間で


36

2014

SharePoint のデータベース要件


ドキュメントの管理
 所有者と変更管理
 アクセス権の設定



ファイルサーバー機能の提供
 マルチバージョン形式の大量データの保存

 フルテキスト検索機能

マルチユーザへのアクセス基盤提供
 SharePoint Online によりブラックボックス化



37

2014

SharePoint 用に追加された機能


非構造型データの格納と検索機能
 BLOB
 ファイルストリーム
 ファイルテーブル



コンテンツのインデックス検索
 Fast



Index Search

バックアップ・リストアをどう扱うか？


38

2014

SharePoint 用データベース


39

2014

SQL Server の設定・管理は必要 ?


データ格納基盤のサイジング




仮想化基盤利用の是非
利用ユーザ数と格納容量見積もり
必要なサーバー数は











CPU コア数、メモリーサイズ、ネットワーク帯域

tempdb 同時実行性の向上
CPU リソースの並列処理設定
SQL Server が使用するメモリーの固定化
ストレージサブシステム設計




コンテンツ DB / Index / DWH / MOLAP / Reporting Service

どのファイルをどの論理デバイス上に配置するか

データファイルとトランザクションログファイルの
初期サイズと拡張増分指定の設定
データ格納領域の断片化とインデックス再構築


40

2014

NUMA ノード上の Windows Server と Hyper-V (1)




メモリーアクセスが、ローカルとリモートにまたがり、効率が悪い
SQL Server は、SMP マシンとして認識する
SQL Server
仮想 Windows Server & Hyper-V Guest

Windows Server & Hyper-V Host
物理
コア
1

物理
コア
2

物理
コア
3

物理
コア
4

物理
コア
5

物理
コア
6

物理
コア
7

物理
コア
8

物理
コア
1

物理
コア
2

物理
コア
3

物理
コア
4

物理
コア
5

物理
コア
6

CPU ソケット 1

CPU ソケット 2

NUMA ノード 0

NUMAノード1

ローカルメモリー

物理
コア
7



41

2014

物理
コア
8



メモリーアクセスは、ローカルのみで効率が良い




Aligned on NUMA Node boundary 機能を提供

SQL Server は、SMP マシンとして認識する
SQL Server

SQL Server

仮想 Windows
Server & Hyper-V
Guest

仮想 Windows
Server & Hyper-V
Guest

物理
コア
1

物理
コア
2

物理
コア
3

物理
コア
4

物理
コア
5

物理
コア
6

物理
コア
7

物理
コア
8

物理
コア
1

物理
コア
2

物理
コア
3

物理
コア
4

物理
コア
5

物理
コア
6

CPU ソケット 1

CPU ソケット 2

NUMA ノード 0

NUMAノード1


物理
コア
7



42

2014

物理
コア
8





SQL Server は、仮想環境上で NUMA を利用可能らしい
Windows Server 2012 からHyper-V V-NUMA で実現した
SQL Server は、NUMA を認識し、最適化を行うらしい
SQL Server

SQL Server

仮想 Windows Server & Hyper-V Guest

仮想 Windows Server & Hyper-V
Guest

物理
コア
1

物理
コア
2

物理
コア
3

物理
コア
4

物理
コア
5

物理
コア
6

物理
コア
7

物理
コア
8

物理
コア
1

物理
コア
2

物理
コア
3

物理
コア
4

物理
コア
5

物理
コア
6

物理
コア
7

物理
コア
8

CPU ソケット 1

CPU ソケット 2

CPU ソケット 3

CPU ソケット 4

NUMA ノード 0

NUMA ノード 1

NUMA ノード 0

NUMA ノード 1






43

2014

SQL server 起動ログ



spid33s,Starting up database 'WSS_Content_RBS2'.
spid32s,Starting up database 'DocAve_ReportDB2'.
spid25s,Starting up database 'DocAve_ReportDB1'.
spid33s,Starting up database 'DocAve_AuditDB'.
spid28s,Starting up database 'DocAve_ControlDB'.
spid37s,Starting up database 'Secure_Store_Service_DB_405b13cb-0cdb-42da-bdae-4c32a6cae31f'.
spid23s,Starting up database 'WSS_Content_RBS'.
spid26s,Starting up database 'DocAveCache'.
spid32s,Starting up database 'WSS_Content_cwtspf01'.
spid27s,Starting up database 'UPSApp_SyncDB_db675b72-ec7e-46a0-a85d-931f9a53753c'.
spid37s,Starting up database 'ProfileDB'.
spid38s,Starting up database 'TONODB'.
spid30s,Starting up database 'Search_Service_Application_CrawlStoreDB_5a34fac31a4e4e5296cb8f1333112097'.
spid24s,Starting up database 'SharePoint_Config'.
A self-generated certificate was successfully loaded for encryption.
spid16s,Clearing tempdb database.
spid7s,Server name is 'XXXXXXXXXXX'.
spid7s,The resource database build version is 10.50.2500.
spid7s,Starting up database 'mssqlsystemresource'.
spid7s,SQL Trace ID 1 was started by login "sa".



spid7s,FILESTREAM: effective level = 3<c/> configured level = 3<c/> file system access share name = 'MSSQLSERVE R'.



spid7s,Starting up database 'master'.



Node configuration: node 0: CPU mask: 0x000000000000000f:0 Active CPU mask: 0x000000000000000f:0. This message
provides a description of the NUMA configuration for this computer .



Using dynamic lock allocation. Initial allocation of 2500 Lock blocks and 5000 Lock Owner blocks per node.



Detected 4 CPUs.




SQL Server is starting at normal priority base (=7). This is an informational message only. No user action is required.
Authentication mode is WINDOWS-ONLY.



System Manufacturer: 'Microsoft Corporation'<c/> System Model: 'Virtual Machine'.



Server process ID is 1596.
All rights reserved.(c) Microsoft Corporation.
,Microsoft SQL Server 2008 R2 (SP1) - 10.50.2550.0 (X64) <nl/> Jun 11 2012 16:41:53 <nl/> Standard Edition (64-bit) on Windows NT 6.1 <X64> (Build 7601: Service
Pack 1) (Hypervisor)


























44

2014

tempdb 同時実行性の向上


物理CPUコア数 > 8




Tempdb データファイル数 = 物理CPUコア数

物理CPUコア数 < 8


Tempdb データファイル数 = 8


45

2014

CPU リソースの並列処理設定


並列処理の最大限度 (Max DOP)


NUMA の場合




ソケット内の物理コア数を設定

SMP の場合


(物理コア数 / 4) の値を設定


46

2014

SQL Server が使用するメモリーの固定化


SQL Server の利用するメモリーを固定化する
 ただし、仮想環境の場合は注意が必要


47

2014

SQLOS 内部待ち事象の監視


select * from sys.dm_os_wait_stats
wait_type
WRITELOG
CXPACKET
PAGEIOLATCH_SH
DISPATCHER_QUEUE_SEMAPHORE
SLEEP_BPOOL_FLUSH
BACKUPBUFFER
ASYNC_IO_COMPLETION
PAGEIOLATCH_EX
BACKUPIO
ASYNC_NETWORK_IO
PREEMPTIVE_OS_AUTHENTICATIONOPS
IO_COMPLETION
LCK_M_U
LCK_M_IX
PAGELATCH_EX
SOS_SCHEDULER_YIELD
LCK_M_S
PREEMPTIVE_OLEDBOPS
LCK_M_IS
LCK_M_X
OLEDB
LCK_M_SCH_S
PREEMPTIVE_OS_LOOKUPACCOUNTSID
PAGEIOLATCH_UP
PREEMPTIVE_OS_DELETESECURITYCONTEXT
LATCH_EX
SQLTRACE_FILE_BUFFER
PAGELATCH_SH


waiting_tasks_cou
max_wait_time_ signal_wait_time_
nt
wait_time_ms ms
ms
19,522,427 228,630,235
6,893
1,496,341
26,591,427 144,831,208
203,628
791,374
19,361,735 114,135,065
3,916
199,036
1,254,638
82,487,780
50,317
1,275,858
13,003,110
72,632,037
2,977
211,905
3,555,303
45,926,746
2,079
778,628
117
34,102,941
1,700,209
15
4,122,774
33,606,301
895
29,670
1,423,196
18,215,212
50,131
211,285
21,285,830
10,236,877
18,026
1,732,046
22,254,032
10,134,619
59,800
0
621,464
4,859,744
1,278
3,256
39,417
4,623,987
630,076
3,818
2,353
2,618,793
44,264
890
174,190,041
2,226,165
489
1,674,960
14,119,681
1,710,884
661
1,691,731
59,386
1,696,709
14,747
11,284
5,710,643
1,470,582
562
0
290
1,291,402
76,119
129
4,439
1,035,284
12,267
1,594
415,321
819,291
4,035
0
36,526
660,048
63,878
69,884
3,180,474
653,333
84
0
33,013
395,645
296
1,003
3,179,053
347,982
406
0
274,284
306,033
858
56,177
7,132
301,508
1,126
2,165
2,673,763
211,158
766
99,750
48

2014

データベース I/O 監視


select * from sys.dm_io_virtual_file_stats(null, null)

db
tempdb
tempdb
SharePoint_Config
SharePoint_Config
SharePoint_AdminContent_1f19041d-da52-4f3c-95fa-b210e3f13eec
SharePoint_AdminContent_1f19041d-da52-4f3c-95fa-b210e3f13eec
WSS_Content
WSS_Content
WordAutomationServices_15d5d7ba4d7f4c79ae700f2e63d58f59
WordAutomationServices_15d5d7ba4d7f4c79ae700f2e63d58f59
Search_Service_Application_DB_abce596e166849578d153755368f7ec4
Search_Service_Application_DB_abce596e166849578d153755368f7ec4
Search_Service_Application_PropertyStoreDB_c36b8a83d0244e7990e86263e68aa00b
Search_Service_Application_PropertyStoreDB_c36b8a83d0244e7990e86263e68aa00b
Search_Service_Application_CrawlStoreDB_5a34fac31a4e4e5296cb8f1333112097
Search_Service_Application_CrawlStoreDB_5a34fac31a4e4e5296cb8f1333112097
WSS_Search_CWTSPF01
WSS_Search_CWTSPF01
StateService_ddbdde39f3df44d48fa68b27a54b8891
StateService_ddbdde39f3df44d48fa68b27a54b8891
Managed Metadata Service_464c6e4388ae43beb5c8e9e5c583a404
Managed Metadata Service_464c6e4388ae43beb5c8e9e5c583a404
WebAnalyticsServiceアプリケーション_StagingDB_4029d037-239c-4125-857f-ba74e39d784b
WebAnalyticsServiceアプリケーション_StagingDB_4029d037-239c-4125-857f-ba74e39d784b
WebAnalyticsServiceアプリケーション_ReportingDB_8d1f02f0-8a63-4c1a-b0a0-ce43e627ffe5
WebAnalyticsServiceアプリケーション_ReportingDB_8d1f02f0-8a63-4c1a-b0a0-ce43e627ffe5
WSS_Logging
WSS_Logging
ProfileDB
ProfileDB
TONODB
TONODB
UPSApp_SyncDB_db675b72-ec7e-46a0-a85d-931f9a53753c
UPSApp_SyncDB_db675b72-ec7e-46a0-a85d-931f9a53753c
UPSApp_SocialDB_bd2d1ac3a7114262ab9efa0ef2a452c1
UPSApp_SocialDB_bd2d1ac3a7114262ab9efa0ef2a452c1
Bdc_Service_DB_ff0ed6c74ee94daea5f9902448edb1c2
Bdc_Service_DB_ff0ed6c74ee94daea5f9902448edb1c2
WSS_Content_cwtspf01
WSS_Content_cwtspf01
DocAveCache
DocAveCache
WSS_Content_RBS
WSS_Content_RBS
Secure_Store_Service_DB_405b13cb-0cdb-42da-bdae-4c32a6cae31f
Secure_Store_Service_DB_405b13cb-0cdb-42da-bdae-4c32a6cae31f
DocAve_ControlDB
DocAve_ControlDB
DocAve_AuditDB
DocAve_AuditDB
DocAve_ReportDB1
DocAve_ReportDB1
DocAve_ReportDB2
DocAve_ReportDB2
WSS_Content_RBS2
WSS_Content_RBS2
WSS_Content_mailtest
WSS_Content_mailtest


size_on_disk_byt num_of_read
io_stall_read_ num_of_write num_of_bytes_writte io_stall_write_
file_id es
s
num_of_bytes_read
ms
s
n
ms
io_stall
1
387,579,904
494,102
28,318,130,176
2,734,719
877,889
54,112,444,416
70,618,588
73,353,307
2
328,794,112
278
2,048,000
1,167
937,537
54,502,727,680
15,282,463
15,283,630
1
267,649,024
114,089
2,539,479,040
1,586,791
59,323
2,496,454,656
837,480
2,424,271
2
1,271,267,328
349
2,142,208
7,477
4,037,399
5,839,324,672
36,102,091
36,109,568
1
485,752,832
83,498
1,406,263,296
897,916
18,871
224,714,752
875,943
1,773,859
2
7,929,856
72
757,760
1,341
34,343
206,451,200
448,906
450,247
1
241,041,408
148
1,417,216
2,098
1
8,192
34
2,132
2
3,997,696
18
434,176
358
5
15,872
75
433
1
2,359,296
1,477
12,099,584
13,941
1
8,192
84
14,025
2
589,824
6
385,024
184
5
10,752
180
364
1
71,565,312
76,858
1,984,864,256
962,210
16,201
188,170,240
314,107
1,276,317
2
8,716,288
131
1,298,432
1,467
946,496
665,256,448
10,279,494
10,280,961
1
3,744,727,040
1,073,755
10,879,672,320
14,161,763
198,769
4,224,253,952
5,701,409
19,863,172
2
251,330,560
197
1,273,856
3,899
71,299
830,382,080
1,282,807
1,286,706
1
4,327,800,832 21,460,055
231,891,591,168 421,480,138 13,028,579
277,537,669,120 249,127,838
670,607,976
2
1,538,260,992
314
3,334,144
6,731 12,575,486
302,634,040,320 159,112,357
159,119,088
1
427,032,576
180,729
2,463,965,184
3,644,510
7,960
95,346,688
278,077
3,922,587
2
538,968,064
234
1,445,888
4,965
87,180
337,313,792
816,927
821,892
1
2,359,296
1,004
8,224,768
9,272
1
8,192
26
9,298
2
851,968
7
389,120
50
5
13,824
237
287
1
3,407,872
2,538
20,791,296
18,919
1
8,192
8
18,927
2
589,824
6
206,336
94
6
72,704
250
344
1
66,781,184
30,261
1,467,113,472
588,075
9,830
188,014,592
525,000
1,113,075
2
188,809,216
180
983,552
5,167
87,333
237,562,880
1,127,142
1,132,309
1
395,575,296
190,969
10,335,289,344
5,352,568
213,873
2,242,215,936
12,385,991
17,738,559
2
37,158,912
120
970,752
2,280
13,367
350,702,080
235,236
237,516
1
1,951,924,224
113,462
8,239,308,800
1,486,240
36,655
1,893,670,912
846,464
2,332,704
2
188,809,216
250
1,609,216
5,210
156,707
2,778,958,336
2,056,932
2,062,142
1
77,791,232
53,301
577,060,864
318,685
10,539
119,504,896
218,526
537,211
2
4,390,912
812
33,588,224
7,640
48,493
233,288,192
664,243
671,883
1 41,186,164,736 10,712,827
2,180,261,675,008 122,846,847
68,361
808,173,568
1,960,397
124,807,244
2
789,250,048
321
3,061,760
6,281
109,693
566,663,168
1,533,852
1,540,133
1
900,988,928
73,552
1,167,491,072
798,153
9,638
128,589,824
407,694
1,205,847
2
45,023,232
166
1,314,816
3,279
1,316,174
758,588,416
13,896,723
13,900,002
1
3,407,872
5,948
48,726,016
49,388
1
8,192
22
49,410
2
851,968
7
389,120
221
5
17,408
221
442
1
3,407,872
604
4,947,968
5,275
1
8,192
24
5,299
2
589,824
6
295,424
87
5
12,288
146
233
1
21,233,664
141
1,335,296
2,460
1
8,192
36
2,496
2
5,963,776
24
108,032
321
5
15,360
420
741
1
2,359,296
136
1,114,112
2,494
3
24,576
270
2,764
2
851,968
7
389,120
223
7
14,336
402
625
1
21,233,664
146
1,409,024
2,630
1
8,192
36
2,666
2
5,963,776
24
197,120
296
5
45,056
321
617
1
2,359,296
695
5,693,440
6,131
1
8,192
22
6,153
2
851,968
7
98,304
24
5
35,328
294
318
1
6,553,600
1,229
10,084,352
15,463
40
327,680
1,617
17,080
2
1,900,544
11
405,504
131
218
141,312
3,681
3,812
1
2,359,296
114
933,888
1,693
1
8,192
36
1,729
2
589,824
6
361,472
57
4
9,728
186
243
1
2,359,296
943
7,725,056
6,920
4,292
35,160,064
41,689
48,609
2
589,824
95
1,114,112
557
294,709
158,908,928
2,673,298
2,673,855
1
521,404,416
1,258
10,305,536
10,537
39,350
480,329,728
372,246
382,783
2
589,824
13
385,024
610
2,801,085
1,511,337,472
28,740,888
28,741,498
1
23,330,816
140
1,318,912
1,916
1
8,192
41
1,957
2
6,553,600
26
314,368
449
5
15,872
268
717
1
46,399,488
15,803
143,269,888
116,884
381
4,849,664
11,425
128,309
2
117,178,368
140
937,984
2,976
16,050
12,248,064
163,507
166,483

49

2014

バッファーキャッシュの内容


sys.dm_os_buffer_descriptors
objname
AllDocs

index_id

buffer_count
1
2
23

AllUserData

1
2

Solutions
AllLists
AllWebParts

1
1
2
1

sysobjvalues
EventReceivers
AllDocStreams
syscolpars
Webs
AllListsPlus
UserInfo

1
1
1
1
1
1
1
2
3
4

Perms
WebMembers
ContentTypes
AllListsAux
NavNodes
Perms

1
1
1
1
1
2


50

2,641
1,733
237
4,611
3,140
340
3,480
2,266
1,940
468
336
804
784
702
622
507
297
260
64
58
8
4
134
120
107
104
103
84
80

2014

SQL Server の監視


select * from sys.dm_os_performance_counters
カウンター名

問題点・閾値・推奨値

Physical disk Avg. Disk Queue Length

ディスクサブシステム / 限りなく 0 (瞬間的は可)

Physical disk Current Disk Queue Length

このドライブレター上の DB 物理ファイル

Processer % Processer Time

平均値 80% 以上多くの潜在的問題点がある

System Processer Queue Length

CPU プレッシャーの発生

SS Access Method Full Scans/sec

適切なインデックス不足

SS Access Method Page Split/sec

デフラグの発生 / 適切な Index 設定と fill factor 値

SS Buffer Manager Page Life expectancy

この値が低い場合メモリー不足

SS Database Log Flush Wait time

この値が高い場合ログファイル I/O 帯域不足

SS Memory Manager Memory Grants pending

クエリー実行時のメモリー不足

SS Latches Latch Waits/sec

クラスタ化 Index が不適切 / tempdb 帯域不足

SS Lock requests/sec

適切なロックヒント不足 / Index が不適切

SS Lock Wait Time (ms)

トランザクション間のリソース競合

SS SQL Statistics Batch requests/sec

アプリケーションから受け取った T-SQL バッチ数

SS SQL Statistics SQL Compilations/sec

バッチ数と比較しアドホッククエリの比率を確認

SS SQL Statistics SQL Re-Compilations/sec

バッチ数と比較しリコンパイルの比率を確認


51

2014

共有資源とクエリーの調査


内部の待ち事象からの考察


sys.dm_os_wait_stats
 SQLOS の待ち事象からシステムの状況を把握する



処理の通常日、高負荷日の日別の待ち事象を測定する
何が把握できるか






アプリケーションアーキテクチャの問題点
メモリー不足 / CPU ボトルネック / ディスクサブシステム帯域不足
適切なインデックスの欠落

データベース I/O 負荷の把握


sys.dm_io_virtual_file_stats
 データベース物理ファイルとログファイルの I/O 発生状況を把握する




パフォーマンスカウンターの値




sys. dm_os_performance_counters

CPU コア(スケジューラ)のボトルネック




OLTP 処理の通常日、高負荷日の日別の I/O 発生状況を測定する

sys.dm_os_schedulers

プロシージャ・キャッシュの調査



sys.dm_exec_cached_plans
sys.dm_exec_sql_text


52

2014

まとめ
データ発生
OLTP

SAP
ERP

B2C
B2B

データ抽出
転送・ロード

DWH
データマート

多次元
データベース

ETL
データ
クレンジング
Master Data
Service
Data Quality
Service

ColumnStore
Index
FileTable
Fast Track
SSD
Appliance
パラレル DWH
SQL Azure
Hadoop

MOLAP
ROLAP
Cube

データ分析
マイニング
SharePoint

Reporting
Service

MDX Query
Power Pivot
Power View
Power BI
Excel

ダッシュボード

スコアカード

基幹系
システム

53

2014

http://www.cskwin.com/


54

Share pointを支えるsql server2014最新情報

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Semelhante a Share pointを支えるsql server2014最新情報

Semelhante a Share pointを支えるsql server2014最新情報 (20)

Mais de Atsuo Yamasaki

Mais de Atsuo Yamasaki (13)

Último

Último (9)

Share pointを支えるsql server2014最新情報