SlideShare uma empresa Scribd logo
1 de 156
Baixar para ler offline
様々なデータセンター 1
様々なデータセンター様々なデータセンター様々なデータセンター様々なデータセンター
LXスタイル
杉田 正
sugipooh
2
はじめにはじめにはじめにはじめに
GoogleGoogleGoogleGoogle検索を100回行うと、サーバで消費される電力は、いくらなんでし検索を100回行うと、サーバで消費される電力は、いくらなんでし検索を100回行うと、サーバで消費される電力は、いくらなんでし検索を100回行うと、サーバで消費される電力は、いくらなんでし
ょうか?ょうか?ょうか?ょうか?
GoogleGoogleGoogleGoogle検索検索検索検索100100100100件は、件は、件は、件は、
GoogleGoogleGoogleGoogleは仮想サーバ300万台、物理サーバ90万台と言われています。は仮想サーバ300万台、物理サーバ90万台と言われています。は仮想サーバ300万台、物理サーバ90万台と言われています。は仮想サーバ300万台、物理サーバ90万台と言われています。
1ヵ月の電気代1ヵ月の電気代1ヵ月の電気代1ヵ月の電気代は?は?は?は?
様々なデータセンター 2
3
はじめにはじめにはじめにはじめに
GoogleGoogleGoogleGoogle検索を100回行うと、サーバで消費される電力は、いくらなんでし検索を100回行うと、サーバで消費される電力は、いくらなんでし検索を100回行うと、サーバで消費される電力は、いくらなんでし検索を100回行うと、サーバで消費される電力は、いくらなんでし
ょうか?ょうか?ょうか?ょうか?
GoogleGoogleGoogleGoogle検索検索検索検索100100100100件は、件は、件は、件は、60606060ワットワットワットワットの電球をの電球をの電球をの電球を28282828分間点灯分間点灯分間点灯分間点灯に相当に相当に相当に相当????
GoogleGoogleGoogleGoogleは仮想サーバ300万台、物理サーバ90万台と言われています。は仮想サーバ300万台、物理サーバ90万台と言われています。は仮想サーバ300万台、物理サーバ90万台と言われています。は仮想サーバ300万台、物理サーバ90万台と言われています。
1ヵ月の電気代1ヵ月の電気代1ヵ月の電気代1ヵ月の電気代は?は?は?は?
1台1台1台1台200W200W200W200Wとしてとしてとしてとして 0.2KVA0.2KVA0.2KVA0.2KVA××××24h24h24h24h××××30Day30Day30Day30Day××××22222222円円円円====約約約約3,0003,0003,0003,000円円円円
3,0003,0003,0003,000円円円円××××90909090万台万台万台万台==== 27億円27億円27億円27億円(日本基準:現実には(日本基準:現実には(日本基準:現実には(日本基準:現実には10101010億円以下と予測)億円以下と予測)億円以下と予測)億円以下と予測)
クラウドサービス利用は、電気代を意識しないとクラウドサービス利用は、電気代を意識しないとクラウドサービス利用は、電気代を意識しないとクラウドサービス利用は、電気代を意識しないと いけません。いけません。いけません。いけません。
現状現状現状現状 会社名会社名会社名会社名 所有数所有数所有数所有数 仮想サーバー合計仮想サーバー合計仮想サーバー合計仮想サーバー合計 全世界全世界全世界全世界DCDCDCDC数数数数
マイクロソフトマイクロソフトマイクロソフトマイクロソフト 100100100100万台万台万台万台 不明不明不明不明 20202020~~~~100100100100
GoogleGoogleGoogleGoogle 90909090万台万台万台万台 300300300300万台万台万台万台 10101010
FacebookFacebookFacebookFacebook 70707070万台万台万台万台 不明不明不明不明 5555
AmazonAmazonAmazonAmazon 50505050万台万台万台万台 不明不明不明不明 20202020
いずれいずれいずれいずれも杉田推測も杉田推測も杉田推測も杉田推測
様々なデータセンター 3
データーセンターには、3つのタイプがある。
3.インターネットサービス用サーバーが大量に
設置されるタイプ
Googleのコンテナや海外Yahooの鶏舎型
1.通信機用に設計された安定度の高いタイプ
日本にある、ほとんどのデーターセンター
2.スーパーコンピューターを冷却・収納するタイプ
アースシュミレーターやTUBAME2などを
収容するデーターセンター
様々なデータセンター 4
1.通信機用に設計された安定度の高いタイプ
日本にある、ほとんどのデーターセンター
様々なデータセンター 5
第1次データセンター建設ラッシュ
金融関係において、汎用機を設置する場所として、昭和28年ごろよりデータ
センターは建設されている。JQA(日本品質保証機構)におけるデータセンター
安全対策適合証明により建設場所は非公開である。現在はFISC(金融情報シ
ステムセンター)が発行する「金融機関等コンピュータシステムの安全対策基準」
が利用され建設及び運用されている。データセンター間は専用線で接続。
JDCC(日本データセンター協会:設立は2008年)が規定する「データセンター
ファシリティ基準」でのTieaは設備冗長化を示すが世界的に通信事業者が作る
データセンターは全てが冗長化されたTier3レベルなデータセンターが多い。
NTTグループでは、電話交換機デジタル化小型化により、空いたスペースに
データセンターを構築して「場所貸し」(コロケーションサービス)が1990年代より
行われている。
IIJから始まる民間インターネット接続(ISP)を利用して、Web、Mailサーバーなどを
置きサーバーを貸し出すホスティングサービスも90年後半から始まった。
当時のISDN、ADSLでは上り回線スピードが遅く、サーバーは大手町に太い回線を
持つ場所=データセンターに設置する必要があった。
1.通信機用に設計された安定度の高いタイプ
日本にある、ほとんどのデーターセンター
様々なデータセンター 6
1.通信機用に設計された安定度の高いタイプ
日本にある、ほとんどのデーターセンター
様々なデータセンター 7
1990199019901990年竣工年竣工年竣工年竣工
IBMIBMIBMIBM「東西「東西「東西「東西2222大電算センター」構想の一環として建設された大電算センター」構想の一環として建設された大電算センター」構想の一環として建設された大電算センター」構想の一環として建設された
データセンター。データセンター。データセンター。データセンター。 建設当時、データセンターとしては国内建設当時、データセンターとしては国内建設当時、データセンターとしては国内建設当時、データセンターとしては国内
最大規模。最大規模。最大規模。最大規模。
IBMIBMIBMIBM社同規模社同規模社同規模社同規模DCDCDCDCが東京にあるが公開されていない。が東京にあるが公開されていない。が東京にあるが公開されていない。が東京にあるが公開されていない。
(幕張に(幕張に(幕張に(幕張に2007200720072007ごろ新ごろ新ごろ新ごろ新DCDCDCDCが追加されている)が追加されている)が追加されている)が追加されている)
90909090年竣工だが、既に外気導入システムが導入されている。年竣工だが、既に外気導入システムが導入されている。年竣工だが、既に外気導入システムが導入されている。年竣工だが、既に外気導入システムが導入されている。
汎用機設置場所としてのデータセンター。NTTが提供する「専用線」で
つながっていた
NTT大手町
8
1.通信機用に設計された安定度の高いタイプ
日本にある、ほとんどのデーターセンター
様々なデータセンター 9
東京で 大手町以外に最初に出来たデータセンター
大手町ー池袋間に回線を引き、1997年商用のインターネットエクスチェンジ(IX)
サービス開始。(電力系)
同年 大手町にKDDI系の日本インターネットエクスチェンジ(JPIX)も始まる。(
メーカー系)
新宿副都心が整備され、大手町ー新宿間も回線が引か
れ、新宿にもデータセンターが建設されてゆく。
新宿にデータセンターを持つ旧丸紅ソリューションは東京
ー大阪間も接続した。
出所:https://www.marubeni-access.com/ja/corporate/business_field/
10
1.通信機用に設計された安定度の高いタイプ
日本にある、ほとんどのデーターセンター
図面出所:IT Pro
http://itpro.nikkeibp.co.jp/article/Keyword/20081125/319829/?SS=imgview&FD=551175525&ST=network
光ケーブル接続では、ケーブル利用料+トランジット料が必要。 トランジット料が
高価なため事業者同士でデータを交換するピアリングもある。
NTTコミュニケーションズ東京大手町データセンターが日本の中心。
ピアリング
トランジット料が高価
様々なデータセンター
1.通信機用に設計された安定度の高いタイプ
日本にある、ほとんどのデーターセンター
様々なデータセンター 11
100KVA以上のデータセンターは全国400カ所程度(推定)。
そのうち40%がNTTグループ。東京には、約300カ所集中している。
NTT局舎を改造したデータセンターは日本各地にある。
NTT以外のデータセンターでは、沖縄、博多、北九州、松江、高松、岡山、大阪、
京都、小浜、金沢、富山、岐阜、名古屋、静岡、新横浜、三鷹、成田、埼玉、館
林、新白河、仙台、札幌、石狩などがある。
東京の主たるデータセンター事業者
出所:株式会社スカイアーチネットワークス
引用先:Tomocha WikiPlus
IT事業者の東京集中、回線接続料の安さからデータセンターは東京に集中している。
12
1.通信機用に設計された安定度の高いタイプ
日本にある、ほとんどのデーターセンター
KVHテレコム ブロードバンドタワー
IDCフロンティア
ビットアイル
代表的なデータセンター大手事業者
13
大阪データセンター大手事業者 京阪神不動産
1.通信機用に設計された安定度の高いタイプ
日本にある、ほとんどのデーターセンター
関西のデータセンターは大阪以外に
京都(京都リサーチパークが有名)、
神戸、明石、三田、岡山、などにも点在
する。
様々なデータセンター 14
3年前接続状況
出所:インプレス
プロ回線は100Mbps1ヶ月の
使用料が30万円~70万円で
有るため回線を安価に接続
できる場所にデータセンターが有る。
様々なデータセンター 15
3年前接続状況
出所:インプレス
JPNAP
さくらインターネット
JPIX
OCN
NTTコミュニケーションズ
IIJ
EQUINIX
海外の安定度の高いデータセンター
Oracle data center in Austin, Texas.
The exterior of Intel's IDC 9 in Haifa, Israel
様々なデータセンター 16
Microsoft data center
in Quincy, Washington
様々なデータセンター 17
海外の安定度の高いデータセンター
1.金融・通信用に設計された安定度の高いタイプ
– 上海市の浦東地区にデータセンター「TELEHOUSE上海」
• 「日系企業はもちろん中国企業の中にも、価格だけではなく設備や運用管理体制などを重視す「日系企業はもちろん中国企業の中にも、価格だけではなく設備や運用管理体制などを重視す「日系企業はもちろん中国企業の中にも、価格だけではなく設備や運用管理体制などを重視す「日系企業はもちろん中国企業の中にも、価格だけではなく設備や運用管理体制などを重視す
るところが増えている」るところが増えている」るところが増えている」るところが増えている」
– 天津天津天津天津TISTISTISTIS海泰海泰海泰海泰
• 日立製作所の運用管理ソフト「日立製作所の運用管理ソフト「日立製作所の運用管理ソフト「日立製作所の運用管理ソフト「JP1JP1JP1JP1」を使い、サーバーやネットワーク機器などを監視する」を使い、サーバーやネットワーク機器などを監視する」を使い、サーバーやネットワーク機器などを監視する」を使い、サーバーやネットワーク機器などを監視する
• 「データセンターの評価基準に当てはめると稼働率「データセンターの評価基準に当てはめると稼働率「データセンターの評価基準に当てはめると稼働率「データセンターの評価基準に当てはめると稼働率99.9899.9899.9899.98%を上回る%を上回る%を上回る%を上回る『『『『Tier3Tier3Tier3Tier3』』』』をクリアしたものだをクリアしたものだをクリアしたものだをクリアしたものだ
けを顧客に提供するけを顧客に提供するけを顧客に提供するけを顧客に提供する (NTT(NTT(NTT(NTTコミュニケーション)コミュニケーション)コミュニケーション)コミュニケーション)
– 日立製作所などが山東省済南市に日立製作所などが山東省済南市に日立製作所などが山東省済南市に日立製作所などが山東省済南市に
建設したデータセンター建設したデータセンター建設したデータセンター建設したデータセンター
– 富士通富士通富士通富士通 広東省仏山市に「富士通広東省仏山市に「富士通広東省仏山市に「富士通広東省仏山市に「富士通
華南データセンター」華南データセンター」華南データセンター」華南データセンター」
日経日経日経日経ITProITProITProITProより引用より引用より引用より引用 http://itpro.nikkeibp.co.jp/article/COLUMN/20101026/353417/http://itpro.nikkeibp.co.jp/article/COLUMN/20101026/353417/http://itpro.nikkeibp.co.jp/article/COLUMN/20101026/353417/http://itpro.nikkeibp.co.jp/article/COLUMN/20101026/353417/
様々なデータセンター 18
パリ Cloudwatt
19
イルセガン·リーヴドセーヌは、理想的にはグランドパリと文化·バレーの
中心部に位置ブーローニュビヤンクールにある古いルノープロット用に
プログラム74ヘクタールの開発プロジェクトです。」欧州のデータセンタ
ーは建物デザインがかっこいいですね。建造中の写真なども公開
カナダ TELUS
20
バンクーバー地域暖房システムと連動する
Telus社データセンター
様々なデータセンター 21
大学・研究機関 計算センター
大学・研究所には「計算センター」として大規模な数MWデータセンターがあります。
スーパーコンピュータセンターとして大型ビルを建築され収納されている理化学研究所・
富士通「京」(10MW)、古くは海洋研究開発機構・NEC「地球シミュレータ」(6MW)など
があります。
大規模なPCクラスタを運用するデータセンターとして東京工業大学「Tubame」、
筑波大学、札幌大学などがあります。
産総研も本部・情報棟2Fに 1MWのデータセンターを持っています。
データーセンターには、3つのタイプがある。
2.スーパーコンピューターを冷却・収納するタイプ
アースシュミレーターやTUBAME2などを
収容するデーターセンター
2.スーパーコンピューターを冷却・収納するタイプ
アースシュミレーターやTUBAME2などを
収容するデーターセンター
東京工業大学 スパコン
TUBAME2
スパコンTop500で現在世界4位
演算性能/消費電力で世界1位
TUBAME1の設備を流用しながら構築
左図はASCII.technologies12月号から
引用
様々なデータセンター 22
様々なデータセンター 23
2.スーパーコンピューターを冷却・収納するタイプ
アースシュミレーターやTUBAME2などを
収容するデーターセンター
Tubame2.5-KFC 液浸により省エネ性能が高い液浸により省エネ性能が高い液浸により省エネ性能が高い液浸により省エネ性能が高い
工事中風景 稼働風景
Spring8 水冷ラックにより外気導入している
様々なデータセンター 24
2.スーパーコンピューターを冷却・収納するタイプ
アースシュミレーターやTUBAME2などを
収容するデーターセンター
総数1000ラックを超える
必要なラックだけを冷却
・・・・46MW を湖水で冷却する、アルプスの巨大データセンターを湖水で冷却する、アルプスの巨大データセンターを湖水で冷却する、アルプスの巨大データセンターを湖水で冷却する、アルプスの巨大データセンター
CERN
出所:2010年11月26日
様々なデータセンター 25
2.スーパーコンピューターを冷却・収納するタイプ
アースシュミレーターやTUBAME2などを
収容するデーターセンター
様々なデータセンター 26
データーセンター電力データーセンター電力データーセンター電力データーセンター電力は今後も増加するは今後も増加するは今後も増加するは今後も増加する
様々なデータセンター 27
様々なデータセンター 28
様々なデータセンター 29
データーセンターの省電力化データーセンターの省電力化データーセンターの省電力化データーセンターの省電力化
データセンターのデータセンターのデータセンターのデータセンターの空調機電力空調機電力空調機電力空調機電力をををを削減削減削減削減するするするする方法方法方法方法
①①①① 空調機空調機空調機空調機をををを新型新型新型新型にににに交換交換交換交換((((冷凍圧縮機効率冷凍圧縮機効率冷凍圧縮機効率冷凍圧縮機効率がががが大幅大幅大幅大幅にににに改善改善改善改善))))
②②②② 空冷空冷空冷空冷とととと水冷水冷水冷水冷をををを併用併用併用併用
③③③③ ヒートシャッターによるヒートシャッターによるヒートシャッターによるヒートシャッターによる冷気冷気冷気冷気エリア・エリア・エリア・エリア・暖気暖気暖気暖気エリアのエリアのエリアのエリアの分離分離分離分離
④④④④ 外気導入外気導入外気導入外気導入((((直接直接直接直接・・・・間接間接間接間接))))
⑤⑤⑤⑤ 新型新型新型新型UPSUPSUPSUPS((((無停止電源無停止電源無停止電源無停止電源))))ややややHVDCHVDCHVDCHVDC((((高圧直流電源高圧直流電源高圧直流電源高圧直流電源))))のののの導入導入導入導入
⑥⑥⑥⑥ 40℃40℃40℃40℃にににに耐耐耐耐えるサーバのえるサーバのえるサーバのえるサーバの導入導入導入導入((((冷気冷気冷気冷気エリアのエリアのエリアのエリアの室温室温室温室温をををを上上上上げるげるげるげる))))
⑦⑦⑦⑦ サーバサーバサーバサーバ仮想化仮想化仮想化仮想化によるサーバによるサーバによるサーバによるサーバ集約集約集約集約
いずれもいずれもいずれもいずれも冷凍空調機冷凍空調機冷凍空調機冷凍空調機のののの運転時間運転時間運転時間運転時間をををを減減減減らすらすらすらす方法方法方法方法でででで実例実例実例実例ではではではでは、、、、
①①①①とととと③③③③をををを併用併用併用併用
空調機電気使用料空調機電気使用料空調機電気使用料空調機電気使用料をををを30303030%%%%からからからから60606060%%%% PUE=PUE=PUE=PUE=1111....3333前後前後前後前後までまでまでまで削減可能削減可能削減可能削減可能ですですですです。。。。
④④④④のののの直接外気導入直接外気導入直接外気導入直接外気導入
当初当初当初当初よりよりよりより冷凍空調機冷凍空調機冷凍空調機冷凍空調機をををを導入導入導入導入せずにせずにせずにせずに電力電力電力電力コストをコストをコストをコストを削減削減削減削減、、、、PUE=1.1PUE=1.1PUE=1.1PUE=1.1前後前後前後前後((((1111KWKWKWKW
サーバーサーバーサーバーサーバー冷却冷却冷却冷却にににに必要必要必要必要なななな電力電力電力電力がががが100100100100WWWW))))のののの「「「「空冷式空冷式空冷式空冷式データセンターデータセンターデータセンターデータセンター」」」」になりまになりまになりまになりま
すすすす。。。。高価高価高価高価なななな冷凍圧縮空調機冷凍圧縮空調機冷凍圧縮空調機冷凍圧縮空調機をををを使使使使わないわないわないわない為為為為、、、、データセンターデータセンターデータセンターデータセンター建設建設建設建設コストもコストもコストもコストも大大大大
幅幅幅幅にににに低減出来低減出来低減出来低減出来ますますますます。。。。
データセンター分電設備
空調機・UPSメーカー
EMERSON社資料
1ラック
2KWから8KWで全体の70%
1ラック 32KW超が3%もある
今後 8~12KW
が増えるだろう
発電機
重油備蓄
無停電電源
(電池)
電力会社
空調機 空調機 空調機 空調機 空調機 空調機
2000年ごろ 密閉型 (魔法瓶型)データセンター
100ラック 20HP(56KW)空調機6台
1ラック 2KVA
2U 160Wサーバ 10台
100ラック 合計 1000台
発電機は利用率50%として
500KVA~1000KVA
建物込サーバ別 概算15億円
サーバ積載イメージ
8,600
様々なデータセンター 31
発電機
重油備蓄
無停電電源
(電池)
電力会社
空調機 空調機 空調機 空調機 空調機 空調機
2005年ごろ 密閉型 (魔法瓶型)データセンター
100ラック 20HP(56KW)空調機12台
空調機 空調機 空調機 空調機 空調機 空調機
8,600
サーバ積載イメージ
1ラック 4KVA
1U 160Wサーバ 20台
100ラック 合計 2000台
発電機は利用率50%として
1000KVA~2000KVA
建物込サーバ別 概算25億円
様々なデータセンター 32
発電機
重油備蓄
無停電電源
(電池)
電力会社
空調機 空調機 空調機 空調機 空調機 空調機
2008年ごろ 密閉型 (魔法瓶型)データセンター
70ラック 20HP(56KW)空調機12台
空調機 空調機 空調機 空調機 空調機 空調機
サーバ積載イメージ
1ラック 6KVA
1U 160Wサーバ 30台
70ラック 合計 2100台
発電機は利用率50%として
1000KVA~2000KVA
建物込サーバ別 概算25億円
8,600
様々なデータセンター 33
発電機
重油備蓄
無停電電源
(電池)
電力会社
空調機 空調機 空調機 空調機 空調機 空調機
最新のHPC 密閉型 (魔法瓶型)データセンター
70ラック 20HP(56KW)空調機16台
空調機 空調機 空調機 空調機 空調機 空調機
サーバ積載イメージ
1ラック 8KVA
1U 160Wサーバ 40台
56ラック 合計 2240台
発電機は利用率50%として
2000KVA~2800KVA
建物込サーバ別 概算30億円
8,600
空調機空調機
空調機空調機
様々なデータセンター 34
発電機
重油備蓄
無停電電源
(電池)
電力会社
空調機 空調機 空調機 空調機 空調機 空調機
70ラック 20HP(56KW)空調機32台
空調機 空調機 空調機 空調機 空調機 空調機
サーバ積載イメージ
1ラック 16KVA
1U2台 160Wサーバ 80台
56ラック 合計 4480台
発電機は利用率50%として
2000KVA~2800KVAを2台~3台
建物込サーバ別 概算35億円
空調機空調機
空調機空調機
密閉型 (魔法瓶型)データセンター クラウドは無理
8,600
空調機 空調機 空調機 空調機 空調機 空調機
空調機 空調機 空調機 空調機 空調機 空調機
空調機空調機
空調機空調機
従来からの魔法瓶型では、空調機コストが高い。
様々なデータセンター 35
36
• ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代
– 日本初日本初日本初日本初 大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入
• 1ラック耐荷重7501ラック耐荷重7501ラック耐荷重7501ラック耐荷重750KgKgKgKg 1列10ラックでの耐震設計。1列10ラックでの耐震設計。1列10ラックでの耐震設計。1列10ラックでの耐震設計。
• 日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果
• 1ラック1ラック1ラック1ラック 160160160160AAAAの常識はずれのの常識はずれのの常識はずれのの常識はずれの
高密度設計、安定稼働高密度設計、安定稼働高密度設計、安定稼働高密度設計、安定稼働7年7年7年7年
• NECNECNECNEC8番街でのご紹介8番街でのご紹介8番街でのご紹介8番街でのご紹介
– 「杉田正」で「杉田正」で「杉田正」で「杉田正」でGoogleGoogleGoogleGoogle検索いただくと検索いただくと検索いただくと検索いただくと
http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.
htmlhtmlhtmlhtml がヒットします。がヒットします。がヒットします。がヒットします。
– 独自設計・通路に扉を設置独自設計・通路に扉を設置独自設計・通路に扉を設置独自設計・通路に扉を設置
– 現在でも先端を行く現在でも先端を行く現在でも先端を行く現在でも先端を行く省エネルギー省エネルギー省エネルギー省エネルギーDCDCDCDC
• DCDCDCDC内内内内 風流な風流な風流な風流なコントロールコントロールコントロールコントロール
• ブレードサーバ専用設計ブレードサーバ専用設計ブレードサーバ専用設計ブレードサーバ専用設計
• 11114ラック4ラック4ラック4ラック
• PUEPUEPUEPUE=210=210=210=210KWKWKWKW÷÷÷÷158158158158KWKWKWKW=約1.3=約1.3=約1.3=約1.3
ブレードサーバー高密度実装
日本初 大量導入635台
※PUEとは、
サーバー電力+空調電力
サーバー電力
であり、最良値が1.0。PUE=2.0ならば サーバーと同じ電力を空調が浪費している。
※有名なIBMブレードサーバCM「広い白い部屋のブレード」時期の3年前
37
高密度収容サーバー
小型コンテナに省電力サーバーを収容
3ラック 約200台 20KVA以下
高密度実装 小型コンテナ
38
NEC 省電力サーバー
TSオリジナル
アルミ筐体 軽量なサーバー
軽量なので高密度化可能
NEC 省電力サーバー
奥行きは355mmなので
表と裏から両面実装出来る
1台当たりのラック使用料金が下がる
チラー(冷凍圧縮機)レス データセンター 場所:ベルギー
様々なデータセンター 39
コンテナを大きな屋内に収納している。床下に水冷熱交換器を設置。
3.インターネットサービス用サーバーが大量に
設置されるタイプ
Googleのコンテナや海外Yahooの鶏舎型
40
ロング コンテナ型データセンター
日本SGI ICE Cube
コンテナ用に設計された 奥行きの浅いサーバー
動作温度が40℃まで条件付きで保証されている。
コンテナは2台ひと組 2段に積む
下段はラック、上段はUPS、空調設備を収納
様々なデータセンター
様々なデータセンター 41
大型コンテナ型データセンター
HP
夏
冬
コンテナ型 DELL
様々なデータセンター
43
IIJコンテナ型DC
コールド側
ロング コンテナ型データセンター
様々なデータセンター
日本フルハーフ東芝
コンテナ型データセンター
様々なデータセンター
日本フルハーフ東芝
コンテナ型データセンター
導入事例:北海道岩見沢市
様々なデータセンター
東芝東芝東芝東芝 コンテナ(モジュール)コンテナ(モジュール)コンテナ(モジュール)コンテナ(モジュール)
様々なデータセンター
様々なデータセンター 47
NEC コンテナ(モジュール)コンテナ(モジュール)コンテナ(モジュール)コンテナ(モジュール)
海外事例 eBay
データセンター情報発信サイトから
http://www.datacenterknowledge.com/
様々なデータセンター 49
海外事例 eBay
DELL 高密度実装モジュールDC
1ラック40KVA?
様々なデータセンター 50
ASTがカナダの大学に納入した Twinコンテナ集合データセンター
Twin構造により
コールドアイルの
作業性が改善される。
51
外気導入外気導入外気導入外気導入 海外事例海外事例海外事例海外事例
たったたったたったたった2222年年年年でででで、、、、全世界全世界全世界全世界でででで
データセンターデータセンターデータセンターデータセンター省電力化対省電力化対省電力化対省電力化対
策策策策がががが実施実施実施実施されされされされ、、、、クラウドクラウドクラウドクラウド対応対応対応対応
されてきたされてきたされてきたされてきた。。。。
様々なデータセンター 51
新型省電力
サーバーであれば
120台でも30A
ラック内に仕切りを設置
温風が給気側に戻らない
空調効率改善技術
ヒートシャッター
ヒートシャッター
排気が戻らないと吸気
側温度は、気温以上に、
上昇しない。
< 40℃
最新サーバーは、
40℃でも稼働出来る
床
天井
様々なデータセンター 52
53
マイクロソフト アイルランドDC PUE=1.25
屋上から外気導入している。2009年当時 画期的な低PUE
様々なデータセンター 出所:DataCenterKnowledge
マイクロソフトが冷凍空調機の無いコンテナを開発
外気導入のみ小型
コンテナだが、1ラック
12KVA以上として
通常センターより大量
のサーバを積載
様々なデータセンター 54出所:DataCenterKnowledge
水冷
外気温 40℃
サーバー温度 32℃
サーバー湿度 80%
※水カーテンで8℃も下がる?
華氏→摂氏 C=(5/9)*(F-32)
32を引いて、それを2で割って1割増し
還流暖気
外気温 2℃
サーバー温度 10℃
サーバー湿度 33%
※この湿度表示は多すぎる。
様々なデータセンター 55
マイクロソフトが冷凍空調機の無いコンテナを開発
出所:マイクロソフトマイクロソフトマイクロソフトマイクロソフト
様々なデータセンター 56出所:マイクロソフトマイクロソフトマイクロソフトマイクロソフト
SGI社製ロングコンテナ
様々なデータセンター 57
マイクロソフト シカゴデータセンター
大型屋内にコンテナを設置
マイクロソフト開発コンテナ
出所:DataCenterKnowledge
LXStyle,Inc All right reserved 58
冷凍圧縮機を
使わずサーバーを
冷却して、大幅な
空調コスト低減を実証
58
インテルがメキシコに従来型と外気導入型
双子のデータセンターを建造
出所:YouTube 2010/11/09
“Intel IT Data Center Free Cooling“
http://youtu.be/SRn_xW7VtWc
NetApp 外気導入システム
59様々なデータセンター 59
出所:DataCenterKnowledge
60様々なデータセンター 60
出所:YouTube 2010/08/10
“STULZ DFC² - Direct Free Cooling for Data Centres“
http://youtu.be/UaCJxt30rb4
STULZ DFC² 外気導入システム
61
Facebook ①
様々なデータセンター 61
Facebook ②
様々なデータセンター 62
LXStyle,Inc All right reserved 63
Facebook ③
様々なデータセンター 63
LXStyle,Inc All right reserved 64
Facebook仕様 外気導入システムフロー
Facebook ④
65
Open Compute server triplet racks 1ラック30サーバー
1ラック ファン合計台数は、5×30=150台
@20CFM×150=3000CFM
この写真6ラック 18000CFM必要
Facebook ⑤
出所:DataCenterKnowledge
Facebook ⑥ Open Compute Project
様々なデータセンター 66
データセンターデザインと一体に設計されたサーバー 情報は公開。
最近 マイクロソフトもOCPに参加した。
Facebook
67
米国
スウェーデン
Yahooの最新データーセンター
PUE=1.1
鶏小屋タイプ
Yahoo data center in Lockport, N.Y.
Yahoo has purchased this building
in La Vista, Nebraska for $14.8 million.
The Yahoo data center in Quincy,
Washington includes cooling-optimized
"podules" with a PUE of 1.21
(Photo: Yahoo Inc.)
様々なデータセンター 68
Yahoo(米国) 外気導入システム
出所:DataCenterKnowledge
様々なデータセンター 69
Yahoo 鶏舎型データセンター 内部想像図 場所:米国ニューヨーク州
・完全外気導入
・空調機無し
・Google同様 高温運用
・10℃以下対策が寒冷地
より南方のほうが容易
PUE=1.0に近づく♪
外気導入のみ
Yahoo(米国) 外気導入システム
http://youtu.be/IPNZAvX1yEs
様々なデータセンター 72
出所:DataCenterKnowledge
燃料電池と
太陽光発電(計20MW)
APPLEデータセンターは、
再生可能エネルギーで稼働
APPLEと環境
http://www.apple.com/jp/environment/renewable-energy/
様々なデータセンター 73
Googleは、太陽光発電、風力発電を利用
様々なデータセンター 74
EMC最新データーセンター PUE=1.3
出所:DataCenterKnowledge
様々なデータセンター 75
データセンターが集中する米国Quincy
出所:DataCenterKnowledge
水力発電所からの供給電力費用が安価 + シアトル~SFO回線がある。
様々なデータセンター 76
Sabyに導入された間接外気冷却機
出所:ムンタース
様々なデータセンター 77
内部にコンテナが配置
出所:Facebook
ALBA Synchotron、ASTモジュラバルセロナデータセンタークラスターと
呼ばれるモジュラー公園の開発を支援されているのParc de l‘アルバの
科学的研究施設。
冷却システムは中央が排気エリアとして外気導入と推察できる。
スペイン ASTデータセンター
出所:DataCenterKnowledge
様々なデータセンター 79
中国 揚州VoicePark 設計・施工管理 by LXスタイル
LXStyle,Inc All right reserved 80
外気導入システム(中国製) 外気温20℃以下で稼働
冷凍空調機
EMERSON
コントローラ
により運転
停止する
給気ファン
&冷凍空調機
コントローラー
排気調整弁
様々なデータセンター 81
フランスOVHが米国五大湖水力発電所近くに作る
36万サーバー 大型データセンター
出所:YouTube
“The world‘s largest data center”
http://youtu.be/4e97g7_qSxA
様々なデータセンター 82
大型データセンター内をコンテナで構築
アフリカ データセンター 屋根付きコンテナ
出所:DataCenterKnowledge
太陽光発電 グリッドパリティを5年前に実現した事業所
予備発電に燃料発電機 (シリコンバレー)
様々なデータセンター 84
様々なデータセンター 85
ASCII.technologies 2011.4月号掲載記事から
さくらインターネットさくらインターネットさくらインターネットさくらインターネット 石狩石狩石狩石狩
3.インターネットサービス用サーバーが
大量に設置されるタイプ
87
さくらインターネット 石狩
外気導入DC(2)
日本Yahooグループ IDCフロンティア
北九州データセンター
日本Yahooグループ IDCフロンティア
福島県新白河データセンター
Yahoo! JapanプレハブDC
90
出所:DatacenterDynamics
CONVERGED
Yahoo! JapanプレハブDC
91
出所:DatacenterDynamics
CONVERGED
東大・日立の外気導入DC 運用結果
2.スーパーコンピューターを冷却・収納するタイプ
アースシュミレーターやTUBAME2などを
収容するデーターセンター
外気導入DC(3)
93
エアコンを外気導入型とすれば PUEを改善出来る。
様々なデータセンター 95
96
空冷空冷空冷空冷とととと水冷水冷水冷水冷のハイブリッドのハイブリッドのハイブリッドのハイブリッド
Googleが先行する水冷。
サーバが発生する熱を冷却
では無く、熱を“水で搬送す
る”設計思想。
様々なデータセンター 96
Google 最新データセンター
米国ダラス
708 Lynhaven Dr, Lenoir, NC, アメリカ合衆国Google データセンターデータセンターデータセンターデータセンター
Google データセンターデータセンターデータセンターデータセンター
Google データセンターデータセンターデータセンターデータセンター 水を使って冷却水を使って冷却水を使って冷却水を使って冷却
様々なデータセンター 101
102
隙間が空いている
熱交換コイル
ラック背後のファン群
ホットアイルホットアイルホットアイルホットアイル
床下から冷却水
3ラックで1クラスタを構成?
様々なデータセンター 103
冷水が通る
熱交換器
ラック
Google DataCenter
気温が高く、メンテナンス作業に適さないホットアイルは作業出来ない構造になっている。
Google台湾
104
Google台湾
105
• これらの色のチューブが何であるかについて
– ライトブルー:氷冷水供給管
– ピンク:冷たい氷水戻り管
– 黄色:冷却水供給管
– 緑:冷却水戻り配管
– 青:高温氷水デリバリパイプ
– 赤:氷水戻り管の高温
http://www.techbang.com/posts/16068-google-taiwan-data-center-
tour?page=3
Google台湾
106
http://www.techbang.com/posts/16068-google-taiwan-data-center-
tour?page=1
久しぶりに公開された Googleお皿サーバー
107
http://www.google.com/about/datacenters/inside/
108
http://www.google.com/about/datacenters/inside/
109
http://www.google.com/about/datacenters/inside/
110
http://www.google.com/about/datacenters/inside/
111
http://www.google.com/about/datacenters/inside/
注目写真
LTO コールドストレージ
オートチェンジャロボット
IBM社製?
http://www.uni-
w.com/fdi/1201/1201web/59-
61_i.pdf
様々なデータセンター 112
様々なデータセンター 113
風力発電
様々なデータセンター 114
様々なデータセンター 115
様々なデータセンター 116
計画中:岡山 井戸水利用データセンター
様々なデータセンター 117
雪冷水
11m
9m
計画中:北海道 雪冷却システム利用データセンター
コンテナ 岩見沢
118
オランダ COLT
119
さくらインターネット 石狩
120
さくらインターネット 石狩
121
さくらインターネット 石狩
122
さくらインターネット 石狩
123
さくらインターネット 石狩
124
さくらインターネット 石狩
125
さくらインターネット 石狩
126
さくらインターネット 石狩
127
さくらインターネット 石狩
128
さくらインターネット 石狩
129
中国 漢雲コンテナDC
130
中国 漢雲コンテナDC
131
日立 Ref Assist
132
STNET(四国)
133
最新冷却システム(国内)
134
竹中工務店
IIJ 新型コンテナ冷却システム
FIP(富士通エフ・アイ・ピー)
135
三菱商事データセンター
136
三菱商事は2013年10月、東京都三鷹市でデータセンターの運用を開始したと発表
した。都心近郊にありながら、完全外気冷房システムを導入したことが特徴」Tiar4に
対応しながら外気冷却を導入している。
大阪へ海外事業者
137
米データセンター事業者のDigital Realty Trustは9月17日、9月4日
までに大阪で1万5000m2のデータセンター建設用地の取得を完了し、
2014年第4半期(10~12月)から国内でデータセンター事業を開始す
ることを発表した。」「 開設するデータセンターの特徴の1つは、
「PODアーキテクチャ」と呼ばれるモジュラー型(モジュール型やコン
テナ型とも呼ばれる)のアーキクチャを備えている点」中国を含む海
外の新型データセンターは初期投資額が抑えられるPOD型が多くな
っている。
今回発表された大阪のデータセンター(OS1)では、免震構
造を備えた最新ビルに約3000㎡のコロケーションスペース、
800超ラック相当の収容設備(開設時は320ラック相当)を備
える。
大阪のネットワークの中心である堂島と光ファイバーで直接
接続されており、大阪の国際通信基盤を強化するという。
他のIBXデータセンターと同じく、キャリアニュートラルなIX機
能を提供。また、日本語と英語のバイリンガルサポートを提
供し、多国籍企業のグローバル化を促進
沖縄
138
Intelが進める
「ラック スケール アーキテクチャ」
ホスティングパック企画書r4 by LXスタイル 139
Facebook Open Compute Project
(Quanta)
140
UPS(出力はHVDC) 幅広22インチラック
ハーフ幅サーバー
2U高さ3列
背面DC12Vバー
直流12V出力電源
Facebook Open Compute Project
(Microsoft ・GIGABYTE)
141
サーバー NEC
142
サーバー NEC
143
NEC ラック冷却
144
サーバー SuperMicro
145
1027R-WC1RT
主な機能
1.デュアルソケットR(LGA 2011)をサポート
インテル®Xeon®プロセッサーE5-2600 およびE5-2600 v2シ
リーズ
2.1TB1TB1TB1TBののののECC DDR3ECC DDR3ECC DDR3ECC DDR3、最大 1866MHz、16倍のDIMMソケット3.カ
ードのサポートに追加します。2X PCI-E 3.0 x16のフルハイト、ハ
ーフレングススロット
4.ホットスワップ2.5 "SAS / SATAのHDD ベイ(SAS3 12Gbps
のHDDをサポート)
5.インテル®X540デュアルポート10GBASE-T
6.1XスリムDVD-ROMドライブ(オプション)
7.700W冗長電源ゴールドレベル認定
Front I/Oと呼ぶ構造で 電源コードを除いて
他の配線やメンテナンスが全面からのみ行える。
ホットアイル40℃から50℃のデータセンターにて
高密度 1111ラックラックラックラック 168Node168Node168Node168Node実装が可能。
146
京で使われている京で使われている京で使われている京で使われている
インターコネクトメッシュを
6次元で実現している。
クラスタ性能を向上させる
インターコネクト
ホスティングパック企画書r4 by LXスタイル 147
〈〈〈〈参考参考参考参考〉〉〉〉ラック内高速通信システムラック内高速通信システムラック内高速通信システムラック内高速通信システム
Facebookが主催するOCPJにおける台湾工業技術院のプレゼン
148
1TByteメモリを搭載出来るIAサーバー
AWS ネットワーク
様々なデータセンター 149
AWS カスタムサーバー
様々なデータセンター 150
ストレージメモリとCPUが使うメモリが“地続き地続き地続き地続き”になる。
出所:http://pc.watch.impress.co.jp/docs/column/kaigai/20130918_615784.html?utm_source=buffer&utm_campaign=Buffer&utm_content=buffer8ffda&utm_medium=facebook
これから数年以内に起きる アーキテクチャジャンプ
省電力 不揮発 高速メモリ
NVDIMM
北海道データセンター事業計画作成支援 Vol.3 152
一般的には、まだOSなどが未対応
STT-MRAM
世界最高の低消費電力性能を
実現した新方式の不揮発性磁性体メモリ
今後必須の重要テクノロジ!今後必須の重要テクノロジ!今後必須の重要テクノロジ!今後必須の重要テクノロジ!
省電力 不揮発 高速メモリ
IGZOメモリ
北海道データセンター事業計画作成支援 Vol.3 154
液浸
155
様々なデータセンター 156
お静聴ありがとうございました。
SNSでお会いしましょう。
Facebook Twitter ASCII×TECH
IDは sugipooh

Mais conteúdo relacionado

Mais de Tadashi Sugita

データセンター省エネ化技術トレンド2018
データセンター省エネ化技術トレンド2018データセンター省エネ化技術トレンド2018
データセンター省エネ化技術トレンド2018Tadashi Sugita
 
これから儲かる技術はデータセンターから(公開用)
これから儲かる技術はデータセンターから(公開用)これから儲かる技術はデータセンターから(公開用)
これから儲かる技術はデータセンターから(公開用)Tadashi Sugita
 
省電力データセンターシステムデザイン
省電力データセンターシステムデザイン省電力データセンターシステムデザイン
省電力データセンターシステムデザインTadashi Sugita
 
これからのデータセンターが目指す技術(公開用)
これからのデータセンターが目指す技術(公開用) これからのデータセンターが目指す技術(公開用)
これからのデータセンターが目指す技術(公開用) Tadashi Sugita
 
自然空冷Dcの概要と今後のサーバトレンド [互換モード]
自然空冷Dcの概要と今後のサーバトレンド [互換モード]自然空冷Dcの概要と今後のサーバトレンド [互換モード]
自然空冷Dcの概要と今後のサーバトレンド [互換モード]Tadashi Sugita
 
Super microセミナー外気導入dc
Super microセミナー外気導入dcSuper microセミナー外気導入dc
Super microセミナー外気導入dcTadashi Sugita
 
データセンターの作り方
データセンターの作り方データセンターの作り方
データセンターの作り方Tadashi Sugita
 
Lx styleのご紹介201009
Lx styleのご紹介201009Lx styleのご紹介201009
Lx styleのご紹介201009Tadashi Sugita
 
いったいなんぼなら.Pdf
いったいなんぼなら.Pdfいったいなんぼなら.Pdf
いったいなんぼなら.PdfTadashi Sugita
 
自然空冷の概要と、今後のビジネス・トレンドWeb.pdf
自然空冷の概要と、今後のビジネス・トレンドWeb.pdf自然空冷の概要と、今後のビジネス・トレンドWeb.pdf
自然空冷の概要と、今後のビジネス・トレンドWeb.pdfTadashi Sugita
 

Mais de Tadashi Sugita (12)

データセンター省エネ化技術トレンド2018
データセンター省エネ化技術トレンド2018データセンター省エネ化技術トレンド2018
データセンター省エネ化技術トレンド2018
 
これから儲かる技術はデータセンターから(公開用)
これから儲かる技術はデータセンターから(公開用)これから儲かる技術はデータセンターから(公開用)
これから儲かる技術はデータセンターから(公開用)
 
省電力データセンターシステムデザイン
省電力データセンターシステムデザイン省電力データセンターシステムデザイン
省電力データセンターシステムデザイン
 
これからのデータセンターが目指す技術(公開用)
これからのデータセンターが目指す技術(公開用) これからのデータセンターが目指す技術(公開用)
これからのデータセンターが目指す技術(公開用)
 
自然空冷Dcの概要と今後のサーバトレンド [互換モード]
自然空冷Dcの概要と今後のサーバトレンド [互換モード]自然空冷Dcの概要と今後のサーバトレンド [互換モード]
自然空冷Dcの概要と今後のサーバトレンド [互換モード]
 
LXスタイル2013
LXスタイル2013LXスタイル2013
LXスタイル2013
 
Apple i cloud dc
Apple i cloud dcApple i cloud dc
Apple i cloud dc
 
Super microセミナー外気導入dc
Super microセミナー外気導入dcSuper microセミナー外気導入dc
Super microセミナー外気導入dc
 
データセンターの作り方
データセンターの作り方データセンターの作り方
データセンターの作り方
 
Lx styleのご紹介201009
Lx styleのご紹介201009Lx styleのご紹介201009
Lx styleのご紹介201009
 
いったいなんぼなら.Pdf
いったいなんぼなら.Pdfいったいなんぼなら.Pdf
いったいなんぼなら.Pdf
 
自然空冷の概要と、今後のビジネス・トレンドWeb.pdf
自然空冷の概要と、今後のビジネス・トレンドWeb.pdf自然空冷の概要と、今後のビジネス・トレンドWeb.pdf
自然空冷の概要と、今後のビジネス・トレンドWeb.pdf
 

様々なデータセンター Sugipooh