Submit Search
Upload
NTTデータ流 Hadoop活用のすすめ ~インフラ構築・運用の勘所~
•
25 likes
•
6,326 views
N
NTT DATA OSS Professional Services
Follow
『Hadoop Conference Japan 2011 Fall』での講演資料。 NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 猿田 浩輔
Read less
Read more
Technology
Report
Share
Report
Share
1 of 31
Recommended
Apache Hadoopに見るJavaミドルウェアのcompatibility(Open Developers Conference 2020 Onli...
Apache Hadoopに見るJavaミドルウェアのcompatibility(Open Developers Conference 2020 Onli...
NTT DATA Technology & Innovation
Hadoopエコシステムのデータストア振り返り
Hadoopエコシステムのデータストア振り返り
NTT DATA OSS Professional Services
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
hamaken
Apache BigtopによるHadoopエコシステムのパッケージング(Open Source Conference 2021 Online/Osaka...
Apache BigtopによるHadoopエコシステムのパッケージング(Open Source Conference 2021 Online/Osaka...
NTT DATA Technology & Innovation
MapReduce/YARNの仕組みを知る
MapReduce/YARNの仕組みを知る
日本ヒューレット・パッカード株式会社
Apache Bigtop3.2 (仮)(Open Source Conference 2022 Online/Hiroshima 発表資料)
Apache Bigtop3.2 (仮)(Open Source Conference 2022 Online/Hiroshima 発表資料)
NTT DATA Technology & Innovation
Hadoop/Spark を使うなら Bigtop を使い熟そう! ~並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介~(Ope...
Hadoop/Spark を使うなら Bigtop を使い熟そう! ~並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介~(Ope...
NTT DATA Technology & Innovation
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
NTT DATA Technology & Innovation
Recommended
Apache Hadoopに見るJavaミドルウェアのcompatibility(Open Developers Conference 2020 Onli...
Apache Hadoopに見るJavaミドルウェアのcompatibility(Open Developers Conference 2020 Onli...
NTT DATA Technology & Innovation
Hadoopエコシステムのデータストア振り返り
Hadoopエコシステムのデータストア振り返り
NTT DATA OSS Professional Services
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
hamaken
Apache BigtopによるHadoopエコシステムのパッケージング(Open Source Conference 2021 Online/Osaka...
Apache BigtopによるHadoopエコシステムのパッケージング(Open Source Conference 2021 Online/Osaka...
NTT DATA Technology & Innovation
MapReduce/YARNの仕組みを知る
MapReduce/YARNの仕組みを知る
日本ヒューレット・パッカード株式会社
Apache Bigtop3.2 (仮)(Open Source Conference 2022 Online/Hiroshima 発表資料)
Apache Bigtop3.2 (仮)(Open Source Conference 2022 Online/Hiroshima 発表資料)
NTT DATA Technology & Innovation
Hadoop/Spark を使うなら Bigtop を使い熟そう! ~並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介~(Ope...
Hadoop/Spark を使うなら Bigtop を使い熟そう! ~並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介~(Ope...
NTT DATA Technology & Innovation
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
NTT DATA Technology & Innovation
Hadoop -NameNode HAの仕組み-
Hadoop -NameNode HAの仕組み-
Yuki Gonda
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
Ken SASAKI
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)
BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)
NTT DATA Technology & Innovation
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Cloudera Japan
Hadoopのシステム設計・運用のポイント
Hadoopのシステム設計・運用のポイント
Cloudera Japan
楽天がHadoopを使う理由
楽天がHadoopを使う理由
Rakuten Group, Inc.
Apache Sparkのご紹介 (後半:技術トピック)
Apache Sparkのご紹介 (後半:技術トピック)
NTT DATA OSS Professional Services
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
NTT DATA Technology & Innovation
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
Presto on YARNの導入・運用
Presto on YARNの導入・運用
cyberagent
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
NTT DATA OSS Professional Services
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Apache Hadoopの新機能Ozoneの現状
Apache Hadoopの新機能Ozoneの現状
NTT DATA OSS Professional Services
Hadoop入門
Hadoop入門
Preferred Networks
Apache Bigtopによるオープンなビッグデータ処理基盤の構築(オープンデベロッパーズカンファレンス 2021 Online 発表資料)
Apache Bigtopによるオープンなビッグデータ処理基盤の構築(オープンデベロッパーズカンファレンス 2021 Online 発表資料)
NTT DATA Technology & Innovation
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Impala + Kudu を用いたデータウェアハウス構築の勘所 (仮)
Impala + Kudu を用いたデータウェアハウス構築の勘所 (仮)
Cloudera Japan
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
NTT DATA OSS Professional Services
Hadoopトレーニング番外編 〜間違えられやすいHadoopの7つの仕様〜
Hadoopトレーニング番外編 〜間違えられやすいHadoopの7つの仕様〜
Cloudera Japan
More Related Content
What's hot
Hadoop -NameNode HAの仕組み-
Hadoop -NameNode HAの仕組み-
Yuki Gonda
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
Ken SASAKI
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)
BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)
NTT DATA Technology & Innovation
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Cloudera Japan
Hadoopのシステム設計・運用のポイント
Hadoopのシステム設計・運用のポイント
Cloudera Japan
楽天がHadoopを使う理由
楽天がHadoopを使う理由
Rakuten Group, Inc.
Apache Sparkのご紹介 (後半:技術トピック)
Apache Sparkのご紹介 (後半:技術トピック)
NTT DATA OSS Professional Services
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
NTT DATA Technology & Innovation
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
Presto on YARNの導入・運用
Presto on YARNの導入・運用
cyberagent
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
NTT DATA OSS Professional Services
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Apache Hadoopの新機能Ozoneの現状
Apache Hadoopの新機能Ozoneの現状
NTT DATA OSS Professional Services
Hadoop入門
Hadoop入門
Preferred Networks
Apache Bigtopによるオープンなビッグデータ処理基盤の構築(オープンデベロッパーズカンファレンス 2021 Online 発表資料)
Apache Bigtopによるオープンなビッグデータ処理基盤の構築(オープンデベロッパーズカンファレンス 2021 Online 発表資料)
NTT DATA Technology & Innovation
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Impala + Kudu を用いたデータウェアハウス構築の勘所 (仮)
Impala + Kudu を用いたデータウェアハウス構築の勘所 (仮)
Cloudera Japan
What's hot
(20)
Hadoop -NameNode HAの仕組み-
Hadoop -NameNode HAの仕組み-
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)
BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Hadoopのシステム設計・運用のポイント
Hadoopのシステム設計・運用のポイント
楽天がHadoopを使う理由
楽天がHadoopを使う理由
Apache Sparkのご紹介 (後半:技術トピック)
Apache Sparkのご紹介 (後半:技術トピック)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Presto on YARNの導入・運用
Presto on YARNの導入・運用
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
Apache Hadoopの新機能Ozoneの現状
Apache Hadoopの新機能Ozoneの現状
Hadoop入門
Hadoop入門
Apache Bigtopによるオープンなビッグデータ処理基盤の構築(オープンデベロッパーズカンファレンス 2021 Online 発表資料)
Apache Bigtopによるオープンなビッグデータ処理基盤の構築(オープンデベロッパーズカンファレンス 2021 Online 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
Impala + Kudu を用いたデータウェアハウス構築の勘所 (仮)
Impala + Kudu を用いたデータウェアハウス構築の勘所 (仮)
Viewers also liked
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
NTT DATA OSS Professional Services
Hadoopトレーニング番外編 〜間違えられやすいHadoopの7つの仕様〜
Hadoopトレーニング番外編 〜間違えられやすいHadoopの7つの仕様〜
Cloudera Japan
OpenStack, Hadoop -- OSSクラウドの最新動向
OpenStack, Hadoop -- OSSクラウドの最新動向
Masanori Itoh
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)
Akira Shimosako
はやわかりHadoop
はやわかりHadoop
Shinpei Ohtani
Yahoo! JAPANでのHadoop利用について
Yahoo! JAPANでのHadoop利用について
Yahoo!デベロッパーネットワーク
Hadoop最新情報 - YARN, Omni, Drill, Impala, Shark, Vertica - MapR CTO Meetup 2014...
Hadoop最新情報 - YARN, Omni, Drill, Impala, Shark, Vertica - MapR CTO Meetup 2014...
MapR Technologies Japan
オラクルのHadoopソリューションご紹介
オラクルのHadoopソリューションご紹介
オラクルエンジニア通信
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
NTT DATA OSS Professional Services
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
NTT DATA OSS Professional Services
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
Developers Summit
日々進化するHadoopの 「いま」
日々進化するHadoopの 「いま」
NTT DATA OSS Professional Services
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)
NTT DATA OSS Professional Services
Mobageのhadoop活用環境と適用方法
Mobageのhadoop活用環境と適用方法
show you
.NET Micro Framework の基礎
.NET Micro Framework の基礎
Yoshitaka Seo
Ley 1755 del 30 de junio de 2015
Ley 1755 del 30 de junio de 2015
Jorge Vargas
τελικο εντυπο αιτησης μ 2017
τελικο εντυπο αιτησης μ 2017
Lia Papapetrou-2nd Geniko Lykeio Echedorou
Mobageの技術を体験(MyDNS編)
Mobageの技術を体験(MyDNS編)
Daisuke Ikeda
Métodos Numéricos aplicados con HP PRIME_GABRIEL DAVID QUISPE SANES
Métodos Numéricos aplicados con HP PRIME_GABRIEL DAVID QUISPE SANES
gabriel david
Viewers also liked
(20)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
Hadoopトレーニング番外編 〜間違えられやすいHadoopの7つの仕様〜
Hadoopトレーニング番外編 〜間違えられやすいHadoopの7つの仕様〜
OpenStack, Hadoop -- OSSクラウドの最新動向
OpenStack, Hadoop -- OSSクラウドの最新動向
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)
はやわかりHadoop
はやわかりHadoop
Yahoo! JAPANでのHadoop利用について
Yahoo! JAPANでのHadoop利用について
Hadoop最新情報 - YARN, Omni, Drill, Impala, Shark, Vertica - MapR CTO Meetup 2014...
Hadoop最新情報 - YARN, Omni, Drill, Impala, Shark, Vertica - MapR CTO Meetup 2014...
オラクルのHadoopソリューションご紹介
オラクルのHadoopソリューションご紹介
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
日々進化するHadoopの 「いま」
日々進化するHadoopの 「いま」
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)
Mobageのhadoop活用環境と適用方法
Mobageのhadoop活用環境と適用方法
.NET Micro Framework の基礎
.NET Micro Framework の基礎
Ley 1755 del 30 de junio de 2015
Ley 1755 del 30 de junio de 2015
τελικο εντυπο αιτησης μ 2017
τελικο εντυπο αιτησης μ 2017
Mobageの技術を体験(MyDNS編)
Mobageの技術を体験(MyDNS編)
Métodos Numéricos aplicados con HP PRIME_GABRIEL DAVID QUISPE SANES
Métodos Numéricos aplicados con HP PRIME_GABRIEL DAVID QUISPE SANES
Similar to NTTデータ流 Hadoop活用のすすめ ~インフラ構築・運用の勘所~
Hadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tk
NTT DATA OSS Professional Services
分散処理基盤Apache Hadoopの現状と、NTTデータのHadoopに対する取り組み
分散処理基盤Apache Hadoopの現状と、NTTデータのHadoopに対する取り組み
NTT DATA OSS Professional Services
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
Cloudera大阪セミナー 20130219
Cloudera大阪セミナー 20130219
Cloudera Japan
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
Insight Technology, Inc.
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
0151209 Oracle DDD OracleとHadoop連携の勘所
0151209 Oracle DDD OracleとHadoop連携の勘所
オラクルエンジニア通信
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
NTT DATA OSS Professional Services
[db tech showcase Tokyo 2017] A32: Attunity Replicate + Kafka + Hadoop マルチデータ...
[db tech showcase Tokyo 2017] A32: Attunity Replicate + Kafka + Hadoop マルチデータ...
Insight Technology, Inc.
Open stack reference architecture v1 2
Open stack reference architecture v1 2
Dell TechCenter Japan
Apache Spark 1000 nodes NTT DATA
Apache Spark 1000 nodes NTT DATA
NTT DATA OSS Professional Services
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
NTT DATA OSS Professional Services
Okuyama説明資料 20120119 ss
Okuyama説明資料 20120119 ss
Takahiro Iwase
[db tech showcase Tokyo 2015] B34:データの仮想化を具体化するIBMのロジカルデータウェアハウス by 日本アイ・ビー・エ...
[db tech showcase Tokyo 2015] B34:データの仮想化を具体化するIBMのロジカルデータウェアハウス by 日本アイ・ビー・エ...
Insight Technology, Inc.
最強のデータベース基盤“Exadata”をパブリック・クラウドで活用!(Oracle Cloud Days Tokyo 2015)
最強のデータベース基盤“Exadata”をパブリック・クラウドで活用!(Oracle Cloud Days Tokyo 2015)
オラクルエンジニア通信
Osc2012 spring HBase Report
Osc2012 spring HBase Report
Seiichiro Ishida
[db tech showcase Tokyo 2017] E23: クラウド異種データベース(AWS)へのデータベース移行時の注意点 ~レプリケーション...
[db tech showcase Tokyo 2017] E23: クラウド異種データベース(AWS)へのデータベース移行時の注意点 ~レプリケーション...
Insight Technology, Inc.
Hadoop事始め
Hadoop事始め
You&I
[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop
[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop
Insight Technology, Inc.
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
Kotaro Tsukui
Similar to NTTデータ流 Hadoop活用のすすめ ~インフラ構築・運用の勘所~
(20)
Hadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tk
分散処理基盤Apache Hadoopの現状と、NTTデータのHadoopに対する取り組み
分散処理基盤Apache Hadoopの現状と、NTTデータのHadoopに対する取り組み
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Cloudera大阪セミナー 20130219
Cloudera大阪セミナー 20130219
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
0151209 Oracle DDD OracleとHadoop連携の勘所
0151209 Oracle DDD OracleとHadoop連携の勘所
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
[db tech showcase Tokyo 2017] A32: Attunity Replicate + Kafka + Hadoop マルチデータ...
[db tech showcase Tokyo 2017] A32: Attunity Replicate + Kafka + Hadoop マルチデータ...
Open stack reference architecture v1 2
Open stack reference architecture v1 2
Apache Spark 1000 nodes NTT DATA
Apache Spark 1000 nodes NTT DATA
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
Okuyama説明資料 20120119 ss
Okuyama説明資料 20120119 ss
[db tech showcase Tokyo 2015] B34:データの仮想化を具体化するIBMのロジカルデータウェアハウス by 日本アイ・ビー・エ...
[db tech showcase Tokyo 2015] B34:データの仮想化を具体化するIBMのロジカルデータウェアハウス by 日本アイ・ビー・エ...
最強のデータベース基盤“Exadata”をパブリック・クラウドで活用!(Oracle Cloud Days Tokyo 2015)
最強のデータベース基盤“Exadata”をパブリック・クラウドで活用!(Oracle Cloud Days Tokyo 2015)
Osc2012 spring HBase Report
Osc2012 spring HBase Report
[db tech showcase Tokyo 2017] E23: クラウド異種データベース(AWS)へのデータベース移行時の注意点 ~レプリケーション...
[db tech showcase Tokyo 2017] E23: クラウド異種データベース(AWS)へのデータベース移行時の注意点 ~レプリケーション...
Hadoop事始め
Hadoop事始め
[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop
[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
More from NTT DATA OSS Professional Services
Global Top 5 を目指す NTT DATA の確かで意外な技術力
Global Top 5 を目指す NTT DATA の確かで意外な技術力
NTT DATA OSS Professional Services
Spark SQL - The internal -
Spark SQL - The internal -
NTT DATA OSS Professional Services
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
NTT DATA OSS Professional Services
HDFS Router-based federation
HDFS Router-based federation
NTT DATA OSS Professional Services
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
NTT DATA OSS Professional Services
Distributed data stores in Hadoop ecosystem
Distributed data stores in Hadoop ecosystem
NTT DATA OSS Professional Services
Structured Streaming - The Internal -
Structured Streaming - The Internal -
NTT DATA OSS Professional Services
Apache Hadoopの未来 3系になって何が変わるのか?
Apache Hadoopの未来 3系になって何が変わるのか?
NTT DATA OSS Professional Services
Apache Hadoop and YARN, current development status
Apache Hadoop and YARN, current development status
NTT DATA OSS Professional Services
HDFS basics from API perspective
HDFS basics from API perspective
NTT DATA OSS Professional Services
SIerとオープンソースの美味しい関係 ~コミュニティの力を活かして世界を目指そう~
SIerとオープンソースの美味しい関係 ~コミュニティの力を活かして世界を目指そう~
NTT DATA OSS Professional Services
20170303 java9 hadoop
20170303 java9 hadoop
NTT DATA OSS Professional Services
ブロックチェーンの仕組みと動向(入門編)
ブロックチェーンの仕組みと動向(入門編)
NTT DATA OSS Professional Services
Application of postgre sql to large social infrastructure jp
Application of postgre sql to large social infrastructure jp
NTT DATA OSS Professional Services
Application of postgre sql to large social infrastructure
Application of postgre sql to large social infrastructure
NTT DATA OSS Professional Services
Apache Hadoop 2.8.0 の新機能 (抜粋)
Apache Hadoop 2.8.0 の新機能 (抜粋)
NTT DATA OSS Professional Services
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
NTT DATA OSS Professional Services
商用ミドルウェアのPuppet化で気を付けたい5つのこと
商用ミドルウェアのPuppet化で気を付けたい5つのこと
NTT DATA OSS Professional Services
今からはじめるPuppet 2016 ~ インフラエンジニアのたしなみ ~
今からはじめるPuppet 2016 ~ インフラエンジニアのたしなみ ~
NTT DATA OSS Professional Services
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
NTT DATA OSS Professional Services
More from NTT DATA OSS Professional Services
(20)
Global Top 5 を目指す NTT DATA の確かで意外な技術力
Global Top 5 を目指す NTT DATA の確かで意外な技術力
Spark SQL - The internal -
Spark SQL - The internal -
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
HDFS Router-based federation
HDFS Router-based federation
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
Distributed data stores in Hadoop ecosystem
Distributed data stores in Hadoop ecosystem
Structured Streaming - The Internal -
Structured Streaming - The Internal -
Apache Hadoopの未来 3系になって何が変わるのか?
Apache Hadoopの未来 3系になって何が変わるのか?
Apache Hadoop and YARN, current development status
Apache Hadoop and YARN, current development status
HDFS basics from API perspective
HDFS basics from API perspective
SIerとオープンソースの美味しい関係 ~コミュニティの力を活かして世界を目指そう~
SIerとオープンソースの美味しい関係 ~コミュニティの力を活かして世界を目指そう~
20170303 java9 hadoop
20170303 java9 hadoop
ブロックチェーンの仕組みと動向(入門編)
ブロックチェーンの仕組みと動向(入門編)
Application of postgre sql to large social infrastructure jp
Application of postgre sql to large social infrastructure jp
Application of postgre sql to large social infrastructure
Application of postgre sql to large social infrastructure
Apache Hadoop 2.8.0 の新機能 (抜粋)
Apache Hadoop 2.8.0 の新機能 (抜粋)
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
商用ミドルウェアのPuppet化で気を付けたい5つのこと
商用ミドルウェアのPuppet化で気を付けたい5つのこと
今からはじめるPuppet 2016 ~ インフラエンジニアのたしなみ ~
今からはじめるPuppet 2016 ~ インフラエンジニアのたしなみ ~
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
Recently uploaded
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
Recently uploaded
(10)
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
NTTデータ流 Hadoop活用のすすめ ~インフラ構築・運用の勘所~
1.
2011年9月26日
Hadoop Conference Japan 2011 Fall 講演資料 NTTデータ流Hadoop活用のすヽめ ~インフラ構築・運用の勘所~ 株式会社NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 猿田 浩輔 Copyright © 2011 NTT DATA CORPORATION
2.
自己紹介 氏名
猿田 浩輔 (さるた こうすけ) 所属 NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 経歴 2009年度にNTTデータに入社 入社以来、OSSの検証/整備、案件への適用を行う 特に、Hadoopとその周辺技術の検証/整備や案件適用に従事 し、経済産業省からの委託業務の実証実験にも参画 http://www.meti.go.jp/policy/mono_info_service/joho/dow nloadfiles/2010software_research/clou_dist_software.pdf 2011年1月に「Hadoop徹底入門」を執筆 Copyright © 2011 NTT DATA CORPORATION 2
3.
Hadoop徹底入門、おかげさまで第3刷増刷決定です!
ありがとうございます! Copyright © 2011 NTT DATA CORPORATION 3
4.
Hadoopについておさらい Copyright © 2011
NTT DATA CORPORATION 4
5.
Hadoop クラスタの全体像 集中管理型の分散システム
Hadoopマスターノード 分散処理ジョブやデータの管 理はマスタノードで実施 スレーブノードは、分散処理の NameNode JobTracker 実行やデータの実体を保存 Hadoopクライアント スレーブノードのクラスタへの 参加・離脱は自動的 L2/L3スイッチ • 各ノードはマスターノードに定 期的に通知する Hadoopスレーブノード群 スレーブノードを増やすことで、 全体の処理性能を向上させる L2スイッチ スケールアウトアーキテクチャ HDFS マスター: NameNode スレーブ: DataNode DataNode DataNode DataNode DataNode DataNode MapReduce TaskTracker TaskTracker TaskTracker TaskTracker TaskTracker マスター: JobTracker ディスク ディスク ディスク ディスク ディスク スレーブ: TaskTracker Copyright © 2011 NTT DATA CORPORATION 5
6.
分散ファイルシステムHDFS と
MapReduceフレームワーク 低価格サーバの大量使用による故障の 大規模分散処理向けフレームワーク 発生が前提の設計 Googleが検索インデックス作成のため考案 データの多重化で可用性を担保する 少なくとも5000台までスケールアウトしても性能向 従来とは運用利便性の考え方が異なる 上することが知られている DFSClientモジュール HDFS MapReduce NameNode ブロックに分割して ランダムに分散配置 MAP SW SW SW SHUFFLE DataNodes REDUCE コピーをラックの内外に Rack 多重作成して冗長化 Copyright © 2011 NTT DATA CORPORATION 6
7.
本日お話しする内容 Copyright © 2011
NTT DATA CORPORATION 7
8.
Hadoopクラスタのインフラ構築・運用時に
よく挙がる話題 • Hadoopクラスタの可用性向上 マスターノードのSPOF排除の話題 • 数百台以上のサーバから構成される大規模クラスタの 効率的な運用 初期構築 設定変更 増設 障害復旧 これらの課題に対して、 一定の軸に基づいたアプローチが必要 Copyright © 2011 NTT DATA CORPORATION 8
9.
NTTデータにおけるHadoopへの取り組み
• NTTデータでは、2008年からHadoopに取り組み、数十台~千 台規模のHadoopクラスタを構築してきた実績を有する • 2009年には経済産業省からの委託で実施した実証実験にお いて、Hadoopクラスタの可用性確保の仕組みや、効率的な運 用のための自動構築・環境一元管理の技術を開発 これらの経験から得た知見をもとに Hadoopクラスタのインフラ構築・運用に関する ベストプラクティスをご紹介します Copyright © 2011 NTT DATA CORPORATION 9
10.
アジェンダ マスターノードの可用性向上の検討 大量サーバの運用効率化
クラスタのリソース情報の取得 [ネタ]:トポロジ設計 まとめ Copyright © 2011 NTT DATA CORPORATION 10
11.
マスターノードの
可用性向上の検討 Copyright © 2011 NTT DATA CORPORATION 11
12.
Hadoopには可用性向上の仕組みがいっぱい
MapReduce • スレーブノードに障害が発生しても、当該ノードが処理していたタスク はほかのスレーブノードが処理し、ジョブは継続する スレーブノードの障害が、ジョブ全体の失敗に波及することを回避 HDFS • ブロック(HDFS内のデータの断片)は、複数のスレーブノードに分散 してレプリカが格納される スレーブノードの障害によるデータの消失防止 • ラックアウェアネスという仕組みにより、レプリカはネットワークや電 源などが異なる系統のスレーブノードに格納することができる ネットワークや電源の障害発生時でも、データの消失を回避 Copyright © 2011 NTT DATA CORPORATION 12
13.
マスターノードは改善の余地あり
MapReduce • JobTrackerがMapReduceフレームワークの制御を集中管理 ジョブ投入の受け口 TaskTrackerが処理しているタスクの進捗状況や、タスク割り当ての スケジューリングを集中管理 JobTrackerが停止した場合、実行中のジョブは停止。新規ジョブ投入不可 HDFS • NameNodeがHDFSを集中管理 HDFSのアクセス受け口 HDFSの管理情報(ファイルシステムイメージ、更新ログ、ブロックと DataNodeの対応表)を集中管理 NameNodeが停止した場合、HDFSにアクセスできなくなり、ファイルの参照 や新規作成ができなくなる。管理情報が消失した場合にはHDFS上のデータ 復元が不可能 Copyright © 2011 NTT DATA CORPORATION 13
14.
いろんな取り組みがある。将来に期待!
MapReduce • NextGeneration Apache Hadoop MapReduceでは、 ZooKeeper(分散コーディネーションサービス)でマスターノードの可 用性を向上 (#MAPREDUCE-279) HDFS • いくつかの方式が提案されている AvatarNode (#HDFS-976) BackupNodeのホットスタンバイへの転用 (#HDFS-2124) High Availability Framework for HDSF NN (#HDFS-1623) 再起動無しでNameNodeの再設定 (#HDFS-1477) Etc... 近い将来にはHadoop自体の仕組みで マスターノードの可用性向上が実現できそうだが・・・ Copyright © 2011 NTT DATA CORPORATION 14
15.
Hadoopだけに こだわっても・・・
Hadoopクラスタから、一歩引いて視野を広げる “Hadoopクラスタのみ”で完結するシステムは存在しない Hadoopクラスタだけ頑張って可用性向上する必要はある・・・? データロード 処理結果の受け渡し 外接システム 外接システム 過去のデータは復旧 Hadoopクラスタ した後、さかのぼって 受け渡しの期限まで ロードすればOK に復旧すればOK Copyright © 2011 NTT DATA CORPORATION 15
16.
充分なレベルって?
Hadoopクラスタから、一歩引いて視野を広げる “Hadoopクラスタのみ”で完結するシステムは存在しない Hadoopクラスタは、全体の一部分でしかない データロード 処理結果の受け渡し • 外接要件など、連携箇所との整合性をとる • 一部分だけ過剰な可用性を追求しない。全体と してのダウンタイム短縮や、SLA遵守を目指す フロントの外接システム 外接システム • シンプルな方式を選択する Hadoopクラスタ (ほかの部分と同じコンセプト/運用方法) Copyright © 2011 NTT DATA CORPORATION 16
17.
バランスが重要
マスターノードにダウンタイムが発生する主な理由 • ソフトウェア障害 HAなど、しくみでダウンタイムを 短縮できる領域 • ハードウェア障害 (切り替えは比較的簡単) • メンテナンス • オペレーションミス しくみだけではなく、 運用や設計の工夫が必要な領域 • 突発的な停電 (安全な停止手順や復旧時の切り戻し) トラブル以外にも、停止する場合がある! 復旧手順なども考慮して コントロールしやすい方式を選択することが大事 Copyright © 2011 NTT DATA CORPORATION 17
18.
可用性向上の検討指針
実績のある枯れた技術を駆使 • “新しいもの”も魅力的だが、安定性も重視。その時点での”最善 の方法”を、可能な限り選択する • “もっと良い方法”は十分検証し、使い倒して実績を積んでから • 運用のことを考えて、コントロールしやすい方法を選ぶ NTTデータでは、これまでオープンソースを利用したシステム構築を数多く行ってきた。 Pacemaker(Heartbeat)などのHAクラスタリングソフトウェアを用いた可用性向上方式 のノウハウを有している Copyright © 2011 NTT DATA CORPORATION 18
19.
枯れた技術の組み合わせでも充分いける
数百~千台規模のクラスタで実際に採用した方式 • Pacemaker(Heartbeat)などのHAクラスタリングソフトウェアと、DRBDなどのディス クミラーリングソフトウェアを組み合わせる • PostgreSQLなどとHeartbeatを組み合わせた運用実績に裏打ちされた、 確かな選択 • 切り替わりの契機となる監視項目とし て、Hadoop特有の項目も考慮 相互監視 • 切り替えからサービス再開までにかか OSS OSS る時間も考慮(ブロックとDataNodeの Pacemaker Pacemaker 対応表を作るために必要なブロックレ ポートの収集に時間がかかる) OSS OSS データ同期 • “切り替え”だけではなく、”切戻し”の DRBD DRBD 手順も検証し、オペレーションミスの要 因を排除 Copyright © 2011 NTT DATA CORPORATION 19
20.
大量サーバの
運用効率化 Copyright © 2011 NTT DATA CORPORATION 20
21.
大規模なHadoopクラスタの運用上の課題
数百台以上の規模のHadoopクラスタの運用上の課題 初期構築時/設定変更時/ 機器の台数が増えると、いずれか 増設時に1台1台対応して の機器/いずれかの部位に障害 いては、時間がかかる が発生する確率が高い • 複数台同時かつ短時間で効率 • 予期しないときの、予期しないトラブ 的に初期構築/設定変更/増設 ルに備えた対策 を行う • 確実に復旧できる方法を用意し、最 悪の復旧時間を制御する Copyright © 2011 NTT DATA CORPORATION 21
22.
運用設計の検討指針
オペレーションのパターンを最小限に抑える • 統一された運用設計で、オペレーションミスを排除 • 障害発生時の”例外”対応を最小化 • 所要時間の最悪値を制御 クラスタのライフサイクル イベントの共通性に着目し、 で発生するイベント 集約したオペレーションパターン • 初期構築 • OSの自動インストール • 設定変更 複数台のサーバに同時にOSをインス • 増設 トール • 障害回復 • 構成管理 複数のサーバに、一貫した設定を適用 多様な方法がある中で、統一された方法で簡素化する Copyright © 2011 NTT DATA CORPORATION 22
23.
OSの自動インストール/構成管理方式例
OSS • PXEブート + Kickstartで、電源ボタン一つ ポチっとな! でOSインストールが完了 • Puppetにより、複数のサーバで一貫した OSS 設定を適用可能 • 機器交換に伴うヘテロな構成も考慮 • 数ラックずつ同時にOSインストール/設定 • 100台規模のサーバ群をおよそ90分で構築。設 定変更は3分で完了 Copyright © 2011 NTT DATA CORPORATION 23
24.
運用の簡素化のための割り切り
障害復旧において、細かい切り分けは実施しない • OSからのリカバリに失敗する場合は、代替機をセットアップし、 交換する • あらかじめ許容できる縮退率(レプリカの数/処理能力)を把 握し、機器交換のタイミングを計画する(1日の終わり、週末 にまとめて実施するなど) オペレーションの簡素化のためには、割り切りも必要 Copyright © 2011 NTT DATA CORPORATION 24
25.
クラスタの
リソース情報の取得 Copyright © 2011 NTT DATA CORPORATION 25
26.
リソース情報の取得方式例
OSS Gangliaによるリソース情報の可視化 スケールする方式を設計する グループの代表とのみ通信する ので、ボトルネックになりにくい 全体 マスタープロセスが 情報集約 Web上でグラフ表示 ラック単位 サーバ単位 マルチキャストグループを作り、エージェント プロセス同士で情報を共有 Copyright © 2011 NTT DATA CORPORATION 26
27.
[ネタ]
トポロジ設計 Copyright © 2011 NTT DATA CORPORATION 27
28.
電源系統を考慮したトポロジ設計
エッジスイッチごとにラックアウェアネスを構成すると、異なる電 源系統のスレーブサーバにレプリカが作られるとは限らない 電源系統に障害が発生した 場合、データにアクセスできな くなる。データをロストする Copyright © 2011 NTT DATA CORPORATION 28
29.
まとめ Copyright © 2011
NTT DATA CORPORATION 29
30.
まとめ
方式・運用設計の軸となる考え方 ① 部分最適ではなく、全体最適を目指す 割り切るところは割り切る ② 熟知し、実績のある枯れた方法を選択する 安定性も重視した選択 いざという時のために、使い慣れた、コントロールできる方式 ③ 可能な限りシンプルに システムの他の箇所と同じ規約/運用方針。運用のシンプル さを追求し、オペレーションミスの排除 ④ 万が一に備え、最悪のケースを制御する 確実な復旧手順により、障害発生時の最悪復旧時間を制御 実際の運用シーンを想定した手順の整備で確実を期す Copyright © 2011 NTT DATA CORPORATION 30
31.
ご清聴ありがとうございました。 Copyright © 2011
NTT DATA CORPORATION 31