お見合いで趣味を聞かれたときに 「IoTとビッグデータを少々」と答えたいSEが読む資料
•Transferir como PPTX, PDF•
3 gostaram•959 visualizações
Hadoopを使ってみたい人むけの入門書 第１弾。 まずは、HortonworksのHDPをインストールする為の資料です。 Hadoop怖くない！
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Destaque
Destaque (20)
Semelhante a お見合いで趣味を聞かれたときに 「IoTとビッグデータを少々」と答えたいSEが読む資料
Semelhante a お見合いで趣味を聞かれたときに 「IoTとビッグデータを少々」と答えたいSEが読む資料 (20)
Mais de Monta Yashi
お見合いで趣味を聞かれたときに 「IoTとビッグデータを少々」と答えたいSEが読む資料
- 3. はじめに データの処理データの作成・収集 フィードバック ビッグデータとか、IoT、CPS etc ... いろいろと聞く。実体は 難しくなくて、作られたデータを収集して、処理して、フィー ドバックするだけ。 （可視化も人へのフィードバックの一手法に過ぎない） 携帯 スマート ウォッチ その他 メッセージ ング ストリーム 処理 バッチ 処理 蓄積 処理 フィードバック 人へ 機械へ
- 6. サーバ構成について サーバの構成と役割は、以下のようになる。 （下に記載した台数は目安） Hadoo 管理ノード ・Hadoopの各コンポー ネントの管理機能 Ambari サーバ ・各サーバへのコン ポーネント配布 ・Hadoop全体（クラス タ）の状態管理 Hadoop slaveノード ・Hadoop機能の実働 ノードで、主にデー タを蓄積・処理を実 行する １台 3台〜5台 3台〜 Hortonworksからはsandboxとして1台に全て実装したVMイメージ がダウンロードできる。
- 7. サーバ構成について Ambariサーバのハードウェア要件 (1) Ambari は1GB以上のメモリを搭載し、500MB以上 の空きがあること。 (2) Ambari Metricsを使うのであれば、Ambariサーバの メモリ、ディスクの見積もりは以下の通り。
- 11. (2)Hadoopインストール準備 システム要件をまとめると以下になります。 ・OS…Redhat 7.x,6.x、CentOS 7.x,6.x、debian 7.x、 Ubuntu 12.04,14.04 ・ブラウザ…IE10、FireFox 18、GoogleChrome 26 ・パッケージ管理各種…yum、rpm、apt ・OpenSS… v1.01 build 16より新しいもの ・各種ツール…scp、curl、unzip、tar、wget ・Python…ver 2.6 or ver 2.7(OSに依存） ・JDK…選択するHDPスタックに依存
- 12. (2)Hadoopインストール準備 推奨も含めて、事前の準備を列挙する 1. FD(File Descriptor)の最大オープン数の制限 10000以上を推奨する。/etc/security/limits.confへ設定す るのが吉 * soft nofile 10000 * hard nofile 10000 2. ホスト名がFQDNで定義されていること /etc/hostnameの設定、/etc/hosts、/etc/sysconfig/network ファイルで一致させ、hostname -fと統一する。 3. /etc/hostsファイルなどで、全ノードの名前解決ができ るようにしておく。 4. NTPをインストールして時刻同期を完了しておく。
- 13. (2)Hadoopインストール準備 推奨も含めて、事前の準備を列挙する 1. sshでパスワードレスでログインできるように準備 する。Ambariサーバから他のノードへ、Ambari- agentをインストール際に必要となる。 2. iptablesの停止 systemctl disable firewalld service firewalld stop 3. SELinuxの無効化 /etc/selinux/configに以下を記載すると恒久的に無 効化できる。セキュリティ強度を考慮すること。 SELINUX=disabled
- 14. (3)Ambariサーバ インス トール・起動 Ambariのインストールはデフォルトで入れるだけ なら、２ステップで完了する。 １．リポジトリ情報追加 ２．インストール セットアップ起動も２ステップ。 １．Ambari のセットアップコマンド実行 ２．Ambari の起動コマンド実行 下手にハマらないようにするために、“綺麗な”サーバを準備しま しょう！ ポイント
- 15. (3)Ambariサーバ インス トール・起動 インストールの手順は以下の通り。(２ステップ！) Ambariをインストールサーバに yumのリポジトリファイルを追加。 [root@s01 ~]# wget -nv http://public-repo- 1.hortonworks.com/ambari/centos7/2.x/updates/2.4.1.0/ambari.repo -O /etc/yum.repos.d/ambari.repo Ambariインストール [root@s01 ~]# yum install ambari-server Loaded plugins: fastestmirror 〜中略〜 Installed size: 733 M Is this ok [y/d/N]: y Downloading packages: Complete! [root@s01 ~]# 内容を確認して、答える （基本的にデフォルトで） エラーなく、Completeが出 れば OK!
- 16. (3)Ambariサーバ インス トール・起動 Ambariのセットアップ # ambari-server setup Checking JDK... [1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8 [2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7 [3] Custom JDK ===================================================== ========================= Enter choice (1): 〜中略〜 Do you accept the Oracle Binary Code License Agreement [y/n] (y)? Y 〜中略〜 Adjusting ambari-server permissions and ownership... Ambari Server 'setup' completed successfully. エラーなく、successfullyが 出れば OK! 質問に無難に答えて… （基本的にデフォルトで）
- 17. (3)Ambariサーバ インス トール・起動 Ambariの起動 # ambari-server start Using python /usr/bin/python Starting ambari-server Ambari Server running with administrator privileges. Organizing resource files at /var/lib/ambari-server/resources... Ambari database consistency check started... No errors were found. Ambari database consistency check finished Server PID at: /var/run/ambari-server/ambari-server.pid Server out at: /var/log/ambari-server/ambari-server.out Server log at: /var/log/ambari-server/ambari-server.log Waiting for server start.................... Ambari Server 'start' completed successfully. エラーなく、successfullyが 出れば OK!
- 18. (3)Ambariサーバ インス トール・起動 以上。 この時点で、Ambari（関連するDB含める）がイン スールされ、アクセス可能になっている。 Hadoo 管理ノードAmbari サーバ Hadoop slaveノード １台 3台〜5台 3台〜 Ambari PostgreSQL デフォルトでは8080ポート でAmbariにアクセスできる。
- 19. （４）管理、slaveノード インストール http://Ambariサーバ:8080/ にブラウザでアクセス。 （わかると思いますが、“Ambariサーバ”は自身の 環境に合わせてください。） デフォルトでは Username: admin Password: admin で“Sign in”できます。
- 20. （４）管理、slaveノード インストール “Sign in”すると、Welcome画面が起動します。 「Launch Install Wizard」をクリック インストールウィザードを 起動します。
- 23. （４）管理、slaveノード インストール 管理サーバ、slaveノードの名前指定、および、秘 密鍵情報入力して“Register and Confirm”。 全部列挙しても良いし、画面例にあるよ うな“Pattern Expressions”に従った書き方 でも良い。 準備として、sshでパスワードレスで 全ノードにログインできるようにし たはず。 その秘密鍵をここにコピペ “Register and Confirm”をクリック
- 24. （４）管理、slaveノード インストール Ambari-Agentのインストール 指定したノードにAgentがインストールされます。 Installingをクリックすると ログが確認できる。
- 35. HDFS 高可用(HA)化 管理サーバの高可用化 ①画面左側のサービス の一覧からHDFSを選択 ②「Service Actions」プルダ ウンリストから「Enable Name Node HA」をクリック
- 36. HDFS 高可用(HA)化 Hbase停止 HA化のウィザードを起動すると、Hbaseを事前に 停止するようにメッセージが出るので、先回りし て停止する。 ①画面左側のサービス の一覧からHBaseを選択 ②「Service Actions」プルダ ウンリストから「Stop」を クリック
- 37. HDFS 高可用(HA)化 Nameservice IDを入力する
- 40. HDFS 高可用(HA)化 画面の指示に従って、HDFSのチェックポイント作 成など [root@s01 ~]# sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter' Safe mode is ON [root@s01 ~]# sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace' Save namespace successful コマンドを実行した ら”Next”がクリックできる ようになる。
- 42. HDFS 高可用(HA)化 JornalNodeの初期化 ログインするべきサーバ名まで書いているので注意深 く指示通り作業しましょう。 [root@s01 ~]# sudo su hdfs -l -c 'hdfs namenode -initializeSharedEdits' 16/11/25 00:12:29 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: user = hdfs STARTUP_MSG: host = s01.hdp.local/192.168.0.1 STARTUP_MSG: args = [-initializeSharedEdits] 〜 長いので後略〜
- 44. HDFS 高可用(HA)化 メタデータの初期化コマンド実行 ノード名に注意して、指示された通り、実行。 [root@s01 ~]# sudo su hdfs -l -c 'hdfs zkfc -formatZK' 16/11/25 00:17:43 INFO tools.DFSZKFailoverController: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting DFSZKFailoverController STARTUP_MSG: user = hdfs STARTUP_MSG: host = s01.hdp.local/192.168.0.1 〜 長いので後略〜 [root@s02 ~]# sudo su hdfs -l -c 'hdfs namenode -bootstrapStandby' 16/11/25 00:19:54 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: user = hdfs STARTUP_MSG: host = s02.hdp.local/192.168.0.2 STARTUP_MSG: args = [-bootstrapStandby] STARTUP_MSG: version = 2.7.3.2.5.0.0-1245 〜 長いので後略〜
- 45. HDFS 高可用(HA)化 HA化 確定処理。 Done！
- 47. まとめ OSがインストールされている状態から、事前に実 施すべき、準備作業をまとめた。 事前準備されたサーバに対しての、Ambairインス トール手順を順にまとめた。 インストール後のHDFS HA化についてまとめた。 （より簡単なYARN HA化については省略） 次は、具体的に、Hadoopを使う段階に入ります！
- 48. 付録 サーバスペック 今回の検証ではNECのご好意により、Hadoopなど分散 システムに向いているDX2000を使用しています。 1シャーシに36ノード Xeon D-1527 (8core 2.2Ghz) CPU 32GBMem SSD 256GBDISK 10GbpsNetwork ※バリエーション有り