O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
HADOOPの標準GUI
HUEの
最新情報
Tatsuo Kawasaki
kawasaki@cloudera.com

Hadoop User Conference 2014, Jul 8, 2014
HUE以前
基本的な操作はコマンド
ラインから
エンジニア、パワーユー
ザー以外には敷居が高い
HUE以後
Hadoop用のGUI
ブラウザから操作
・Windowsでも
・Macでも
・Linuxでも
その気になれば、タブ
レットやスマホでも!
HUEの目標
APACHE HADOOPで
データを分析するための
ウェブインタフェース
シンプル&統合
無料&オープンソース
̶> ビッグデータを多くの人に
おおまかな概要
Hadoop
 Web Server
あなた、同僚、
IE9を使っている友人でさえも ;)
オープンソース
3350 のコミット
38 人のコントリビュータ
698 のスター
245 のフォーク
github.com/cloudera/hue
開発コアチーム
Join	
  us	
  at	
  team.gethue.com	
  
Romain	
  Rigaux	
   Enrico	
  Ber5	
  Chang	
   Abraham	
  Elmahrek	
  Am...
トーク
ミートアップとイベント:	
  	
  NYC,	
  
Paris,	
  LA,	
  Tokyo,	
  SF,	
  Stockholm,	
  
Vienna,	
  San	
  Jose,	
  Singapore,	
 ...
トレンド: 成長
gethue.com	
  
HISTORY


HUE 1
ブラウザ内でデスクトッ
プのような機能を実現し
ていたが、かなり遅く、
メモリリークもあり、IE
には適していなかった。
しかし、その当時
(2009-2010)は明らか
に先進的だった。
HISTORY


HUE 2
いたるところがTwitter
のブートストラップによ
る最初のフラット構造な
実装
HUE 2.5
自動補完とドラッグ&ド
ロップのような新しい良
い機能を追加し、ユー
ザーエクスペリエンスを
改善した新しいアプリ
HISTORY


HUE 3 ALPHA
提案されたデザイン。
うまくいかなかった
HISTORY


HUE 3.5
新しいUI、いくつかの新
しいアプリ、これまでで
最もユーザーフレンド
リーな機能	
  
HISTORY


HUE 3.6+
そして今…
データを検索、探索する
ための全く新しい方法
どちらのバージョンを使うべきか?
その後の2500以上のコミット、
新しいUI、インタラクティブな
検索、SQL、ダッシュボード…
1∼2年古いバージョンで、
Hive0.12以前に依存して
いる場合にのみ使用する
HUE 2.X
 HUE 3...
どのディストリビューションを使うべきか?
先進的なプレビュー版 最も安定し、コンポー
ネント間での確認もな
されている
非常に新しい
GITHUB
 CDH / CM
TARBALL
ハッカー 先進的なユーザー 一般ユーザー
どこにHUEを配置するべきか? 1台のマシン
どこにHUEを配置するべきか?
 クラスタの外
どこにHUEを配置するべきか? クラスタの内側
Python 2.4 2.6
パッケージを使用する場合。
ソースからビルドする場合は
その他の packagesが必要
SERVER
 CLIENT
ウェブブラウザ
IE 9+, FF 10+, Chrome,
Safari
必要なものは?
H...
HUEのサービスは?
ページ、および静的コ
ンテンツも提供するプ
ロセス
1 SERVER
 1 DB
クッキー、保存したク
エリ、ワークフロー用
Hi	
  there,	
  I’m	
  “just”	
  a	
  web	
  ser...
HUEの設定方法
HUE.INI
core-site.xmlに似ている
が、.INI形式の構文
場所?
/etc/hue/conf/hue.ini
または
$HUE_HOME/desktop/conf/
pseudo-distributed.i...
認証
データベース
(SQLite, MySQL,
…)にLogin/
Passwordを管理
SIMPLE ENTERPRISE
LDAP (最も使用され
ている), OAuth,
OpenID, SAML
DBバックエンド
LDAPバックエンド
Integrate	
  your	
  employees:	
  LDAP	
  How	
  to	
  guide	
  
ユーザー
ユーザーまたはユー
ザーのグループに、権
限を付与、破棄できる
管理者 ユーザー
標準ユーザー + 権限
グループのリストと権限
権限ができること:
- アプリ(例: Hiveエ
ディタ)へのアクセス
を許可
- アプリからデータを
修正 (例: Hiveテーブ
ルのDROPや、
HBaseブラウザでセ
ルを編集)
設定 ‒ アプリケーションと権限...
実行中の権限
「test」ユーザーは
「hive」権限のみを持つ
「hiveonly」グループに
属している
設定 ‒ アプリケーションと権限
どのようにHUEはHADOOPとやり取りするのか
YARN	

JobTracker	

Oozie	

Hue Plugins	

LDAP	

SAML	

Pig	

HDFS	

 HiveServer2	

Hive	

Metast...
RPC CALL
全てのHADOOPコンポーネントに
HDFSの例
WebHDFS
REST
DN
DN
DN
…
DN
NN
hp://localhost:50070/webhdfs/v1/<PATH>?op=LISTSTATUS	
  
HOW
hue.iniにHadoop API
の全てのホストとポー
トをリスト
HBaseとHiveの例
Full	
  list	
  
[hbase]
# Comma-separated list of HBase Thrift serve...
HTTPS
 SSL DB
SSL WITH HIVESERVER2
さらに多く …
AUDITING
セキュリティ
KERBEROS
2つのHueインスタンス
HA proxy
Multi DB
パフォーマンス: ウェブ
サイトのようにほとんど
がRPCコール
高可用性
HOW
Impala, Hiveの統合,
Spark (Shark も)
対話的なSQLエディタ
MapReduce、メタス
トア、HDFSを統合
SQL
WHAT
Solr&Cloudを統合
カスタムできる対話的
なダッシュボード
ドラッグ&ドロップ
ウィジェット (チャー
ト、タイムライン…)
SEARCH(検索)
WHAT
シンプルなカスタムク
エリ言語
HBaseフィルタ言語を
サポート
選択、コピー&ペース
ト
自動補完のヘルプメ
ニュー
HBASEブラウザ
WHAT
DEMO 
TIME

まとめ
Hueでプロキシーユーザーと
してHadoop Service APIを
有効化
各サービスAPIを示すよう
にhue.iniを設定
@gethue や hue-user
マシンにHueを
インストール
LDAPバックエンドを使用
イン...
次の6ヶ月のロードマップ
Sentry
Search, Spark, SQL
多くのダッシュボード!
Oozie v2
内部コンポーネントの統
合 (HBase <-> Search,
インデックス作成ウィ
ザード、ドキュメントの
権限), H...


…GIVE CLOUDERA MANAGER A TRY!
vimeo.com/91805055	
  
設定が難しい…
何か間違っている?
learn.gethue.com	
  
インストールせずに試してみる
demo.gethue.com	
  
TWITTER
@gethue	
  
USER
GROUP
hue-­‐user@	
  
WEBSITE
hp://gethue.com	
  
LEARN
hp://learn.gethue.com	
  
THANK YOU! 


翻...
Próximos SlideShares
Carregando em…5
×

22

Compartilhar

Baixar para ler offline

Hadoopの標準GUI HUEの最新情報

Baixar para ler offline

Hadoop User Conference 2014のHueのセッション資料です

Hadoopの標準GUI HUEの最新情報

  1. 1. HADOOPの標準GUI HUEの 最新情報 Tatsuo Kawasaki kawasaki@cloudera.com Hadoop User Conference 2014, Jul 8, 2014
  2. 2. HUE以前 基本的な操作はコマンド ラインから エンジニア、パワーユー ザー以外には敷居が高い
  3. 3. HUE以後 Hadoop用のGUI ブラウザから操作 ・Windowsでも ・Macでも ・Linuxでも その気になれば、タブ レットやスマホでも!
  4. 4. HUEの目標 APACHE HADOOPで データを分析するための ウェブインタフェース シンプル&統合 無料&オープンソース ̶> ビッグデータを多くの人に
  5. 5. おおまかな概要 Hadoop Web Server あなた、同僚、 IE9を使っている友人でさえも ;)
  6. 6. オープンソース 3350 のコミット 38 人のコントリビュータ 698 のスター 245 のフォーク github.com/cloudera/hue
  7. 7. 開発コアチーム Join  us  at  team.gethue.com   Romain  Rigaux   Enrico  Ber5  Chang   Abraham  Elmahrek  Amstel  
  8. 8. トーク ミートアップとイベント:    NYC,   Paris,  LA,  Tokyo,  SF,  Stockholm,   Vienna,  San  Jose,  Singapore,   Budapest…   近日予定:  London,  West  coast   AROUND
 THE WORLD 避暑 Nov  13  Koh  Chang,  Thailand   May  14  Curaçao,  Netherlands  An5lles   Nov  14  Goa,  India  
  9. 9. トレンド: 成長 gethue.com  
  10. 10. HISTORY
 HUE 1 ブラウザ内でデスクトッ プのような機能を実現し ていたが、かなり遅く、 メモリリークもあり、IE には適していなかった。 しかし、その当時 (2009-2010)は明らか に先進的だった。
  11. 11. HISTORY
 HUE 2 いたるところがTwitter のブートストラップによ る最初のフラット構造な 実装 HUE 2.5 自動補完とドラッグ&ド ロップのような新しい良 い機能を追加し、ユー ザーエクスペリエンスを 改善した新しいアプリ
  12. 12. HISTORY
 HUE 3 ALPHA 提案されたデザイン。 うまくいかなかった
  13. 13. HISTORY
 HUE 3.5 新しいUI、いくつかの新 しいアプリ、これまでで 最もユーザーフレンド リーな機能  
  14. 14. HISTORY
 HUE 3.6+ そして今… データを検索、探索する ための全く新しい方法
  15. 15. どちらのバージョンを使うべきか? その後の2500以上のコミット、 新しいUI、インタラクティブな 検索、SQL、ダッシュボード… 1∼2年古いバージョンで、 Hive0.12以前に依存して いる場合にのみ使用する HUE 2.X HUE 3.X
  16. 16. どのディストリビューションを使うべきか? 先進的なプレビュー版 最も安定し、コンポー ネント間での確認もな されている 非常に新しい GITHUB CDH / CM TARBALL ハッカー 先進的なユーザー 一般ユーザー
  17. 17. どこにHUEを配置するべきか? 1台のマシン
  18. 18. どこにHUEを配置するべきか? クラスタの外
  19. 19. どこにHUEを配置するべきか? クラスタの内側
  20. 20. Python 2.4 2.6 パッケージを使用する場合。 ソースからビルドする場合は その他の packagesが必要 SERVER CLIENT ウェブブラウザ IE 9+, FF 10+, Chrome, Safari 必要なものは? Hi  there,  I’m  “just”  a  web  server.  
  21. 21. HUEのサービスは? ページ、および静的コ ンテンツも提供するプ ロセス 1 SERVER 1 DB クッキー、保存したク エリ、ワークフロー用 Hi  there,  I’m  “just”  a  web  server.  
  22. 22. HUEの設定方法 HUE.INI core-site.xmlに似ている が、.INI形式の構文 場所? /etc/hue/conf/hue.ini または $HUE_HOME/desktop/conf/ pseudo-distributed.ini [desktop] [[database]] # Database engine is typically one of: # postgresql_psycopg2, mysql, or sqlite3 engine=sqlite3 ## host= ## port= ## user= ## password= name=desktop/desktop.db
  23. 23. 認証 データベース (SQLite, MySQL, …)にLogin/ Passwordを管理 SIMPLE ENTERPRISE LDAP (最も使用され ている), OAuth, OpenID, SAML
  24. 24. DBバックエンド
  25. 25. LDAPバックエンド Integrate  your  employees:  LDAP  How  to  guide  
  26. 26. ユーザー ユーザーまたはユー ザーのグループに、権 限を付与、破棄できる 管理者 ユーザー 標準ユーザー + 権限
  27. 27. グループのリストと権限 権限ができること: - アプリ(例: Hiveエ ディタ)へのアクセス を許可 - アプリからデータを 修正 (例: Hiveテーブ ルのDROPや、 HBaseブラウザでセ ルを編集) 設定 ‒ アプリケーションと権限 A  list  of  permissions  
  28. 28. 実行中の権限 「test」ユーザーは 「hive」権限のみを持つ 「hiveonly」グループに 属している 設定 ‒ アプリケーションと権限
  29. 29. どのようにHUEはHADOOPとやり取りするのか YARN JobTracker Oozie Hue Plugins LDAP SAML Pig HDFS HiveServer2 Hive Metastore Cloudera Impala Solr HBase Sqoop2 Zookeeper
  30. 30. RPC CALL 全てのHADOOPコンポーネントに HDFSの例 WebHDFS REST DN DN DN … DN NN hp://localhost:50070/webhdfs/v1/<PATH>?op=LISTSTATUS  
  31. 31. HOW hue.iniにHadoop API の全てのホストとポー トをリスト HBaseとHiveの例 Full  list   [hbase] # Comma-separated list of HBase Thrift servers for # clusters in the format of '(name|host:port)'. hbase_clusters=(Cluster|localhost:9090) [beeswax] hive_server_host=host-abc hive_server_port=10000 RPC CALL 全てのHADOOPコンポーネントに
  32. 32. HTTPS SSL DB SSL WITH HIVESERVER2 さらに多く … AUDITING セキュリティ KERBEROS
  33. 33. 2つのHueインスタンス HA proxy Multi DB パフォーマンス: ウェブ サイトのようにほとんど がRPCコール 高可用性 HOW
  34. 34. Impala, Hiveの統合, Spark (Shark も) 対話的なSQLエディタ MapReduce、メタス トア、HDFSを統合 SQL WHAT
  35. 35. Solr&Cloudを統合 カスタムできる対話的 なダッシュボード ドラッグ&ドロップ ウィジェット (チャー ト、タイムライン…) SEARCH(検索) WHAT
  36. 36. シンプルなカスタムク エリ言語 HBaseフィルタ言語を サポート 選択、コピー&ペース ト 自動補完のヘルプメ ニュー HBASEブラウザ WHAT
  37. 37. DEMO TIME

  38. 38. まとめ Hueでプロキシーユーザーと してHadoop Service APIを 有効化 各サービスAPIを示すよう にhue.iniを設定 @gethue や hue-user マシンにHueを インストール LDAPバックエンドを使用 インストール 設定有効化 ヘルプLDAP
  39. 39. 次の6ヶ月のロードマップ Sentry Search, Spark, SQL 多くのダッシュボード! Oozie v2 内部コンポーネントの統 合 (HBase <-> Search, インデックス作成ウィ ザード、ドキュメントの 権限), Hadoop Web apps SDK あなたのアイデアは? WHAT
  40. 40. 
 …GIVE CLOUDERA MANAGER A TRY! vimeo.com/91805055   設定が難しい…
  41. 41. 何か間違っている? learn.gethue.com  
  42. 42. インストールせずに試してみる demo.gethue.com  
  43. 43. TWITTER @gethue   USER GROUP hue-­‐user@   WEBSITE hp://gethue.com   LEARN hp://learn.gethue.com   THANK YOU! 
 翻訳版ブログ公開中   hp://gethue.com/blog/?lang=ja  
  • YasunobuIgarashi

    Oct. 13, 2020
  • MoriKeigo

    Jul. 24, 2016
  • MasayukiIwasaki

    Dec. 15, 2015
  • letusfly85

    Jun. 23, 2015
  • shinichisuwa

    Jun. 21, 2015
  • yoshikazuyano5

    Apr. 9, 2015
  • kousuketakeuchi

    Apr. 8, 2015
  • yasufumic

    Dec. 15, 2014
  • sjisjis

    Oct. 6, 2014
  • akyam1

    Aug. 1, 2014
  • passfield2003

    Jul. 17, 2014
  • jeonghwanshin

    Jul. 15, 2014
  • tsurunaga

    Jul. 12, 2014
  • x3magic

    Jul. 8, 2014
  • sudabon

    Jul. 8, 2014
  • hideoterada5

    Jul. 8, 2014
  • tsubame9590206

    Jul. 8, 2014
  • ktsugita

    Jul. 8, 2014
  • ToruUenoyama

    Jul. 8, 2014
  • JaneFReed

    Jul. 8, 2014

Hadoop User Conference 2014のHueのセッション資料です

Vistos

Vistos totais

8.685

No Slideshare

0

De incorporações

0

Número de incorporações

374

Ações

Baixados

101

Compartilhados

0

Comentários

0

Curtir

22

×