Zeppelinでpgxを使う

Copyright © 2016 Oracle and/or its affiliates. All rights reserved.
Apache Zeppelin で PGX を使う
日本オラクル株式会社
武井美緒
2017年3月1日

以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。
また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むこと
はできません。以下の事項は、マテリアルやコード、機能を提供することをコ
ミットメント（確約）するものではないため、購買決定を行う際の判断材料にな
さらないで下さい。オラクル製品に関して記載されている機能の開発、リリース
および時期については、弊社の裁量により決定されます。
Oracle と Java は、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国に
おける登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。
2

自己紹介
3
名前：武井美緒（たけいみお）
所属：日本オラクル株式会社
クラウド・テクノロジーコンサルティング事業本部
担当：Analytics関連製品担当
（Oracle R Enterprise,Oracle Data Miner…）
機械学習についてのトレーニングやデータ分析の技術支援を実施

前回のおさらい
4
現在最新は2.3.1ですが
まだ本機能は利用できるように
なっておりません・・・

前回のおさらい
5
Rのインターフェースから
PGXサーバーに接続し、
グラフ分析を実行できます
グラフ分析した結果を
Rから簡単に可視化したり、
さらなる分析を実行できます

Apache ZeppelinでPGXを使う
6
PGX release 2.２.１（現在最新は2.3.1）では
Apache Zeppelin notebookからPGXを実行できます！
利用のために必要なもの
■PGX : PGX release 2.2.1 +
Zeppelin interpreter (同一バージョンのもの）
■Apache Zeppelin : Zeppelin version 0.5.6-incubating
(上位バージョンだと動かないかもとマニュアルに記載あり、未検証）
■JDK : JDK 8

Apache Zeppelin とは？
7
・ Apache Zeppelin は Apache Spark の Web ベースのインタラクティブ UI で、現在は Apache
Incubator ステータスで開発が進められています。
・ほぼ IPython Notebook (Jupyter) と同じコンセプトのものです。
・クライアント（ブラウザ）からインタラクティブに Spark SQL や Streaming のコマンドを
Spark クラスタに投げつつ、返ってきた実行結果を表に整形したり、グラフをプロットできます。
またコマンドの実行履歴や結果はサーバに保存しておいて再利用することができます。

Apache Zeppelin から PGX を実行！（準備）
8
※PGXは「はじめようPGX」を参考にセットアップして下さい（この資料では2.3.1を利用）
Apache Zeppelin 0.5.6-incubating Binary package をダウンロードします（こちら）
Zeppelin PGX Interpreter をダウンロードします（こちら）
JDK８をダウンロードします
#Zeppelinインストール
$ cd /home/oracle/zeppelin #ここにインストールする場合
$ tar zxvf zeppelin-0.5.6-incubating-bin-all.tgz
# Zeppelin PGX Interpreter 用のディレクトリ作成
# $ZEPPELIN_HOME=/home/oracle/zeppelin/zeppelin-0.5.6-incubating-bin-all/
$ cd $ZEPPELINE_HOME/interpreter
$ mkdir pgx

9
# Zeppelin PGX Interpreter の展開
$ unzip pgx-2.3.1-zeppelin-interpreter.zip -d $ZEPPELINE_HOME/interpreter/pgx
# Zeppelin の設定ファイルの変更
# zeppelin.interpreters property field内に
oracle.pgx.zeppelin.PgxInterpreter クラスを追加
$ vi $ZEPPELINE_HOME/conf/zeppelin-site.xml
例）
<property>
<name>zeppelin.interpreters</name>
<value>org.apache.zeppelin.spark.SparkInterpreter,
oracle.pgx.zeppelin.PgxInterpreter,org.apache.zeppelin.s …

10
# Apache Zeppelin の起動
$ cd $ZEPPELINE_HOME/bin
$ ./zeppelin-daemon.sh start
# Apache Zeppelin notebook( http://< IP address> :8080 )にアクセス

11
＃ PGXサーバーモードで起動のための準備
# “enable_tls“と ”enable_client_authentication”をfalseに変更
$ vi $PGX_HOME/conf/server.conf
例）
{
"port": 7007,
"enable_tls": false,
"enable_client_authentication": false
}

12
＃ PGXでローカルファイルを読み込むための準備
# “allow_local_filesystem”: trueを追加
$ vi $PGX_HOME/conf/ pgx.conf
例）
⋮
"strict_mode": true,
"tmp_dir": "<system-tmp-dir>",
"allow_local_filesystem":true
}
# PGXをサーバーモードで起動
$ ./$PGX_HOME/bin/start-server

Apache Zeppelin から PGX を実行！
13
「はじめようPGX」で実行していた乗換案内のデータを使って
Apache ZeppelinからPGXを実行してみます
抜粋：
Oracle Labs 発！
Parallel Graph Analytics（PGX）

おわりに
14
Apache Zeppelin notebookからPGXを実行できます！
Apache Zeppelin notebookから実行することで、PGXで実装されているグラフ
分析の参照系や演算系の処理をnotebook上で実施でき、さらに簡単に可視化し
たり、notebook機能を活用することで、実行履歴を保存、展開できるため、
とても便利になります。
また、他のinterpreterを利用することで、グラフ分析の結果をnotebook上で
活用していくこともでき、活用範囲がさらに広がります。

Zeppelinでpgxを使う

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Semelhante a Zeppelinでpgxを使う

Semelhante a Zeppelinでpgxを使う (20)

Zeppelinでpgxを使う