105. Data Integration Node作成(Source)
105
名称 ”import_rawdata” Nodeの入
力項目
説明
Data Source OSS 事前に設定したデータソー
ス名
Object Name csvstore/sampletweet.csv OSS上取り込みたいファイ
ルのパス
File Type csv サポートファイルタイプ:
csv,text
Field Delimiter ,
Encoding UTF-8 SJISはサポート範囲外
Null String (空欄)
Compression Format None 圧縮対象:Gzip,Bzip2,Zip
Include Header No 実際のファイル内容に応じ
て選択
[Preview]ボタンをクリックし、対
象ファイルの中身を確認すること
ができます。
Data Integration Nodeは二つ作成します。
【”import_rawdata” Nodeのプロパティ】
106. Data Integration Node作成(Destination)
106
名称 入力項目 説明
Connection ODPS odps_first 事前に設定した項目名
Table raw_data 事前に作成したテーブル
名
Partition Key
Column
1 パーティションキー
Writing Rule Write with Original Data
Deleted (Insert Overwrite)
データの書き込み方式を
選択する
上書き、追記
Convert Empty
String to Null
No デフォルトはNo
Data Integration Nodeは二つ作成します。
【”import_rawdata” Nodeのプロパティ】
107. Data Integration Node作成(Source)
107
名称 ”import_rawdata” Nodeの入
力項目
説明
Data Source OSS 事前に設定したデータソー
ス名
Object Name csvstore/sampletweet.csv OSS上取り込みたいファイ
ルのパス
File Type csv サポートファイルタイプ:
csv,text
Field Delimiter ,
Encoding UTF-8 SJISはサポート範囲外
Null String (空欄)
Compression
Format
None 圧縮対象:Gzip,Bzip2,Zip
Include Header No 実際のファイル内容に応じ
て選択
Data Integration Nodeは二つ作成します。
【”export_lang_count” Nodeのプロパティ】
108. Data Integration Node作成(Destination)
108
名称 入力項目 説明
Data Source ODPS 事前に設定した項目名
Table raw_data 事前に作成したテーブル
名
Writing Rule Write with Original Data
Deleted (Insert Overwrite)
データの書き込み方式を
選択する
上書き、追記
Convert Empty
String to Null
No デフォルトはNo
Data Integration Nodeは二つ作成します。
【”export_lang_count” Nodeのプロパティ】
117. SQL実行 Node作成
117
drop TABLE IF EXISTS lang_result;
create table lang_result as
select lang, count(lang) as count
from `twitter_csv`
where twitter_date = '1'
group BY lang;
SELECT * FROM lang_result;