データサイエンス業務と「ツール」

データサイエンス業務と「ツール」
2016年7月19日
株式会社金融エンジニアリング・グループ
事業開発推進本部
齊藤和幸
データサイエンティスト協会セミナー2016 第2回
©2016 Financial Engineering Group Inc. 不許複製

©2016 Financial Engineering Group Inc. 不許複製 1
自己紹介
齊藤和幸 Kazuyuki Saito
株式会社金融エンジニアリング・グループ
事業開発推進本部
事業開発部
• 2007年入社
• 入社から4~5年は金融機関向けの与信審査モデル作成に
従事
• 入社5年目以降は、大手IT企業にてWebマーケティング
関連の業務に従事

1. はじめに
– 株式会社金融エンジニアリング・グループとは
2. データサイエンス業務と「ツール」
– 「ツール」にまつわる実世界
3. まとめ
– 経験してきたからこそ思うこと
本日お話しさせていただきたいこと

1. はじめに
– 株式会社金融エンジニアリング・グループとは

FEG:会社概要
 商号：株式会社金融エンジニアリング・グループ(Financial Engineering
Group,Inc.)
呼称： FEG（フェグ）
 所在地：〒104-0033
東京都中央区新川２丁目２７－１東京住友ツインビルディング（東館）10F
 設立：1984年4月
 代表者：宮村幸夫（代表取締役）
 社員数：81名（2016年4月1日現在）
 資本金：99百万円（新日鉄住金ソリューションズ100%)
 売上高：3,071百万円（2016年3月期）
 主要取引先：主要都市銀行、地方銀行およびクレジットカード会社など金融機
関および、通信キャリアや大手小売業など。

FEGのご紹介：業務内容
 FEGは、金融分野の数理分析及びデータマイニングを中心とする調査・分析・
コンサルティング並びにソフトウェア開発を主たる業務としており、その内容
は以下のとおり多岐に及びます。
 リスクマネージメント領域の問題
･･･与信リスク管理・債権リスク評価・市場リスク管理・統合リスク管理など
 金融商品に関する問題
･･･預金・クレジットカード・保険・証券など
 金融マーケティング領域の問題
･･･顧客ターゲティング・顧客リテンション・データベース構築など
 さらにはネットオークション詐欺検知や「オレオレ詐欺」利用口座検知など、
不正検知の分野でも目覚ましい結果を残しております。
 これら諸問題を解決していくうえで、当社の核となっているのが、データマイ
ニング技術、金融工学技術です。それに加え、金融実務知識、統計解析知識、
データベース構築技術、IT/ソフトウェアエンジニアリング技術、そしてデー
タの実作業で培ってきた数多くのノウハウです。
 また、FEGはこのような基礎技術を生かし、通信・流通・情報サービス産業な
どをクライエントとした非金融分野においても、分析・コンサルティング・シ
ステム開発事業を行っております。

6©2016 Financial Engineering Group Inc. 不許複製
写真: https://www.flickr.com/photos/126543328@N07/
データマイニング国際コンテストで2位:KDD CUP 2015
 KDD2015(SIGKDDが毎年開催する国際会議)のオープニン
グセッション
 KDD2015@Sydney
– 参加者:1,182人(大学と企業が約1:1)

2. データサイエンス業務と「ツール」
– 「ツール」にまつわる実世界

最初に「ツール」の意味を確認
ツール(tool)
 言い換えると
– 道具
 まとめると
– 何かを達成しようとした時に使う道具であり、手段である
– 決して、目的ではない
最も大切なことは
ツール≠目的
という理解を持つこと

どんな「ツール」を使えばよいのか？
自分の置かれている環境にあるものを使えば良い
DBにアクセスしたいな…
集計作業をしたいな…
モデル作成をしたいな…
SQL
SQL,python,etc
python,etc

想起しやすい「ツール」の分類
無料有料
複数機能
単機能 ※ごく一部の抜粋

「ツール」と基盤は切り離せない関係
基盤
ex:windows,linux,Hadoop,HBase,Spark
,etc
ツール
ex:SAS,SPSS,python,etc
データサイ
エンス業務
基盤がなければ「ツール」は利用できない！！
「ツール」を使
うためには
「ツール」の理
解が必要
「ツール」を使う
ためには、基盤の
理解も「ツール」
と同じくらい必要
案外大変だ…

私が利用してきた「ツール」
2007年 2011年 2016年
有
料
無
料
2011年まで
2014年まで
現在も使用
現在も使用
現在も使用
2013年まで
※ごく一部の抜粋
与信審査モデル作成業務 Webマーケティング業務

私が利用してきた「ツール」と基盤
2007年 2011年 2016年
有
料
無
料
2011年まで
2014年まで
現在も使用
現在も使用
現在も使用
2013年まで
※ごく一部の抜粋
Windows Linux
Hadoop
HBase
etc…

確認
作成運用
準備
業務と「ツール」
データサイエンス
業務
• 環境
• データ取得
• DBアクセス
• データクリーニング
• データ集計
• データマート作成
• BI
• アクセス解析
• 統計モデル
• 商用活用
• モニタリング
• チューニング
 Hive,etc  Hive,SAS,SPSS,python,R,etc
 SAS,SPSS,python,R,tableau,
etc
 Jave,Hive,bash,SAS,SPSS,
pyhton,Retc
業務の場面によって使い分ける必要がある

「ツール」と私 ~最初に~
私の社会人スタート時の状況は…
 出身学部
経済学部経済学科
 学部時代にプログラミング経験
なし!!
 学部時代にPCを活用していたか
レポートを書くときくらい
Internetも実はあまり使っていなかった
いかにして私が「ツール」と向き合ってきたか…
これからどんな体験をしていくか、以降でお話しします

DBアクセス
データ取得
環境
「ツール」と私 ~準備編~
2007年 2011年 2016年
• WindowsPCを自分でセットアップ
• クライアントから受領したフラット
ファイルを自力でSASへ読み込む
• 基本的にすべてSASで完結
• Windowsだけでなく、linux、
Hadoop、HBaseと様々
• 今はmacユーザー
• フラットファイルを自力で読む
• 今やSqoopにてRDBからのデータ連
携が主となっている
• 初期の頃はmodelerで共有サーバー
上のファイルを読んでいた
• 今はHadoopへHiveにてアクセス

データマート作成
データ集計
データクリーニング
「ツール」と私 ~確認編~
2007年 2011年 2016年
• SASのデータステップで頑張った
• SASのprocedureで行うことが多い
• Excelで集計も
• 基本的にすべてSASで完結
• 最初の頃はmodeler
• 今はHive上で行うことが多い
• 最初の頃はmodeler
• 今はHive、pythonと状況に応じて使
い分ける
• Hiveで作成してしまうことが多い

統計モデル作成
アクセス解析
BI
「ツール」と私 ~作成編~
2007年 2011年 2016年
• 特に利用せず
• ただ、案件は若干存在はしていた
• 全くなし
• SASに用意されているprocedureを
利用
• 少しtableauを触ったくらい
• 今となっては主戦場
• Hiveで取り扱うことが多い
• 場合によってはpythonなども利用
• pythonのモジュール利用が多い
• 時として、Hiveで自作も
• modelerも時には利用

チューニング
モニタリング
商用活用
「ツール」と私 ~運用編~
2007年 2011年 2016年
• 仕様書を作成し、社内エンジニアの
方にエンジンを作成していただく
• 運用はお客様
• SASで定期的にモデル精度をウォッ
チしお客様へご報告
• SASでリモデルなどを行う
• ある程度Hiveやbashで作成し、実装
をエンジニアの方に依頼
• 運用Jobは常に自分達で監視
• Hiveで定期的に集計
• ものによってはBIにて行う
• 必要に応じて統計モデル作成時と同
じ要領で実施

「ツール」と私 ~そして現在~
私の社会人スタート時に比べて…
 環境に対して
特にアレルギー無し
 「ツール」の選り好み
特になし!!
もちろん、得手不得手はありますが
 仕事の幅は
想像以上に広くなった
「ツール」が視野を広くしてくれた面もある
いろいろな変遷を経た結果たどり着いた現在は…
大変なこともたくさんありましたが、
いろいろな「ツール」との出会いが、私の成長にもつながり、
世界を広くしてくれた

3. まとめ
– 経験してきたからこそ思うこと

確認
作成運用
準備
「ツール」は手段でしかない
データサイエンス
業務
• 環境
• データ取得
• DBアクセス
• データクリーニング
• データ集計
• データマート作成
• BI
• アクセス解析
• 統計モデル
• 商用活用
• モニタリング
• チューニング
 Hive,etc  Hive,SAS,SPSS,python,R,etc
 SAS,SPSS,python,R,tableau,
etc
 Jave,Hive,bash,SAS,SPSS,
pyhton,Retc
「ツール」に使われるのではなく、使いこなす
環境によって、使うことができる「ツール」は異なる
状況によって、使うべき「ツール」は異なる
人によって、得意な「ツール」は異なる
目的を達成するための「ツール」が何か
常に考えながら
目の前の課題に取り組むことが
「ツール」を使いこなすことにつながる第一歩

好き嫌いはしない
自分の可能性を最初から限定しない
自分の使い慣れた「ツール」ばかり使っていませんか？
時として、より強力な「ツール」は存在するかもしれない
周りの人は、より強固な「ツール」を知っているかもしれない
『好き嫌い』と『得意不得意』は、根本的に異なります
ぜひ、選り好みせずに「ツール」を使ってみてください
もしかしたら、新しい世界を開くことができるかもしれません

ご清聴ありがとうございました

データサイエンス業務と「ツール」

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (14)

Similar to データサイエンス業務と「ツール」

Similar to データサイエンス業務と「ツール」 (20)

More from The Japan DataScientist Society

More from The Japan DataScientist Society (14)

データサイエンス業務と「ツール」