Opendata@tokyowebmining

オープンデータの現状と未来
1
Saturday, April 18, 15

目次
• オープンデータの概要
• 日本のオープンデータの現状
• オープンデータの模範的あり方
• 日本はどうすれば…
2

作品の一部ではなく全てが、複製のための適正な価
格あるいはインターネットによる無償ダウンロード
により提供されてなければなりません。また、作品
は、変更可能で便利な形式で提供されなければいけ
ません。
http://opendeﬁnition.org/od/1.1/ja/
オープンの定義
3

http://5stardata.info/ja/
OL: Open Licence
RE: machine REadable
OF: Open Format
URI: RDF Standard (Indentifeied Resource)
LD: Linked RDF
オープンデータの形式
4

データライフサイクル
5

未集計
5

未集計集計済
5

未集計集計済インサイト
5

- POS
- サービスログ
* サーバーログ
* アドログ
* 検索ログ
- センサデータ
* 気象
* 震度
* GIS…
- マーケットデータ
* 証券取引所，FX…
5

- POS
- サービスログ
* サーバーログ
* アドログ
* 検索ログ
- センサデータ
* 気象
* 震度
* GIS…
- マーケットデータ
* 証券取引所，FX…
ETL
5

ETL
5

Extract/Transform/Load
ETL
5


- Hadoop (HDFS+YARN)

- tez

- spark

- prestdb

- impala

- MPPDB

- teradata

- netiza

- vertica

- paraccel

- redshift

- ETLサービス

- TresureData

- BigQuery
ETL
5

MLETL
5

MLETL
統計
5

MLETL
統計
可視化
5

MLETL
統計
可視化
レポート
5

MLETL
統計
可視化
レポート
オープンデータ
5

open closed
官公国
官公地方
民間営利
民間非営利
時系列 GIS 分布
主要
その他
今回の対象データ
6

ゆきゆきてオープンデータ的な
http://www.kantei.go.jp/jp/singi/it2/densi/dai4/sankou8.pdf
G8オープンデータ憲章
電子行政オープンデータ戦略
http://www.kantei.go.jp/jp/singi/it2/pdf/120704_siryou2.pdf
世界最先端 IT 国家創造宣言
http://www.kantei.go.jp/jp/singi/it2/kettei/pdf/20140624/siryou1.pdf
7

http://www.kantei.go.jp/jp/singi/it2/kettei/pdf/20140624/siryou1.pdf
政府自ら積極的に公共データを公開すること
機械判読可能な形式で公開すること
営利目的、非営利目的を問わず活用を促進すること
取組可能な公共データから速やかに公開等の具体的な取組に着手
し、成果を確実に蓄積していくこと
7

http://www.kantei.go.jp/jp/singi/it2/kettei/pdf/20140624/siryou1.pdf2014 年度及び 2015 年度の２年間を集中取組期間と位置づけ、
2015 年度末には、他の先進国と同水準の公開内容を実現する。
7

Global Open Data Index
http://index.okfn.org/place/
8

例：月例経済報告
9

GDP, 消費総合指数，家計調
査，毎月勤労統計，消費者物価
指数，労働力調査，日銀短観，
鉱工業指数，貿易統計…
9

国の施策決定の第一位の根拠
9

国の施策決定の第一位の根拠
消費者物価指数 →
年金，家賃，賃金，日銀金融政策....
9

e-Stat 総務省系
データカタログ経産省系
行政機関各自独自
オープンデータの公開先
10

帝京大学藤谷道夫訳
11
OPENDATA INFERNO

憂いの国にいかんとするものはわれをくぐれ
永劫の呵責に遭わんとするものはわれをくぐれ
破滅の人に伍せんとするものはわれをくぐれ
正義は高き主を動かし，神意は，最上智は，
最初の愛は，われを作る
わが前に創られしものは無し，ただ無窮あり，われは
無窮に続くものなり
われを過ぎんとするものは一切の望みを捨てよ
12
地獄の門

師よ、私の理解を絶するこのサイ
トは何ですか？
苦しみにかくも打ちのめされてい
るように見えるこのデータはどん
なデータなのですか？
13
打ちのめされたデータ

14
E-STAT INFERNO

15
検索…

検索が激遅い…
15
検索…

16
ブラウズ…

ブラウズがおかしい…
16
ブラウズ…

• Java Strutsによるイニシエの実装
• ブラウズがおかしいのは，アクションサーブレットに
よるページの動的生成のため
• 検索が遅いのは，まともな検索エンジンを使ってない
から
E-STATの実装

18
E-STAT API

E-STAT APIの謎コード
19

E-STAT APIは…
20

E-STAT APIは…
20
e-Stat APIは
RDBダンプダウンローダー

E-STAT APIの致命的欠点

E-STAT APIの致命的欠点
• e-StatにあるほとんどのデータがAPIからとれない

E-STATの致命的欠点
22

そもそも，e-Statにない
重要経済統計がありすぎ
E-STATの致命的欠点
22

DATACATALOG INFERNO

DC: 登録されているデータが…

DC: 本質

DC: 本質
• データカタログサイトの基本はファイルリポジトリ
• 乱雑なものを乱雑なまま

DC: 実装
• PythonのDMSであるCKANを利用
• data.gov/data.gov.ukのコピー
• CKANというよりG-CAN(Garbge Can)に…

27
EXCEL INFERNO

EXCEL INFERNO-1
28

EXCEL INFERNO-2
29

• オープンデータを配布する仕組みがまずい
• すぐに使えるデータを公開しない
• 統計の観測のやり方にいろいろ問題
J-OPENDATA INFERNO

WORLD BANK DATA

• Indicators - Countries の時系列
• GDP, 失業率, 起業率, 死亡率, 有病率, 教育参加率
• 大陸別，国別
WORLD BANK DATAの属性

WORLDBANK
• 強力なデータブラウザ
• 合理的なREST API
• API Query Explorer
• 数多くの3rd Party SDK / アプリケーション

QUANDLE

オープンデータの正しい出し方
• API
• API First
• GET/POST/PUT/DELETEが合理的
• キレイなURL
• API Query Explorer / SDK
• 網羅的にデータを探索できるデータブラウザ
35

じゃあ，具体的に…
どうすれば…
36

Opendata@tokyowebmining

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (20)

Mais de Yuta Kashino

Mais de Yuta Kashino (11)

Opendata@tokyowebmining