Mais conteúdo relacionado
Semelhante a クラウドでビックデータのスモールスタート (20)
Mais de Yukihito Kataoka (20)
クラウドでビックデータのスモールスタート
- 7. センサ系
2014/08/28(木) 株式会社シティネット 片岡幸人 7
ウェザーニュース[情報・通信業]
会員から寄せられる現地の気象情報を分析。詳細なエリアごとに的確な天気予 報を配信できるようにする。ゲリラ豪雨などの局地的な天気も高い精度で予測 できる。観測機の気象データも活用。
国土交通省関東地方整備局[公社・官庁]
2012年に開通した「東京ゲートブリッジ」の異常を検知するのにセンサー データを活用する。橋脚に多数のセンサーを取り付け、橋のひずみや振動など を検知する。橋の破損状況を遠隔より把握できる。橋を通行する車両の重量か ら、橋への負担なども予測する。
小松製作所[機械]
建機に取り付けたセンサーから稼働状況や燃料の残量などを把握。故障の事前 検知やリース建機の最適配置、盗難防止、省エネ運転支援などに役立てる。建 機を遠隔監視するシステムに集められる建機情報は、顧客や販売代理店に無料 で提供する。
- 8. 業務系
2014/08/28(木) 株式会社シティネット 片岡幸人 8
大阪ガス[電気・ガス業]
コールセンターに寄せられる給湯器などの修理依頼の内容から、交換が必要と なりそうな部品を自動で割り出す。過去数百万件の修理履歴や機器の型番など をもとに適切な部品を自動抽出するシステムを自社開発。修理作業員の業務効 率化に寄与する。
全日本食品[小売業]
約1800店舗のPOSデータを収集/分析する。発行したクーポンや配布したチ ラシの効果を最大化する施策の検討に用いる。顧客情報や購買履歴をもとに、 最適なクーポンをレシートの裏に印刷して発行する。
ヤフー[サービス業]
Webサイトを通じて取得する利用者のアクセスログなどを分析。利用者に応じ た適切な広告や商品などをサイト上に掲載できるようにする。サイトのデザイ ンやメニュー変更が売上にどう貢献するのかを把握する指標にもデータを活用 する。
- 9. その他
2014/08/28(木) 株式会社シティネット 片岡幸人 9
カブドットコム証券[証券・商品先物取引業] Twitterの投稿を分析する。特定キーワードの登場頻度と株価の動向に相関関 係があるかどうかを分析する。顧客に対して適切な投資情報を提供することを 目指す。
本田技研工業[輸出用機器]
約150万人の会員から自動車の走行データを5分おきに収集。1カ月あたり約1 億km分のデータを取得/分析する。渋滞地点を避けたルートを案内したり、 走行時間短縮によりCO2を削減したりできる。
リクルート[サービス業]
GPSを使って旅行者の位置情報を収集。どこを訪れたのか、どこに宿泊したの かなどの行動を把握する。観光地の活性化やニーズに即した観光情報を提供で きるようにする。
- 16. Raspberry Pi
2014/08/28(木) 株式会社シティネット 片岡幸人 16
安価で高スペック
•本体が4千円未満
•CPU500MHz,メモリ512GB,HDSDカード
情報量とサポート
•イギリス財団が製造、販売元
•利用者が多くネット情報量も豊富
汎用的
•OSがLinuxで各種フリーソフト利用可能
•GPIO、I2C等に対応
- 18. DynamoDB
2014/08/28(木) 株式会社シティネット 片岡幸人 18
DynamoDBは高速な完全マネージド型 NoSQL データベースサービスで、任意の量 のデータを格納、取得し、任意のレベルの リクエストトラフィックを処理できます。 スループットとミリ秒で1 桁台のレイテン シーが保証されており、ゲーム、広告、モ バイル、他の多くのアプリケーションに最 適です。
http://aws.amazon.com/jp/dynamodb/
- 20. DynamoDB他との比較
2014/08/28(木) 株式会社シティネット 片岡幸人 20
RDS(MySql,SQLServer,Oracle他)
•データ量増で速度が遅い
•コスト高(MySql10GB利用で約8倍)
•容量固定
Redshift
•最速処理
•コスト最高(10GB利用で約38倍)
•160GBからで容量固定
※コストは利用方法を想定したシュミレーション値で実際とは異なる場合もあります。
- 22. S3
2014/08/28(木) 株式会社シティネット 片岡幸人 22
Amazon S3 はインターネット用のストレージサービス です。ウェブスケールの処理能力を開発者が簡単に利用 できるよう設計されています。
Amazon S3 にはシンプルなインターフェイスが用意さ れており、いつでもウェブのどこからでも容量に関係な くデータを保存/取得できます。これによって、開発者 は拡張可能で信頼性が高く、安全で、高速でありながら 安価なインフラストラクチャを利用することが可能にな ります。このシステムは、Amazon が使用しているウェ ブサイトのグローバルネットワークと同じものです。こ のサービスの目的は規模のメリットを最大化で開発者に 提供することです。
http://aws.amazon.com/jp/s3/
- 24. S3他との比較
2014/08/28(木) 株式会社シティネット 片岡幸人 24
EBS
•データアクセスが高速
•コスト高(約2.5倍)
•容量固定
Glacier
•データアクセスが遅いアーカイブ向け
•コスト最安(10GB利用で約1/5倍)
•容量は自動拡張
※コストは利用方法を想定したシュミレーション値で実際とは異なる場合もあります。
- 30. デモ作ってみました
2014/08/28(木) 株式会社シティネット 片岡幸人 30
収集情報
•Raspberry Pi 専用カメラ静止画
•Raspberry Pi CPU温度・使用率
•Raspberry Pi メモリ使用率
機能
•Raspberry Pi からクラウドにデータをアップ
•クラウド保管データをRaspberry Pi Webサー バから提供
開発環境
•PHP5 +AWS PHP SDK2+bash
- 31. デモ(コード例1)
2014/08/28(木) 株式会社シティネット 片岡幸人 31
// SDK読込み
require_once('AWSSDKforPHP/aws.phar');
useAws¥Common¥Aws;
useAws¥Common¥Enum¥Region;
use Guzzle¥Http¥EntityBody;
// Dynamo 処理
$aws= Aws::factory(“configのパス");
$dynamo = $aws->get('dynamodb');
$dynamoTbl= "test-hub-table"; // TABLE NAME
$data['data-id'] = $dataId;// Hash Key
$data['data-r'] = $ymdhm;// Range Key
$data['data-r2'] = $hmymd;// Range Key ( Local Index )
- 32. デモ(コード例1)
2014/08/28(木) 株式会社シティネット 片岡幸人 32
// Data
$data['datetime'] = $datetime;
$data['cpu_temp'] = $cputemp;
$data['cpu_unit'] = "*C";
$data['cpu_used'] = $cpuused;
$data['cpu_unit2'] = "%";
$data['mem_used'] = $memused;
$data['mem_unit'] = "%";
// Save
$result = $dynamo->putItem(array(
'TableName'=> $dynamoTbl,
'Item'=> $dynamo->formatAttributes($data),
'ReturnConsumedCapacity'=> 'TOTAL‘
));
- 33. デモ(コード例2)
2014/08/28(木) 株式会社シティネット 片岡幸人 33
$iterator = $dynamo->getIterator('Query', array(
'TableName'=> $dynamoTbl,
'KeyConditions'=> array(
'data-id'=> array(
‘AttributeValueList’=> array(array('S'=> $cameraId)),
'ComparisonOperator'=> 'EQ‘
),
'data-r'=> array(
'AttributeValueList'=> array( array('S'=> $s_ymdhm), array('S'=> $e_ymdhm)),
'ComparisonOperator'=> 'BETWEEN‘
)
)
));
- 34. デモ(コード例2)
2014/08/28(木) 株式会社シティネット 片岡幸人 34
foreach($iterator as$item) {
echo "<table>¥n";
echo "<tr><th>Hash Key</th><td>“
.$item['data-id']['S']."</td></tr>¥n";
echo “<tr><th>RengeKey1</th><td>”
.$item['data-r']['S']."</td></tr>¥n";
(中略)
echo "<tr><th>Command</th><td>“
.$item['command']['S']."</td></tr>¥n";
echo "</table>¥n";
}