Enviar pesquisa
Carregar
04 citynet awsセミナー_クラウドでビックデータのスモールスタート
•
0 gostou
•
859 visualizações
充
充博 大崎
Seguir
Citynet AWSセミナー 2014/08/28
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 38
Baixar agora
Baixar para ler offline
Recomendados
02 citynet awsセミナー_活用事例(やってみた)
02 citynet awsセミナー_活用事例(やってみた)
充博 大崎
03 citynet awsセミナー_クラウドデザインパターン(中小企業、自治体)
03 citynet awsセミナー_クラウドデザインパターン(中小企業、自治体)
充博 大崎
01 にしうち awsを簡単にご紹介_001
01 にしうち awsを簡単にご紹介_001
充博 大崎
インフラエンジニアデイ Sousousha20100520 01
インフラエンジニアデイ Sousousha20100520 01
真一 藤川
とある AWS サービスの運用移管〜データストア編〜 #jawsmeguro
とある AWS サービスの運用移管〜データストア編〜 #jawsmeguro
IKEDA Kiyoshi
障害を防ぎ、サービスを守るために #gotandapm
障害を防ぎ、サービスを守るために #gotandapm
IKEDA Kiyoshi
【HinemosWorld2014】A1-5_01_大企業のシステム基盤として利用されるAWSの運用監視の重要性を考える
【HinemosWorld2014】A1-5_01_大企業のシステム基盤として利用されるAWSの運用監視の重要性を考える
Hinemos
Azure Functionsを業務利用する時の勘所
Azure Functionsを業務利用する時の勘所
裕之 木下
Recomendados
02 citynet awsセミナー_活用事例(やってみた)
02 citynet awsセミナー_活用事例(やってみた)
充博 大崎
03 citynet awsセミナー_クラウドデザインパターン(中小企業、自治体)
03 citynet awsセミナー_クラウドデザインパターン(中小企業、自治体)
充博 大崎
01 にしうち awsを簡単にご紹介_001
01 にしうち awsを簡単にご紹介_001
充博 大崎
インフラエンジニアデイ Sousousha20100520 01
インフラエンジニアデイ Sousousha20100520 01
真一 藤川
とある AWS サービスの運用移管〜データストア編〜 #jawsmeguro
とある AWS サービスの運用移管〜データストア編〜 #jawsmeguro
IKEDA Kiyoshi
障害を防ぎ、サービスを守るために #gotandapm
障害を防ぎ、サービスを守るために #gotandapm
IKEDA Kiyoshi
【HinemosWorld2014】A1-5_01_大企業のシステム基盤として利用されるAWSの運用監視の重要性を考える
【HinemosWorld2014】A1-5_01_大企業のシステム基盤として利用されるAWSの運用監視の重要性を考える
Hinemos
Azure Functionsを業務利用する時の勘所
Azure Functionsを業務利用する時の勘所
裕之 木下
第3回岡山PHP勉強会
第3回岡山PHP勉強会
Masaki Takeda
(Fix)Azure Network Security Group(NSG)のおさらい
(Fix)Azure Network Security Group(NSG)のおさらい
Yoshimasa Katakura
AWSではじめるお手軽オンラインゲーム開発
AWSではじめるお手軽オンラインゲーム開発
AimingStudy
Aws privte20110406 arai
Aws privte20110406 arai
awsadovantageseminar
20190124_hccjp_recochoku_40m_pub
20190124_hccjp_recochoku_40m_pub
Dai Fujikawa
クラウドで動画配信
クラウドで動画配信
裕之 木下
Asp.netとbluemixで遊んでみたお話
Asp.netとbluemixで遊んでみたお話
Kazunori Hamamoto
Hccjp PoC Introduction 2
Hccjp PoC Introduction 2
YusukeImanaka
Azure Backup と Azure Site Recovery
Azure Backup と Azure Site Recovery
Junji Yamamoto
Azure 10 周年の節目に見直したい、azure インフラのちょっと大事な話
Azure 10 周年の節目に見直したい、azure インフラのちょっと大事な話
ShuheiUda
20190410 azure stackhci-hybridstrategy
20190410 azure stackhci-hybridstrategy
Osamu Takazoe
2014-ShowNetステージ-Network
2014-ShowNetステージ-Network
Interop Tokyo ShowNet NOC Team
Azure aws違い
Azure aws違い
Masanobu Sato
AWSで動画共有サイトを作成して全社に公開
AWSで動画共有サイトを作成して全社に公開
ToruKubota4
いまさら聞けないAWSの基本
いまさら聞けないAWSの基本
Trainocate Japan, Ltd.
【CLOUDIAN】コード化されたインフラの実装
【CLOUDIAN】コード化されたインフラの実装
CLOUDIAN KK
【CLOUDIAN】自動階層化による現有ストレージ活用術
【CLOUDIAN】自動階層化による現有ストレージ活用術
CLOUDIAN KK
20130427 JAWS-UG沖縄 美人CDPアップデート
20130427 JAWS-UG沖縄 美人CDPアップデート
真吾 吉田
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
Insight Technology, Inc.
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
Mbed祭り 2017@春の新横浜 20170225 竹之下
Mbed祭り 2017@春の新横浜 20170225 竹之下
Koyo Takenoshita
ラズパイでIoTをやってみよう! | なぜ今IoTなのか?
ラズパイでIoTをやってみよう! | なぜ今IoTなのか?
SORACOM,INC
Mais conteúdo relacionado
Mais procurados
第3回岡山PHP勉強会
第3回岡山PHP勉強会
Masaki Takeda
(Fix)Azure Network Security Group(NSG)のおさらい
(Fix)Azure Network Security Group(NSG)のおさらい
Yoshimasa Katakura
AWSではじめるお手軽オンラインゲーム開発
AWSではじめるお手軽オンラインゲーム開発
AimingStudy
Aws privte20110406 arai
Aws privte20110406 arai
awsadovantageseminar
20190124_hccjp_recochoku_40m_pub
20190124_hccjp_recochoku_40m_pub
Dai Fujikawa
クラウドで動画配信
クラウドで動画配信
裕之 木下
Asp.netとbluemixで遊んでみたお話
Asp.netとbluemixで遊んでみたお話
Kazunori Hamamoto
Hccjp PoC Introduction 2
Hccjp PoC Introduction 2
YusukeImanaka
Azure Backup と Azure Site Recovery
Azure Backup と Azure Site Recovery
Junji Yamamoto
Azure 10 周年の節目に見直したい、azure インフラのちょっと大事な話
Azure 10 周年の節目に見直したい、azure インフラのちょっと大事な話
ShuheiUda
20190410 azure stackhci-hybridstrategy
20190410 azure stackhci-hybridstrategy
Osamu Takazoe
2014-ShowNetステージ-Network
2014-ShowNetステージ-Network
Interop Tokyo ShowNet NOC Team
Azure aws違い
Azure aws違い
Masanobu Sato
AWSで動画共有サイトを作成して全社に公開
AWSで動画共有サイトを作成して全社に公開
ToruKubota4
いまさら聞けないAWSの基本
いまさら聞けないAWSの基本
Trainocate Japan, Ltd.
【CLOUDIAN】コード化されたインフラの実装
【CLOUDIAN】コード化されたインフラの実装
CLOUDIAN KK
【CLOUDIAN】自動階層化による現有ストレージ活用術
【CLOUDIAN】自動階層化による現有ストレージ活用術
CLOUDIAN KK
20130427 JAWS-UG沖縄 美人CDPアップデート
20130427 JAWS-UG沖縄 美人CDPアップデート
真吾 吉田
Mais procurados
(18)
第3回岡山PHP勉強会
第3回岡山PHP勉強会
(Fix)Azure Network Security Group(NSG)のおさらい
(Fix)Azure Network Security Group(NSG)のおさらい
AWSではじめるお手軽オンラインゲーム開発
AWSではじめるお手軽オンラインゲーム開発
Aws privte20110406 arai
Aws privte20110406 arai
20190124_hccjp_recochoku_40m_pub
20190124_hccjp_recochoku_40m_pub
クラウドで動画配信
クラウドで動画配信
Asp.netとbluemixで遊んでみたお話
Asp.netとbluemixで遊んでみたお話
Hccjp PoC Introduction 2
Hccjp PoC Introduction 2
Azure Backup と Azure Site Recovery
Azure Backup と Azure Site Recovery
Azure 10 周年の節目に見直したい、azure インフラのちょっと大事な話
Azure 10 周年の節目に見直したい、azure インフラのちょっと大事な話
20190410 azure stackhci-hybridstrategy
20190410 azure stackhci-hybridstrategy
2014-ShowNetステージ-Network
2014-ShowNetステージ-Network
Azure aws違い
Azure aws違い
AWSで動画共有サイトを作成して全社に公開
AWSで動画共有サイトを作成して全社に公開
いまさら聞けないAWSの基本
いまさら聞けないAWSの基本
【CLOUDIAN】コード化されたインフラの実装
【CLOUDIAN】コード化されたインフラの実装
【CLOUDIAN】自動階層化による現有ストレージ活用術
【CLOUDIAN】自動階層化による現有ストレージ活用術
20130427 JAWS-UG沖縄 美人CDPアップデート
20130427 JAWS-UG沖縄 美人CDPアップデート
Semelhante a 04 citynet awsセミナー_クラウドでビックデータのスモールスタート
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
Insight Technology, Inc.
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
Mbed祭り 2017@春の新横浜 20170225 竹之下
Mbed祭り 2017@春の新横浜 20170225 竹之下
Koyo Takenoshita
ラズパイでIoTをやってみよう! | なぜ今IoTなのか?
ラズパイでIoTをやってみよう! | なぜ今IoTなのか?
SORACOM,INC
マルチクラウドデータ連携Javaアプリケーションの作り方
マルチクラウドデータ連携Javaアプリケーションの作り方
CData Software Japan
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
Naoki (Neo) SATO
[B15] HiRDBのSQL実行プランはどのように決定しているのか?by Masaaki Narita
[B15] HiRDBのSQL実行プランはどのように決定しているのか?by Masaaki Narita
Insight Technology, Inc.
Cedec2015 ゲームサーバー基盤の新しい選択肢
Cedec2015 ゲームサーバー基盤の新しい選択肢
Maho Takara
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
Insight Technology, Inc.
クラウドを用いるIoT開発における実費レポート
クラウドを用いるIoT開発における実費レポート
Masayuki KaToH
要求開発アライアンス 9月定例会議
要求開発アライアンス 9月定例会議
Atsushi Takayasu
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
ONIC2017 プログラマブル・データプレーン時代に向けた ネットワーク・オペレーションスタック
ONIC2017 プログラマブル・データプレーン時代に向けた ネットワーク・オペレーションスタック
Kentaro Ebisawa
CommunityOpenDay2012名古屋セッション資料
CommunityOpenDay2012名古屋セッション資料
Shinichiro Isago
Windows Azure Community Open Day 2012
Windows Azure Community Open Day 2012
Microsoft Openness Japan
AWSによるサーバーレスアーキテクチャ
AWSによるサーバーレスアーキテクチャ
真吾 吉田
OSC 2012 Microsoft Session [マイクロソフトの魅せるセンサー×クラウド技術]
OSC 2012 Microsoft Session [マイクロソフトの魅せるセンサー×クラウド技術]
Aya Tokura
【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント
【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント
griddb
JAWS DAYS 2018 | IoT時代におけるデバイスのファームウェアとクラウドのいい関係
JAWS DAYS 2018 | IoT時代におけるデバイスのファームウェアとクラウドのいい関係
SORACOM,INC
Semelhante a 04 citynet awsセミナー_クラウドでビックデータのスモールスタート
(20)
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Mbed祭り 2017@春の新横浜 20170225 竹之下
Mbed祭り 2017@春の新横浜 20170225 竹之下
ラズパイでIoTをやってみよう! | なぜ今IoTなのか?
ラズパイでIoTをやってみよう! | なぜ今IoTなのか?
マルチクラウドデータ連携Javaアプリケーションの作り方
マルチクラウドデータ連携Javaアプリケーションの作り方
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
[B15] HiRDBのSQL実行プランはどのように決定しているのか?by Masaaki Narita
[B15] HiRDBのSQL実行プランはどのように決定しているのか?by Masaaki Narita
Cedec2015 ゲームサーバー基盤の新しい選択肢
Cedec2015 ゲームサーバー基盤の新しい選択肢
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
クラウドを用いるIoT開発における実費レポート
クラウドを用いるIoT開発における実費レポート
要求開発アライアンス 9月定例会議
要求開発アライアンス 9月定例会議
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
ONIC2017 プログラマブル・データプレーン時代に向けた ネットワーク・オペレーションスタック
ONIC2017 プログラマブル・データプレーン時代に向けた ネットワーク・オペレーションスタック
CommunityOpenDay2012名古屋セッション資料
CommunityOpenDay2012名古屋セッション資料
Windows Azure Community Open Day 2012
Windows Azure Community Open Day 2012
AWSによるサーバーレスアーキテクチャ
AWSによるサーバーレスアーキテクチャ
OSC 2012 Microsoft Session [マイクロソフトの魅せるセンサー×クラウド技術]
OSC 2012 Microsoft Session [マイクロソフトの魅せるセンサー×クラウド技術]
【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント
【GridDB入門】 IoT、そしてサイバー・フィジカル・システムを支える オープンソースデータベース GridDB ~ こだわりの理由と実現方法のポイント
JAWS DAYS 2018 | IoT時代におけるデバイスのファームウェアとクラウドのいい関係
JAWS DAYS 2018 | IoT時代におけるデバイスのファームウェアとクラウドのいい関係
Último
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Último
(8)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
04 citynet awsセミナー_クラウドでビックデータのスモールスタート
1.
クラウドで ビックデータのスモールスタート 株式会社シティネット
片岡幸人 kataoka@city-net.jp
2.
そもそも 2014/08/28(木) 株式会社シティネット
片岡幸人 2 ビックデータって何? スモールスタートって矛盾? クラウドって何?
3.
自己紹介 片岡幸人(かたおかゆきひと) 高知県吾川村(現、仁淀川町)出身
岐阜に暮らし、名古屋の会社勤務、27歳でUターン 役場職員からITコミュニティの経験を経て、 32歳でシティネットに参加 ITと農業、高知と地域に拘り マイキーワード センサ、クラウド、ロボット 2014/08/28(木) 株式会社シティネット 片岡幸人 3
4.
今日の内容について 2014/08/28(木) 株式会社シティネット
片岡幸人 4 ビックデータ活用の現状 AWSのビックデータ関連サービス ビックデータスモールスタート
5.
5 ビックデータ 活用の現状
6.
ビックデータ活用例 2014/08/28(木) 株式会社シティネット
片岡幸人 6 センサ系 業務系 その他 IT Leaders ビッグデータを価値につなげる活用事例15http://it.impressbm.co.jp/articles/-/10777 より引用、抜粋
7.
センサ系 2014/08/28(木) 株式会社シティネット
片岡幸人 7 ウェザーニュース[情報・通信業] 会員から寄せられる現地の気象情報を分析。詳細なエリアごとに的確な天気予 報を配信できるようにする。ゲリラ豪雨などの局地的な天気も高い精度で予測 できる。観測機の気象データも活用。 国土交通省関東地方整備局[公社・官庁] 2012年に開通した「東京ゲートブリッジ」の異常を検知するのにセンサー データを活用する。橋脚に多数のセンサーを取り付け、橋のひずみや振動など を検知する。橋の破損状況を遠隔より把握できる。橋を通行する車両の重量か ら、橋への負担なども予測する。 小松製作所[機械] 建機に取り付けたセンサーから稼働状況や燃料の残量などを把握。故障の事前 検知やリース建機の最適配置、盗難防止、省エネ運転支援などに役立てる。建 機を遠隔監視するシステムに集められる建機情報は、顧客や販売代理店に無料 で提供する。
8.
業務系 2014/08/28(木) 株式会社シティネット
片岡幸人 8 大阪ガス[電気・ガス業] コールセンターに寄せられる給湯器などの修理依頼の内容から、交換が必要と なりそうな部品を自動で割り出す。過去数百万件の修理履歴や機器の型番など をもとに適切な部品を自動抽出するシステムを自社開発。修理作業員の業務効 率化に寄与する。 全日本食品[小売業] 約1800店舗のPOSデータを収集/分析する。発行したクーポンや配布したチ ラシの効果を最大化する施策の検討に用いる。顧客情報や購買履歴をもとに、 最適なクーポンをレシートの裏に印刷して発行する。 ヤフー[サービス業] Webサイトを通じて取得する利用者のアクセスログなどを分析。利用者に応じ た適切な広告や商品などをサイト上に掲載できるようにする。サイトのデザイ ンやメニュー変更が売上にどう貢献するのかを把握する指標にもデータを活用 する。
9.
その他 2014/08/28(木) 株式会社シティネット
片岡幸人 9 カブドットコム証券[証券・商品先物取引業] Twitterの投稿を分析する。特定キーワードの登場頻度と株価の動向に相関関 係があるかどうかを分析する。顧客に対して適切な投資情報を提供することを 目指す。 本田技研工業[輸出用機器] 約150万人の会員から自動車の走行データを5分おきに収集。1カ月あたり約1 億km分のデータを取得/分析する。渋滞地点を避けたルートを案内したり、 走行時間短縮によりCO2を削減したりできる。 リクルート[サービス業] GPSを使って旅行者の位置情報を収集。どこを訪れたのか、どこに宿泊したの かなどの行動を把握する。観光地の活性化やニーズに即した観光情報を提供で きるようにする。
10.
ビックデータ活用の現状 2014/08/28(木) 株式会社シティネット
片岡幸人 10 いつ、どこで? ターゲット有、無の双方あり 誰が? 情報の収集者 どのような目的で? 判断、予測、推測などの活用が多い
11.
ビックデータ活用例 2014/08/28(木) 株式会社シティネット
片岡幸人 11 センサ系(注目!) 業務系 その他 IT Leaders ビッグデータを価値につなげる活用事例15http://it.impressbm.co.jp/articles/-/10777 より引用、抜粋
12.
センサ系ビックデータ活用 2014/08/28(木) 株式会社シティネット
片岡幸人 12 ここからの話題は、 センサの情報(ビックデータ)を活用する ためクラウドサービスAmazon AWS を 使って、安価に情報をデータベースに保管 し、目的に応じた情報の参照を、迅速に行 う方法 についてです。
13.
13 AWSのビック データ関連
サービス
14.
センサ系ビックデータ活用 2014/08/28(木) 株式会社シティネット
片岡幸人 14 どう獲得する? 安価な小型コンピュータ Raspberry Pi どこに保管する? スモールスタート可能なクラウド Amazon AWSDynamoDBとS3 問題は、センサの情報を
15.
Raspberry Pi 2014/08/28(木)
株式会社シティネット 片岡幸人 15
16.
Raspberry Pi 2014/08/28(木)
株式会社シティネット 片岡幸人 16 安価で高スペック •本体が4千円未満 •CPU500MHz,メモリ512GB,HDSDカード 情報量とサポート •イギリス財団が製造、販売元 •利用者が多くネット情報量も豊富 汎用的 •OSがLinuxで各種フリーソフト利用可能 •GPIO、I2C等に対応
17.
DynamoDB 2014/08/28(木) 株式会社シティネット
片岡幸人 17
18.
DynamoDB 2014/08/28(木) 株式会社シティネット
片岡幸人 18 DynamoDBは高速な完全マネージド型 NoSQL データベースサービスで、任意の量 のデータを格納、取得し、任意のレベルの リクエストトラフィックを処理できます。 スループットとミリ秒で1 桁台のレイテン シーが保証されており、ゲーム、広告、モ バイル、他の多くのアプリケーションに最 適です。 http://aws.amazon.com/jp/dynamodb/
19.
DynamoDB 2014/08/28(木) 株式会社シティネット
片岡幸人 19 面倒な設定・維持管理が不要 容量は自動拡張 パフォーマンスをコストで選択可能 大規模でも高速なデータアクセス データは複数の場所で同時保管 キーを除くデータ項目フリーフォマット 開発者はAPI経由で利用
20.
DynamoDB他との比較 2014/08/28(木) 株式会社シティネット
片岡幸人 20 RDS(MySql,SQLServer,Oracle他) •データ量増で速度が遅い •コスト高(MySql10GB利用で約8倍) •容量固定 Redshift •最速処理 •コスト最高(10GB利用で約38倍) •160GBからで容量固定 ※コストは利用方法を想定したシュミレーション値で実際とは異なる場合もあります。
21.
S3 2014/08/28(木) 株式会社シティネット
片岡幸人 21
22.
S3 2014/08/28(木) 株式会社シティネット
片岡幸人 22 Amazon S3 はインターネット用のストレージサービス です。ウェブスケールの処理能力を開発者が簡単に利用 できるよう設計されています。 Amazon S3 にはシンプルなインターフェイスが用意さ れており、いつでもウェブのどこからでも容量に関係な くデータを保存/取得できます。これによって、開発者 は拡張可能で信頼性が高く、安全で、高速でありながら 安価なインフラストラクチャを利用することが可能にな ります。このシステムは、Amazon が使用しているウェ ブサイトのグローバルネットワークと同じものです。こ のサービスの目的は規模のメリットを最大化で開発者に 提供することです。 http://aws.amazon.com/jp/s3/
23.
S3 2014/08/28(木) 株式会社シティネット
片岡幸人 23 安価に大量のファイルを保管可能 容量は自動拡張 静的Webサイトとして利用可能 最大99.999999999% の耐久性 99.99% の可用性 開発者はAPI経由で利用
24.
S3他との比較 2014/08/28(木) 株式会社シティネット
片岡幸人 24 EBS •データアクセスが高速 •コスト高(約2.5倍) •容量固定 Glacier •データアクセスが遅いアーカイブ向け •コスト最安(10GB利用で約1/5倍) •容量は自動拡張 ※コストは利用方法を想定したシュミレーション値で実際とは異なる場合もあります。
25.
25 ビックデータ スモール
スタート
26.
よくあるシステム構成 2014/08/28(木) 株式会社シティネット片岡幸人26
Raspberry Pi(BOX) EC2(Server) EBS(File Data) RDS(RDB) Internet 参照者
27.
スモールスタート構成 2014/08/28(木) 株式会社シティネット片岡幸人27
Raspberry Pi(BOX) S3(File Data) DynamoDB Internet 参照者
28.
ネクスト構成 2014/08/28(木) 株式会社シティネット片岡幸人28
Raspberry Pi (BOX) n台 S3(File Data) DynamoDB Internet 参照者 EC2(Server)
29.
デモ作ってみました 2014/08/28(木) 株式会社シティネット
片岡幸人 29
30.
デモ作ってみました 2014/08/28(木) 株式会社シティネット
片岡幸人 30 収集情報 •Raspberry Pi 専用カメラ静止画 •Raspberry Pi CPU温度・使用率 •Raspberry Pi メモリ使用率 機能 •Raspberry Pi からクラウドにデータをアップ •クラウド保管データをRaspberry Pi Webサー バから提供 開発環境 •PHP5 +AWS PHP SDK2+bash
31.
デモ(コード例1) 2014/08/28(木) 株式会社シティネット
片岡幸人 31 // SDK読込み require_once('AWSSDKforPHP/aws.phar'); useAws¥Common¥Aws; useAws¥Common¥Enum¥Region; use Guzzle¥Http¥EntityBody; // Dynamo 処理 $aws= Aws::factory(“configのパス"); $dynamo = $aws->get('dynamodb'); $dynamoTbl= "test-hub-table"; // TABLE NAME $data['data-id'] = $dataId;// Hash Key $data['data-r'] = $ymdhm;// Range Key $data['data-r2'] = $hmymd;// Range Key ( Local Index )
32.
デモ(コード例1) 2014/08/28(木) 株式会社シティネット
片岡幸人 32 // Data $data['datetime'] = $datetime; $data['cpu_temp'] = $cputemp; $data['cpu_unit'] = "*C"; $data['cpu_used'] = $cpuused; $data['cpu_unit2'] = "%"; $data['mem_used'] = $memused; $data['mem_unit'] = "%"; // Save $result = $dynamo->putItem(array( 'TableName'=> $dynamoTbl, 'Item'=> $dynamo->formatAttributes($data), 'ReturnConsumedCapacity'=> 'TOTAL‘ ));
33.
デモ(コード例2) 2014/08/28(木) 株式会社シティネット
片岡幸人 33 $iterator = $dynamo->getIterator('Query', array( 'TableName'=> $dynamoTbl, 'KeyConditions'=> array( 'data-id'=> array( ‘AttributeValueList’=> array(array('S'=> $cameraId)), 'ComparisonOperator'=> 'EQ‘ ), 'data-r'=> array( 'AttributeValueList'=> array( array('S'=> $s_ymdhm), array('S'=> $e_ymdhm)), 'ComparisonOperator'=> 'BETWEEN‘ ) ) ));
34.
デモ(コード例2) 2014/08/28(木) 株式会社シティネット
片岡幸人 34 foreach($iterator as$item) { echo "<table>¥n"; echo "<tr><th>Hash Key</th><td>“ .$item['data-id']['S']."</td></tr>¥n"; echo “<tr><th>RengeKey1</th><td>” .$item['data-r']['S']."</td></tr>¥n"; (中略) echo "<tr><th>Command</th><td>“ .$item['command']['S']."</td></tr>¥n"; echo "</table>¥n"; }
35.
DynamoDB保管データ 2014/08/28(木) 株式会社シティネット
片岡幸人 35
36.
DynamoDB保管データ 2014/08/28(木) 株式会社シティネット
片岡幸人 36
37.
S3保管データ 2014/08/28(木) 株式会社シティネット
片岡幸人 37
38.
結論 2014/08/28(木) 株式会社シティネット
片岡幸人 38 資金力に乏しい地方でも、活用するア イディアがあれば、Amazon AWS の クラウドサービスDynamoDB,S3 を活用して、ビックデータへの挑戦を スモールにスタートできます!
Baixar agora