SlideShare uma empresa Scribd logo
1 de 41
Baixar para ler offline
あなたの側で、あなた以上に考える。
re:Inventの振り返りで学ぶAWSを利用したデータ活
用戦略と、サバカン屋の新作缶づめ戦略
1
あなたの側で、あなた以上に考える。Agenda
1. 自己紹介 /会社紹介
2. 弊社IoT/データ活用 事例
1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例
2. IoT 概念実証 - 大阪の企業様との実証例
実証で出てきた課題点
3. re:Inventで発表された新サービスで課題点の解決
モダンデータアーキテクチャ
サーバレスで大量のデータ処理/整形/解析が可能に
Amazon Athena / AWS Glue
4. re:Inventで配布された Amazon Echo Dotで学ぶLambda
5. まとめ 2
あなたの側で、あなた以上に考える。自己紹介
20年程前
電子工作少年
N88-BASIC パラレルポート経由でLチカ、ラジコンを動かしたり…
現在
前職:不動産ASPの開発PHPプログラマ+Linuxサーバ管理者+情シス
現職:様々な角度から日々のサーバ管理業務にまつわる
業務効率化、自動化、新規サービス開発に取り組んでおります。
趣味:Raspberry PiでLチカ、R2D2をJuliusで日本語対応させて動かした
り…
株式会社スカイアーチネットワークス
運用自動化責任者 神津 崇士 (こうづ たかし)
tktk19
http://kouzu.info
あなたの側で、あなた以上に考える。
4
サバカン屋
(サーバー管理)
大阪
NY
大連
東京サバ缶活動
どんな会社?
あなたの側で、あなた以上に考える。
5
普段の業務風景
サーバー購入
サーバー構築 サーバー運用
あなたの側で、あなた以上に考える。
6
ラスベガス用のサバ缶つくりました
【オリジナル】
サーバー屋のサバ缶
【トレンドマイクロコラボ】
サーバーを守る会社のサバ缶
【ラスベガス限定】
サーバー屋のラスベガス缶!!
あなたの側で、あなた以上に考える。
7
300缶作りました
あなたの側で、あなた以上に考える。
8
出展しました
あなたの側で、あなた以上に考える。
9
作り過ぎました…
あなたの側で、あなた以上に考える。Agenda
1. 自己紹介 /会社紹介
2. 弊社IoT/データ活用 事例
1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例
2. IoT 概念実証 - 大阪の企業様との実証例
実証で出てきた課題点
3. re:Inventで発表された新サービスで課題点の解決
モダンデータアーキテクチャ
サーバレスで大量のデータ処理/整形/解析が可能に
Amazon Athena / AWS Glue
4. re:Inventで配布された Amazon Echo Dotで学ぶLambda
5. まとめ 10
あなたの側で、あなた以上に考える。
11
社内事例 - パンデミック防止のための温度・湿度 可視化事例
▼ 背景
ここ2,3年
インフルエンザ等パンデミックが起きて
しまっている
▼ 対策
1. マスク・手洗いの徹底
2. 湿度が50%を切らないようにする
(ウイルスの活動しにくい環境作り)
▼ 実施した事
社内にセンサをばらまき、見える化
あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度 可視化事例
12
年初めに作成したRaspberry Piサイネージ活用
あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度 可視化事例
15秒おきに 8個のセンサから温度・湿度取得
TWE-Lite(ZigBee) + Raspberry Pi で送信
→ Dashboardフレームワークで見やすく表示
13
あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度 可視化事例
MongoDBに蓄えられた
現時点5009万件の温度・湿度・場所データ
あなたの側で、あなた以上に考える。
15
社内事例 - パンデミック防止のための温度・湿度 可視化事例
パンデミック防止の観点で 残念ながら負け
若手を中心に 約10名程のインフルエンザ感染が発生
• 夜間サーバ監視や、コンビニ飯で不摂生している若手エンジニアが多い
同じ寮に住んでいても、自炊をしている人は掛かっていない
• 加湿器への水補給が追いつかず、50%以上は維持するのが難しい
→ 加湿器の水切れを大きく通知しなければ注意を引けない
• 場所によって温度が最大で3度程、湿度も30%の違いがあった
→ サーキュレーターの効果的な設置場所を見極める必要がある?
• 作成したシステム
パンデミックの起きた事もあり、今後より使われそうなシステムとなった
データ解析ツール立ち上げのためにサーバ構築せねばで大変
データ連携には自前でコンバート等せねばならない、、、
→ 予算とってクラウドに置けば良かった
あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度 可視化事例
16
半年に2台ペースで SDカードが昇天、電源により不安定な事も
→ 安定動作するデバイスが欲しい
Raspberry Pi 2 Model B を利用
あなたの側で、あなた以上に考える。Agenda
1. 自己紹介 /会社紹介
2. 弊社IoT/データ活用 事例
1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例
2. IoT 概念実証 - 大阪の企業様との実証例
実証で出てきた課題点
3. re:Inventで発表された新サービスで課題点の解決
モダンデータアーキテクチャ
サーバレスで大量のデータ処理/整形/解析が可能に
Amazon Athena / AWS Glue
4. re:Inventで配布された Amazon Echo Dotで学ぶLambda
5. まとめ 17
あなたの側で、あなた以上に考える。IoT 概念実証 - 大阪の企業様との実証例
18
あなたの側で、あなた以上に考える。IoT 概念実証 - 大阪の企業様との実証例
19
or
• CONPROSYSとは
WebUI上でタスクスクリプティング&モニタリング
• AWSサービスへ接続を弊社で実証
センサ接続
あなたの側で、あなた以上に考える。IoT 概念実証 - 大阪の企業様との実証例
20
SensorTag
モータの振動を検知!
9種類のセンサを内蔵
S3
Conprosys
PC
LabVIEW
Cloudberry
カメラ画像
モータ電圧・マイク音量
各種センサ値を可視化して見える化
Raspberry Pi
EC2
PLC
あなたの側で、あなた以上に考える。
21
IoT 概念実証で出てきた課題点
PoCフェイズのため
センサ値取得→UPしたいデータやフォーマットが常に増える・変わるを繰り返す
• このセンサ・機器からのデータを取得してみたい
• 取得出来た!が別機器のほうがサンプリングレートが良いため
こちらで実施したい、追加でこちらの機器のデータも取り込みたい
• データアップロード・コンバート形式の新規作成・変更
フォルダ構成案、ローテーションの再検討
→ 仕様変更と吐き出されるCSVフォーマットの変更に追従していく必要がある
あなたの側で、あなた以上に考える。Agenda
1. 自己紹介 /会社紹介
2. 弊社IoT/データ活用 事例
1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例
2. IoT 概念実証 - 大阪の企業様との実証例
実証で出てきた課題点
3. re:Inventで発表された新サービスで課題点の解決
モダンデータアーキテクチャ
サーバレスで大量のデータ処理/整形/解析が可能に
Amazon Athena / AWS Glue
4. re:Inventで配布された Amazon Echo Dotで学ぶLambda
5. まとめ 22
あなたの側で、あなた以上に考える。Amazon Athena
23
Amazon Athena の発表
あなたの側で、あなた以上に考える。Amazon Athena
24
Amazon S3 内のデータを SQL を使用して簡単に分析可能に
裏では、クエリを並列化して何百、何千コアに分散し数秒で結果が帰る
サーバレスで動作するため、インフラストラクチャ管理コスト無し
あなたの側で、あなた以上に考える。モダンデータアーキテクチャ
25
現在のデータ分析の仕事のうち作業の80% は分析に関係ない作業
様々なデータソースからデータを取り出し、データストア先に統合する
には糊のような役割が必要
あなたの側で、あなた以上に考える。AWS Glue
26
AWS Glue の発表
あなたの側で、あなた以上に考える。AWS Glue
27
Step 1. データカタログの構築
JSON、CSV、Parquet(パーケイ)など、多くの一般的なデータタイプに対し
て、あらかじめ作成された分類子を使用してデータカタログを構築
あなたの側で、あなた以上に考える。AWS Glue
28
Step 2. データ変換ルールをコードで記載
データソースとターゲットを選択すると、AWS GlueはPythonコードを生
成してソースからデータを抽出、データを変換行いターゲットにロード
します
あなたの側で、あなた以上に考える。AWS Glue
29
Step 3. スケジュールの作成・実行
定期的にトリガに応じて、フローを実行できます。データ量が増えるに
つれて実行時間が一定に保たれるように、ジョブの実行を適切な順序で
調整し、失敗したジョブを自動的に再試行します。必要なインフラスト
ラクチャをスケーラブルに拡張します。
あなたの側で、あなた以上に考える。Agenda
1. 自己紹介 /会社紹介
2. 弊社IoT/データ活用 事例
1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例
2. IoT 概念実証 - 大阪の企業様との実証例
実証で出てきた課題点
3. re:Inventで発表された新サービスで課題点の解決
モダンデータアーキテクチャ
サーバレスで大量のデータ処理/整形/解析が可能に
Amazon Athena / AWS Glue
4. re:Inventで配布された Amazon Echo Dotで学ぶLambda
5. まとめ 30
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
31
参加者全員に配布されました!!
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
32
このデバイスでLambda実行できるプログラムを開発!
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
33
Lambdaとは
https://aws.amazon.com/jp/lambda/
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
34
Skillという概念で色々な機能を追加出
来ます
(iPhoneのアプリのような概念)
※英語Only、国内利用不可
• 音楽を再生する
• SmartHome連携機能の呼び出し
• 天気予報を読み上げる
• ニュースサイトのニュースを読む
…
• 雷の音を再生して
• 猫にまつわるウンチクを教えて
• 私を奮い立たせる名言を教えて
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
35
本日のブログ投稿数を教えてくれるSkillを作成する事に
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
36
Lambda実行時のイベントにAlexa Skills Kitを指定
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
37
詳細は弊社ブログまで!
Amazon Echoの応答
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
38
あなたの側で、あなた以上に考える。
まとめ
1. データ分析・変換系の新サービス
データをよりシームレスに繋ぐ事の出来るサービスが次々と出ており、デー
タ分析までに必要な時間が劇的に短縮される
特にS3に上げておくだけでも解析が出来るようになる!
2. 人口知能系の新サービス
AWSのサービスと直結出来るインターフェースを持った
Amazon Echo等の製品で、データさえAWSに上げておけば
様々な処理、結果取得を音声だけで出来る未来はすぐそこにある
3. サーバー管理会社はお客さまにどのようなサービスを提供すべきか
様々なAWSのサービスに精通しつつ、構成案から提案をし
サバ缶だけでなく、Lambdaも缶づめのように提供する必要がある
39
あなたの側で、あなた以上に考える。
40
coming soon…
ご清聴ありがとうございました。

Mais conteúdo relacionado

Semelhante a re:Invent 2016 の振り返りで学ぶawsを利用したデータ活用戦略と、サバカン屋の新作缶づめ戦略

20181019日経xTECH EXPO講演 | 今からでも遅くない!事例に学ぶIoT導入のための技術ポイント実践講座
20181019日経xTECH EXPO講演 | 今からでも遅くない!事例に学ぶIoT導入のための技術ポイント実践講座20181019日経xTECH EXPO講演 | 今からでも遅くない!事例に学ぶIoT導入のための技術ポイント実践講座
20181019日経xTECH EXPO講演 | 今からでも遅くない!事例に学ぶIoT導入のための技術ポイント実践講座SORACOM,INC
 
Spring Cloud Data Flow で構成される IIJ IoTサービス
Spring Cloud Data Flow で構成される IIJ IoTサービスSpring Cloud Data Flow で構成される IIJ IoTサービス
Spring Cloud Data Flow で構成される IIJ IoTサービスKenji Kondo
 
Big data解析ビジネス
Big data解析ビジネスBig data解析ビジネス
Big data解析ビジネスMie Mori
 
Kintoneで回すline botのpdcaサイクル
Kintoneで回すline botのpdcaサイクルKintoneで回すline botのpdcaサイクル
Kintoneで回すline botのpdcaサイクルJun Tanaka
 
2012年上半期 AWSパートナーアワード受賞社資料:Hadoopによるバッチ処理の導入on AWS (ノーチラス・テクノロジーズ様)
2012年上半期 AWSパートナーアワード受賞社資料:Hadoopによるバッチ処理の導入on AWS (ノーチラス・テクノロジーズ様)2012年上半期 AWSパートナーアワード受賞社資料:Hadoopによるバッチ処理の導入on AWS (ノーチラス・テクノロジーズ様)
2012年上半期 AWSパートナーアワード受賞社資料:Hadoopによるバッチ処理の導入on AWS (ノーチラス・テクノロジーズ様)Amazon Web Services Japan
 
LiBRA 11.2020 / クラウド
LiBRA 11.2020 / クラウドLiBRA 11.2020 / クラウド
LiBRA 11.2020 / クラウドMasanori Saito
 
LiBRA 12.2020 / クラウド
LiBRA 12.2020 / クラウドLiBRA 12.2020 / クラウド
LiBRA 12.2020 / クラウドMasanori Saito
 
LiBRA 10.2020 / クラウド
LiBRA 10.2020 / クラウドLiBRA 10.2020 / クラウド
LiBRA 10.2020 / クラウドMasanori Saito
 
Datalake最新情報セミナー
Datalake最新情報セミナーDatalake最新情報セミナー
Datalake最新情報セミナーmtanaka0111
 
[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ! ~スケールアウト検...
[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ! ~スケールアウト検...[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ! ~スケールアウト検...
[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ! ~スケールアウト検...Insight Technology, Inc.
 
オブジェクトストレージのユースケース (Cloudweek2014 講演資料)
オブジェクトストレージのユースケース (Cloudweek2014 講演資料)オブジェクトストレージのユースケース (Cloudweek2014 講演資料)
オブジェクトストレージのユースケース (Cloudweek2014 講演資料)CLOUDIAN KK
 
OSSのクラウド基盤 OpenStack / CloudStack
OSSのクラウド基盤 OpenStack / CloudStackOSSのクラウド基盤 OpenStack / CloudStack
OSSのクラウド基盤 OpenStack / CloudStackVirtualTech Japan Inc.
 
IoT@Loft#20 - IoTプラットフォームを進化さ せるAWSの活用方法
IoT@Loft#20 - IoTプラットフォームを進化さ せるAWSの活用方法IoT@Loft#20 - IoTプラットフォームを進化さ せるAWSの活用方法
IoT@Loft#20 - IoTプラットフォームを進化さ せるAWSの活用方法Amazon Web Services Japan
 
2012年03月 経済産業省セミナー「クラウドは敵か?味方か?」
2012年03月 経済産業省セミナー「クラウドは敵か?味方か?」2012年03月 経済産業省セミナー「クラウドは敵か?味方か?」
2012年03月 経済産業省セミナー「クラウドは敵か?味方か?」Serverworks Co.,Ltd.
 
OpenStack-Ansibleで作るOpenStack HA環境 手順書解説 - OpenStack最新情報セミナー 2016年3月
OpenStack-Ansibleで作るOpenStack HA環境 手順書解説 - OpenStack最新情報セミナー 2016年3月OpenStack-Ansibleで作るOpenStack HA環境 手順書解説 - OpenStack最新情報セミナー 2016年3月
OpenStack-Ansibleで作るOpenStack HA環境 手順書解説 - OpenStack最新情報セミナー 2016年3月VirtualTech Japan Inc.
 
クラウドネイティブなアーキテクチャでサクサク解析
クラウドネイティブなアーキテクチャでサクサク解析クラウドネイティブなアーキテクチャでサクサク解析
クラウドネイティブなアーキテクチャでサクサク解析Yuta Imai
 
LiBRA 08.2021 / クラウド
LiBRA 08.2021 / クラウドLiBRA 08.2021 / クラウド
LiBRA 08.2021 / クラウドMasanori Saito
 
210201 trend tech_cloud
210201 trend tech_cloud210201 trend tech_cloud
210201 trend tech_cloudMasanori Saito
 
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」Nobuyuki Tamaoki
 

Semelhante a re:Invent 2016 の振り返りで学ぶawsを利用したデータ活用戦略と、サバカン屋の新作缶づめ戦略 (20)

20181019日経xTECH EXPO講演 | 今からでも遅くない!事例に学ぶIoT導入のための技術ポイント実践講座
20181019日経xTECH EXPO講演 | 今からでも遅くない!事例に学ぶIoT導入のための技術ポイント実践講座20181019日経xTECH EXPO講演 | 今からでも遅くない!事例に学ぶIoT導入のための技術ポイント実践講座
20181019日経xTECH EXPO講演 | 今からでも遅くない!事例に学ぶIoT導入のための技術ポイント実践講座
 
Spring Cloud Data Flow で構成される IIJ IoTサービス
Spring Cloud Data Flow で構成される IIJ IoTサービスSpring Cloud Data Flow で構成される IIJ IoTサービス
Spring Cloud Data Flow で構成される IIJ IoTサービス
 
Big data解析ビジネス
Big data解析ビジネスBig data解析ビジネス
Big data解析ビジネス
 
Kintoneで回すline botのpdcaサイクル
Kintoneで回すline botのpdcaサイクルKintoneで回すline botのpdcaサイクル
Kintoneで回すline botのpdcaサイクル
 
2012年上半期 AWSパートナーアワード受賞社資料:Hadoopによるバッチ処理の導入on AWS (ノーチラス・テクノロジーズ様)
2012年上半期 AWSパートナーアワード受賞社資料:Hadoopによるバッチ処理の導入on AWS (ノーチラス・テクノロジーズ様)2012年上半期 AWSパートナーアワード受賞社資料:Hadoopによるバッチ処理の導入on AWS (ノーチラス・テクノロジーズ様)
2012年上半期 AWSパートナーアワード受賞社資料:Hadoopによるバッチ処理の導入on AWS (ノーチラス・テクノロジーズ様)
 
LiBRA 11.2020 / クラウド
LiBRA 11.2020 / クラウドLiBRA 11.2020 / クラウド
LiBRA 11.2020 / クラウド
 
LiBRA 12.2020 / クラウド
LiBRA 12.2020 / クラウドLiBRA 12.2020 / クラウド
LiBRA 12.2020 / クラウド
 
LiBRA 10.2020 / クラウド
LiBRA 10.2020 / クラウドLiBRA 10.2020 / クラウド
LiBRA 10.2020 / クラウド
 
Datalake最新情報セミナー
Datalake最新情報セミナーDatalake最新情報セミナー
Datalake最新情報セミナー
 
[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ! ~スケールアウト検...
[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ! ~スケールアウト検...[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ! ~スケールアウト検...
[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ! ~スケールアウト検...
 
オブジェクトストレージのユースケース (Cloudweek2014 講演資料)
オブジェクトストレージのユースケース (Cloudweek2014 講演資料)オブジェクトストレージのユースケース (Cloudweek2014 講演資料)
オブジェクトストレージのユースケース (Cloudweek2014 講演資料)
 
OSSのクラウド基盤 OpenStack / CloudStack
OSSのクラウド基盤 OpenStack / CloudStackOSSのクラウド基盤 OpenStack / CloudStack
OSSのクラウド基盤 OpenStack / CloudStack
 
IoT@Loft#20 - IoTプラットフォームを進化さ せるAWSの活用方法
IoT@Loft#20 - IoTプラットフォームを進化さ せるAWSの活用方法IoT@Loft#20 - IoTプラットフォームを進化さ せるAWSの活用方法
IoT@Loft#20 - IoTプラットフォームを進化さ せるAWSの活用方法
 
2012年03月 経済産業省セミナー「クラウドは敵か?味方か?」
2012年03月 経済産業省セミナー「クラウドは敵か?味方か?」2012年03月 経済産業省セミナー「クラウドは敵か?味方か?」
2012年03月 経済産業省セミナー「クラウドは敵か?味方か?」
 
OpenStack-Ansibleで作るOpenStack HA環境 手順書解説 - OpenStack最新情報セミナー 2016年3月
OpenStack-Ansibleで作るOpenStack HA環境 手順書解説 - OpenStack最新情報セミナー 2016年3月OpenStack-Ansibleで作るOpenStack HA環境 手順書解説 - OpenStack最新情報セミナー 2016年3月
OpenStack-Ansibleで作るOpenStack HA環境 手順書解説 - OpenStack最新情報セミナー 2016年3月
 
クラウドネイティブなアーキテクチャでサクサク解析
クラウドネイティブなアーキテクチャでサクサク解析クラウドネイティブなアーキテクチャでサクサク解析
クラウドネイティブなアーキテクチャでサクサク解析
 
LiBRA 08.2021 / クラウド
LiBRA 08.2021 / クラウドLiBRA 08.2021 / クラウド
LiBRA 08.2021 / クラウド
 
JAWS DAYS 2022
JAWS DAYS 2022JAWS DAYS 2022
JAWS DAYS 2022
 
210201 trend tech_cloud
210201 trend tech_cloud210201 trend tech_cloud
210201 trend tech_cloud
 
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
 

re:Invent 2016 の振り返りで学ぶawsを利用したデータ活用戦略と、サバカン屋の新作缶づめ戦略