Mais conteúdo relacionado
Semelhante a IoTアプリケーションで利用するApache NiFi (20)
IoTアプリケーションで利用するApache NiFi
- 4. 4 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Spark is certified as YARN Ready and is a part of HDP.
Hortonworks Data Platform 2.4
GOVERNANCE OPERATIONS BATCH, INTERACTIVE & REAL-TIME DATA ACCESS
YARN: Data OperaAng System
(Cluster Resource Management)
Map
Reduce
Apache Falcon
Apache Sqoop
Apache Flume
Apache KaTa
Apache
Hive
Apache
Pig
Apache
HBase
Apache
Accumulo
Apache
Solr
Apache
Spark
Apache
Storm
1 • • • • • • • • • • •
• • • • • • • • • • • •
HDFS
(Hadoop Distributed File System)
Apache Ambari
Apache
ZooKeeper
Apache Oozie
Deployment Choice
Linux Windows On-premises Cloud
Apache Atlas
Cloudbreak
SECURITY
Apache Ranger
Apache Knox
Apache Atlas
HDFS Encryp,on
ISV
Engines
- 39. 39 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache NiFiとIoT
à IoTはデータソースの種類が多様になるケースがある
à データソースを動的に⾜したいこともある
à NiFiはこういうデータパイプラインに最適
à システムアーキテクチャ的にはデータソース層とデータ処理層の間に置くのが○
HDF
Hadoop
HDFS
HBase Hive SOLR
YARN
Storm
Service
Manageme
nt /
Workflow
SIEM
Spark
Raw Network Stream
Network Metadata
Stream
Data Stores
Syslog
Raw ApplicaAon Logs
Other Streaming
Telemetry
- 40. 40 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Apache NiFiとIoT
à IoTはデータソースの種類が多様になるケースがある
à データソースを動的に⾜したいこともある
à NiFiはこういうデータパイプラインに最適
à システムアーキテクチャ的にはデータソース層とデータ処理層の間に置くのが○
HDF
Hadoop
HDFS
HBase Hive SOLR
YARN
Storm
Service
Manageme
nt /
Workflow
SIEM
Spark
Raw Network Stream
Network Metadata
Stream
Data Stores
Syslog
Raw ApplicaAon Logs
Other Streaming
Telemetry
※Fluentd的にアプリ
ケーション・サーバーか
らのログ回収エージェン
トとしても使えるけれど
も、これはまた別の話