Sotaro Kimura

68 Seguidores

16 SlideShares 1 Painel de recortes 68 Seguidores 60 Seguindos

16 SlideShares 1 Painel de recortes 68 Seguidores 60 Seguindos

I'm a software engineer specialized in Data Infrastructure and Data Processing Technology. - Constructing realtime data processing system(Based on Spark, Flink, Kafka etc) - Operating data analytics platform -- Hadoop, Fluentd, or something related data processing middleware -- Monitoring by Prometheus, Zabbix, Elastic stack etc - Constructing ETL pipeline -- Workflow management by Digdag, Azkaban, Jenkins etc - Constructing CI Pipeline(Jenkins) - Coding skill in Java, Scala, Go, JavaScript, Python and Ruby - Constructing system on AWS(Kinesis Family, Lambda, S3, EC2, ECS etc) - Data management of various purpose analytics data

streamprocessing spark big data kafka streaming flink aws kinesis bigdata architecture engineering nifi etl jjug_ccc kafka stream scala gearpump streamprocessing stream gearpump scala

Ver mais

Atividades
Sobre

リアルタイム処理エンジンGearpumpの紹介

Há 7 anos • 2139 Visualizações

Gearpump, akka based Distributed Reactive Realtime Engine

Há 7 anos • 517 Visualizações

スキーマつきストリームデータ処理基盤、 Confluent Platformとは？

Há 7 anos • 1778 Visualizações

JVM上でのストリーム処理エンジンの変遷

Há 7 anos • 7986 Visualizações

Hadoop基盤上のETL構築実践例～多様なデータをどう扱う？～

Há 7 anos • 1627 Visualizações

Kafkaを活用するためのストリーム処理の基本

Há 7 anos • 8317 Visualizações

Apache NiFiと他プロダクトのつなぎ方

Há 7 anos • 5558 Visualizações

Stream dataprocessing101

Há 6 anos • 1815 Visualizações

最近のストリーム処理事情振り返り

Há 6 anos • 17220 Visualizações

利用者主体で行う分析のための分析基盤

Há 6 anos • 1071 Visualizações

Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話

Há 6 anos • 5152 Visualizações

Spark Structured StreamingでKafkaクラスタのデータをお手軽活用

Há 6 anos • 1168 Visualizações

Modern stream processing by Spark Structured Streaming

Há 6 anos • 1549 Visualizações

Spark Structured Streaming with Kafka

Há 5 anos • 818 Visualizações

Custom management apps for Kafka

Há 4 anos • 7848 Visualizações

スキーマ付き分散ストリーム処理を実行可能な FlinkSQLClient の紹介

Há 4 anos • 2570 Visualizações

DXとかDevOpsとかのなんかいい感じのやつ　富士通TechLive

Tokoroten Nakayama • Há 3 anos

大規模データ活用向けストレージレイヤソフトのこれまでとこれから（NTTデータテクノロジーカンファレンス 2019 講演資料、2019/09/05）

NTT DATA Technology & Innovation • Há 3 anos

Deep Dive into Spark SQL with Advanced Performance Tuning with Xiao Li & Wenchen Fan

Databricks • Há 5 anos

20170329_BigData基盤研究会#7

Kohei KaiGai • Há 6 anos

A Practical Guide to Selecting a Stream Processing Technology

confluent • Há 6 anos

技術的負債だらけのチームで技術マネージメントしてみた Kichijoji.pm7[talk2]

YASUKAZU NAGATOMI • Há 7 anos

Taking Spark Streaming to the Next Level with Datasets and DataFrames

Databricks • Há 7 anos

Strata San Jose 2016: Scalable Ensemble Learning with H2O

Sri Ambati • Há 7 anos

Strata Conference + Hadoop World NY 2016: Lessons learned building a scalable self-serve, real-time, multitenant monitoring service at Yahoo

Sumeet Singh • Há 7 anos

Hadoop application architectures - Fraud detection tutorial

hadooparchbook • Há 7 anos

Real-Time Spark: From Interactive Queries to Streaming

Databricks • Há 7 anos

2016年版フロントエンド開発フォーマット

Kenya Kodaira • Há 7 anos

失敗から学ぶデータ分析グループのチームマネジメント変遷（デブサミ2016） #devsumi

Tokoroten Nakayama • Há 7 anos

データ分析チームの振り返り

Satoshi Noto • Há 7 anos

ネットワークカメラを使った玄関前モニタリングの苦労話

Takeshi HASEGAWA • Há 7 anos

リアクティブ・アーキテクチャ～大規模サービスにおける必要性と課題〜 #devsumi

Yuta Okamoto • Há 7 anos

MillWheel Fault-Tolerant Stream Processing at Internet Scaleの意訳

x1 ichi • Há 8 anos

Docker技術情報アップデート v1.9 ネットワークとオーケストレーション

Masahito Zembutsu • Há 7 anos

障害対応・運用におけるトリアージ的対応とZabbixの活用

Masahito Zembutsu • Há 7 anos

EthernetやCPUなどの話

Takanori Sejima • Há 7 anos

Troubleshooting Using Cloudera Manager #cwt2015

Cloudera Japan • Há 7 anos

基礎から学ぶ超並列SQLエンジンImpala #cwt2015

Cloudera Japan • Há 7 anos

Hadoopビッグデータ基盤の歴史を振り返る #cwt2015

Cloudera Japan • Há 7 anos

Docker Swarm入門

Masahito Zembutsu • Há 7 anos

3週連続DDDその1 ドメイン駆動設計の基本を理解する

増田亨 • Há 8 anos

Apache Auroraの始めかた

Masahito Zembutsu • Há 8 anos

「ほげエンジニア」の定義について #operationcasual

SATOSHI TAGOMORI • Há 10 anos

愛せないコードを書くには人生はあまりにも短い

Takuto Wada • Há 10 anos

こわくない Git

Kota Saito • Há 10 anos

クラウドを支える基盤技術の最新動向と今後の方向性

Masayoshi Hagiwara • Há 10 anos

I'm a software engineer specialized in Data Infrastructure and Data Processing Technology. - Constructing realtime data processing system(Based on Spark, Flink, Kafka etc) - Operating data analytics platform -- Hadoop, Fluentd, or something related data processing middleware -- Monitoring by Prometheus, Zabbix, Elastic stack etc - Constructing ETL pipeline -- Workflow management by Digdag, Azkaban, Jenkins etc - Constructing CI Pipeline(Jenkins) - Coding skill in Java, Scala, Go, JavaScript, Python and Ruby - Constructing system on AWS(Kinesis Family, Lambda, S3, EC2, ECS etc) - Data management of various purpose analytics data

streamprocessing spark big data kafka streaming flink aws kinesis bigdata architecture engineering nifi etl jjug_ccc kafka stream scala gearpump streamprocessing stream gearpump scala

Ver mais