Submit Search
Upload
Kafka通常オペレーションで遭遇する問題集 #kafkajp
•
2 likes
•
1,708 views
Yahoo!デベロッパーネットワーク
Follow
Apache Kafka Meetup Japan #2 https://kafka-apache-jp.connpass.com/event/45923/ 発表資料
Read less
Read more
Technology
Report
Share
Report
Share
1 of 9
Download now
Download to read offline
Recommended
Apache Kafka Meetup Japan #3 https://kafka-apache-jp.connpass.com/event/58619/ 発表資料
Kafka・Storm・ZooKeeperの認証と認可について #kafkajp
Kafka・Storm・ZooKeeperの認証と認可について #kafkajp
Yahoo!デベロッパーネットワーク
この資料は「db tech showcase 東京 2014」と言うテクニカルイベントにて、弊社の新しいOracle DBシステムの構成について発表した際のものです。 【イベントの概要】 ■イベント名 db tech showcase 東京 2014 ■主催 株式会社 インサイトテクノロジー ■イベントURL http://www.insight-tec.com/dbts-tokyo-2014.html 【セッションの概要】 ■日時 2014/11/13(木) 16:00 - 16:50 ■タイトル C36:Oracle [Yahoo] 目指せExadata!! Oracle DB高速化を目指した構成 ■概要 ExadataはストレージデバイスにSSD、ノード間通信、ストレージ間通信にInfiniBand、そしてストレージノード側に独自のシステム Exadata Smart Scanを搭載し最強、最高のパフォーマンスを謳っています。 しかしその導入コストは非常に高く、敬遠しているユーザーも多いのが現状です。 弊社では、このExadataに迫るパフォーマンスのDB システム構成を検討し、今年の2月に導入に至っています。 このセッションでは、弊社のOracle高速DBシステムの構成と、行ってきた検証や性能比較、そして問題点は何処に有るのかを明らかにしたいと思います。
[dbts-2014-tokyo] 目指せExadata!! Oracle DB高速化を目指した構成
[dbts-2014-tokyo] 目指せExadata!! Oracle DB高速化を目指した構成
Yahoo!デベロッパーネットワーク
[INSIGHT OUT 2011] C22 RAC buffer sharing の仕組み(yamashita)
[INSIGHT OUT 2011] C22 RAC buffer sharing の仕組み(yamashita)
Insight Technology, Inc.
フラッシュ活用でパフォーマンス向上はあたりまえ!ネットアップの最新オールフラッシュストレージ「All Flash FAS」であれば、劇的なパフォーマンス向上を 'HDD(SAS)構成と同等の価格' で実現できるのに加えて、多くのDBAの悩みの種であるバックアップ/リカバリや、開発/テスト環境の構築を、1ケタ秒で実現できます。本セッションでは、All Flash FAS上でOracle Database 12cを稼働させた検証結果に加え、生のデモンストレーションにより、これらの優位点を実証します。データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第一章 こちら http://www.slideshare.net/InsightTechnology/dbts-tokyo-2014-d24-oracle-tomohiro-iwamoto
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
Insight Technology, Inc.
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
Insight Technology, Inc.
JJUG CCC 2018 Springの登壇資料です。
Spring Boot on Kubernetes : Yahoo!ズバトク事例 #jjug_ccc
Spring Boot on Kubernetes : Yahoo!ズバトク事例 #jjug_ccc
Yahoo!デベロッパーネットワーク
楽天のデータベースの歴史は、パフォーマンスやキャパシティーとの戦いだけではなく、急速に拡大と変化を続けるビジネスに対して如何に追従するかの戦いだった。それはデータベース管理者としての存在意義をも揺るがす大きな変革に発展していって…。最新事例を含む、アーキテクチャーパターンとエピソードで紐解く楽天データベース全史。
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
Insight Technology, Inc.
Ignite 2017 で紹介された、Storage周りの新機能やロードマップなどをブレイクアウトセッションから紹介 新ZRS、Archive Storageなど
第8回 Tokyo Jazug Night Ignite 2017 落穂拾い Storage編
第8回 Tokyo Jazug Night Ignite 2017 落穂拾い Storage編
Takekazu Omi
Recommended
Apache Kafka Meetup Japan #3 https://kafka-apache-jp.connpass.com/event/58619/ 発表資料
Kafka・Storm・ZooKeeperの認証と認可について #kafkajp
Kafka・Storm・ZooKeeperの認証と認可について #kafkajp
Yahoo!デベロッパーネットワーク
この資料は「db tech showcase 東京 2014」と言うテクニカルイベントにて、弊社の新しいOracle DBシステムの構成について発表した際のものです。 【イベントの概要】 ■イベント名 db tech showcase 東京 2014 ■主催 株式会社 インサイトテクノロジー ■イベントURL http://www.insight-tec.com/dbts-tokyo-2014.html 【セッションの概要】 ■日時 2014/11/13(木) 16:00 - 16:50 ■タイトル C36:Oracle [Yahoo] 目指せExadata!! Oracle DB高速化を目指した構成 ■概要 ExadataはストレージデバイスにSSD、ノード間通信、ストレージ間通信にInfiniBand、そしてストレージノード側に独自のシステム Exadata Smart Scanを搭載し最強、最高のパフォーマンスを謳っています。 しかしその導入コストは非常に高く、敬遠しているユーザーも多いのが現状です。 弊社では、このExadataに迫るパフォーマンスのDB システム構成を検討し、今年の2月に導入に至っています。 このセッションでは、弊社のOracle高速DBシステムの構成と、行ってきた検証や性能比較、そして問題点は何処に有るのかを明らかにしたいと思います。
[dbts-2014-tokyo] 目指せExadata!! Oracle DB高速化を目指した構成
[dbts-2014-tokyo] 目指せExadata!! Oracle DB高速化を目指した構成
Yahoo!デベロッパーネットワーク
[INSIGHT OUT 2011] C22 RAC buffer sharing の仕組み(yamashita)
[INSIGHT OUT 2011] C22 RAC buffer sharing の仕組み(yamashita)
Insight Technology, Inc.
フラッシュ活用でパフォーマンス向上はあたりまえ!ネットアップの最新オールフラッシュストレージ「All Flash FAS」であれば、劇的なパフォーマンス向上を 'HDD(SAS)構成と同等の価格' で実現できるのに加えて、多くのDBAの悩みの種であるバックアップ/リカバリや、開発/テスト環境の構築を、1ケタ秒で実現できます。本セッションでは、All Flash FAS上でOracle Database 12cを稼働させた検証結果に加え、生のデモンストレーションにより、これらの優位点を実証します。データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第一章 こちら http://www.slideshare.net/InsightTechnology/dbts-tokyo-2014-d24-oracle-tomohiro-iwamoto
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
Insight Technology, Inc.
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
Insight Technology, Inc.
JJUG CCC 2018 Springの登壇資料です。
Spring Boot on Kubernetes : Yahoo!ズバトク事例 #jjug_ccc
Spring Boot on Kubernetes : Yahoo!ズバトク事例 #jjug_ccc
Yahoo!デベロッパーネットワーク
楽天のデータベースの歴史は、パフォーマンスやキャパシティーとの戦いだけではなく、急速に拡大と変化を続けるビジネスに対して如何に追従するかの戦いだった。それはデータベース管理者としての存在意義をも揺るがす大きな変革に発展していって…。最新事例を含む、アーキテクチャーパターンとエピソードで紐解く楽天データベース全史。
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
Insight Technology, Inc.
Ignite 2017 で紹介された、Storage周りの新機能やロードマップなどをブレイクアウトセッションから紹介 新ZRS、Archive Storageなど
第8回 Tokyo Jazug Night Ignite 2017 落穂拾い Storage編
第8回 Tokyo Jazug Night Ignite 2017 落穂拾い Storage編
Takekazu Omi
Riak Source Code Reading #8 発表スライド riak, riak-cs(エンタープライズ版)を basho_bench でベンチマークした結果をまとめました。検証方法についてはいくつか課題はありますが、自分で測定した結果が概ね正しいかどうかの判断材料にはなると思いますので、是非ご活用ください。
Riak / Riak-CS(Enterprise版) ベンチマークしました
Riak / Riak-CS(Enterprise版) ベンチマークしました
Takashi Sogabe
[D25] 分散Key-Valueストア「okuyama」&「Riak」の同時書込み性能検証 by Yusuke Kuramata
[D25] 分散Key-Valueストア「okuyama」&「Riak」の同時書込み性能検証 by Yusuke Kuramata
Insight Technology, Inc.
2019/06/12 Interop Tokyo 2019 動画: https://youtu.be/zRXDpyN86Gg
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
ShuheiUda
さいきんのMySQLに関する取り組みです
さいきんのMySQLに関する取り組み(仮)
さいきんのMySQLに関する取り組み(仮)
Takanori Sejima
Azure Stack HCI の パフォーマンス履歴と Azure Monitor for HCI の資料です。
Azure Stack HCI - パフォーマンス履歴 と Azure Monitor
Azure Stack HCI - パフォーマンス履歴 と Azure Monitor
Hiroshi Matsumoto
資料を更新しましたので、こちらをご参照ください! https://www.slideshare.net/HiroshiMatsumoto1/interact2019-ws2019-s2din05 ===== Windows Server 2019 Storage Spaces Direct (HCI) の新機能をまとめました。Nested Resiliency を利用した 2 Node S2D や Storage History や Cluster Performance によるパフォーマンス監視など、Windows Server 2016 よりも便利で安全になりました!
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Hiroshi Matsumoto
Windows Server 2019 の S2D (Storage Spaces Direct) アップデート情報です。
Interact2019 ws2019 s2d_IN05
Interact2019 ws2019 s2d_IN05
Hiroshi Matsumoto
Windows Server 2016 で作るシンプルなハイパーコンバージドインフラ
Cld002 windows server_2016_で作るシンプ
Cld002 windows server_2016_で作るシンプ
Tech Summit 2016
DBクローンは昔からストレージの得意技ですが、それを実現するには幾つかのハードルがありました(手順が複雑、オーバーヘッド、追加ライセンス、等々)。そこで今回、過去4回のガートナー社マジック・クアドラントで全てNo.1リーダーの位置を確立しているピュア・ストレージでDBクローンをするとどうなるのか?本セッションでは実機でのデモを中心にご体感いただけます。折角なので、クローンしたDBをマスキングする方法も色々試してみましょう(予定)。
[db tech showcase Tokyo 2017] B14: 4年連続No.1リーダー評価のストレージでDBクローンするとどんな感じ?瞬時のクロー...
[db tech showcase Tokyo 2017] B14: 4年連続No.1リーダー評価のストレージでDBクローンするとどんな感じ?瞬時のクロー...
Insight Technology, Inc.
弊社で先日開催させていただいた、Cassandra meetupでの http://datastaxjp.connpass.com/event/41068/ Cassandra Summit 2016の注目セッションに関するプレゼン資料の抜粋です。
Cassandra Summit 2016 注目セッション報告
Cassandra Summit 2016 注目セッション報告
Yahoo!デベロッパーネットワーク
2019/08/23 第21回 Tokyo Jazug Night https://jazug.connpass.com/event/139300/ 動画: https://www.youtube.com/watch?v=YMAV8aqb9pk
サポート エンジニアが Azure Networking をじっくりたっぷり語りつくす会
サポート エンジニアが Azure Networking をじっくりたっぷり語りつくす会
ShuheiUda
いよいよリリースが間近に迫ったSQL Server 2017 Linux版。SQL Serverの第一人者 Dr. Kこと熊澤 幸生がリリース版を待ちきれずにRed Hat Enterprise Linux上で検証してみました。 Windows版と Linux版で果たしてSQL Serverの処理性能に差があるのか?注目の検証結果をいち早くお知らせします。
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
Insight Technology, Inc.
Cassandra Conference Tokyo 2011での発表資料
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
terurou
Hyper-VのWindows仮想マシンをAzure ARMへV2C(Virtual to Cloud)
Hyper-V 仮想マシンをAzure ARMへV2C移行...のメモ
Hyper-V 仮想マシンをAzure ARMへV2C移行...のメモ
wintechq
レノボだから実現できるWindows Server 2016を活用したEnd to Endソリューション
Snr005 レノボだから実現
Snr005 レノボだから実現
Tech Summit 2016
https://yj-meetup.connpass.com/event/79031/
Vespa 機能紹介 #yjmu
Vespa 機能紹介 #yjmu
Yahoo!デベロッパーネットワーク
国内最大のデータベースカンファレンスdb tech showcase 2015で紹介したCouchbaseの資料。
Couchbase introduction-20150611
Couchbase introduction-20150611
Couchbase Japan KK
第37回Cassandra勉強会 https://casstudy.connpass.com/event/57701/ で発表した資料です。
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
Yahoo!デベロッパーネットワーク
ZABBIX-JP
統合監視ソフトウェア Zabbix新バージョン2.0の紹介
統合監視ソフトウェア Zabbix新バージョン2.0の紹介
takanori suzuki
Info talk #36
Info talk #36
Hiroshi Bunya
Apache Kafka Meetup Japan #2 https://kafka-apache-jp.connpass.com/event/45923/ 発表資料
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
Yahoo!デベロッパーネットワーク
Apache Kafka Meetup Japan #1 http://connpass.com/event/32293/ 発表資料
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
Yahoo!デベロッパーネットワーク
More Related Content
What's hot
Riak Source Code Reading #8 発表スライド riak, riak-cs(エンタープライズ版)を basho_bench でベンチマークした結果をまとめました。検証方法についてはいくつか課題はありますが、自分で測定した結果が概ね正しいかどうかの判断材料にはなると思いますので、是非ご活用ください。
Riak / Riak-CS(Enterprise版) ベンチマークしました
Riak / Riak-CS(Enterprise版) ベンチマークしました
Takashi Sogabe
[D25] 分散Key-Valueストア「okuyama」&「Riak」の同時書込み性能検証 by Yusuke Kuramata
[D25] 分散Key-Valueストア「okuyama」&「Riak」の同時書込み性能検証 by Yusuke Kuramata
Insight Technology, Inc.
2019/06/12 Interop Tokyo 2019 動画: https://youtu.be/zRXDpyN86Gg
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
ShuheiUda
さいきんのMySQLに関する取り組みです
さいきんのMySQLに関する取り組み(仮)
さいきんのMySQLに関する取り組み(仮)
Takanori Sejima
Azure Stack HCI の パフォーマンス履歴と Azure Monitor for HCI の資料です。
Azure Stack HCI - パフォーマンス履歴 と Azure Monitor
Azure Stack HCI - パフォーマンス履歴 と Azure Monitor
Hiroshi Matsumoto
資料を更新しましたので、こちらをご参照ください! https://www.slideshare.net/HiroshiMatsumoto1/interact2019-ws2019-s2din05 ===== Windows Server 2019 Storage Spaces Direct (HCI) の新機能をまとめました。Nested Resiliency を利用した 2 Node S2D や Storage History や Cluster Performance によるパフォーマンス監視など、Windows Server 2016 よりも便利で安全になりました!
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Hiroshi Matsumoto
Windows Server 2019 の S2D (Storage Spaces Direct) アップデート情報です。
Interact2019 ws2019 s2d_IN05
Interact2019 ws2019 s2d_IN05
Hiroshi Matsumoto
Windows Server 2016 で作るシンプルなハイパーコンバージドインフラ
Cld002 windows server_2016_で作るシンプ
Cld002 windows server_2016_で作るシンプ
Tech Summit 2016
DBクローンは昔からストレージの得意技ですが、それを実現するには幾つかのハードルがありました(手順が複雑、オーバーヘッド、追加ライセンス、等々)。そこで今回、過去4回のガートナー社マジック・クアドラントで全てNo.1リーダーの位置を確立しているピュア・ストレージでDBクローンをするとどうなるのか?本セッションでは実機でのデモを中心にご体感いただけます。折角なので、クローンしたDBをマスキングする方法も色々試してみましょう(予定)。
[db tech showcase Tokyo 2017] B14: 4年連続No.1リーダー評価のストレージでDBクローンするとどんな感じ?瞬時のクロー...
[db tech showcase Tokyo 2017] B14: 4年連続No.1リーダー評価のストレージでDBクローンするとどんな感じ?瞬時のクロー...
Insight Technology, Inc.
弊社で先日開催させていただいた、Cassandra meetupでの http://datastaxjp.connpass.com/event/41068/ Cassandra Summit 2016の注目セッションに関するプレゼン資料の抜粋です。
Cassandra Summit 2016 注目セッション報告
Cassandra Summit 2016 注目セッション報告
Yahoo!デベロッパーネットワーク
2019/08/23 第21回 Tokyo Jazug Night https://jazug.connpass.com/event/139300/ 動画: https://www.youtube.com/watch?v=YMAV8aqb9pk
サポート エンジニアが Azure Networking をじっくりたっぷり語りつくす会
サポート エンジニアが Azure Networking をじっくりたっぷり語りつくす会
ShuheiUda
いよいよリリースが間近に迫ったSQL Server 2017 Linux版。SQL Serverの第一人者 Dr. Kこと熊澤 幸生がリリース版を待ちきれずにRed Hat Enterprise Linux上で検証してみました。 Windows版と Linux版で果たしてSQL Serverの処理性能に差があるのか?注目の検証結果をいち早くお知らせします。
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
Insight Technology, Inc.
Cassandra Conference Tokyo 2011での発表資料
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
terurou
Hyper-VのWindows仮想マシンをAzure ARMへV2C(Virtual to Cloud)
Hyper-V 仮想マシンをAzure ARMへV2C移行...のメモ
Hyper-V 仮想マシンをAzure ARMへV2C移行...のメモ
wintechq
レノボだから実現できるWindows Server 2016を活用したEnd to Endソリューション
Snr005 レノボだから実現
Snr005 レノボだから実現
Tech Summit 2016
https://yj-meetup.connpass.com/event/79031/
Vespa 機能紹介 #yjmu
Vespa 機能紹介 #yjmu
Yahoo!デベロッパーネットワーク
国内最大のデータベースカンファレンスdb tech showcase 2015で紹介したCouchbaseの資料。
Couchbase introduction-20150611
Couchbase introduction-20150611
Couchbase Japan KK
第37回Cassandra勉強会 https://casstudy.connpass.com/event/57701/ で発表した資料です。
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
Yahoo!デベロッパーネットワーク
ZABBIX-JP
統合監視ソフトウェア Zabbix新バージョン2.0の紹介
統合監視ソフトウェア Zabbix新バージョン2.0の紹介
takanori suzuki
Info talk #36
Info talk #36
Hiroshi Bunya
What's hot
(20)
Riak / Riak-CS(Enterprise版) ベンチマークしました
Riak / Riak-CS(Enterprise版) ベンチマークしました
[D25] 分散Key-Valueストア「okuyama」&「Riak」の同時書込み性能検証 by Yusuke Kuramata
[D25] 分散Key-Valueストア「okuyama」&「Riak」の同時書込み性能検証 by Yusuke Kuramata
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
さいきんのMySQLに関する取り組み(仮)
さいきんのMySQLに関する取り組み(仮)
Azure Stack HCI - パフォーマンス履歴 と Azure Monitor
Azure Stack HCI - パフォーマンス履歴 と Azure Monitor
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Interact2019 ws2019 s2d_IN05
Interact2019 ws2019 s2d_IN05
Cld002 windows server_2016_で作るシンプ
Cld002 windows server_2016_で作るシンプ
[db tech showcase Tokyo 2017] B14: 4年連続No.1リーダー評価のストレージでDBクローンするとどんな感じ?瞬時のクロー...
[db tech showcase Tokyo 2017] B14: 4年連続No.1リーダー評価のストレージでDBクローンするとどんな感じ?瞬時のクロー...
Cassandra Summit 2016 注目セッション報告
Cassandra Summit 2016 注目セッション報告
サポート エンジニアが Azure Networking をじっくりたっぷり語りつくす会
サポート エンジニアが Azure Networking をじっくりたっぷり語りつくす会
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
[db tech showcase Tokyo 2017] D21: ついに Red Hat Enterprise Linuxで SQL Serverが使...
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例
Hyper-V 仮想マシンをAzure ARMへV2C移行...のメモ
Hyper-V 仮想マシンをAzure ARMへV2C移行...のメモ
Snr005 レノボだから実現
Snr005 レノボだから実現
Vespa 機能紹介 #yjmu
Vespa 機能紹介 #yjmu
Couchbase introduction-20150611
Couchbase introduction-20150611
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
リペア時間短縮にむけた取り組み@Yahoo! JAPAN #casstudy
統合監視ソフトウェア Zabbix新バージョン2.0の紹介
統合監視ソフトウェア Zabbix新バージョン2.0の紹介
Info talk #36
Info talk #36
Viewers also liked
Apache Kafka Meetup Japan #2 https://kafka-apache-jp.connpass.com/event/45923/ 発表資料
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
Yahoo!デベロッパーネットワーク
Apache Kafka Meetup Japan #1 http://connpass.com/event/32293/ 発表資料
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
Yahoo!デベロッパーネットワーク
@matsu_chara 2016/5/31 Apache Kafka Meetup Japan #1 at Yahoo! JAPAN
Kafkaを使った マイクロサービス基盤 part2 +運用して起きたトラブル集
Kafkaを使った マイクロサービス基盤 part2 +運用して起きたトラブル集
matsu_chara
Apache Kafka Meetup Japan #1 http://connpass.com/event/32293/ LT発表資料
KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較
Yoshiyasu SAEKI
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション②
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション②
Yahoo!デベロッパーネットワーク
Apache Kafka Meetup Japan #2 https://kafka-apache-jp.connpass.com/event/45923/ 発表資料
Queryable State for Kafka Streamsを使ってみた
Queryable State for Kafka Streamsを使ってみた
Yoshiyasu SAEKI
Presentation slide for Apache Kafka Meetup Japan #2 @Recruit Technologies
Processing Kafka Topics for Monitoring with Prometheus
Processing Kafka Topics for Monitoring with Prometheus
Ogibayashi
2016/05/31 Apache Kafka Meetup Japan #1 での発表資料
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo!デベロッパーネットワーク
2017.02.28 CAMPFIRE GrowthHack #1 https://yj-meetup.connpass.com/event/48214/ での発表内容です。
グロースハック なぜ我々は無意味な施策を打ってしまうのか
グロースハック なぜ我々は無意味な施策を打ってしまうのか
Yahoo!デベロッパーネットワーク
Coevolutionary Latent Feature Processes for Continuous-Time User-Item Interaction
第2回 NIPS+読み会・関西 発表資料 山本
第2回 NIPS+読み会・関西 発表資料 山本
Yahoo!デベロッパーネットワーク
市場で勝ち続けるための品質とテストの技術①
市場で勝ち続けるための品質とテストの技術①
Yahoo!デベロッパーネットワーク
市場で勝ち続けるための品質とテストの技術②
市場で勝ち続けるための品質とテストの技術②
Yahoo!デベロッパーネットワーク
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)LT②
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)LT②
Yahoo!デベロッパーネットワーク
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション④
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション④
Yahoo!デベロッパーネットワーク
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo!デベロッパーネットワーク
2017.02.28 CAMPFIRE GrowthHack #1 https://yj-meetup.connpass.com/event/48214/ にて登壇した内容です。
Yahoo!ブラウザーにおける市場環境の分析と戦略化
Yahoo!ブラウザーにおける市場環境の分析と戦略化
Yahoo!デベロッパーネットワーク
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)LT③
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)LT③
Yahoo!デベロッパーネットワーク
2017.03.03 Hadoopソースコードリーディング 第22回 https://www.eventbrite.com/e/hadoop-22-tickets-31987821435
Storm の新機能について @HSCR #hadoopreading
Storm の新機能について @HSCR #hadoopreading
Yahoo!デベロッパーネットワーク
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
Yahoo!デベロッパーネットワーク
Viewers also liked
(20)
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
Kafkaを使った マイクロサービス基盤 part2 +運用して起きたトラブル集
Kafkaを使った マイクロサービス基盤 part2 +運用して起きたトラブル集
KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション②
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション②
Queryable State for Kafka Streamsを使ってみた
Queryable State for Kafka Streamsを使ってみた
Processing Kafka Topics for Monitoring with Prometheus
Processing Kafka Topics for Monitoring with Prometheus
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
グロースハック なぜ我々は無意味な施策を打ってしまうのか
グロースハック なぜ我々は無意味な施策を打ってしまうのか
第2回 NIPS+読み会・関西 発表資料 山本
第2回 NIPS+読み会・関西 発表資料 山本
市場で勝ち続けるための品質とテストの技術①
市場で勝ち続けるための品質とテストの技術①
市場で勝ち続けるための品質とテストの技術②
市場で勝ち続けるための品質とテストの技術②
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)LT②
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)LT②
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション④
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)セッション④
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo!ブラウザーにおける市場環境の分析と戦略化
Yahoo!ブラウザーにおける市場環境の分析と戦略化
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)LT③
Yahoo! JAPAN MeetUp #8 (インフラ技術カンファレンス)LT③
Storm の新機能について @HSCR #hadoopreading
Storm の新機能について @HSCR #hadoopreading
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
ヤフオク!の快適なカスタマー体験を支えるモバイルアプリのライブアップデート技術
Similar to Kafka通常オペレーションで遭遇する問題集 #kafkajp
2016/12/20 AWS Black Belt Online Seminar AWS上でのスピードと高可用性を両立したゲームインフラの構築と事例
AWS Black Belt Online Seminar AWS上でのスピードと高可用性を両立したゲームインフラの構築と事例
AWS Black Belt Online Seminar AWS上でのスピードと高可用性を両立したゲームインフラの構築と事例
Amazon Web Services Japan
This is translate to Japanese about Couchbase 2.5 Release Note.
Couchbase meetup20140225[Release Note 2.5]
Couchbase meetup20140225[Release Note 2.5]
ktoda
SolidFireをKibanaを使って可視化してみた。 あとZabbixで需要予測もしてみた。
SolidFire を Kibana(ELK Stack)で可視化(需要予測)する
SolidFire を Kibana(ELK Stack)で可視化(需要予測)する
Kensuke Maeda
2014/9/2 CEDEC2014にて講演させて頂いた 「剣と魔法のログレス いにしえの女神 〜スマホ時代の MMORPG を支える技術」 で使用した資料です。
剣と魔法のログレス いにしえの女神 〜スマホ時代の MMORPG を支える技術
剣と魔法のログレス いにしえの女神 〜スマホ時代の MMORPG を支える技術
Satoshi Yamafuji
文字化けについて
文字化け
文字化け
Masahiro Tomita
2012 osc北海道 セッション資料「blackjumbodog利用のすすめ」
2012 osc北海道 セッション資料「blackjumbodog利用のすすめ」
Shinichi Hirauchi
「Cogbot 勉強会 #17 LINE 開発ことはじめ」の LT でお話しした資料です。 アワード駆動で勉強始めました!その衝動、その途中経過のご紹介です。LINE Clova x Bot Framework x Azure で何か作りたいという完全にテクノロジーファーストなスタートですが、結果はいかに!? きっかけがアワードやLTでもいいね、勉強したい技術要素をたくさん盛り込んでもいいね、自分のために技術を楽しみましょう~!
LINE BOOT AWARDS に挑む ~テクノロジーファーストでもいいじゃない
LINE BOOT AWARDS に挑む ~テクノロジーファーストでもいいじゃない
Kazumi IWANAGA
コンテナ Go ~あなた好みのコンテナを捕まえる~
Cld018 コンテナ go_~あなた
Cld018 コンテナ go_~あなた
Tech Summit 2016
コンテナ Go ~あなた好みのコンテナを捕まえる~
Cld018 コンテナ go_~あなた
Cld018 コンテナ go_~あなた
Tech Summit 2016
@サイバーエージェントとさくらインターネットのインフラ談義 11/14 サイバーエージェント アドテクスタジオ CIA では、プライベートクラウドに GKE互換のコンテナ基盤として AKE を提供しており、 既にプロダクションでも利用されています。 アドテクノロジーではレイテンシには非常にシビアなため、AKEではHardware LB と Kubernetes を連携することにしています。 オンプレ環境の Kubernetes の一方式として確立し、GKEと共存できるオンプレ環境を目指しています。
On-premise コンテナ基盤と Hardware LB を使った "type LoadBalancer"
On-premise コンテナ基盤と Hardware LB を使った "type LoadBalancer"
Masaya Aoyama
[Japan Tech summit 2017] DEP 005Public セッション資料
[Japan Tech summit 2017] DEP 005
[Japan Tech summit 2017] DEP 005
Microsoft Tech Summit 2017
さくらのサーバインフラ初心者勉強会用
cloudhandson
cloudhandson
Toshiya Okita
Interact 2017 - 2017.06.24 発表資料
Nano Server First Step
Nano Server First Step
Kazuki Takai
Windows と leopard
Windows と leopard
Masaya Sawada
Azure Jumpstart ArcBox 101 Windows Server & Cloud User Group Japan 第30回勉強会の資料です。 Azure Jumpstart ArcBox の概要と、最近追加された機能・フレーバーについて説明します。
ArcBox のおさらいと最新情報
ArcBox のおさらいと最新情報
Kazuki Takai
第1回 Gaming Tech Night にて発表した資料です。 http://gamingtechnight.connpass.com/event/34249/
Docker と ECS と WebSocket で最強のマルチプレイ・ゲームサーバを構築
Docker と ECS と WebSocket で最強のマルチプレイ・ゲームサーバを構築
gree_tech
Docker Meetup Tokyo #26 https://dockerjp.connpass.com/event/106358/
Docker 18.09 新機能
Docker 18.09 新機能
Akihiro Suda
目次 はじめに 1. 構築する環境について 1.1 サーバーの構成 1.2 環境構築に使用するOS 1.3 ネットワーク設計 1.4 各サーバーのネットワーク設定 1.5 Ubuntu Serverのインストールと初期設定 1.6 Ubuntu Serverへのログインとroot権限 2. OpenStack-Ansibleインストール前の設定 2.1 パッケージインストール 2.2 カーネルのアップグレード 2.3 ネットワークデバイスの設定 2.4 物理ボリュームの設定 3. OpenStack-Ansibleの設定 3.1 OpenStack-Ansibleのダウンロード 3.2 openstack_user_config.ymlファイルの作成 3.3 user_variables.ymlファイルの設定 3.4 user_secrets.ymlファイルの設定 4. OpenStackのデプロイ 4.1 OpenStack-Ansibleの事前準備 4.2 setup-hosts.ymlの実行 4.3 haproxy-install.ymlの実行 4.4 setup-infrastructure.ymlの実行 4.5 setup-openstack.ymlの実行 5. コンテナの操作 6. OpenStackの操作 6.1 プロジェクト(テナント)作成 6.2 ユーザー作成 6.3 ロール作成とユーザー割り当て 6.4 Glanceへのイメージ登録 6.5 仮想ネットワーク設定 6.6 セキュリティグループの設定変更 6.7 インスタンスの起動 6.8 FloationgIPの設定 6.9 Cinderの設定 6.10 インスタンスの動作確認 7. Tipsとトラブルシューティング 7.1 コンテナを削除し再構築する 7.2 OpenStack構築後Controllerサーバーを再起動すると正常に動作しない 7.3 ネットワークの冗長化 7.4 YAMLファイルの構文について
OpenStack-Ansibleで作るOpenStack HA環境 Mitaka版(期間限定公開)
OpenStack-Ansibleで作るOpenStack HA環境 Mitaka版(期間限定公開)
VirtualTech Japan Inc.
1. 構築する環境について 1.1 サーバーの構成 1.2 環境構築に使用するOS 1.3 ネットワーク設計 1.4 各サーバーのネットワーク設定 1.5 Ubuntu Serverのインストールと初期設定 1.6 Ubuntu Serverへのログインとroot権限 2. OpenStack-Ansibleインストール前の設定 2.1 パッケージインストール 2.2 カーネルのアップグレード 2.3 ネットワークデバイスの設定 2.4 物理ボリュームの設定 3. OpenStack-Ansibleの設定 3.1 OpenStack-Ansibleのダウンロード 3.2 openstack_user_config.ymlファイルの作成 3.3 user_variables.ymlファイルの設定 3.4 user_secrets.ymlファイルの設定 4. OpenStackのデプロイ 4.1 OpenStack-Ansibleの事前準備 4.2 setup-hosts.ymlの実行 4.3 haproxy-install.ymlの実行 4.4 setup-infrastructure.ymlの実行 4.5 setup-openstack.ymlの実行 5. コンテナの操作 6. OpenStackの操作 6.1 プロジェクト(テナント)作成 6.2 ユーザー作成 6.3 ロール作成とユーザー割り当て 6.4 Glanceへのイメージ登録 6.5 仮想ネットワーク設定 6.6 セキュリティグループの設定変更 6.7 インスタンスの起動 6.8 FloationgIPの設定 6.9 Cinderの設定 6.10 インスタンスの動作確認 7. Tipsとトラブルシューティング 7.1 コンテナを削除し再構築する 7.2 OpenStack構築後Controllerサーバーを再起動すると正常に動作しない 7.3 ネットワークの冗長化 7.4 YAMLファイルの構文について
OpenStack-ansibleで作るOpenStack HA環境 Mitaka版
OpenStack-ansibleで作るOpenStack HA環境 Mitaka版
VirtualTech Japan Inc.
dots. IT勉強会で発表させて頂きました、ランサーズ開発環境のDocker移行に関する資料です。 サービスの拡張に伴い、多数の開発環境が必要になったため、それを効率良く管理するためDockerを採用した話です。 ・既存開発環境との互換性維持 ・本番環境との構成共通化 ・非エンジニアでも構築、運用できる仕組み を意識した、目的達成の手段としてのDocker運用方法を紹介いたしました。
【dots. IT勉強会】開発環境のDocker化
【dots. IT勉強会】開発環境のDocker化
Yuki Kanazawa
Similar to Kafka通常オペレーションで遭遇する問題集 #kafkajp
(20)
AWS Black Belt Online Seminar AWS上でのスピードと高可用性を両立したゲームインフラの構築と事例
AWS Black Belt Online Seminar AWS上でのスピードと高可用性を両立したゲームインフラの構築と事例
Couchbase meetup20140225[Release Note 2.5]
Couchbase meetup20140225[Release Note 2.5]
SolidFire を Kibana(ELK Stack)で可視化(需要予測)する
SolidFire を Kibana(ELK Stack)で可視化(需要予測)する
剣と魔法のログレス いにしえの女神 〜スマホ時代の MMORPG を支える技術
剣と魔法のログレス いにしえの女神 〜スマホ時代の MMORPG を支える技術
文字化け
文字化け
2012 osc北海道 セッション資料「blackjumbodog利用のすすめ」
2012 osc北海道 セッション資料「blackjumbodog利用のすすめ」
LINE BOOT AWARDS に挑む ~テクノロジーファーストでもいいじゃない
LINE BOOT AWARDS に挑む ~テクノロジーファーストでもいいじゃない
Cld018 コンテナ go_~あなた
Cld018 コンテナ go_~あなた
Cld018 コンテナ go_~あなた
Cld018 コンテナ go_~あなた
On-premise コンテナ基盤と Hardware LB を使った "type LoadBalancer"
On-premise コンテナ基盤と Hardware LB を使った "type LoadBalancer"
[Japan Tech summit 2017] DEP 005
[Japan Tech summit 2017] DEP 005
cloudhandson
cloudhandson
Nano Server First Step
Nano Server First Step
Windows と leopard
Windows と leopard
ArcBox のおさらいと最新情報
ArcBox のおさらいと最新情報
Docker と ECS と WebSocket で最強のマルチプレイ・ゲームサーバを構築
Docker と ECS と WebSocket で最強のマルチプレイ・ゲームサーバを構築
Docker 18.09 新機能
Docker 18.09 新機能
OpenStack-Ansibleで作るOpenStack HA環境 Mitaka版(期間限定公開)
OpenStack-Ansibleで作るOpenStack HA環境 Mitaka版(期間限定公開)
OpenStack-ansibleで作るOpenStack HA環境 Mitaka版
OpenStack-ansibleで作るOpenStack HA環境 Mitaka版
【dots. IT勉強会】開発環境のDocker化
【dots. IT勉強会】開発環境のDocker化
More from Yahoo!デベロッパーネットワーク
言語処理学会第28回年次大会(NLP2022)のチュートリアルでの講演資料です。 https://www.anlp.jp/nlp2022/#tutorial
ゼロから始める転移学習
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
第18回 MLOps 勉強会の登壇資料です。 https://mlops.connpass.com/event/242652/ MLOpsにおいて重要なModel Monitoringの仕組みを開発するにあたって、整理した要件と実際に開発したシステムについてお話ししました。
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
Test Engineers Meetup 近年のソフトウエア開発では、ビジネス変化への対応がスピーディーで あることが求められます。いかに迅速にかつサービスの品質を落とさず にお客様へ新しい価値を提供できるかが重要です。 このプレゼンテーションでは、開発迅速性とサービスの品質の計測と可 視化、そして、2つの要素をバランスよく改善するべく自分たちが取り組 んでいることを事例として紹介します。
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Yahoo!デベロッパーネットワーク
2022/3/24に開催した「オンプレML基盤 on Kubernetes」のパネルディスカッションパートの資料です。 https://ml-kubernetes.connpass.com/event/239859/
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
Yahoo!デベロッパーネットワーク
2022/3/24に開催した「オンプレML基盤 on Kubernetes」の資料です。機械学習モデルの開発者が、よりモデルの開発にのみ集中できるようにすることを目指して開発している「LakeTahoe(レイクタホ)」について紹介します。 https://ml-kubernetes.connpass.com/event/239859/
LakeTahoe
LakeTahoe
Yahoo!デベロッパーネットワーク
2022/3/24に開催した「オンプレML基盤 on Kubernetes」の資料です。オンプレミス環境のKubernetesを使って構築した機械学習基盤の開発、運用の取り組みをご紹介します。 https://ml-kubernetes.connpass.com/event/239859/
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Yahoo!デベロッパーネットワーク
Implementation of an RDMA-based Database High-availability Feature for a Persistent-memory-native Database System
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
Yahoo!デベロッパーネットワーク
2022年2月17日・18日に開催された「Developers Summit 2022」1日目の登壇スライドです。 ヤフーのデータソリューション事業やデータサイエンス部門のデザイナーとして、日々の業務においてデータに直接に触れる機会の多いエンジニアの皆さんとデータビジュアライズの観点で共有し実践していることをご紹介します。
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
2021年の「グッドデザイン賞」ではヤフーから4案件が受賞しました。本セッションでは「PayPayモールの実店舗在庫連携」について、案件の立ち上げから、リリースを通して改善・工夫した事、グッドデザイン賞の受賞経緯など、デザイナー目線でお話しします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/MFnZd1j4SUk
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
Yahoo!デベロッパーネットワーク
世の中にはサービスのセキュリティを脅かす犯罪者がたくさんいます。ユーザーを犯罪者から守り、サービスを安心安全に利用していただくため、高度化するサイバー攻撃に日々対応する必要があります。ヤフーにおけるセキュリティの一翼を担っているCSIRTとSOCについて紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/boqitqHobrc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo!デベロッパーネットワーク
Yahoo! JAPANのIaaS基盤では200超のOpenStackクラスタが稼働しており、それらのコントロールプレーンをKubernetes上にデプロイしています。IaaSチームで管理している十数のKubernetesクラスタは古いバージョンのまま運用が続けられていたため、現在、段階的にバージョンアップおよびその自動化に取り組んでいます。このようなクラスタ群をメンテナンスする中で、工夫した点や失敗した点、得られた知見を紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/F5EQqWOw8So
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo!デベロッパーネットワーク
ムード(気分)は人間の行動に大きく影響します。インターネットサービスにおいて、もし人々のムードを考慮し寄り添えたなら、より魅力的なサービスが提供できるのではないでしょうか。本セッションではヤフーが持つビッグデータを用いて「ムードを推定する」取り組みについてご紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/WyZOmUN52-s
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
Yahoo!デベロッパーネットワーク
ヤフーでは、さまざまな形で機械学習を活用してきました。その経験をもとに、AIプラットフォームと連携し、MLOpsの導入・推進を進めています。本セッションでは、サイエンス部門におけるMLOpsを推進するためにこれまで行ってきた取り組みについて紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/tf9C0sLOZ14
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
Yahoo!デベロッパーネットワーク
ヤフーはAIテックカンパニーを目指し、その実現に向かって進んでいます。そのためには、AI開発のためのデータ基盤が必要です。本セッションでは、AI開発に必要なデータ基盤の全体概要と、開発を効率化するAIプラットフォームを紹介をします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/XZKOHIfEnsU
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo!デベロッパーネットワーク
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote発表スライドです。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/iTazAJ2bSmc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo!デベロッパーネットワーク
2021年1月にヤフオク!アプリに商品を多角的に撮影/閲覧できる機能「マルチビュー」が導入されました。ヤフオク!にマルチビュー機能が追加された理由やマルチビュー機能を実現する多視点技術についてお話しします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/4Fi9cb0x6LU
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
Yahoo!デベロッパーネットワーク
2021年9月、PC版Yahoo!メールを10年ぶりにリニューアルしました。 技術刷新を機にweb・アプリのUI/UXを統合し、Yahoo! JAPANのサービスとしての一貫性あるデザインにしました。 大規模リニューアルの改善ポイントとそのプロセスについてご紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/zuE6IysVsNw
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
Yahoo!デベロッパーネットワーク
ヤフーは昨年「ワクチン接種キャンセル枠お知らせサービス」を公開しました。多くの関係者が存在するプロジェクトでありながら、リモートワーク環境下での協業、高いスピード感が必要となるプロジェクトでした。本セッションではこのプロジェクトの成功につながった「モブデザイン」という取り組みについて、その効果やうまく運用するためのポイントを紹介します。実際にモブデザインを行っている様子もご覧いただけるので、特に多職種チームでスピード感のある意思決定をしていくことに課題感をお持ちの方へのヒントになればと思います。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/lmsY2uCP6lY
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
Yahoo!デベロッパーネットワーク
Yahoo!不動産では「新しいおうち探し」が体験できるAIアシスト検索を提供しています。AIアシスト検索ではさまざまな軸をレコメンドすることによって検索をサポートしています。本セッションでは、AIアシスト検索のレコメンドがクラスタリングや深層学習といった手法を使って、どのように実現されているのかを紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/-uhdjlcfcmQ
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
Yahoo!デベロッパーネットワーク
Yahoo!検索の入力補助機能について、ユーザーの現在位置を考慮することによる改善施策を題材として、施策の検討からオフラインでの実験、A/Bテスト、リリースまでの一連のプロセスについて紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/8kXmkBTw0nU
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Yahoo!デベロッパーネットワーク
More from Yahoo!デベロッパーネットワーク
(20)
ゼロから始める転移学習
ゼロから始める転移学習
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
LakeTahoe
LakeTahoe
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Recently uploaded
2022年10月27日に社内向けに開催した勉強会資料の社外公開版です(発表8分程度)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
2024年5月8日 Power Platform 勉強会 #1 LT資料
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
This is an introduction to MAPPO's paper.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWANスマート距離検出センサー DS20Lカタログ
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Key topics covered: - Understanding Ballerina's role in integrations: features and advantages - Designing and implementing REST APIs for integration - Designing and implementing GraphQL services with Ballerina - Monitoring and observing applications - Introduction to data integration
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
Jue Wang, Wentao Zhu, Pichao Wang, Xiang Yu, Linda Liu, Mohamed Omar, Raffay Hamid, " Selective Structured State-Spaces for Long-Form Video Understanding" CVPR2023 https://openaccess.thecvf.com/content/CVPR2023/html/Wang_Selective_Structured_State-Spaces_for_Long-Form_Video_Understanding_CVPR_2023_paper.html
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
Syed Talal Wasim, Muzammal Naseer, Salman Khan, Ming-Hsuan Yang, Fahad Shahbaz Khan , "Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding" arXiv2024 https://arxiv.org/abs/2401.00901v2
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Recently uploaded
(11)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Kafka通常オペレーションで遭遇する問題集 #kafkajp
1.
2016/12/15 ヤフー株式会社 梁 浩軒 Kafka 通常オペレーションで遭遇する問題集 1
2.
アジェンダ 本LTの説明 -サーバ追加時のBroker Idどうするか問題 -サーバリプレイス時Broker Id歯抜け問題 -TOPICリアサイン時disk使用率問題 -TOPICパーティション割り振りどうするか問題 -Kafka-managerのConsumer-version不一致 まとめ 2
3.
本LTの説明 Kafkaを運用してきて、頻繁に遭遇する各種オペレーションに 付いてまとめる 主にKafka0.8系と0.10系で発生した問題について述べる 3
4.
サーバ追加時のBroker Idどうするか問題 ・新規Brokerを追加するときにBroker Idの割り振り方をホスト 名にそって連番でつけたい、ただし、デフォルトの機能 (0.9~0.10系)を使うとずれる ー>ホスト名からBroker
Idを作成するシェルをつくります 4
5.
サーバリプレイス時Broker Id歯抜け問題 Broker Id歯抜け問題 ・ホスト名から連番を設定していたため、新たに追加するとリ プレイスしたホスト名とBroker
Idが歯抜けになる ー>ホスト名を変更して対応しようとするとデータ一時避難 用のサーバとリプレイス用のサーバが2つ必要になる 5
6.
TOPICリアサイン時disk使用率問題 ・TOPICをリアサインするとタイムスタンプが更新され、データ が削除されなくなるため、disk使用量が2倍になる ー>サーバに割り振るトピックの総データサイズが50%になら ないようにする 6
7.
TOPICパーティション割り振りどうするか問題 ・リーダとレプリカは同時に落とせない。適当に割り振るとオ ペレーションが大変になる ー>奇数にリーダ、偶数にレプリカなどルールを決めて割り 振るシェルを作成する ー>0.10系からはラックアウェアネスというラックごとのリーダ とレプリカの割り振り機能がある 7
8.
Kafka-managerのConsumer-version不一致 ・Kafka-managerで複数versionのkafkaクラスタを管理すると き、kafka-managerのconsumerが1-versionしかないため、 データをconsumeできないときがある ー>別々のversionのKafka-managerを立てる 8
9.
まとめ ・サーバ追加時やサーバリプレイス時、TOPIC操作時にも面 倒な対応が必要になる ・このほかにも、TOPICリアサイン時やパーティションリーダ 再抽選時のトラフィック問題など、通常オペレーションで気に しなければいけないことはいろいろある。 ー>今後の改善に期待 9
Download now