Enviar pesquisa
Carregar
分散合意の動機的な何か
•
0 gostou
•
1,022 visualizações
Y
Yuuki Tan-nai
Seguir
夏の自由研究発表会2013
Leia menos
Leia mais
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 31
Baixar agora
Baixar para ler offline
Recomendados
MySQLユーザ視点での小さく始めるElasticsearch
MySQLユーザ視点での小さく始めるElasticsearch
Kentaro Yoshida
Elasticsearch 変わり種プラグインの作り方
Elasticsearch 変わり種プラグインの作り方
Ryoji Kurosawa
Cassandra3.0
Cassandra3.0
Kazutaka Tomita
Elasticsearchで作る形態素解析サーバ
Elasticsearchで作る形態素解析サーバ
Shinsuke Sugaya
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
SmartNews, Inc.
Hadoopことはじめ
Hadoopことはじめ
Katsunori Kanda
Elasticsearch at CrowdWorks
Elasticsearch at CrowdWorks
佑介 九岡
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Kazutaka Tomita
Recomendados
MySQLユーザ視点での小さく始めるElasticsearch
MySQLユーザ視点での小さく始めるElasticsearch
Kentaro Yoshida
Elasticsearch 変わり種プラグインの作り方
Elasticsearch 変わり種プラグインの作り方
Ryoji Kurosawa
Cassandra3.0
Cassandra3.0
Kazutaka Tomita
Elasticsearchで作る形態素解析サーバ
Elasticsearchで作る形態素解析サーバ
Shinsuke Sugaya
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
SmartNews, Inc.
Hadoopことはじめ
Hadoopことはじめ
Katsunori Kanda
Elasticsearch at CrowdWorks
Elasticsearch at CrowdWorks
佑介 九岡
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Kazutaka Tomita
ElasticsearchとTasteプラグインで作るレコメンドシステム
ElasticsearchとTasteプラグインで作るレコメンドシステム
Shinsuke Sugaya
elasticsearchプラグイン入門
elasticsearchプラグイン入門
Shinsuke Sugaya
トレジャーデータ 導入体験記 リブセンス編
トレジャーデータ 導入体験記 リブセンス編
Kentaro Yoshida
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
Kentaro Yoshida
今更聞けないストリーム処理のあれとかこれ
今更聞けないストリーム処理のあれとかこれ
Tatsuro Hisamori
Elasticsearchプラグインの作り方
Elasticsearchプラグインの作り方
Shinsuke Sugaya
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
Shinsuke Sugaya
DBFluteを用いて開発されている全文検索システムFess
DBFluteを用いて開発されている全文検索システムFess
Shinsuke Sugaya
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch Authプラグインでアクセスコントロール
Shinsuke Sugaya
20201102 postgresql unconference_debility
20201102 postgresql unconference_debility
Satoshi Hirata
やってはいけない空振りDelete
やってはいけない空振りDelete
Yu Yamada
Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道
Shinsuke Sugaya
Google bigquery導入記
Google bigquery導入記
Yugo Shimizu
PredictionIOでSparkMLを使った開発方法
PredictionIOでSparkMLを使った開発方法
Shinsuke Sugaya
LastaFluteに移行したFessとElasticsearch+ESFluteによるDBFlute環境
LastaFluteに移行したFessとElasticsearch+ESFluteによるDBFlute環境
Shinsuke Sugaya
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
Shinsuke Sugaya
Elasticsearchのサジェスト機能を使った話
Elasticsearchのサジェスト機能を使った話
ktaro_w
Elasticsearchベースの全文検索システムFess
Elasticsearchベースの全文検索システムFess
Shinsuke Sugaya
Spiderストレージエンジンの使い方と利用事例 他ストレージエンジンの紹介
Spiderストレージエンジンの使い方と利用事例 他ストレージエンジンの紹介
Kentoku
Oratopostgres-hiroshima
Oratopostgres-hiroshima
Kosuke Kida
Riakはなぜ良いのか
Riakはなぜ良いのか
Yuuki Tan-nai
Casper導入資料
Casper導入資料
Yuuki Tan-nai
Mais conteúdo relacionado
Mais procurados
ElasticsearchとTasteプラグインで作るレコメンドシステム
ElasticsearchとTasteプラグインで作るレコメンドシステム
Shinsuke Sugaya
elasticsearchプラグイン入門
elasticsearchプラグイン入門
Shinsuke Sugaya
トレジャーデータ 導入体験記 リブセンス編
トレジャーデータ 導入体験記 リブセンス編
Kentaro Yoshida
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
Kentaro Yoshida
今更聞けないストリーム処理のあれとかこれ
今更聞けないストリーム処理のあれとかこれ
Tatsuro Hisamori
Elasticsearchプラグインの作り方
Elasticsearchプラグインの作り方
Shinsuke Sugaya
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
Shinsuke Sugaya
DBFluteを用いて開発されている全文検索システムFess
DBFluteを用いて開発されている全文検索システムFess
Shinsuke Sugaya
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch Authプラグインでアクセスコントロール
Shinsuke Sugaya
20201102 postgresql unconference_debility
20201102 postgresql unconference_debility
Satoshi Hirata
やってはいけない空振りDelete
やってはいけない空振りDelete
Yu Yamada
Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道
Shinsuke Sugaya
Google bigquery導入記
Google bigquery導入記
Yugo Shimizu
PredictionIOでSparkMLを使った開発方法
PredictionIOでSparkMLを使った開発方法
Shinsuke Sugaya
LastaFluteに移行したFessとElasticsearch+ESFluteによるDBFlute環境
LastaFluteに移行したFessとElasticsearch+ESFluteによるDBFlute環境
Shinsuke Sugaya
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
Shinsuke Sugaya
Elasticsearchのサジェスト機能を使った話
Elasticsearchのサジェスト機能を使った話
ktaro_w
Elasticsearchベースの全文検索システムFess
Elasticsearchベースの全文検索システムFess
Shinsuke Sugaya
Spiderストレージエンジンの使い方と利用事例 他ストレージエンジンの紹介
Spiderストレージエンジンの使い方と利用事例 他ストレージエンジンの紹介
Kentoku
Oratopostgres-hiroshima
Oratopostgres-hiroshima
Kosuke Kida
Mais procurados
(20)
ElasticsearchとTasteプラグインで作るレコメンドシステム
ElasticsearchとTasteプラグインで作るレコメンドシステム
elasticsearchプラグイン入門
elasticsearchプラグイン入門
トレジャーデータ 導入体験記 リブセンス編
トレジャーデータ 導入体験記 リブセンス編
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"
今更聞けないストリーム処理のあれとかこれ
今更聞けないストリーム処理のあれとかこれ
Elasticsearchプラグインの作り方
Elasticsearchプラグインの作り方
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
DBFluteを用いて開発されている全文検索システムFess
DBFluteを用いて開発されている全文検索システムFess
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch Authプラグインでアクセスコントロール
20201102 postgresql unconference_debility
20201102 postgresql unconference_debility
やってはいけない空振りDelete
やってはいけない空振りDelete
Fess/Elasticsearchを使った業務で使える?全文検索への道
Fess/Elasticsearchを使った業務で使える?全文検索への道
Google bigquery導入記
Google bigquery導入記
PredictionIOでSparkMLを使った開発方法
PredictionIOでSparkMLを使った開発方法
LastaFluteに移行したFessとElasticsearch+ESFluteによるDBFlute環境
LastaFluteに移行したFessとElasticsearch+ESFluteによるDBFlute環境
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
全文検索サーバ Fess 〜 全文検索システム構築時の悩みどころ
Elasticsearchのサジェスト機能を使った話
Elasticsearchのサジェスト機能を使った話
Elasticsearchベースの全文検索システムFess
Elasticsearchベースの全文検索システムFess
Spiderストレージエンジンの使い方と利用事例 他ストレージエンジンの紹介
Spiderストレージエンジンの使い方と利用事例 他ストレージエンジンの紹介
Oratopostgres-hiroshima
Oratopostgres-hiroshima
Mais de Yuuki Tan-nai
Riakはなぜ良いのか
Riakはなぜ良いのか
Yuuki Tan-nai
Casper導入資料
Casper導入資料
Yuuki Tan-nai
SQLドリルの話(仮)
SQLドリルの話(仮)
Yuuki Tan-nai
Infernoについて(仮)
Infernoについて(仮)
Yuuki Tan-nai
DB技術[実践]入門を読んだ
DB技術[実践]入門を読んだ
Yuuki Tan-nai
Infernoの話
Infernoの話
Yuuki Tan-nai
InfernoのLTを今作ったので聞いて欲しい
InfernoのLTを今作ったので聞いて欲しい
Yuuki Tan-nai
献血とPerlについて
献血とPerlについて
Yuuki Tan-nai
献血に行ってきた
献血に行ってきた
Yuuki Tan-nai
Niigata rb発表資料
Niigata rb発表資料
Yuuki Tan-nai
RFC4627 Reading
RFC4627 Reading
Yuuki Tan-nai
私の失敗道(仮)
私の失敗道(仮)
Yuuki Tan-nai
Mais de Yuuki Tan-nai
(12)
Riakはなぜ良いのか
Riakはなぜ良いのか
Casper導入資料
Casper導入資料
SQLドリルの話(仮)
SQLドリルの話(仮)
Infernoについて(仮)
Infernoについて(仮)
DB技術[実践]入門を読んだ
DB技術[実践]入門を読んだ
Infernoの話
Infernoの話
InfernoのLTを今作ったので聞いて欲しい
InfernoのLTを今作ったので聞いて欲しい
献血とPerlについて
献血とPerlについて
献血に行ってきた
献血に行ってきた
Niigata rb発表資料
Niigata rb発表資料
RFC4627 Reading
RFC4627 Reading
私の失敗道(仮)
私の失敗道(仮)
分散合意の動機的な何か
1.
分散合意の動機的な何か -主にRiakのはなし- 夏の自由研究発表会2013.10
2.
ぼく ・さいさ(@saisa6153) ・ぎーびす ・しゃちく
3.
まずは分散に行き着くまで ・Fluentd使ったログ周り改善のお仕事 ・DBとかは好きに決めてよかった →どうせならMySQL以外で ・”Riakってのがアツい”らしい ・しかし情報がないので調べる →✌('ω'✌ )三✌('ω')✌三( ✌'ω')✌楽しい
4.
まずriakとはなんぞ
5.
5分でわかる @saisa6153
6.
とは
7.
マスターレス分散KVS
8.
Amazon S3的な
9.
dev/dev1/bin/riak start dev/dev2/bin/riak start dev/dev3/bin/riak
start dev/dev2/bin/riak-admin cluster join dev1@127.0.0.1 dev/dev3/bin/riak-admin cluster join dev1@127.0.0.1 dev/dev2/bin/riak-admin cluster plan dev/dev3/bin/riak-admin cluster plan dev/dev2/bin/riak-admin cluster commit dev/dev3/bin/riak-admin cluster commit dev1 dev3dev2 127.0.0.1:10017 127.0.0.1:10037127.0.0.1:10027
10.
riak概要
11.
課金装備 多彩なアクセス方法 コア機能 便利機能 ストレージエンジン的な
12.
Riak Ring ・設定によって読み込み/書き込みを保証できる (速度とのトレードオフ) ・物理マシンの上に仮想ノード(vnode) ・可用性に特化 ・valueはバイナリを含めどんな形式でもOK
13.
r/w保証
14.
課金装備:DC間レプリケーション
15.
利点
16.
SPoFにならない
17.
ノードを追加するだけで スケール
18.
欠点
19.
資料が少ない まだそんなに使われていない
20.
実績がない あるんだろうけど表に出にくい
21.
Mongoと比べると
22.
primary fluentd fluentd secondary レプリケーショ ン fluentd ping ping arbiter Apache
23.
Apache riak node0 riak node1 fluentd fluentd fluentd
24.
簡単!!!
25.
つまりRiakの何がそんなに楽しいのか ・使ってる人が少ない →マイナーな俺カッコイイ!!! ・Erlang製 →マイナーな俺カッコイイ!!!
26.
あとDBとか以外でも
27.
スケールアップ vs スケールアウト
28.
スケールアップのネガキャン スケールアップだと ・HW的な限界が近め ・金がかかる ・性能を引き出すのが大変 スケールアウトだと ・しょぼいPCを並べればおk ・安いの沢山買えばいい ・MapReduceとか進んでるし
29.
スケールアウトするには ・沢山の ・しょぼいPCに ・作業を分担して 働いてもらう →分散処理
30.
分散合意:分散処理を支える技術 ・みんなに仲良く働いてもらうしくみ ・むずかしい ・勉強中
31.
まとめ ・riak良いよ ・分散とか楽しい ・スケールアップより実務でも使える ・来年は分散処理の原理を発表できたらいいなぁ
Baixar agora