O slideshow foi denunciado.

オンプレとクラウドのHadoopを比較して僕の思うとこ

3

Compartilhar

1 de 19
1 de 19

Mais Conteúdo rRelacionado

Audiolivros relacionados

Gratuito durante 14 dias do Scribd

Ver tudo

オンプレとクラウドのHadoopを比較して僕の思うとこ

  1. 1. オンプレとクラウドのHadoopを比較 して僕の思うとこ 〜クラウドがいいのはわかってる、で もオンプレも楽しい〜 これから始めるHadoop / Spark 03/22 2016 山田 雄 ネットビジネス本部 データ基盤T
  2. 2. ■山田 雄(ヤマダ ユウ) 株式会社 リクルートライフスタイル ネットビジネス本部 データ基盤T Twitter:@nii_yan Blog:イクジニアブログ ・元々フリーランスエンジニア 縁があってリクルートライフスタイルにお世話になることになった。 ビックデータ、Ruby、ビールが好き。 自己紹介
  3. 3. 会社紹介
  4. 4. 今回の話は私の個人的感想によ るもので、会社の意見ではあり ません。 弊社のHadoop/Spark環境は全 てクラウド上で動いています。
  5. 5. クラウドとオンプレの比較
  6. 6. 初期投資(クラウドの場合)
  7. 7. 初期投資 (オンプレの場合) どのサーバ買おうか?PowerEdgeでいいかね? HDD買うときは製造番号近いの買うといっぺんに壊れるから・・・ SSDじゃなくてHDDで十分だよね! HDFSはRAID組まない方がいいから・・・
  8. 8. 初期投資 (オンプレの場合) どのサーバ買おうか?PowerEdgeでいいかね? HDD買うときは製造番号近いの買うといっぺんに壊れるから・・・ SSDじゃなくてHDDで十分だよね! HDFSはRAID組まない方がいいから・・・ 楽しい!!
  9. 9. Hadoopインストール(クラウドの場合) AWSなら、EMRでポチッとな
  10. 10. Hadoopインストール(オンプレの場合) Kernelチューニングしないと!vm.swappinessが!! Diskが逝った〜〜〜 ToT ClouderaManager使うとインストール楽だよね。 パーティションどう切ろう・・・
  11. 11. Hadoopインストール(オンプレの場合) Kernelチューニングしないと!vm.swappinessが!! Diskが逝った〜〜〜 ToT ClouderaManager使うとインストール楽だよね。 パーティションどう切ろう・・・ 楽しい!!
  12. 12. Hadoopアップデート(クラウドの場合) AWSなら、EMRでポチッとな (やったことないけど多分・・・)
  13. 13. Hadoopアップデート(オンプレの場合) もう1つ検証用クラスタ用意する?? HiveのSelect結果が合わない!Hive-9613問題が〜 ToT Tezすげ〜!ファイル形式も変えてみよう!! データの同期どうしよう??Hbaseつらたん・・・
  14. 14. Hadoopアップデート(オンプレの場合) もう1つ検証用クラスタ用意する?? HiveのSelect結果が合わない!Hive-9613問題が〜 ToT Tezすげ〜!ファイル形式も変えてみよう!! データの同期どうしよう??Hbaseつらたん・・・ 楽しい!!
  15. 15. こうやってみると圧倒的に(特にコ スト面)クラウドがいいのですが、 オンプレの楽しさはプライスレス (ROI?なにそれおいしいの?)
  16. 16. だが、クラウドは機能が充実しす ぎてて、色々な事が出来てしまう のも事実・・・
  17. 17. DynamoDB Lambda API Gateway Kafka on-premises AWS cloud Web Server Configuration Management Monitoring Grafana 弊社のストリーム基盤例
  18. 18. Hadoopを新規で作る時一瞬オ ンプレとクラウドで迷ってみても いいと思います。 ただ、たいていの場合クラウド がいいんじゃないかなぁ・・・
  19. 19. ご清聴ありがとうございました (@nii_yan)

Notas

  • これからHadoop導入する方がオンプレかクラウドか悩んだ際に少しでも参考になれば嬉しいです。
  • じゃらんやホットペッパーなどのサービスを持っていて、そこそこ売り上げあって3000人くらい従業員いて、かわいいお姉さんのいる会社です。
  • RAIDコントローラーの話とか
  • EMRFS使ってS3にデータ置いてエンジンだけ変えたりできる?
  • まとめ
  • 何か追加で聞きたいことや、弊社のことで聴きたいことある方はこのアカウントまでご連絡ください。
  • ×