[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop

•

2 gostaram•425 visualizações

Insight Technology, Inc.

Tecnologia

1. Insight Qubeなる新プロダクト開発中

2. おらオラ Oracle どっぷり検証生活

2. Oracle ACE

3. @kouji_s_0808

4. JPOUG(Japan Oracle User Group)

本日はOracle以外の話です。
本資料に使用されている社名、ロゴ、製品、サービス名およびブランドは、該当する各社の登
録商標または商標です。本資料の一部あるいは全体について、許可なく複製および転載するこ
とを禁じます。

2

• 企業は今後10年で50倍のデータ量 • ビッグデータの95%は非構造化データ
• 一方、IT部門は1.5倍増にとどまるが含まれる。
http://enterprisezine.jp/article/detail/3394
• 2011年には1.8ゼタバイトのデータが作成、
複製されると予想
World's Data More Than Doubling Every Two Years—Driving Big Data Opportunity, New IT Roles • Googleは94テラバイト/月のデータ処
理(2010/6時点)
ACM Symposium on Cloud Computing (SOCC) 2010

大量データ高効率多種類高速

3

OLTP

Oracle / DB2 / SQL Server

大手RDBMSベンダーの
進出が著しいエリア

PostgreSQL / MySQL

Teradata / Netezza / Sybase IQ
GreenPlum / Vertica / VectorWise

Hadoop (NoSQL)

SIZE

4

複数のディストリビューション

本家(http://hadoop.apache.org/)

Cloudera社(http://www.cloudera.com/)

Yahoo!社
(http://developer.yahoo.com/hadoop/)

5

複数のコンポーネント(ごくごく一部)
http://hadoop.apache.org/index.html

HiveQL(SQLライクな言語)によるHDFS上のデータ操作 HDFS上で動作するKey-Value型データベース

分散処理フレームワーク Hadoopのprimary Storageとなる分散ファイルシステム

Hadoopサブプロジェクトをサポートするライブラリを含むユーティリティ

6

• ビッグデータと呼ばれるデータの質を正確に認識する必要がある
• 構造化 / 非構造化
• 利用シーン

• ビッグデータへのアプローチは様々ある中で、最適なものを選択
していく必要がある
• RDBMS / New RDBMS / NoSQL (Hadoop)

• 新しい領域と新しい技術を組み合わせる場合、その技術を活用す
るための情報量が少ない

• 実際にビッグデータに対するプロジェクトの担当者に話を聞くの
が最も効果的

7

Mais conteúdo relacionado

Mais procurados

[db tech showcase Tokyo 2018]　#dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...Insight Technology, Inc.

Hadoop　基礎hideaki honda

大規模分散システムの現在 -- GFS, MapReduce, BigTableはどう変化したか？maruyama097

【輪読会】実践的データ基盤への処方箋Momota Sasaki

リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)Atsushi Kurumada

データ活用をもっともっと円滑に！～データ処理・分析基盤編を少しだけ～NTT DATA OSS Professional Services

データサイエンティストが力を発揮できるアジャイルデータ活用基盤Recruit Lifestyle Co., Ltd.

[db tech showcase Tokyo 2018]　#dbts2018 #D1L 『"何が必要？どう実現？"～異種DB間データリアルタイム連携』Insight Technology, Inc.

[db tech showcase Tokyo 2018]　#dbts2018 #D24 『異種データベース間データ連携ウラ話～新しいデータベースを試...Insight Technology, Inc.

HadoopことはじめKatsunori Kanda

Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは？(Ishikawa)Insight Technology, Inc.

[db tech showcase Tokyo 2016] B31: Spark Summit 2016＠SFに参加してきたので最新事例などを紹介しつつデ...Insight Technology, Inc.

Gtfsデータリポジトリ紹介 iodd発表資料Shimpei Matsuura

テーブルの変更・作成Jun Chiba

Hadoop Summit 2016 San Jose レポートKimihiko Kitase

ビッグデータとデータマート株式会社オプト　仙台ラボラトリ

Cloudera Data Science WorkbenchとPySparkで好きなPythonライブラリを分散で使う #cadedaCloudera Japan

ビッグデータ革命クラウドがコモデティ化する「奇跡」Atsushi Nakada

データ利活用を促進するメタデータYahoo!デベロッパーネットワーク

ビッグデータ分析基盤を支えるOSSたちToru Takahashi

Mais procurados (20)

[db tech showcase Tokyo 2018]　#dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...

Hadoop　基礎

大規模分散システムの現在 -- GFS, MapReduce, BigTableはどう変化したか？

【輪読会】実践的データ基盤への処方箋

リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)

データ活用をもっともっと円滑に！～データ処理・分析基盤編を少しだけ～

データサイエンティストが力を発揮できるアジャイルデータ活用基盤

[db tech showcase Tokyo 2018]　#dbts2018 #D1L 『"何が必要？どう実現？"～異種DB間データリアルタイム連携』

[db tech showcase Tokyo 2018]　#dbts2018 #D24 『異種データベース間データ連携ウラ話～新しいデータベースを試...

Hadoopことはじめ

Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは？(Ishikawa)

[db tech showcase Tokyo 2016] B31: Spark Summit 2016＠SFに参加してきたので最新事例などを紹介しつつデ...

Gtfsデータリポジトリ紹介 iodd発表資料

テーブルの変更・作成

Hadoop Summit 2016 San Jose レポート

ビッグデータとデータマート

Cloudera Data Science WorkbenchとPySparkで好きなPythonライブラリを分散で使う #cadeda

ビッグデータ革命クラウドがコモデティ化する「奇跡」

データ利活用を促進するメタデータ

ビッグデータ分析基盤を支えるOSSたち

Semelhante a [INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop

【17-E-3】Hadoop：黄色い象使いへの道～「Hadoop徹底入門」より～Developers Summit

Oracle Big Data SQL3.1のご紹介オラクルエンジニア通信

OSSとクラウドによるコンピューティングモデルの変化Nobuyori Takahashi

[db tech showcase Tokyo 2017] A32: Attunity Replicate + Kafka + Hadoop マルチデータ...Insight Technology, Inc.

成功事例に学べ！これからの時代のビッグデータ活用最新ベストプラクティス [Oracle Cloud Days Tokyo 2016]オラクルエンジニア通信

[Oracle Innovation Summit Tokyo 2018] 水環境の持続を支えるクラウド型ICTプラットフォーム「Water Busine...オラクルエンジニア通信

分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向（OSC2015 Kansai発表資料）NTT DATA OSS Professional Services

[Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティスオラクルエンジニア通信

ビッグデータ活用支援フォーラムRecruit Technologies

クラウドを使って競争優位なビッグデータ活用の実現へ [Oracle Cloud Days Tokyo 2016]オラクルエンジニア通信

NTTデータ流 Hadoop活用のすすめ～インフラ構築・運用の勘所～NTT DATA OSS Professional Services

WebDB Forum 2012 基調講演資料Recruit Technologies

0151209 Oracle DDD OracleとHadoop連携の勘所オラクルエンジニア通信

オラクル・データベース・クラウド～さらなる進化のご紹介（Oracle Cloud Days Tokyo 2015）オラクルエンジニア通信

Oracle Big Data Cloud Serviceのご紹介オラクルエンジニア通信

Gmo media.inc 第9回西日本ossの普及を考える会Dai Utsui

Oracle Database 12c Release 1 PSR 12.1.0.2 のご紹介オラクルエンジニア通信

最強のデータベース基盤“Exadata”をパブリック・クラウドで活用！（Oracle Cloud Days Tokyo 2015）オラクルエンジニア通信

20161125 Asakusa Framework Day オラクル講演資料オラクルエンジニア通信

分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向（オープンソースカンファレンス 2015 Tokyo/Spring 講...NTT DATA OSS Professional Services

Semelhante a [INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop (20)

【17-E-3】Hadoop：黄色い象使いへの道～「Hadoop徹底入門」より～

Oracle Big Data SQL3.1のご紹介

OSSとクラウドによるコンピューティングモデルの変化

[db tech showcase Tokyo 2017] A32: Attunity Replicate + Kafka + Hadoop マルチデータ...

成功事例に学べ！これからの時代のビッグデータ活用最新ベストプラクティス [Oracle Cloud Days Tokyo 2016]

[Oracle Innovation Summit Tokyo 2018] 水環境の持続を支えるクラウド型ICTプラットフォーム「Water Busine...

分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向（OSC2015 Kansai発表資料）

[Oracle Cloud Days Tokyo2015]成功事例に学べ! ビッグデータ活用のための最新ベストプラクティス

ビッグデータ活用支援フォーラム

クラウドを使って競争優位なビッグデータ活用の実現へ [Oracle Cloud Days Tokyo 2016]

NTTデータ流 Hadoop活用のすすめ～インフラ構築・運用の勘所～

WebDB Forum 2012 基調講演資料

0151209 Oracle DDD OracleとHadoop連携の勘所

オラクル・データベース・クラウド～さらなる進化のご紹介（Oracle Cloud Days Tokyo 2015）

Oracle Big Data Cloud Serviceのご紹介

Gmo media.inc 第9回西日本ossの普及を考える会

Oracle Database 12c Release 1 PSR 12.1.0.2 のご紹介

最強のデータベース基盤“Exadata”をパブリック・クラウドで活用！（Oracle Cloud Days Tokyo 2015）

20161125 Asakusa Framework Day オラクル講演資料

分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向（オープンソースカンファレンス 2015 Tokyo/Spring 講...

Mais de Insight Technology, Inc.

グラフデータベースは如何に自然言語を理解するか?Insight Technology, Inc.

Docker and the Oracle DatabaseInsight Technology, Inc.

Great performance at scale～次期PostgreSQL12のパーティショニング性能の実力に迫る～Insight Technology, Inc.

事例を通じて機械学習とは何かを説明するInsight Technology, Inc.

仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーンInsight Technology, Inc.

MBAAで覚えるDBREの大事なおしごとInsight Technology, Inc.

グラフデータベースは如何に自然言語を理解するか?Insight Technology, Inc.

DBREから始めるデータベースプラットフォームInsight Technology, Inc.

SQL Server エンジニアのためのコンテナ入門Insight Technology, Inc.

Lunch & Learn, AWS NoSQL ServicesInsight Technology, Inc.

db tech showcase2019オープニングセッション @ 森田俊哉 Insight Technology, Inc.

db tech showcase2019 オープニングセッション @ 石川雅也Insight Technology, Inc.

db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー Insight Technology, Inc.

難しいアプリケーション移行、手軽に試してみませんか？Insight Technology, Inc.

Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Insight Technology, Inc.

そのデータベース、クラウドで使ってみませんか？Insight Technology, Inc.

コモディティサーバー３台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー（HCDI）” システム『Insight Qube』...Insight Technology, Inc.

複数DBのバックアップ・切り戻し運用手順が異なって大変？！運用性の大幅改善、その先に。。 Insight Technology, Inc.

Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...Insight Technology, Inc.

レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]Insight Technology, Inc.

Mais de Insight Technology, Inc. (20)

グラフデータベースは如何に自然言語を理解するか?

Docker and the Oracle Database

Great performance at scale～次期PostgreSQL12のパーティショニング性能の実力に迫る～

事例を通じて機械学習とは何かを説明する

仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン

MBAAで覚えるDBREの大事なおしごと

グラフデータベースは如何に自然言語を理解するか?

DBREから始めるデータベースプラットフォーム

SQL Server エンジニアのためのコンテナ入門

Lunch & Learn, AWS NoSQL Services

db tech showcase2019オープニングセッション @ 森田俊哉

db tech showcase2019 オープニングセッション @ 石川雅也

db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー

難しいアプリケーション移行、手軽に試してみませんか？

Attunityのソリューションと異種データベース・クラウド移行事例のご紹介

そのデータベース、クラウドで使ってみませんか？

コモディティサーバー３台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー（HCDI）” システム『Insight Qube』...

複数DBのバックアップ・切り戻し運用手順が異なって大変？！運用性の大幅改善、その先に。。

Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...

レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]

Último

クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfFumieNakayama

CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か？akihisamiyanaga1

業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）Hiroshi Tomioka

モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察～Text-to-MusicとText-To-ImageかつImage-to-Music...博三太田

AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfFumieNakayama

デジタル・フォレンジックの最新動向（2024年4月27日情洛会総会特別講演スライド）UEHARA, Tetsutaro

自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineerYuki Kikuchi

NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NTT DATA Technology & Innovation

[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop

1. ひとつのデータベース技術だけでは生き残れない - NoSQL - Hadoop 編 - Insight Technology, Inc. 新久保浩二 1

2. 1. Insight Qubeなる新プロダクト開発中 2. おらオラ Oracle どっぷり検証生活 2. Oracle ACE 3. @kouji_s_0808 4. JPOUG(Japan Oracle User Group) 本日はOracle以外の話です。本資料に使用されている社名、ロゴ、製品、サービス名およびブランドは、該当する各社の登録商標または商標です。本資料の一部あるいは全体について、許可なく複製および転載することを禁じます。 2

3. • 企業は今後10年で50倍のデータ量 • ビッグデータの95%は非構造化データ • 一方、IT部門は1.5倍増にとどまるが含まれる。 http://enterprisezine.jp/article/detail/3394 • 2011年には1.8ゼタバイトのデータが作成、複製されると予想 World's Data More Than Doubling Every Two Years—Driving Big Data Opportunity, New IT Roles • Googleは94テラバイト/月のデータ処理(2010/6時点) ACM Symposium on Cloud Computing (SOCC) 2010 大量データ高効率多種類高速 3

4. OLTP Oracle / DB2 / SQL Server 大手RDBMSベンダーの進出が著しいエリア PostgreSQL / MySQL Teradata / Netezza / Sybase IQ GreenPlum / Vertica / VectorWise Hadoop (NoSQL) SIZE 4

5. 複数のディストリビューション本家(http://hadoop.apache.org/) Cloudera社(http://www.cloudera.com/) Yahoo!社 (http://developer.yahoo.com/hadoop/) 5

6. 複数のコンポーネント(ごくごく一部) http://hadoop.apache.org/index.html HiveQL(SQLライクな言語)によるHDFS上のデータ操作 HDFS上で動作するKey-Value型データベース分散処理フレームワーク Hadoopのprimary Storageとなる分散ファイルシステム Hadoopサブプロジェクトをサポートするライブラリを含むユーティリティ 6

7. • ビッグデータと呼ばれるデータの質を正確に認識する必要がある • 構造化 / 非構造化 • 利用シーン • ビッグデータへのアプローチは様々ある中で、最適なものを選択していく必要がある • RDBMS / New RDBMS / NoSQL (Hadoop) • 新しい領域と新しい技術を組み合わせる場合、その技術を活用するための情報量が少ない • 実際にビッグデータに対するプロジェクトの担当者に話を聞くのが最も効果的 7

8. 8

[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a [INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop

Semelhante a [INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop (20)

Mais de Insight Technology, Inc.

Mais de Insight Technology, Inc. (20)

Último

Último (8)

[INSIGHT OUT 2011] b21 ひとつのデータベース技術では生き残れない part2 no sql, hadoop