SlideShare uma empresa Scribd logo
1 de 34
Baixar para ler offline
Big Data 102 –
Big Data Crossovers
        成長之旅導覽
 精誠資訊 產品創新中心 副總經理
       蔣居裕 (Fred Chiang)
              2013.03.27




                           1
過去是未來的一部份




            2
Big Data 101 一
一個充滿意圖與關聯世界的具體實現
               精誠資訊 雲中心
           Etu 副總經理 蔣居裕




                          3
Big Data Taiwan 2012 整合大全
聲音檔案
影片檔案                                                                                         OLTP
圖形檔案                                             Web, Mobile, CRM,
                                                 ERP, SCM, …
                                                                       商務交易
文件檔案
文字資料                        回饋/歷史資料                                      與
XML檔案                                                                   行為互動
Web Logs
點擊事件
                                                                        SQL     NoSQL    NewSQL

社交網路
關聯圖譜
                          Big Data                          
新聞 Feeds                 精煉處理場                              預處理
                                                                       EDW      MPP     NewSQL
                                                                                                         
 感應器        多結構資料                                                                                        傳統 ETL
嵌入設備        儲存/彙整/轉換/運算
RFID Tags
                                                                        商業智慧
地理資訊                                                                   與
GPS 點位                                  回饋/歷史資料
                                                                        線上分析
                                                 Dashboard,
  事件                                             Report,
  其他                                             Visualization, …                            OLAP


            Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
                                                                                                                 4
Big Data Taiwan 2012 整合大全
聲音檔案
影片檔案                                                                                         OLTP
圖形檔案                                             Web, Mobile, CRM,
                                                 ERP, SCM, …
                                                                       商務交易
文件檔案
文字資料                        回饋/歷史資料                                      與
XML檔案                                                                   行為互動
Web Logs
點擊事件
                                                                        SQL     NoSQL    NewSQL

社交網路
關聯圖譜
                          Big Data                          
新聞 Feeds                 精煉處理場                              預處理
                                                                       EDW      MPP     NewSQL
                                                                                                         
 感應器        多結構資料                                                                                        傳統 ETL
嵌入設備        儲存/彙整/轉換/運算
RFID Tags
                                                                        商業智慧
地理資訊                                                                   與
GPS 點位                                  回饋/歷史資料
                                                                        線上分析
                                                 Dashboard,
  事件                                             Report,
  其他                                             Visualization, …                            OLAP


            Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
                                                                                                                 5
過去是未來的一部份




     結構化資料管理發展 50 年
  <Eight Reasons Why Data-Centricity Is The Future Of Business> @ November 23, 2009




                                                                                      6
過去是未來的一部份
過去                        現在與未來

結構化資料                     多結構化資料

MB/GB                     TB/PB

3-tier/ N-tier            分散式儲存 / 平行運算

向上擴充 (Scale-up)           橫向擴充 (Scale-out)

關聯式查詢 BI                  探索式查詢 BI

領域專業 (Domain Expertise)   跨界創新 (Crossover Innovation)

企業社會責任                    企業社會連結

                                                        7
大綱
• 從 101 到 102
  – Big Data 的發展

  – Open Data 的發展

• Crossovers 成長之旅導覽

• 結論:2013 台灣 Big Data 市場五大預測




                               8
從 101 到 102 - Netflix




  它,每年都因數據分析而進步
                        9
關於《紙牌屋》影集
     導演:大衛芬奇 (David Fincher;《社群網戰》、
        《班傑明的奇幻旅程》、《鬥陣俱樂部》)
     主角:凱文史貝西 (Kevin Spacey;《老闆不是
        人》、《心理醫生》、《美國心玫瑰情》)
     集數:共 26 集,分兩季推出。
     突破:1. 只在網路上架;2. 一次上架整季 13 集。
     優勢:事先根據 2,900 萬 Netflix 的會員收視行
        為分析,根據導演、主角、政治題材的組合,
        找出目標觀眾,進行精準推薦。
     成績:IMDb 上 15,762 次評價,平均得分 9.0
        (2013.2.28),上架兩週後被 IMDb
        MOVIEmeter 評為最受歡迎的電視影集。




從導購到策購的未來商務
                                 10
從 101 到 102 – Big Data 市場預估
                          Big Data Market Forecast by Component, 2011-2017
                   60


                   50


                   40

 • 全球 2012-2017 的複合年成長率超過 30%;
    $US Billions




     30

 • 2013、2014 年成長均將超過 50%。
                   20


                   10


                    0
                          2011     2012    2013        2014         2015        2016     2017
                   2012   5.1      10.2    16.8        32.1          48          53.4
                   2013   7.2      11.4    18.2         28          37.9         43.7    47.8


  Source: Wikibon.org
  2012 http://wikibon.org/wiki/v/Big_Data_Market_Size_and_Vendor_Revenues
  2013 http://wikibon.org/wiki/v/Big_Data_Vendor_Revenue_and_Market_Forecast_2012-2017
                                                                                                11
從 101 到 102 – Big Data 市場類別佔比
                                 Big Data Revenue by Type

                         以硬體形式承載軟體與服務,如
            100%          Appliance,是值得關注的發展
             90%
             80%
             70%
             60%
             50%
             40%
             30%
             20%
             10%
              0%
                                2011                            2012
          Service                44%                             39%
          S/W                    25%                             21%
          H/W                    31%                             40%

   Source: Wikibon.org
   2012 http://wikibon.org/wiki/v/Big_Data_Market_Size_and_Vendor_Revenues
   2013 http://wikibon.org/wiki/v/Big_Data_Vendor_Revenue_and_Market_Forecast_2012-2017
                                                                                          12
Big Data 市場,前景與要務


“經過這些年的實驗及眼見早期採用者獲致的成功後,
 2013 年是企業大規模採用 Big Data 科技的一年”


 「我們需要什麼樣的策略與技術?」
 「我們如何衡量並確保投資報酬率 (ROI)?」


          ~ Doug Laney, VP, Gartner, 2013
                                            13
當今 Big Data 台灣市場要務 — 使清晰
            您認為哪些因素,可能阻礙貴公司導入巨量資料解決方案?

                                                                                 42.50%
      景氣遲緩導致 IT 預算緊縮

                                                                              41.00%
          不易評估投資報酬率
價值
                                                                            39.50%
技術    不熟悉 Hadoop/MapReduce

                                                                   33.00%
技術    難以判斷大量資訊之可靠性

                                                          26.50%
價值     缺乏「定義需求的能力」

                                                       24.50%
技術    擔心與既有應用系統不相容



     Source: Digitimes「2013 企業巨量資料應用調查」(1,031 份有效問卷) – 2013.1.14




                                                                                          14
Open Data Scope

              Open
           Government
              Data




         精誠相信,如果能善用 Hadoop-based
 Big Data 平台來做資料的匯集、儲存、運算、與分享,
           必能放大 Open Data 的價值。
                                   15
Open Government Data 風起雲湧




                            16
Open Government Data — 來自學界的聲音
           2013.01
           中央研究院
           資訊科技創新研究中心 台灣創用CC計畫 出版

           《藏智於民:開放政府資料的原則與現況》


           http://creativecommons.tw/downloads/handbook_open_g
           ov_data_2012.pdf




                                                             17
Open Government Data — 來自民間的聲音




     “政府友善開放資料,民間發揮創意與
     巧思,最終的獲益者還是普羅大眾”

                ~   全台實價登錄網站




                               18
Open Data — 來自民間的聲音
          Code for Tomorrow:寫程式,改造社會

          2013.02.24
          International Open Data Day 2013, Taipei
          首度在台北舉行,全世界有超過 100 個城市響
          應,在亞洲地區, 今年有日本、台灣、韓國、
          泰國、馬來西亞與香港等地加入。參加者包含需
          求方、開發者、數據家、設計師、媒體人、以及
          社會公民等,超過 130 人。




                                                19
Open Data 格式開放的 5 星級別

Sir Tim Berners-Lee




                        20
Open Data — 來自價值的聲音

    格式   –   無苦
    授權   –   無憂
    品質   –   無誤
    更新   –   無窮
    成本   –   無償 ?
                      21
Open Corporate Data
                                        Facebook
EZprice                                 Open Graph 人際社群的關聯

Open Data 消費者行為、
電子商務、價格監控




          《TW Hadoop 相關社群關聯圖》, sourced by Jazz Wang, 2013.3.22
                                                                 22
Open NGO/NPO Data
The World Bank   – Open Data / DataBank




                                    Google Public Data Explorer




                                                            23
Open Data – Big Data - Cloud
案例:1000 Genomes Project                  http://en.wikipedia.org/wiki/1000_Genomes_Project


資料量:100TB (1,700+ DNA sequenced)
資料儲存:AWS S3
資料費用:free
運算費用:computing resources for analyzing




                                                                                       24
在不確定的年代,
鋪陳確定的發展軌跡



            25
Crossovers 雙軌 X 2 成長之旅

         社會      企業



   價值

          Big Data
   技術




                         26
Crossovers 成長之旅導覽 (Keynotes)



                           Overview


                        (社會+企業) X 價值

                        (社會+企業) X 技術

                   A1
                        企業 X (技術+價值)
                        企業 X (技術+價值)
                   A2




                                      27
Big Data Lifecycle – 價值流轉




                             軟體專案


                   平台/工具軟體      應用/工具軟體


                       軟體可著墨的領域

    ICT 硬體可著墨的領域
                                          28
Crossovers 成長之旅導覽 (Track1:技術)
 Big Data 流轉技術旅程

                   B1-3



                          Big Data 流、存、算


                   A2



                           Big Data 算、用


                   A3



                           Big Data 用、看


                                           29
Crossovers 成長之旅導覽 (Track2:價值)

 Big Data 轉換商業價值旅程

                      A4


                            政府、電信、金融、電子商務

                     B1-3


                     電子商務、零售、百貨、媒體、金融


                      D1



                            面向消費者的品牌行銷企業


                                            30
Happy Anniversary, Etu
          365 Days




                         31
Etu Appliance,創新得獎高手                                                B1-3




2012 TAITRONICS                  101 年資訊月 China Big Data 2012    2012 年度雲計算
                  2012 雲端創新獎
科技創新優選獎                        傑出資訊應用暨產品獎 年度大數據創新企業             Hadoop 創新產品獎




                        不可能更容易的 Hadoop 企業平台

                                                                           32
結論:2013 台灣 Big Data 市場五大預測
1. 本地不同行業的 Big Data 應用案例將一一浮現;

2. ”Medium” Data 出現在更多企業 Big Data 應用場景;

3. Hadoop 相關專業教育訓練課程漸熱;

4. 從 Quantified Self、Enterprise Data、Open Data、到
   Internet-scale Data,資料分析蔚為顯學;

5. Open Data 方興未艾,各級政府、不同部門的開放策略與腳步
   不一,來自民間的挑戰也不斷。


                                 ~   Etu   2012.12.20

                                                    33
祝 各位 Big Data 旅途愉快
      本日收穫滿滿
 我們 Big Data Taiwan 2014 再見




                              34

Mais conteúdo relacionado

Mais procurados

Can data virtualization uphold performance with complex queries? (Chinese)
Can data virtualization uphold performance with complex queries? (Chinese)Can data virtualization uphold performance with complex queries? (Chinese)
Can data virtualization uphold performance with complex queries? (Chinese)Denodo
 
Etu Data Lake
Etu Data LakeEtu Data Lake
Etu Data LakeJudy Wu
 
淘宝数据可视化[2010 SD2.0]
淘宝数据可视化[2010 SD2.0]淘宝数据可视化[2010 SD2.0]
淘宝数据可视化[2010 SD2.0]KennyZ
 
企业系统商务智能设计
企业系统商务智能设计企业系统商务智能设计
企业系统商务智能设计George Ang
 
Big Data World Forum
Big Data World ForumBig Data World Forum
Big Data World Forumbigdatawf
 

Mais procurados (6)

Can data virtualization uphold performance with complex queries? (Chinese)
Can data virtualization uphold performance with complex queries? (Chinese)Can data virtualization uphold performance with complex queries? (Chinese)
Can data virtualization uphold performance with complex queries? (Chinese)
 
Etu Data Lake
Etu Data LakeEtu Data Lake
Etu Data Lake
 
淘宝数据可视化[2010 SD2.0]
淘宝数据可视化[2010 SD2.0]淘宝数据可视化[2010 SD2.0]
淘宝数据可视化[2010 SD2.0]
 
企业系统商务智能设计
企业系统商务智能设计企业系统商务智能设计
企业系统商务智能设计
 
Big Data World Forum
Big Data World ForumBig Data World Forum
Big Data World Forum
 
Emc keynote 1130 1200
Emc keynote 1130 1200Emc keynote 1130 1200
Emc keynote 1130 1200
 

Destaque

TAC En patufet Imma
TAC En patufet ImmaTAC En patufet Imma
TAC En patufet Immaolgaferre
 
Presentació eap
Presentació eapPresentació eap
Presentació eapAnna Roda
 
Etu Appliance - 2012 TAITRONICS Technology Innovation Awards
Etu Appliance - 2012 TAITRONICS Technology Innovation AwardsEtu Appliance - 2012 TAITRONICS Technology Innovation Awards
Etu Appliance - 2012 TAITRONICS Technology Innovation AwardsFred Chiang
 
Programa d'estimulació global de la llengua oral a P-5
Programa d'estimulació global de la llengua oral a P-5Programa d'estimulació global de la llengua oral a P-5
Programa d'estimulació global de la llengua oral a P-5Anna Roda
 
那些雲端運算教我的事
那些雲端運算教我的事那些雲端運算教我的事
那些雲端運算教我的事Fred Chiang
 
Prijut
PrijutPrijut
PrijutIVKHK
 
Guida su PowerPoint e SlideShare
Guida su PowerPoint e SlideShareGuida su PowerPoint e SlideShare
Guida su PowerPoint e SlideShareSalvatoreFabozzo94
 
Getting Social
Getting SocialGetting Social
Getting SocialGary Hess
 
早點吃晚飯
早點吃晚飯早點吃晚飯
早點吃晚飯ama8th
 
Tktk
TktkTktk
TktkIVKHK
 
Engaging Techy Teen Volunteers
Engaging Techy Teen VolunteersEngaging Techy Teen Volunteers
Engaging Techy Teen Volunteerskcorstel
 
Alfredocorpuzv5310stepmarketing
Alfredocorpuzv5310stepmarketingAlfredocorpuzv5310stepmarketing
Alfredocorpuzv5310stepmarketingDondon Corpuz
 
Bringing Email Development from 1996 to 2016
Bringing Email Development from 1996 to 2016Bringing Email Development from 1996 to 2016
Bringing Email Development from 1996 to 2016ZURB
 
Method for Controlling Buckthorn - Society for Ecological Restoration 2011
Method for Controlling Buckthorn - Society for Ecological Restoration 2011Method for Controlling Buckthorn - Society for Ecological Restoration 2011
Method for Controlling Buckthorn - Society for Ecological Restoration 2011John Lampe
 
GreenDominion E-Brochure
GreenDominion E-BrochureGreenDominion E-Brochure
GreenDominion E-BrochureGreenDominion
 

Destaque (20)

Blog2
Blog2Blog2
Blog2
 
TAC En patufet Imma
TAC En patufet ImmaTAC En patufet Imma
TAC En patufet Imma
 
Presentació eap
Presentació eapPresentació eap
Presentació eap
 
Etu Appliance - 2012 TAITRONICS Technology Innovation Awards
Etu Appliance - 2012 TAITRONICS Technology Innovation AwardsEtu Appliance - 2012 TAITRONICS Technology Innovation Awards
Etu Appliance - 2012 TAITRONICS Technology Innovation Awards
 
Programa d'estimulació global de la llengua oral a P-5
Programa d'estimulació global de la llengua oral a P-5Programa d'estimulació global de la llengua oral a P-5
Programa d'estimulació global de la llengua oral a P-5
 
Pumpkins
PumpkinsPumpkins
Pumpkins
 
那些雲端運算教我的事
那些雲端運算教我的事那些雲端運算教我的事
那些雲端運算教我的事
 
Prijut
PrijutPrijut
Prijut
 
Blog2
Blog2Blog2
Blog2
 
Guida su PowerPoint e SlideShare
Guida su PowerPoint e SlideShareGuida su PowerPoint e SlideShare
Guida su PowerPoint e SlideShare
 
Getting Social
Getting SocialGetting Social
Getting Social
 
早點吃晚飯
早點吃晚飯早點吃晚飯
早點吃晚飯
 
Tktk
TktkTktk
Tktk
 
Engaging Techy Teen Volunteers
Engaging Techy Teen VolunteersEngaging Techy Teen Volunteers
Engaging Techy Teen Volunteers
 
Sports
SportsSports
Sports
 
Alfredocorpuzv5310stepmarketing
Alfredocorpuzv5310stepmarketingAlfredocorpuzv5310stepmarketing
Alfredocorpuzv5310stepmarketing
 
Bringing Email Development from 1996 to 2016
Bringing Email Development from 1996 to 2016Bringing Email Development from 1996 to 2016
Bringing Email Development from 1996 to 2016
 
Method for Controlling Buckthorn - Society for Ecological Restoration 2011
Method for Controlling Buckthorn - Society for Ecological Restoration 2011Method for Controlling Buckthorn - Society for Ecological Restoration 2011
Method for Controlling Buckthorn - Society for Ecological Restoration 2011
 
GreenDominion E-Brochure
GreenDominion E-BrochureGreenDominion E-Brochure
GreenDominion E-Brochure
 
JAPAN'S FIFTH SENSE
JAPAN'S FIFTH SENSE JAPAN'S FIFTH SENSE
JAPAN'S FIFTH SENSE
 

Semelhante a Big Data 102 - Crossovers 成長之旅導覽 (Keynote for Big Data Taiwan 2013)

ESD 2012 Keynote: What Is the next Big Data?
ESD 2012 Keynote: What Is the next Big Data?ESD 2012 Keynote: What Is the next Big Data?
ESD 2012 Keynote: What Is the next Big Data?Fred Chiang
 
Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Big Data 101 一 一個充滿意圖與關聯世界的具體實現Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Big Data 101 一 一個充滿意圖與關聯世界的具體實現Fred Chiang
 
Hadoop 與 SQL 的甜蜜連結
Hadoop 與 SQL 的甜蜜連結Hadoop 與 SQL 的甜蜜連結
Hadoop 與 SQL 的甜蜜連結James Chen
 
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況Jazz Yao-Tsung Wang
 
数据科学运营:企业人工智能之旅
数据科学运营:企业人工智能之旅数据科学运营:企业人工智能之旅
数据科学运营:企业人工智能之旅Denodo
 
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Etu Solution
 
民间秘方
民间秘方民间秘方
民间秘方dynasty
 
查小三 + 新智慧營運 Splunk4.2大顯身手
查小三 + 新智慧營運 Splunk4.2大顯身手查小三 + 新智慧營運 Splunk4.2大顯身手
查小三 + 新智慧營運 Splunk4.2大顯身手Gandalf Huang
 
Big Data Projet Management the Body of Knowledge (BDPMBOK)
Big Data Projet Management the Body of Knowledge (BDPMBOK)Big Data Projet Management the Body of Knowledge (BDPMBOK)
Big Data Projet Management the Body of Knowledge (BDPMBOK)Jazz Yao-Tsung Wang
 
数据挖掘理论与实践
数据挖掘理论与实践数据挖掘理论与实践
数据挖掘理论与实践medcl
 
逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构Denodo
 
選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲Herman Wu
 
Business intelligent 概論 棅易
Business intelligent 概論 棅易Business intelligent 概論 棅易
Business intelligent 概論 棅易Lawrence Huang
 
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdfmarkmind
 
智慧系統服務研究 永鑫 V2
智慧系統服務研究 永鑫 V2智慧系統服務研究 永鑫 V2
智慧系統服務研究 永鑫 V2Lawrence Huang
 
Big data, big deal ms it168文库
Big data, big deal ms it168文库Big data, big deal ms it168文库
Big data, big deal ms it168文库Accenture
 
Big data, big deal ms it168文库
Big data, big deal ms it168文库Big data, big deal ms it168文库
Big data, big deal ms it168文库Accenture
 
Big Data Taiwan 2014 Opening: Converge . Discover . Monetize
Big Data Taiwan 2014 Opening: Converge . Discover . MonetizeBig Data Taiwan 2014 Opening: Converge . Discover . Monetize
Big Data Taiwan 2014 Opening: Converge . Discover . MonetizeEtu Solution
 
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林corlin chen
 
Modernising Data Architecture for Data Driven Insights (Chinese)
Modernising Data Architecture for Data Driven Insights (Chinese)Modernising Data Architecture for Data Driven Insights (Chinese)
Modernising Data Architecture for Data Driven Insights (Chinese)Denodo
 

Semelhante a Big Data 102 - Crossovers 成長之旅導覽 (Keynote for Big Data Taiwan 2013) (20)

ESD 2012 Keynote: What Is the next Big Data?
ESD 2012 Keynote: What Is the next Big Data?ESD 2012 Keynote: What Is the next Big Data?
ESD 2012 Keynote: What Is the next Big Data?
 
Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Big Data 101 一 一個充滿意圖與關聯世界的具體實現Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Big Data 101 一 一個充滿意圖與關聯世界的具體實現
 
Hadoop 與 SQL 的甜蜜連結
Hadoop 與 SQL 的甜蜜連結Hadoop 與 SQL 的甜蜜連結
Hadoop 與 SQL 的甜蜜連結
 
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
 
数据科学运营:企业人工智能之旅
数据科学运营:企业人工智能之旅数据科学运营:企业人工智能之旅
数据科学运营:企业人工智能之旅
 
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享
 
民间秘方
民间秘方民间秘方
民间秘方
 
查小三 + 新智慧營運 Splunk4.2大顯身手
查小三 + 新智慧營運 Splunk4.2大顯身手查小三 + 新智慧營運 Splunk4.2大顯身手
查小三 + 新智慧營運 Splunk4.2大顯身手
 
Big Data Projet Management the Body of Knowledge (BDPMBOK)
Big Data Projet Management the Body of Knowledge (BDPMBOK)Big Data Projet Management the Body of Knowledge (BDPMBOK)
Big Data Projet Management the Body of Knowledge (BDPMBOK)
 
数据挖掘理论与实践
数据挖掘理论与实践数据挖掘理论与实践
数据挖掘理论与实践
 
逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构逻辑数据编织 – 构建先进的现代企业数据架构
逻辑数据编织 – 构建先进的现代企业数据架构
 
選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲
 
Business intelligent 概論 棅易
Business intelligent 概論 棅易Business intelligent 概論 棅易
Business intelligent 概論 棅易
 
阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf阿里巴巴数据中台实践分享.pdf
阿里巴巴数据中台实践分享.pdf
 
智慧系統服務研究 永鑫 V2
智慧系統服務研究 永鑫 V2智慧系統服務研究 永鑫 V2
智慧系統服務研究 永鑫 V2
 
Big data, big deal ms it168文库
Big data, big deal ms it168文库Big data, big deal ms it168文库
Big data, big deal ms it168文库
 
Big data, big deal ms it168文库
Big data, big deal ms it168文库Big data, big deal ms it168文库
Big data, big deal ms it168文库
 
Big Data Taiwan 2014 Opening: Converge . Discover . Monetize
Big Data Taiwan 2014 Opening: Converge . Discover . MonetizeBig Data Taiwan 2014 Opening: Converge . Discover . Monetize
Big Data Taiwan 2014 Opening: Converge . Discover . Monetize
 
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
 
Modernising Data Architecture for Data Driven Insights (Chinese)
Modernising Data Architecture for Data Driven Insights (Chinese)Modernising Data Architecture for Data Driven Insights (Chinese)
Modernising Data Architecture for Data Driven Insights (Chinese)
 

Mais de Fred Chiang

Action Intelligence for Social Good
Action Intelligence for Social GoodAction Intelligence for Social Good
Action Intelligence for Social GoodFred Chiang
 
Big Data vs. Open Data
Big Data vs. Open DataBig Data vs. Open Data
Big Data vs. Open DataFred Chiang
 
那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper
那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper
那些你知道的,但還沒看過的 Big Data 風景 ─ 致 HadooperFred Chiang
 
Big Data 現象,以及現象中的我們
Big Data 現象,以及現象中的我們Big Data 現象,以及現象中的我們
Big Data 現象,以及現象中的我們Fred Chiang
 
Summary of Insights Learned from the Data Science Program Team Training
Summary of Insights Learned from the Data Science Program Team TrainingSummary of Insights Learned from the Data Science Program Team Training
Summary of Insights Learned from the Data Science Program Team TrainingFred Chiang
 
資料科學團隊人才培育分享 ─ 以 DSP 為例
資料科學團隊人才培育分享 ─ 以 DSP 為例資料科學團隊人才培育分享 ─ 以 DSP 為例
資料科學團隊人才培育分享 ─ 以 DSP 為例Fred Chiang
 
資料價值 — 一位資料產品經理的視野
資料價值 — 一位資料產品經理的視野資料價值 — 一位資料產品經理的視野
資料價值 — 一位資料產品經理的視野Fred Chiang
 
台灣生活資料科學團隊養成計畫 (@Data Weekend #5)
台灣生活資料科學團隊養成計畫 (@Data Weekend #5)台灣生活資料科學團隊養成計畫 (@Data Weekend #5)
台灣生活資料科學團隊養成計畫 (@Data Weekend #5)Fred Chiang
 
轉兌數據的價值 — 從導購到策購
轉兌數據的價值 — 從導購到策購轉兌數據的價值 — 從導購到策購
轉兌數據的價值 — 從導購到策購Fred Chiang
 
破雲而出 — 重新發現您的雲端策略
破雲而出 — 重新發現您的雲端策略破雲而出 — 重新發現您的雲端策略
破雲而出 — 重新發現您的雲端策略Fred Chiang
 
所知有雲 Team meetup 2
所知有雲 Team meetup 2所知有雲 Team meetup 2
所知有雲 Team meetup 2Fred Chiang
 
所知有雲 Team meetup 1
所知有雲 Team meetup 1所知有雲 Team meetup 1
所知有雲 Team meetup 1Fred Chiang
 
「所知有雲」:維基百科雲端運算中文條目編輯行動發起說明
「所知有雲」:維基百科雲端運算中文條目編輯行動發起說明「所知有雲」:維基百科雲端運算中文條目編輯行動發起說明
「所知有雲」:維基百科雲端運算中文條目編輯行動發起說明Fred Chiang
 
Elaster Labs, the 1st PaaS in Taiwan
Elaster Labs, the 1st PaaS in TaiwanElaster Labs, the 1st PaaS in Taiwan
Elaster Labs, the 1st PaaS in TaiwanFred Chiang
 

Mais de Fred Chiang (14)

Action Intelligence for Social Good
Action Intelligence for Social GoodAction Intelligence for Social Good
Action Intelligence for Social Good
 
Big Data vs. Open Data
Big Data vs. Open DataBig Data vs. Open Data
Big Data vs. Open Data
 
那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper
那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper
那些你知道的,但還沒看過的 Big Data 風景 ─ 致 Hadooper
 
Big Data 現象,以及現象中的我們
Big Data 現象,以及現象中的我們Big Data 現象,以及現象中的我們
Big Data 現象,以及現象中的我們
 
Summary of Insights Learned from the Data Science Program Team Training
Summary of Insights Learned from the Data Science Program Team TrainingSummary of Insights Learned from the Data Science Program Team Training
Summary of Insights Learned from the Data Science Program Team Training
 
資料科學團隊人才培育分享 ─ 以 DSP 為例
資料科學團隊人才培育分享 ─ 以 DSP 為例資料科學團隊人才培育分享 ─ 以 DSP 為例
資料科學團隊人才培育分享 ─ 以 DSP 為例
 
資料價值 — 一位資料產品經理的視野
資料價值 — 一位資料產品經理的視野資料價值 — 一位資料產品經理的視野
資料價值 — 一位資料產品經理的視野
 
台灣生活資料科學團隊養成計畫 (@Data Weekend #5)
台灣生活資料科學團隊養成計畫 (@Data Weekend #5)台灣生活資料科學團隊養成計畫 (@Data Weekend #5)
台灣生活資料科學團隊養成計畫 (@Data Weekend #5)
 
轉兌數據的價值 — 從導購到策購
轉兌數據的價值 — 從導購到策購轉兌數據的價值 — 從導購到策購
轉兌數據的價值 — 從導購到策購
 
破雲而出 — 重新發現您的雲端策略
破雲而出 — 重新發現您的雲端策略破雲而出 — 重新發現您的雲端策略
破雲而出 — 重新發現您的雲端策略
 
所知有雲 Team meetup 2
所知有雲 Team meetup 2所知有雲 Team meetup 2
所知有雲 Team meetup 2
 
所知有雲 Team meetup 1
所知有雲 Team meetup 1所知有雲 Team meetup 1
所知有雲 Team meetup 1
 
「所知有雲」:維基百科雲端運算中文條目編輯行動發起說明
「所知有雲」:維基百科雲端運算中文條目編輯行動發起說明「所知有雲」:維基百科雲端運算中文條目編輯行動發起說明
「所知有雲」:維基百科雲端運算中文條目編輯行動發起說明
 
Elaster Labs, the 1st PaaS in Taiwan
Elaster Labs, the 1st PaaS in TaiwanElaster Labs, the 1st PaaS in Taiwan
Elaster Labs, the 1st PaaS in Taiwan
 

Big Data 102 - Crossovers 成長之旅導覽 (Keynote for Big Data Taiwan 2013)

  • 1. Big Data 102 – Big Data Crossovers 成長之旅導覽 精誠資訊 產品創新中心 副總經理 蔣居裕 (Fred Chiang) 2013.03.27 1
  • 3. Big Data 101 一 一個充滿意圖與關聯世界的具體實現 精誠資訊 雲中心 Etu 副總經理 蔣居裕 3
  • 4. Big Data Taiwan 2012 整合大全 聲音檔案 影片檔案 OLTP 圖形檔案 Web, Mobile, CRM, ERP, SCM, …  商務交易 文件檔案 文字資料 回饋/歷史資料 與 XML檔案 行為互動 Web Logs 點擊事件 SQL NoSQL NewSQL 社交網路 關聯圖譜 Big Data  新聞 Feeds 精煉處理場 預處理  EDW MPP NewSQL  感應器 多結構資料 傳統 ETL 嵌入設備 儲存/彙整/轉換/運算 RFID Tags 商業智慧 地理資訊  與 GPS 點位 回饋/歷史資料 線上分析 Dashboard, 事件 Report, 其他 Visualization, … OLAP Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture 4
  • 5. Big Data Taiwan 2012 整合大全 聲音檔案 影片檔案 OLTP 圖形檔案 Web, Mobile, CRM, ERP, SCM, …  商務交易 文件檔案 文字資料 回饋/歷史資料 與 XML檔案 行為互動 Web Logs 點擊事件 SQL NoSQL NewSQL 社交網路 關聯圖譜 Big Data  新聞 Feeds 精煉處理場 預處理  EDW MPP NewSQL  感應器 多結構資料 傳統 ETL 嵌入設備 儲存/彙整/轉換/運算 RFID Tags 商業智慧 地理資訊  與 GPS 點位 回饋/歷史資料 線上分析 Dashboard, 事件 Report, 其他 Visualization, … OLAP Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture 5
  • 6. 過去是未來的一部份 結構化資料管理發展 50 年 <Eight Reasons Why Data-Centricity Is The Future Of Business> @ November 23, 2009 6
  • 7. 過去是未來的一部份 過去 現在與未來 結構化資料 多結構化資料 MB/GB TB/PB 3-tier/ N-tier 分散式儲存 / 平行運算 向上擴充 (Scale-up) 橫向擴充 (Scale-out) 關聯式查詢 BI 探索式查詢 BI 領域專業 (Domain Expertise) 跨界創新 (Crossover Innovation) 企業社會責任 企業社會連結 7
  • 8. 大綱 • 從 101 到 102 – Big Data 的發展 – Open Data 的發展 • Crossovers 成長之旅導覽 • 結論:2013 台灣 Big Data 市場五大預測 8
  • 9. 從 101 到 102 - Netflix 它,每年都因數據分析而進步 9
  • 10. 關於《紙牌屋》影集 導演:大衛芬奇 (David Fincher;《社群網戰》、 《班傑明的奇幻旅程》、《鬥陣俱樂部》) 主角:凱文史貝西 (Kevin Spacey;《老闆不是 人》、《心理醫生》、《美國心玫瑰情》) 集數:共 26 集,分兩季推出。 突破:1. 只在網路上架;2. 一次上架整季 13 集。 優勢:事先根據 2,900 萬 Netflix 的會員收視行 為分析,根據導演、主角、政治題材的組合, 找出目標觀眾,進行精準推薦。 成績:IMDb 上 15,762 次評價,平均得分 9.0 (2013.2.28),上架兩週後被 IMDb MOVIEmeter 評為最受歡迎的電視影集。 從導購到策購的未來商務 10
  • 11. 從 101 到 102 – Big Data 市場預估 Big Data Market Forecast by Component, 2011-2017 60 50 40 • 全球 2012-2017 的複合年成長率超過 30%; $US Billions 30 • 2013、2014 年成長均將超過 50%。 20 10 0 2011 2012 2013 2014 2015 2016 2017 2012 5.1 10.2 16.8 32.1 48 53.4 2013 7.2 11.4 18.2 28 37.9 43.7 47.8 Source: Wikibon.org 2012 http://wikibon.org/wiki/v/Big_Data_Market_Size_and_Vendor_Revenues 2013 http://wikibon.org/wiki/v/Big_Data_Vendor_Revenue_and_Market_Forecast_2012-2017 11
  • 12. 從 101 到 102 – Big Data 市場類別佔比 Big Data Revenue by Type 以硬體形式承載軟體與服務,如 100% Appliance,是值得關注的發展 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 2011 2012 Service 44% 39% S/W 25% 21% H/W 31% 40% Source: Wikibon.org 2012 http://wikibon.org/wiki/v/Big_Data_Market_Size_and_Vendor_Revenues 2013 http://wikibon.org/wiki/v/Big_Data_Vendor_Revenue_and_Market_Forecast_2012-2017 12
  • 13. Big Data 市場,前景與要務 “經過這些年的實驗及眼見早期採用者獲致的成功後, 2013 年是企業大規模採用 Big Data 科技的一年” 「我們需要什麼樣的策略與技術?」 「我們如何衡量並確保投資報酬率 (ROI)?」 ~ Doug Laney, VP, Gartner, 2013 13
  • 14. 當今 Big Data 台灣市場要務 — 使清晰 您認為哪些因素,可能阻礙貴公司導入巨量資料解決方案? 42.50% 景氣遲緩導致 IT 預算緊縮 41.00% 不易評估投資報酬率 價值 39.50% 技術 不熟悉 Hadoop/MapReduce 33.00% 技術 難以判斷大量資訊之可靠性 26.50% 價值 缺乏「定義需求的能力」 24.50% 技術 擔心與既有應用系統不相容 Source: Digitimes「2013 企業巨量資料應用調查」(1,031 份有效問卷) – 2013.1.14 14
  • 15. Open Data Scope Open Government Data 精誠相信,如果能善用 Hadoop-based Big Data 平台來做資料的匯集、儲存、運算、與分享, 必能放大 Open Data 的價值。 15
  • 16. Open Government Data 風起雲湧 16
  • 17. Open Government Data — 來自學界的聲音 2013.01 中央研究院 資訊科技創新研究中心 台灣創用CC計畫 出版 《藏智於民:開放政府資料的原則與現況》 http://creativecommons.tw/downloads/handbook_open_g ov_data_2012.pdf 17
  • 18. Open Government Data — 來自民間的聲音 “政府友善開放資料,民間發揮創意與 巧思,最終的獲益者還是普羅大眾” ~ 全台實價登錄網站 18
  • 19. Open Data — 來自民間的聲音 Code for Tomorrow:寫程式,改造社會 2013.02.24 International Open Data Day 2013, Taipei 首度在台北舉行,全世界有超過 100 個城市響 應,在亞洲地區, 今年有日本、台灣、韓國、 泰國、馬來西亞與香港等地加入。參加者包含需 求方、開發者、數據家、設計師、媒體人、以及 社會公民等,超過 130 人。 19
  • 20. Open Data 格式開放的 5 星級別 Sir Tim Berners-Lee 20
  • 21. Open Data — 來自價值的聲音 格式 – 無苦 授權 – 無憂 品質 – 無誤 更新 – 無窮 成本 – 無償 ? 21
  • 22. Open Corporate Data Facebook EZprice Open Graph 人際社群的關聯 Open Data 消費者行為、 電子商務、價格監控 《TW Hadoop 相關社群關聯圖》, sourced by Jazz Wang, 2013.3.22 22
  • 23. Open NGO/NPO Data The World Bank – Open Data / DataBank Google Public Data Explorer 23
  • 24. Open Data – Big Data - Cloud 案例:1000 Genomes Project http://en.wikipedia.org/wiki/1000_Genomes_Project 資料量:100TB (1,700+ DNA sequenced) 資料儲存:AWS S3 資料費用:free 運算費用:computing resources for analyzing 24
  • 26. Crossovers 雙軌 X 2 成長之旅 社會 企業 價值 Big Data 技術 26
  • 27. Crossovers 成長之旅導覽 (Keynotes) Overview (社會+企業) X 價值 (社會+企業) X 技術 A1 企業 X (技術+價值) 企業 X (技術+價值) A2 27
  • 28. Big Data Lifecycle – 價值流轉 軟體專案 平台/工具軟體 應用/工具軟體 軟體可著墨的領域 ICT 硬體可著墨的領域 28
  • 29. Crossovers 成長之旅導覽 (Track1:技術) Big Data 流轉技術旅程 B1-3 Big Data 流、存、算 A2 Big Data 算、用 A3 Big Data 用、看 29
  • 30. Crossovers 成長之旅導覽 (Track2:價值) Big Data 轉換商業價值旅程 A4 政府、電信、金融、電子商務 B1-3 電子商務、零售、百貨、媒體、金融 D1 面向消費者的品牌行銷企業 30
  • 31. Happy Anniversary, Etu 365 Days 31
  • 32. Etu Appliance,創新得獎高手 B1-3 2012 TAITRONICS 101 年資訊月 China Big Data 2012 2012 年度雲計算 2012 雲端創新獎 科技創新優選獎 傑出資訊應用暨產品獎 年度大數據創新企業 Hadoop 創新產品獎 不可能更容易的 Hadoop 企業平台 32
  • 33. 結論:2013 台灣 Big Data 市場五大預測 1. 本地不同行業的 Big Data 應用案例將一一浮現; 2. ”Medium” Data 出現在更多企業 Big Data 應用場景; 3. Hadoop 相關專業教育訓練課程漸熱; 4. 從 Quantified Self、Enterprise Data、Open Data、到 Internet-scale Data,資料分析蔚為顯學; 5. Open Data 方興未艾,各級政府、不同部門的開放策略與腳步 不一,來自民間的挑戰也不斷。 ~ Etu 2012.12.20 33
  • 34. 祝 各位 Big Data 旅途愉快 本日收穫滿滿 我們 Big Data Taiwan 2014 再見 34