在大數據、資料分析、資料科學種種名詞的湧現下，如看看透其資料本質，如何驅使資料為人所用、為何而用。 這邊簡要說明如何解讀資料、資料準備、資料科學的流程為何。 並且舉例資料科學在公共領域如何運用，未來資料的角色在哪？

1. Data Empowerment for All
DSP
Contact
Tim Hong
+44 750 872 6463
+886 953506808
timhong@dsp.im
R1223. 12F-6, No.155, Keelung Rd. Sec. 1 Taipei 106, Taiwan
⼤大數據驅動⼒力力
『資料分析１０１』

2. • DSP智庫驅動 應⽤用顧問
• 台北市政府 公參參會 OpenData 召集⼈人
• 企業應⽤用顧問
• 中華科技⼤大學 業界講師
• 波意設計、深圳波意科技
• 上擎科技
• 華碩電腦 設計中⼼心
Tim Hong洪培仁
應⽤用程式、資料⼯工程
2 Startup、1 NPO、2 Apps 1st
E-mail: timhong@dsp.im
https://tw.linkedin.com/in/hongtim

8. ⼤大數據驅動⼒力力

9. ⼤大數據驅動⼒力力

10. WHAT IS DATA?

11. WHAT IS DATA?

12. WHAT IS DATA?

14. Digital footprints

15. 常⾒見見的樣⼦子

16. 表格

17. 資料交換語⾔言

18. http://upload.lsforum.net/users/public/q41674nba2k13%208-07p190.jpg

19. Geneva

20. http://youtu.be/ZSt9tm3RoUU

21. 以管窺天

23. 開放資料
巨量量資料
真實世界
所有可記錄資料

24. 資料的品管影響深遠

25. 資料被不同形式紀錄
舉例例『照片』
紀錄
1. 騎機⾞車車
2. 三貼
3. ⾞車車⼦子５０ＣＣ
4. 冬天沒穿外套

26. 資料被不同形式紀錄
舉例例『照片』
沒紀錄
1. 為何騎機⾞車車？
2. 要去哪？
3. 為何三貼？
4. 為何冬天沒穿外套？
資料記錄、數據化的過程
“都會”遺漏部分訊息

27. THERE IS NO EASY WAY
• 機器可讀資料
• 資料標準化
• 增減欄欄位
PNG、CSV、XML、PDF、XLS
1051005、105/10/5、10510
“ ”、NA、null
1051005
年年、⽉月、⽇日

28. 資料呈現：
在現實的基礎上闡述故事

29. 故事的核⼼心

30. ？

31. 都對

32. 為什什麼？

33. 為什什麼？
為什什麼？
為什什麼？
為
什什
麼
？為
什什
麼
？
為
什什
麼
？

35. HOW

36. 以分析結果回答問題
建立模型、分析資料
蒐集資料、整理理資料
定義問題、規劃藍藍圖
資料科學

37. 以分析結果回答問題
建立模型、分析資料
蒐集資料、整理理資料
定義問題、規劃藍藍圖
資料科學

38. 以分析結果回答問題
建立模型、分析資料
蒐集資料、整理理資料
定義問題、規劃藍藍圖
資料科學

39. 以分析結果回答問題
建立模型、分析資料
蒐集資料、整理理資料
定義問題、規劃藍藍圖
資料科學
80%

40. 資料的品管影響深遠

41. 資料科學的流程

42. Why
Why
Why
Why
Why
What
What
What
What
Where
How
What
Answer

43. ⼤大數據驅動⼒力力
『公共政策、商業物聯聯、未來來智能』

44. DATA / URBAN DATA

45. 從資料的⾓角度看城市構⾯面
⼈人>⼈人>城>....world

46. ⼈人>⼈人>城....world

48. 透過城市的真實資料所勾勒勒出的圖型
Through the actual city data mapping urban graphic Population
⾥里里lining
數量量amount
顏⾊色分區
⼈人>⼈人>城>⼈人....world

49. 透過城市的真實資料所勾勒勒出的圖型
Through the actual city data mapping urban graphic Population
⾥里里lining
數量量amount
顏⾊色分區

50. 透過城市的真實資料所勾勒勒出的圖型
Through the actual city data mapping urban graphic
Medical
(main hospital)
hospital

51. 透過城市的真實資料所勾勒勒出的圖型
Through the actual city data mapping urban graphic
Education
(kindergarten ~ University)

52. 透過城市的真實資料所勾勒勒出的圖型
Through the actual city data mapping urban graphic
Security
(Police, fire stations, monitors, accident)

54. 竊盜點位資料

55. http://www.playpcesor.com/2014/04/app.html

56. https://goo.gl/6vGw8l
美國紐奧良
火災預防
另⼀一個例例⼦子

57. Age of structure map
Poverty map
Map of fires Overall smoke alarm risk map
Fire fatality risk map
統計模型

58. 鎖定⽬目標:
Action

61. ⼤大數據驅動⼒力力
『公共政策、商業物聯聯、未來來智能』

62. 與公共體系 共⽣生

63. • http://data.gov.tw/
⾃自⼰己沒資料，資料哪裡來來？

64. ⾃自⼰己沒資料，資料哪裡來來？

66. 乾淨的資料

67. 光棍節（11⽉月11⽇日）雙⼗十⼀一節

68. ⼤大數據驅動⼒力力
『公共政策、商業物聯聯、未來來智能』
預測 節約
觀察

69. ⼤大量量運⽤用資料視覺化

70. 資料視覺化
資料分析的好夥伴

72. 輿情分析、⽂文字探勘
除了了地圖之外

73. 1691 他們 531 父親
1108 他的 528 凱特
963 爵士 521 斯特
853 瓊恩 493 凱特琳
844 我們 480 史塔克
795 自己 473 的人
787 奈德 460 丹妮
780 大人 456 艾莉亞
739 什麽 452 蘭尼
670 國王 450 蘭尼斯
642 提利 443 蘭尼斯特
613 利昂 431 告訴
610 提利昂 425 不是
603 布蘭 424 珊莎
588 一個 414 起來
568 她的 413 羅柏
567 知道 405 勞勃
543 沒有 399 已經
537 尼斯 373 孩子
532 莉亞 366 我的

74. 2971 他們 899 戰鬥
2811 一個 860 已經
2646 他的 822 在他
2560 阿納金 815 到了
1954 我們 814 然後
1834 了一 813 飛船
1809 盧克 803 的一
1706 歐比旺 797 們的
1597 這個 778 開始
1514 絕地武士 777 是一
1505 什麼 728 不是
1503 沒有 694 看到
1400 自己 685 一下
1372 機器 654 在這
1276 器人 636 大的
1275 機器人 629 她的
1022 知道 618 可能
998 起來 604 的人
984 現在 596 奎剛
909 帕德梅 595 著他

75. 1691 他們 531 父親
1108 他的 528 凱特
963 爵士 521 斯特
853 瓊恩 493 凱特琳
844 我們 480 史塔克
795 自己 473 的人
787 奈德 460 丹妮
780 大人 456 艾莉亞
739 什麽 452 蘭尼
670 國王 450 蘭尼斯
642 提利 443 蘭尼斯特
613 利昂 431 告訴
610 提利昂 425 不是
603 布蘭 424 珊莎
588 一個 414 起來
568 她的 413 羅柏
567 知道 405 勞勃
543 沒有 399 已經
537 尼斯 373 孩子
532 莉亞 366 我的
2971 他們 899 戰鬥
2811 一個 860 已經
2646 他的 822 在他
2560 阿納金 815 到了
1954 我們 814 然後
1834 了一 813 飛船
1809 盧克 803 的一
1706 歐比旺 797 們的
1597 這個 778 開始
1514 絕地武士 777 是一
1505 什麼 728 不是
1503 沒有 694 看到
1400 自己 685 一下
1372 機器 654 在這
1276 器人 636 大的
1275 機器人 629 她的
1022 知道 618 可能
998 起來 604 的人
984 現在 596 奎剛
909 帕德梅 595 著他
很多主⾓角
階級制度
主⾓角幾位
有科技
302 石宇 43 列車長
200 秀安 41 乘客
156 車廂 41 廁所
135 尚華 40 號車廂
110 喪屍 39 的電
91 列車 38 一個
90 白天 38 自己
83 常務 37 信號
82 盛京 36 他們
80 金常務 36 過去
69 什麼 34 怎麼
69 英國 34 時候
61 火車 33 微信號
61 珍熙 33 露宿
56 釜山 32 OS
55 看著 32 媽媽
51 看到 32 我們
49 乘務 32 露宿者
47 過來 31 到了
44 電話 30 乘務長

76. 關鍵字眼：『殺』
第⼀一批⽂文件：662 （六之⼀一）
第⼆二批⽂文件：745 （全六集）
第三⼈人稱、第⼀一⼈人稱
vs
姓名、代名詞、名詞

80. 廠房節約、效能提昇

83. 數億筆店家點位
Google 告訴你熱⾨門時段
https://goo.gl/w2IbBy

84. ⼤大數據驅動⼒力力
『公共政策、商業物聯聯、未來來智能』

88. 變聰明：學習能⼒力力、辨識能⼒力力

89. 後摩爾定律律，量量⼦子電腦的未來來？
https://goo.gl/qHsRdR

90. 2017 年年 對話機器⼈人 ⼤大發利利市

92. Big Data
Data is growing faster and bigger because of more
sensors
10B+ Rows (5TB)
Fast Data
Data streamed from sensors requires fast ingestion 1M+ rows per sec
Edge Analytics
IoT data is mostly generated at the ‘Edges’ of the
network
100+. Locations
Real-Time Insights
Use cases require near Real Time Analytics
<1 sec query response
⼤大數據

93. Statistics are like bikinis.
What they reveal is suggestive,
but what they conceal is vital.
-Aaron Levenstein, Business Professor at Baruch Colleg
統計就像比基尼
露出來來的引⼈人遐想
沒露出來來的才是重點