2017 國發會開放資料工作坊

1. Data Governance
從開放資料到資料治理
Opendata.TW / 張維志 – 2017.04.18
whisky@opendata.tw

2. • https://www.facebook.com/opendata.tw
• https://www.facebook.com/groups/odtwn/
• https://www.facebook.com/groups/Open.Campus/

3. 2017 OD2DG
大綱
1. 政府開放資料的問題
2. 開放資料作好作滿
3. 機關網站與開放資料
4. 網站資訊結構化

4. 2017 OD2DG
簡報
1. http://bit.ly/2017odw-3
2. http://sli.do #8068

5. 2017 OD2DG 顯著有感地震報告資
料-顯著有感地震報告
小區域有感地震報告資
料-小區域有感地震報告
路外停車資訊
不動產買賣實價
登錄批次資料
勞工體格及健康檢
查認可醫療機構

6. 2017 OD2DG

7. 2017 OD2DG
http://www.idealyzt.com/100-opendata-types/

8. 2017 OD2DG

9. 2017 OD2DG

10. 2017 OD2DG
問題：
• 資料看起來很多，但是 80-90% 根本沒
人用 (少於 100-200 下載）
• 資料很多都是 CSV / XML / JSNO – 但
是有多少是騙人的 (偽裝的三星）

11. 2017 OD2DG
資料為什麼沒人用 :
沒人用還是沒人知道
沒人用還是不知道怎麼用
沒人用還是資料品不堪用

12. 2017 OD2DG
沒人用還是沒人知道
開放資料要去哪裡找？
誰會特別去找開放資料？

13. 2017 OD2DG

14. 2017 OD2DG

15. 2017 OD2DG
讓資料被找到
建立連結，需傳，推廣
開放資料也是業務的一環

16. 2017 OD2DG
沒人用還是不知道怎麼用
立法院公報，要用來幹嘛？
路上的行道樹資料，可以做什麼

17. 2017 OD2DG

18. 2017 OD2DG

19. 2017 OD2DG

20. 2017 OD2DG

21. 2017 OD2DG
發掘資料的價值
用資料來解決問題
所以我們須要先定義問題
找出需求，然後才是答案

22. 2017 OD2DG
http://www.ithome.com.tw/article/98070

23. 2017 OD2DG
沒人用還是資料品質不堪用
資料名稱不清楚
內容欄位說明不清楚
資料格式編碼有錯誤
資料欄位內容錯誤或缺失
資料收集來源不清楚

24. 2017 OD2DG

25. 2017 OD2DG

26. 2017 OD2DG
資料品質為什麼不佳:
因為資料產出的流程
因為不知道什麼是資料？
因為不知道資料會被怎麼使用？
因為不知道開放資料在幹嘛？

27. 2017 OD2DG
真正的問題 :
資料如何產出
如何把資料作好作滿

28. 2017 OD2DG
如何把資料作好作滿:
什麼是資料（資訊技術的定義）
什麼是資料品質

29. 2017 OD2DG
開放資料五星 :

30. 2017 OD2DG
https://www.slideshare.net/ChiachunYeh/105-v1-20160317

31. 2017 OD2DG
資料來源：Open data Support (2014). Open Data & Metadata Quality. Available from:
https://www.slideshare.net/OpenDataSupport/open-data-quality-29248578 . (last access 2016/1/30)
資料品質 :

32. 2017 OD2DG

33. 2017 OD2DG
資料來源：Open data Support (2014). Open Data & Metadata Quality. Available from:
https://www.slideshare.net/OpenDataSupport/open-data-quality-29248578 . (last access 2016/1/30)
資料品質 :

34. 2017 OD2DG

35. 2017 OD2DG
資料品質評鑑 :
1. 資料 metadata 描述
2. 資料下載與取得
3. 資料編碼與資料結構化
4. 資料內容描述 (data schema)
5. 資料欄位與內容標準 (standard)

36. 2017 OD2DG
資料品質評鑑 :
1. 資料 metadata 描述
2. 資料下載與取得
3. 資料編碼與資料結構化
4. 資料內容描述 (data schema)
5. 資料欄位與內容標準 (standard)

37. 2017 OD2DG
資料集詮釋資料與內容 :
1. 資料集與關鍵字搜尋
2. 資料集的標題
3. 資料集的描述
4. 主要欄位說明
5. 資料集更新頻率

38. 2017 OD2DG
http://data.gov.tw/node/22373

40. 2017 OD2DG

41. 2017 OD2DG

43. 2017 OD2DG

44. 2017 OD2DG
資料品質評鑑 :
1. 資料 metadata 描述
2. 資料下載與取得
3. 資料編碼與資料結構化
4. 資料內容描述 (data schema)
5. 資料欄位與內容標準 (standard)

45. 2017 OD2DG
資料集檔案格式與內容:
1. 資料取得的方式
2. 檔案格式與編碼 (五星標準)
3. 專屬與非專屬格式
4. 結構化與非結構化格式
5. 主要欄位說明
6. 內容的檢驗

46. 2017 OD2DG
資料集檔案格式與內容:
1. 資料取得的方式
2. 檔案格式與編碼 (五星標準)
3. 專屬與非專屬格式
4. 結構化與非結構化格式
5. 主要欄位說明
6. 內容的檢驗

47. 2017 OD2DG
資料集檔案格式與內容:
1. 資料取得的方式
2. 檔案格式與編碼 (五星標準)
3. 專屬與非專屬格式
4. 結構化與非結構化格式
5. 主要欄位說明
6. 內容的檢驗

48. 2017 OD2DG
資料集檔案格式與內容:
1. 資料取得的方式
2. 檔案格式與編碼 (五星標準)
3. 專屬與非專屬格式
4. 結構化與非結構化格式
5. 主要欄位說明
6. 內容的檢驗

49. 2017 OD2DG
• 結構化
• DB – 資料庫
• XML / JSON / KML
• 半結構化
• CSV / TSV
• 非結構化
• Word / 圖片 / 影音

50. 2017 OD2DG

51. 2017 OD2DG

52. 2017 OD2DG
中文編碼 (Big5 / UTF8)

53. 2017 OD2DG
資料集檔案格式與內容:
1. 資料取得的方式
2. 檔案格式與編碼 (五星標準)
3. 專屬與非專屬格式
4. 結構化與非結構化格式
5. 主要欄位說明
6. 內容的檢驗

54. 2017 OD2DG

55. 2017 OD2DG
主要欄位說明

56. 2017 OD2DG

57. 2017 OD2DG

58. 2017 OD2DG
https://goo.gl/WnHp53

59. 2017 OD2DG
內容的檢驗
(結構化)資料分類
1. 表格數字 + 文字
Excel / Google Sheets
2. 地理空間資料
Google Fusion Table
CartoDB

60. 2017 OD2DG
內容的檢驗
資料清洗 – Data Cleaning
一致性檢查
• 台北市，北市，台北
• 使用單位 (千元，萬？)
• 多餘空白
• 重複資料
無效值與缺失值
• 噪音資料 / Noisy Data
• 不完整資料 / incomplete Data

61. 2017 OD2DG
什麼才是好資料 :
我知道這個資料在說什麼
我知道資料怎麼收集
我知道資料涵蓋範圍和內容
我知道資料幾時會更新
我不用花時間去清洗資料

62. 2017 OD2DG
如何一招解救世界:
所有可公開資訊都在機關網站上
網站上資訊沒有個資或機密問題
所有人搜尋都會找到網站
從網站我可知道人民的需求
機關網站採用開放資料授權

63. 2017 OD2DG
有沒有可能
讓網站與網頁上的內容
直接轉為開放資料

64. 2017 OD2DG
釐清資料歸屬權
把網站內容轉為資料集

65. 2017 OD2DG
資料結構化
資料描述 - Metadata
開放近用
(開放格式，開放 API）

66. 2017 OD2DG

67. 2017 OD2DG
http://osds.openlinksw.com/

68. 2017 OD2DG

69. https://icook.tw/recipes/81979.json
2017 OD2DG

70. 2017 OD2DG

71. 2017 OD2DG

72. 2017 OD2DG

73. 2017 OD2DG

74. 2017 OD2DG

75. 2017 OD2DG
www.slideshare.net/ChiachunYeh/105-v1-20160317

76. 2017 OD2DG
資訊結構化 :
1. 資訊分類（網站內容）
2. 語意分類模式與資料模型
3. 資訊內容結構化與相關標準
4. 網頁嵌入結構化資料
5. 建立網站地圖 （結構化資料）

77. 2017 OD2DG
如何一招解救世界:
重新設計網站（網站資訊架構）
網站內容分類與結構化
後台設計（上稿與資料介接）
網頁呈現與網站地圖

78. 2017 OD2DG
資料治理與資料生命週期
但是還有許多其他資料

79. 2017 OD2DG
https://www.w3.org/TR/2017/REC-dwbp-20170131/