[Week4] Google refine

1. Data

2. Wrangling

3. Google

4. Refine Bae Yeowoon

5. Google

6. Refine

8. Chapter1 Chapter1 Getting started with Google Refine

9. Google

10. Refine

12. Chapter1 1 Diving into Google Refine

13. Google

14. Refine

16. Chapter1 1. http://openrefine.org/download.html 1. http://openrefine.org/download.html 2. Mac kit 다운로드 3. dmg 파일 열고 OpenRefine 아이콘을 application 폴더로 드래그 4. 실행 2. ZIP 파일 다운받기 3. OpenRefine 실행

17. Google

18. Refine

20. Chapter1 OpenRefine은 Google Chrome에서만 실행 가능 Internet Explorer에서는 작동 X Chrome

21. Google

22. Refine

24. Chapter1 2.Introducing Google Refine

25. Google

26. Refine

28. Chapter1 •방대한 데이터를 다루기에 효과적인 도구 •Free OpenSource •Desktop based •Facet으로 데이터의 양상을 실시간 파악 가능 •다양한 input output 데이터 포맷 •데이터 변형이 쉬움 •API를 통한 데이터 변형 가능

29. Google

30. Refine

32. Chapter1 Google Refine Spreadsheets Databases 1. Batch editing of rows and columns possible   2. Used for exploring and transforming data.   3. No Schema Required   4. Data is always visible   at each step of editing.   5. More interactive and   visual.   1. Editing of one cell at a time.   2. Used for entering data and performing calculations, functions.   3. No Schema Required   4. Data is always visible   5. Visual is not impressive.   1. Schema and programming   language required for editing.   2. Data is out of sight unless   script is run to view it.  

33. Google

34. Refine

36. Chapter1 3 Creating Setting a new project 새로운 프로젝트 만들기

37. Google

38. Refine

40. Chapter1 Facebook Group에서 sample_data.zip를 다운로드 받아주세요 https://goo.gl/4ac9tv

41. Google

42. Refine

44. Chapter1 Create Project 파일선택 Next •Creating Setting a new project 1 2 3 실습예제 : RatesSweden.csv

45. Google

46. Refine

48. Chapter1 •데이터 정제 전에 필요한 세팅 단계 •CSV, TSV 설정과 문자 인코딩 •그리고 숫자로 인식하게끔 설정 •프로젝트명 설정 •Main setting

49. Google

50. Refine

52. Chapter1 •Check List • Row의 갯수 확인 • 한 페이지에 몇 개의 row를 볼 것인지? • previous / next 페이지 설정 • Open Project • Export

53. Google

54. Refine

56. Chapter1 4 OpenRefine for Beginner •Moving columns around •Renaming and removing columns •Using the project history •Sorting Data •Transposing rows and columns

57. Google

58. Refine

60. Chapter1 •Moving columns around •Renaming and removing columns •Using the project history •Sorting Data •Transposing rows and columns 4.OpenRefine for Beginner

61. Google

62. Refine

64. Chapter1 •Moving columns •Move columns to beginning, end, left, right로 구성 •Column의 자리를 교체하기 위한 기능. DragDrop으로는 X

65. Google

66. Refine

68. Chapter1 •Moving columnsFunction Content Move column to beginning 해당 Column을 가장 왼쪽 첫번째 열로 이동 Move column to end 해당 Column을 가장 오른쪽 마지막 열로 이동 Move column to left 현재 열의 왼쪽으로 이동 Move column to right 현재 열의 오른쪽으로 이동

69. Google

70. Refine

73. Google

74. Refine

76. Chapter1 •Rename this column •Remove this column

77. Google

78. Refine

80. Chapter1 •Rename this column •Edit column - Rename this column •Column의 이름을 변경하기 위한 기능

81. Google

82. Refine

84. Chapter1 •Rename this column •원하는 칼럼명을 써주고 ‘확인’ •확인 후, 변경된 것을 확인할 수 있음

85. Google

86. Refine

88. Chapter1 •Remove this column •Edit column - Remove this column •해당 Column을 제거하기 위한 기능

89. Google

90. Refine

92. Chapter1 •Remove this column •해당 column이 제거된 것을 확인 •Undo를 통해 다시 복귀할 수 있음

93. Google

94. Refine

97. Google

98. Refine

100. Chapter1 •Using the history project •작업의 과정을 Undo / Redo를 통해서 확인 •실수한 작업과정을 되살릴 수 있다는 장점을 history로 확인 •해당 과정을 선택하면 돌아가거나 다시 복귀가 가능

101. Google

102. Refine

103. _

104. Chapter1 •Using the history project •Extract Operation History 메뉴 •작업과정을 JSON파일 포맷으로 추출해서 관리 및 향후 사용 가능 •특정한 작업 과정만 선택해서 관리 가능

105. Google

106. Refine

107. _

109. Google

110. Refine

111. _

112. Chapter1 •Sorting Data •Excel의 필터링 기능과 동일 •Sort cell value as 및 Position blanks and errors 선택 가능 •해당 sorting cell마다 순서배열이 다름

113. Google

114. Refine

115. _

116. Chapter1 •Sorting Data •text, numbers, dates, booleans로 해당 column의 성격 정의 •유효한 값, 오류, 공백 등을 어떤 순서로 나열할 것인지 결정 (Drag Drop) •목적에 맞는 sorting 성격을 정의한 후, 확인

117. Google

118. Refine

119. _

120. Chapter1 Function Sorting content text a - z 알파벳 a부터 정렬 z - a 알파벳 z부터 역정렬 numbers smallest first 내림차순 정렬 largest first 오름차순 정렬 Dates earliest first 빠른 날짜 순으로 정렬 latest first 늦은 날짜 순으로 정렬 booleans false then true 참인 값부터 정렬 true then false 거짓인 값부터 정렬 •Sorting Data

121. Google

122. Refine

123. _

125. Google

126. Refine

127. _

128. Chapter1 •Transposing rows and columns •row와 column의 순서(배열)를 바꿈 •Transpose cells across columns into rows •Transpose cells in rows into columns

129. Google

130. Refine

131. _

132. Chapter1 •From Column, To Column에서 정리할 Columns 영역 선택 •Key column과 Value column에서 column 변수명 설정

133. Google

134. Refine

135. _

136. Chapter1 •Serial Number 부터 birthplace까지의 열이 행으로 변환 •변환된 형식의 key, value값 확인할 수 있음 •birthprovince 이후로는 이젠 데이터 형식과 동일

137. Google

138. Refine

139. _

140. Chapter1 5.Correct bad formatting 잘못된 형식 바로잡기 •replace(orginal value, “replaceable text”, “new text”) •To Number •Numeric Facet

141. Google

142. Refine

143. _

144. Chapter1 •replace(orginal value, “replaceable text”, “new text”) •To Number •Numeric Facet 4.OpenRefine for Beginner

145. Google

146. Refine

147. _

148. Chapter1 • rate의 경우 쉼표가 아닌 마침표로 구분하는게 보편적 • 그렇다면 어떻게 한번에 쉼표만 마침표로 바꿀 수 있을까? • Edit cells - transform •replace(value, “,” , “.”)

149. Google

150. Refine

151. _

152. Chapter1 •replace(value, “,”, “.”)

153. Google

154. Refine

155. _

156. Chapter1 •replace(orginal value, “replaceable text”, “new text”) •To Number •Numeric Facet

157. Google

158. Refine

159. _

160. Chapter1 •Edit Cells - Common Transforms - To number •글씨가 검은색에서 녹색으로 변해야 숫자로 인식

161. Google

162. Refine

163. _

164. Chapter1 •replace(orginal value, “replaceable text”, “new text”) •To Number •Numeric Facet

165. Google

166. Refine

167. _

168. Chapter1 •Numeric Facet를 통해 데이터의 양상을 파악 •Scale 조정을 통해 원하는 구간 선택 및 sorting

169. Google

170. Refine

171. _

172. Chapter1 6.Correct Misspellings 잘못된 오류 바로잡기 •Trim •To Uppercase or To lowercase •Clustering •Merge columns

173. Google

174. Refine

175. _

176. Chapter1 •Trim •To Uppercase or To lowercase •Clustering •Merge columns

177. Google

178. Refine

179. _

180. Chapter1 •CSV파일로 전환해줘야 함

181. Google

182. Refine

183. _

184. Chapter1 •Facet - Text facet •facet를 통해 city 데이터 파악

185. Google

186. Refine

187. _

188. Chapter1 •동일한 데이터가 다른 데이터로 인식 •끝에 띄어쓰기가 되어 있기 때문에 •동일한 데이터로 인식시켜 줘야 함 (trim)

189. Google

190. Refine

191. _

192. Chapter1 •city - Edit cells •value.trim()

193. Google

194. Refine

195. _

196. Chapter1 •city - Edit cells - value.trim() •Albuquerque를 비롯한 띄어쓰기가 적용된 값들이 정리 되었음 •Albuquerque의 갯수가 2,071개 - 2,063로 바뀜

197. Google

198. Refine

199. _

200. Chapter1 •Trim •To Uppercase or To lowercase •Clustering •Concatenation

201. Google

202. Refine

203. _

204. Chapter1 •미국 54개 주? •미국의 워싱턴 D.C를 합쳐도 51개 되어야 함 •오하이오주가 대/소문자로 인해 다른 데이터로 인식 •그 밖에 다른 주도 대/소문자 구별이 되지 않은 데이터

205. Google

206. Refine

207. _

208. Chapter1 •Edit cells - Common transform - To uppercase •대문자로 통일 1 2 3

209. Google

210. Refine

211. _

212. Chapter1 •51개 주로 수정

213. Google

214. Refine

215. _

217. Google

218. Refine

219. _

220. Chapter1 •Oklahoma City vs. Oklahoma city •Cluster and edit 메뉴를 통해 클러스터링 •OpenRefine의 내장 알고리즘에 의해 분석 1 2 3

221. Google

222. Refine

223. _

224. Chapter1 •클러스터링을 통해 유사값들을 보여줌 •음성학, 유사형태 등의 분석방법으로 분석 •정확하게 데이터에 대한 파악 후, 병합해야만 한다

225. Google

226. Refine

227. _

229. Google

230. Refine

231. _

232. Chapter1 •미국 주별 총기사건수 비교 •9위 콜럼버스는 72건 •과연 그럴까?

233. Google

234. Refine

235. _

236. Chapter1 •동일한 도시 이름 Columbus의 해당 주는 OH, GA, IN등 다르다 •즉 전혀 맞지 않는 총기사건수가 카운팅 된 것으로 파악할 수 있음 •그렇다면, city + state를 병합하여 정확한 행정구역을 만들어줘야 함

237. Google

238. Refine

239. _

240. Chapter1 •City - Edit cells - transform •value + “,” + cells[“state”].value

241. Google

242. Refine

243. _

244. Chapter1 •Text facet으로 다시 분석 •앞의 결과와 달리 정확한 분석

245. Google

246. Refine

247. _

248. Chapter1 7.Invalid values and duplicates 유효하지 않은 값과 중복값 •데이터에 대한 이해로 접근하기 •오류데이터에 대한 이유 분석과 수정

249. Google

250. Refine

251. _

252. Chapter1 샘플예제 : (re)titanic.csv •데이터에 대한 이해로 접근하기 •오류데이터에 대한 이유 분석과 수정

253. Google

254. Refine

255. _

256. Chapter1 •Titanic 탑승자 정보 데이터 오류는 없을까? •우선 sex facet를 통한 데이터 현황 파악

257. Google

258. Refine

259. _

260. Chapter1 •남성과 여성이 아니면? •기본적으로 데이터 오류라고 추정

261. Google

262. Refine

263. _

264. Chapter1 •여성의 이름 앞에 Miss •여성으로 간주 할 수 있다

265. Google

266. Refine

267. _

268. Chapter1 •female이라고 수정

269. Google

270. Refine

271. _

272. Chapter1 •데이터에 대한 이해로 접근하기 •오류데이터에 대한 이유 분석과 수정

273. Google

274. Refine

275. _

276. Chapter1 •Facet - Numeric facet •Scale 범위 조정으로 오류 데이터 잡아내기 •490살 오류 데이터 •49살이라고 입력해야 할 것을 잘못 입력했다고 판단 •49살로 수정 후, number로 설정

277. Google

278. Refine

279. _

280. Chapter1 8.Exporting a project 프로젝트 내보내기

281. Google

282. Refine

283. _

284. Chapter1 •TSV •CSV •HTML table •Excel •MQL Write

285. Google

286. Refine

287. _

288. Chapter1 •Practice •hokuk.xls 파일을 openrefine에서 활용해 보세요 •Concatenation, value.round(), trim() 등을 활용

289. Google

290. Refine

291. _

292. Chapter1 9 Clean Manage data •Add column based on column •value.split(“”)[index] •value.substring(index) •value + “string” •value.trim().length()

293. Google

294. Refine

295. _

296. Chapter1 •Add column based on column •value.split(“”)[index] •value.substring(index) •value + “string” •value.trim().length() •https://github.com/OpenRefine/OpenRefine/wiki/Understanding-Expressions

297. Google

298. Refine

299. _

300. Chapter1 •Add columns based on column • 현재 column을 기반으로 새로운 column 추가 •완전히 새로운 데이터를 만드는 것이 아니라 기존의 데이터에서 변형하는 것

301. Google

302. Refine

303. _

304. Chapter1 •New column name에서 새로운 column 이름 설정 •value[0,4] 입력 •index0부터 마지막 index 번호는 제외하고 추출 •index0부터 시작한다는 것에 유의

305. Google

306. Refine

307. _

308. Chapter1 •Only Year라는 새로운 Column이 생성 •년도만 추출된 것을 확인할 수 있음

309. Google

310. Refine

311. _

312. Chapter1 •Add column based on column •value.split(“”)[index] •value.substring(index) •value + “string” •value.trim().length()

313. Google

314. Refine

315. _

316. Chapter1 •Value.split(“”)[index] •따음표 사이의 요소로 구분된 해당 index 단락만 추출 •충청북도 보은군 대북면 index0 index1 index2 •Edit cells - Transform

317. Google

318. Refine

319. _

321. Google

322. Refine

323. _

324. Chapter1 •value.substring(“range”) •앞에서부터 해당 범위만큼 값 날리기 •충청북도 보은군 1 •value.substring(5)는 앞에서부터 5번째 글자까지(공백포함) 날림 •따라서 충청북도+띄어쓰기 삭제 2 3 4 5 •Edit cells - Transform

325. Google

326. Refine

327. _

329. Google

330. Refine

331. _

332. Chapter1 •value + “string” •value 값에 원하는 요소 추가

333. Google

334. Refine

335. _

337. Google

338. Refine

339. _

340. Chapter1 •value.trim().length() •해당 값의 길이 구하기 •나중에 데이터를 가지고 함수값 사용할 때 종종 사용 •띄어쓰기도 포함

341. Google

342. Refine

343. _

344. Chapter1 10 Linking Datasets •Reconciling with Linked Data

345. Google

346. Refine

347. _

348. Chapter1 •Reconcile •http://opencorporates.com/reconcile •두 가지 value를 조화시키는 것 •Reconcile - Start reconciling

349. Google

350. Refine

351. _

352. Chapter1 •linking 하려고 하는 dataset or API 연결 1 2

353. Google

354. Refine

355. _

356. Chapter1 •왼쪽 그림과 같이 column이 변화된 것을 확인

357. Google

358. Refine

359. _

360. Chapter1 •Westminster 도시와 연관된 모든 정보가 연결 •주소, 가게, 학원 등과 같은 데이터가 연결

361. Neuro Associates ・ Portfolio : neuroassociates.co.kr/portfolio ・ Address : 서울특별시 마포구 상수동 145-1 6F ・ Site : neuroassociates.co.kr ・ Mail : neuro.associates.consulting@gmail.com or info@neuroassociates.co.kr ・ SNS : www.facebook.com/neuroassociatessns ・ Phone : 02-334-2013

[Week4] Google refine

Recomendados

Recomendados

Mais conteúdo relacionado

Mais de neuroassociates

Mais de neuroassociates (20)

[Week4] Google refine