정보검색 과목 자료 조사용 pt

1. WEB CRAWLER
전북대학교

2.
200924031

3. 김윤섭

4. Focus
1.

5. 웹

6. 크롤러?

7.
2.

8. 응용

9. 방향

10.
3.

11. 검색

12. 엔진용

13. 크롤러

14. 정책

15.
4.

16. 기타

17. 이슈

18. 1.

19. 웹

20. 크롤러?
웹

21. 크롤러의

22. 소개

23. 1.1What is Crawler?
자동으로

24. 웹

25. 페이지를

26. 수집하는

27. 프로그램

28.
수집한

29. 페이지의

30. url으로

31. 이동하며

32. 범위를

33. 넓혀감

34. 크롤링의

35. 핵심

36.
정보

37. 수집

38.
ex)

39. 주커버그의

40. 예쁜
여자

41. 찾기

43.
~

44. 검색엔진의

45. 기반
1.1What is Crawler?

46. 1.2 web crawler
자동으로

47. 웹

48. 페이지를

49. 수집하는

50. 프로그램

51.
수집한

52. 페이지의

53. url으로

54. 이동하며

55. 범위를

56. 넓혀감

57. 2.

58. 응용해보기
남의

59. 기술로

60. 훌륭한

61. 서비스

62. 만들기

63.
DDOS

64.
데이터

65. 마이닝(트렌드

66. 분석,

67. 게시글

68. 성향

69. 분석

70. 등)

71. 2.1

72. 남의

73. 기술로

74. 서비스

75. 만들기
크롤링을

76. 통해

77. 수집한

78. 데이터를

79. 토대로

80. 또

81. 다른

82. 서
비스

83. 제작

84.
뉴스,

85. 블로그

86. 글

87. 모아보기

88. 등

89.
ex)

90. 최저가

91. 사이트를

92. 모아,

93. 그

94. 중의

95. 최저가를

96. 다시

97. 보여주는

98. 쿠챠

99. 같은..

100. 특정

101. 서버에게

102. 수많은

103. 접속

104. 시도를

105. 만들어

106. 다른

107. 이
용자가

108. 정상적으로

109. 서비스

110. 이용을

111. 하지

112. 못하게

113. 하
거나,

114. 서버의

115. TCP

116. 연결을

117. 바닥내는

118. 등의

119. 공격이

120. 이

121.
범위에

122. 포함된다.
2.2 DDOS

123. 페이지의

124. 정보

125. 취득보다

126.
접근으로

127. 서버에

128. 부하를

129.
주는

130. 것이

131. 목적.

132.
ex)

133. 우리

134. 학교

135. 기관

136. 검색을

137.
thread

138. 로

139. 다중

140. 접근하면

141.
금방

142. 서버가

143. 마비됩니다..
2.2 DDOS

144. 2.3 mining

145. 3. Crawler for Search
검색엔진용

146. 크롤러

147. 정책

148. 3.1

149. 크롤러

150. 정책
크롤러의

151. 활용도는

152. 다양

153.
그

154. 중

155. 가장

156. 정석이

157. 되는

158. 검색엔진용

159. 크롤러

160. 정책

161. 3.1.1

162. 선택정책
저장할

163. 페이지를

164. 선별하여

165. 담는다.

166. 3.1.1

167. 선택정책-세부
탐색

168. 링크

169. 제한

170.
html형식의

171. 링크만

172. 탐색

173.
MIME(멀티미디어)

174. 링크는

175. 제외

176. 3.1.1

177. 선택정책-세부
URL

178. 정규화

179.
url

180. 작성의

181. 차이로

182. 동일

183. 페이지에

184. 접근을

185. 막는다.

186. 3.1.1

187. 선택정책-세부
경로

188. 상승

189. 필터링

190.
seed가

191. 되는

192. url에서

193. 전혀

194. 다른

195. 가지로

196. 뻗어나가

197.
탐색

198. 범위를

199. 넓힘

200.
abc.com/monkey

201. -

202. abc.com/rabbit,

203. /tiger..

204. 3.1.1

205. 선택정책-세부
집중

206. 크롤링

207.
화제가

208. 되는

209. 주제에

210. 관련된

211. 페이지를

212. 우선

213.
페이지

214. 수집의

215. 정확도

216. 향상

217. 목표

218. 3.1.2

219. 재방문

220. 정책
페이지의

221. 변화를

222. 감지하여

223. 재방문

224. 여부를

225. 정함

226. 3.1.2

227. 재방문

228. 정책
정의

229.
페이지의

230. 변화를

231. 감지하여

232. 재방문

233. 여부를

234. 정함

235.
웹은

236. 매우

237. 역동적,

238. 주기적으로

239. 정보

240. 수집

241. 여부를

242. 조
사해야함.

243.
수집시,

244. 추가/변화를

245. 보관하여

246. 재방문의

247. 조건으로

248.
사용

249. 3.1.2

250. 재방문

251. 정책
본

252. 정책의

253. 최대

254. 가중치

255. 요소

256.
ㄴ

257. 신선도,

258. 최신여부

259. 3.1.2

260. 재방문

261. 정책-세부
균일

262. 정책

263.
모든

264. 재방문

265. 가중치는

266. 똑같은

267. 조건으로

268. 수행

269. 3.1.2

270. 재방문

271. 정책-세부
비례

272. 정책

273.
재방문률은

274. 가중치에

275. 비례

276.
신선도,

277. 최신순

278. 어느

279. 하나도

280. 따르지

281. 않는다면

282. 최
악의

283. 재방문

284. 정책.

285. 3.1.3

286. 공손정책
정의

287.
서버에

288. 무리가

289. 가는

290. 접근은

291. 피한다

292.
부분적

293. 해결법으로

294. robot

295. 제외

296. 프로토콜

297. 사용

298. 3.1.4

299. 병렬화

300. 정책
정의

301.
분산

302. 웹

303. 크롤러를

304. 조정한다.

305.
동일

306. 페이지

307. 중복

308. 저장을

309. 피하기

310. 위함

311.
동일

312. 도메인에

313. 분산

314. 크롤링을

315. 피하되,

316. 불가피

317. 하다
면

318. 회피

319. 정책이

320. 추가

321. 필요

322. 3. ETC.. but, Fun.
ajax에

323. 의해

324. 생긴

325. 동적

326. 페이지

327. 크롤링

328.
모바일의

329. 증가에

330. 따른

331. 크롤

332. 데이터

333. 감소

334. 3.1 ajax
ajax

335. 때문에

336. 생긴

337. 이슈

338.
웹페이지

339. 자체에

340. ajax데이터의

341. 크롤링을

342. 허가

343. 해주
는

344. 방법

345.
크롤링

346. 규칙이

347. 정해져

348. 있다면,

349. url접근

350. 정도에

351. 따라

352.
가능.

353. 3.1 mobile Data
모바일

354. 기반

355. 서비스의

356. 증가.

357.
폐쇄형

358. 데이터

359. 보관으로

360. 인해

361. 크롤러

362. 접근

363. 불가

364.
최근,

365. 기업의

366. 협력등을

367. 통한

368. 데이터

369. 교류로

370. 해소한
다고

371. 함.

373. Thanks