This is a presentation I prepared for Beijing Open Party. It's a summary of what I learned when I was building a crawler system. There must be some mistakes, please don't use/read in seriously purpose.

1. Spider
实现 Spider 细 节

2. 们 统 构 过
识 术语
过 过 实现 “ ”讲 实现
简单
问题 论
监 馈
键问题 预测 颈
读 论 Spike

3. 务调 对 “ 识 ”
战较

4. vs.
http://www.flickr.com/photos/blueblankut/497571704/sizes/z/in/photostream/
http://www.flickr.com/photos/coreyburger/2481836757/sizes/z/in/photostream/

5. 构
处

6. 构
归
Dust
链 锚

7. 构
页 识
链 务优 级 页 评
评 键 识
错惩罚 历
鲜
访问

8. 构
压
ip压
规则protocol sitemap robots.txt
链 检测

9. 构
处
结构 识
语义
结构 识
识
联Link

10. 构
词
词库 Trie树

11. 构
词
图 Query转换
词
键词
层 访问
Cache

12. 杂 ……
http://www.flickr.com/photos/regolare/791385521/

13. 说Spider…… 构
线
实时优 级 线
实时 处 统Map-
Reduce
资
节 资
馈 长 迟

14. Crawler Architecture
Repository
Downloader
Download Extractor
Worker Worker
save page
to repository
if 302 founded
get a link update link
http status
put downloaded
page to queue
links queue
pages queue extract links
and save
main loop will put
peek site's links to
queue
Crawler Linkbase
main loop
Site will refill itself
when it's empty
TaskLoader
Priority Heap
Scope.txt Sites
Ordered Site
and their links

15. 键 术
储 统
统 调 监
线 驱动
链 储结构 务调

16. 键 术
Dust
页 Simhash
PageRank评 还 简单 标评
词库 词

17. 键 术
robust html css selector lxml tidy
认证码识
规则url
术 proxy 术 还 UA伪

18. 传1-NoSQL
统 储扩 颈 尝试 NOSQL

19. 传-NoSQL
统 结构 NOSQL 实现
优 队 Heap
队
队 FIFO

20. 传-NoSQL
术选 围 这 选
为
HBase
Cassandra

21. 传-NoSQL
Cassandra
稳 问题 bug
实 Random
patitioning 对实
资
对 Crawler 说 们 Crawler 严 赖
锁 务
负 闻

22. 传-NoSQL
CAP对 说应该
HBase -> CP Cassandra -> AP
实际 Cassandra C
Crawler link

23. 传2-Google 动
incremental processing system -
Percolator. a.k.a. Caffeine

24. 传2-Google 动
BigTable 储 预
务 证 timestamp oracle lightweight
lock
产 Notification 库 trigger
线 Observer传递Notification
统 费Notification Percolator Worker实
现 们 线 务

25. 传2-Google 动
对Map-Reduce 评
迟
赖 Locality 设计

26. 传2-Google 动
Trade-off
时 trillion:million
Map-Reduce 迟
单Page RPC MR 过读 队 组 预读
缓 10 MR RPC
资

27. 传2-Google 动
Percolator 传统DBMS DBMS
查询语
为 scale设计 库 为 节
Percolator 节 节
调 迟 调
Percolator 义为shared-nothing parallel
databases

28. Thanks