Lý thuyết về đồ thị Web và các thuật toán phân hạng trang Web

1. Đại học Bách Khoa Hà Nội
Viện Toán ứng dụng và Tin học
Seminar Tin ứng dụng
Web graph and Page rank
Bùi Đức Hiệu
Phạm Anh Tuấn
Nguyễn Văn Vũ

2. Giới thiệu
Ảnh chụp của đồ thị Internet
(Nguồn: Wikipedia)
Seminar 2012

3. Nội dung
Giới thiệu
Đồ thị Web
Thuật toán PageRank
Cải tiến thuật toán PageRank
Thuật toán HITS
Cài đặt các thuật toán
Seminar 2012

4. Giới thiệu
 Trong 2 thập kỷ qua, mạng internet phát triển rất mạnh mẽ.
Trang web đầu tiên trên thế giới là info.cern.ch (Tim Berners-
Lee), đến năm 2008 chúng ta đã có 162 triệu trang web
Seminar 2012

5. Giới thiệu
Seminar 2012

6. Giới thiệu
Vấn đề đặt ra:
làm sao để khai thác
tối đa những thông
tin mà người sử
dụng cần ???
Giải pháp:
Tạo sự liên kết giữa các trang web với nhau
Seminar 2012

7. Giới thiệu
Seminar 2012

8. Đồ thị
Đồ thị: là một tập các đối tượng gọi là đỉnh nối với nhau bởi
các cạnh.
Seminar 2012

9. Đồ thị
Một số khái niệm liên quan đến đồ thị:
 Đồ thị vô hướng
Seminar 2012

10. Đồ thị
 Đồ thị có hướng
Seminar 2012

11. Ma trận

1
A B C D A B
A 0 1 2 3 3
2 6
B 0
C 0 3 C 3 D
D 0
Seminar 2012

12. Ma trận

Seminar 2012

13. Ma trận

Seminar 2012

14. Nội dung
Giới thiệu
Đồ thị Web
Thuật toán PageRank
Cải tiến thuật toán PageRank
Thuật toán HITS
Cài đặt các thuật toán
Seminar 2012

15. Đồ thị web
Định nghĩa
Các tính chất của đồ thị web
Cấu trúc vi mô
Luật tăng trưởng
Mô hình
Seminar 2012

16. Đồ thị web
Định nghĩa:
Các trang web ngoài các đặc trưng về sự hiển thị trên trình
duyệt qua ngôn ngữ HTML, CSS mà chúng còn có sự liên kết,
kết nối đến nhau. Chính những liên kết này tạo nên đồ thị web.
Seminar 2012

17. Đồ thị web
Seminar 2012

18. Đồ thị web
Seminar 2012

19. Đồ thị web
Đồ thị và ma trận biểu diễn sự liên kết giữa các trang
1 2 3 4
1 1
2 0 0 0
3 0
4 0 0
Seminar 2012

20. Đồ thị web
Tính chất của đồ thị web
 Các trang web được xem như là các nút của đồ thị
 Các siêu liên kết được xem như là các cạnh của đồ thị
Nút
Cạnh
Seminar 2012

21. Đồ thị web
Các thuật toán phân hạng web hiện nay:
 PageRank
 Topic Sensitive PageRank
 Adaptive PageRank
 Timed PageRank
 HITS
Seminar 2012

22. Cấu trúc đồ thị web
Có 4 thành phần:
 SCC(strongly connected component)
 IN
 OUT
 TENDRILS
Seminar 2012

23. Cấu trúc đồ thị web
Seminar 2012

24. Ý nghĩa của đồ thị web
Liên kết được nhiều trang web với nhau
Mạng lưới của những liên kết này là nguồn phong
phú của các thông tin tiềm ẩn.
Seminar 2012

25. Luật tăng trưởng

Seminar 2012

26. Luật tăng trưởng

Seminar 2012

27. Mô hình trong đồ thị web
Các thuộc tính trong mô hình đồ thị web
 On-line property
 Power law degree distribution
 Small world property
Seminar 2012

28. Mô hình đồ thị web

Seminar 2012

29. Mô hình trong đồ thị web
Một số mô hình trong đồ thị web:
 Mô hình tập tin đính kèm ưu đãi ( preferential attachment
models)
 Mô hình LCD PA (The LCD PA model)
 Mô hình sao chép (The copying model)
 Mô hình growth-deletion ( growth – deletion models)
 Mô hình hình học (geometric model)
 Mô hình off – line (off – line model)
Seminar 2012

30. Nội dung
Giới thiệu
Đồ thị Web
Thuật toán PageRank
Cải tiến thuật toán PageRank
Thuật toán HITS
Cài đặt các thuật toán
Seminar 2012

31. Thuật toán PageRank
Vấn đề:
Seminar 2012

32. Thuật toán PageRank
Vấn đề
 Số lượng lớn
 Thay đổi liên tục
 Thông tin rác
 Độ phân tán
CẦN MỘT PHƯƠNG PHÁP
KHAI THÁC THÔNG TIN
Seminar 2012

33. Thuật toán PageRank
Nhanh
CẦN GÌ Dễ dàng cài đặt
Chính xác
Seminar 2012

34. Thuật toán PageRank
Tổng quan
Seminar 2012

35. Thuật toán PageRank
Kết quả thừa nhận
Trang A được trỏ bởi càng
nhiều link thì càng quan
trọng.
“A => B thì độ quan trọng
của trang A cũng ảnh
hưởng đến độ quan trọng
của trang B”.
Seminar 2012

36. Thuật toán PageRank
Ý tưởng.
 Sử dụng:
Seminar 2012

37. Thuật toán PageRank
Xây dựng mô hình bài toán.
 Xây dựng đồ thị có hướng G=(V,E):
• V={Vi : Vi đại diện cho 1 web, i = 1..n }
• E={(i,j): có liên kết từ i tới j; i,j=1..n}
 Mọi tính toán hạng trang thực hiện trên đồ thị
này.
Seminar 2012

38. Thuật toán PageRank
Seminar 2012

39. Thuật toán PageRank
Thuật toán
 Đầu vào:
• Đồ thị web.
• Các trang web đã có page rank mặc định
 Đầu ra:
• Các trang được xếp hạng theo page rank thực
Seminar 2012

40. Thuật toán PageRank

Seminar 2012

41. Thuật toán PageRank
Vấn đề:
 Số lượng thông tin rất lớn.
Cần phương pháp để tính toán
Giải quyết:
 Thử đưa về mô hình toán học, áp dụng các
thuật toán tính toán nhanh
Seminar 2012

42. Thuật toán PageRank

Seminar 2012

43. Thuật toán PageRank

Seminar 2012

44. Thuật toán PageRank
Thuật toán – Cải tiến
 Vì sao phải cải tiến?
 Liệu có trang web nào có page rank bằng 0?
Seminar 2012

45. Thuật toán PageRank

Seminar 2012

46. Thuật toán PageRank
Lưu ý.
 Thuật toán sử dụng lặp để tính toán liên tiếp, tác
giả đã khẳng định sau khoảng 50 vòng lặp sẽ nhận
kết quả với sai số chấp nhận được
Đánh giá.
Seminar 2012

47. Nội dung
Giới thiệu
Đồ thị Web
Thuật toán PageRank
Cải tiến thuật toán PageRank
Thuật toán HITS
Cài đặt các thuật toán
Seminar 2012

48. Topic Sensitive PageRank
Seminar 2012

49. Topic Sensitive PageRank

Seminar 2012

50. Adaptive PageRank
Seminar 2012

51. Adaptive PageRank
Sepandar D. Kamvar và cộng sự, 2003
Tận dụng những trang hội tụ sớm và kết quả độ quan
trọng của các trang đã hội tụ có thể không cần tính
tiếp
Seminar 2012

52. Timed PageRank
Seminar 2012

53. Timed PageRank

Seminar 2012

54. Nội dung
Giới thiệu
Đồ thị Web
Thuật toán PageRank
Cải tiến thuật toán PageRank
Thuật toán HITS
Cài đặt các thuật toán
Seminar 2012

55. HITS
 HITS - Hypertext Induced Topic Selection
 Jon M. Kleinberg đề xuất, 1998 - 1999
 Không giống như PageRank - một thuật toán xếp hạng tĩnh,
HITS phụ thuộc vào truy vấn tìm kiếm.
Seminar 2012

56. Authority
Authority pages: là những trang được xem là phù hợp
nhất đối với mỗi câu truy vấn cụ thể nào đó.
Auth
Seminar 2012

57. Hub
Hub pages: là những trang không cần có đặc tính
“authority” nhưng lại trỏ tới nhiều trang có đặc tính
“authority”.
Hub
Seminar 2012

58. Hub và Authority
Seminar 2012

59. Ý tưởng của HITS
Trang có hub tốt là trang có nhiều liên kết ra.
Trang có authority tốt là trang có nhiều liên kết tới.
Trang trỏ tới trang có authority cao thì trọng số hub
càng cao, trang nào được nhiều trang có hub cao trỏ
tới thì trọng số authority càng cao.
Seminar 2012

60. HITS - 1
Xác định tập hợp cơ sở S
Cho phép thiết lập các dữ liệu trả về bởi một công cụ
tìm kiếm tiêu chuẩn được gọi là các root set (thiết lập
gốc) R
Khởi tạo S cho R
Seminar 2012

61. HITS - 2

Seminar 2012

62. HITS - 3

Seminar 2012

63. HITS - 4

Seminar 2012

64. HITS - 5

Seminar 2012

65. Giả mã của HITS

Seminar 2012

66. Ví dụ
 Root Set R {1,2,3,4}
 Mở rộng nó để tạo thành Base Set S
Seminar 2012

67. Kết quả của ví dụ
Authority
Hub
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Seminar 2012

68. PageRank - HITS
HITS nhấn mạnh tăng cường lẫn nhau giữa các trang
authority và hub, trong khi PageRank thì không.
PageRank xếp hạng trang chỉ bởi các trang authority.
HITS được áp dụng cho các vùng lân cận của các
trang xung quanh kết quả của một truy vấn trong khi
PageRank được áp dụng cho toàn bộ trang web
HITS là truy vấn phụ thuộc nhưng PageRank là truy
vấn độc lập
Seminar 2012

69. PageRank - HITS
Cả HITS và PageRank đều tính toán trên ma trận.
Đều không ổn định: thay đổi một số liên kết có thể
dẫn đến bảng xếp hạng khác nhau.
PageRank không quản lý các trang không có cạnh
ngoài rất tốt, vì nó giảm PageRank tổng thể
Seminar 2012

70. Kết luận
Khai phá dữ liệu Web(Web mining) có ý nghĩa quan
trọng trong cuộc sống và công nghệ.
 PageRank hay HITS là các thuật toán cơ bản để xây
dựng các Search Engine.
Tuy nhiên, các search engine nổi tiếng như Google,
Yahoo hay Bing đều có những cải tiến và các thuật
toán khác không được công bố!
Seminar 2012

71. Nội dung
 Giới thiệu
 Đồ thị Web
 Thuật toán PageRank
 Cải tiến thuật toán PageRank
 Thuật toán HITS
 Cài đặt các thuật toán
Seminar 2012

72. Q&A
Seminar 2012