BM25算法介绍

1. BM25
Joseph Tang
2014.08.04

2. Motivation
BM25
Utility programs

3. 火锅
重庆有面儿火锅店面色彩温馨，装修精致，宽敞，老板、服务
人员热情，让您能真正酣畅淋漓的感受老火锅的火辣热情。
重庆“烧鸡公”最先出自于重庆璧山县。据说是一帮司机哥们出
了一趟长途车，饿得如狼似虎，好不容易看见前不着村，后不
着店的地方有一老字号餐馆，上前一问老板都关门了，什么也
没有了，说尽好话，老板只好将就把自己养的鸡宰了，又加了
大量的辣椒和香料，还有剩余的火锅底料一起烧，没想到这一
烧，就烧出了一道名菜，从此风靡川渝两地。
词频 Term Frequency

4. 重庆老火锅
重庆有面儿火锅店面色彩温馨，装修精致，宽敞，老板、服务
人员热情，让您能真正酣畅淋漓的感受老火锅的火辣热情。
重庆“烧鸡公”最先出自于重庆璧山县。据说是一帮司机哥们出
了一趟长途车，饿得如狼似虎，好不容易看见前不着村，后不
着店的地方有一老字号餐馆，上前一问老板都关门了，什么也
没有了，说尽好话，老板只好将就把自己养的鸡宰了，又加了
大量的辣椒和香料，还有剩余的火锅底料一起烧，没想到这一
烧，就烧出了一道名菜，从此风靡川渝两地。
重庆 老火锅 Inverse Document Frequency

5. document: d = (tf 1,...,tf |M1|)
query: q= (qtf 1,...,qtf |M2|)
log
http://en.wikipedia.org/wiki/Tf%E2%80%93idf
TF-IDF= tf(qt,d) × (N/n)
1. 重庆 1×0, 2×0
2. 老火锅 1×log2, 0×?

6. 重庆 火锅
重庆有面儿火锅店面色彩温馨，装修精致，宽敞，老板、服务
人员热情，让您能真正酣畅淋漓的感受老火锅的火辣热情。
重庆“烧鸡公”最先出自于重庆璧山县。据说是一帮司机哥们出
了一趟长途车，饿得如狼似虎，好不容易看见前不着村，后不
着店的地方有一老字号餐馆，上前一问老板都关门了，什么也
没有了，说尽好话，老板只好将就把自己养的鸡宰了，又加了
大量的辣椒和香料，还有剩余的火锅底料一起烧，没想到这一
烧，就烧出了一道名菜，从此风靡川渝两地。

8. http://en.wikipedia.org/wiki/Okapi_BM25
document length: dl=SUM(tf)
average document length: avdl
Robertson/Sprck Jones weight:

9. k1=2, b=0.75
IDF, avgdl

10. calculate_idf: IDF, avgdl, N, n(tf)
bm25cal: (query, document)=> BM25 value
bm25server:
(query, list<string>)=>list<double>
bm25seg

11. calculate_idf SOURCE IDF_DESTINATION

12. bm25cal < input_file
配置bm25.toml
servers = ["dataapp-seg01:9075","dataapp-seg02:9075"] #分词服务器字符串数组
idf = "idfs" # IDF 文件
port = "19090" # BM25值计算服务器端口
idfAvg = 0.3146483766 # IDF 平均值
separator = "t"
queryColumn = 1 #输入流中第一列为查询字符串
documentColumns = [2] #数字数组
avgLength = 26.74 #平均文档长度
k = 2.0
b = 0.75

13. add file hdfs:////user/hadoop-dataapp/tangjinchuan/bm25cal;
add file hdfs:////user/hadoop-dataapp/tangjinchuan/idfs;
add file hdfs:////user/hadoop-dataapp/tangjinchuan/bm25.toml;
from dim.deal map businessname,title using './bm25cal' as
businessname,title,bm25value1 limit 2;

14. bm25server
配置bm25.toml
Thrift接口
http://wiki.sankuai.com/pages/viewpage.action?pageId=92081068

15. Thanks & QA