بازیابی اطلاعات متنی با مدل پیشرفته بازیابی اطلاعات عصبیمدل تطبیق ربط عمیقومدل فضا برداری عصبی

1. ‫اط‬‫بازیابی‬‫پیشرفته‬‫مدل‬‫با‬‫متنی‬‫اطالعات‬‫بازیابی‬‫العات‬‫عصبی‬
‫مدل‬‫عمیق‬‫ربط‬‫تطبیق‬
‫و‬
‫برداری‬‫فضا‬‫مدل‬‫عصبی‬
‫قویدل‬ ‫سمیه‬
‫محترم‬ ‫استاد‬:‫ساز‬‫زره‬ ‫دکتر‬ ‫آقای‬ ‫جناب‬
‫درس‬:‫کاوی‬‫داده‬ ‫و‬ ‫متن‬ ‫تحلیل‬
‫ورودی‬ ‫دانش‬ ‫و‬ ‫اطالعات‬ ‫بازیابی‬ ‫دکتری‬ ‫دوره‬1397
1

2. ‫خرد‬‫پدید‬ ‫آرد‬ ‫گنجی‬ ‫کجا‬ ‫هر‬
‫ن‬‫را‬‫آن‬ ‫سازد‬ ‫خدا‬ ‫ام‬‫کلید‬
2

3. 3
،ً‫ا‬‫اخیر‬‫بازیابی‬‫اطالعات‬‫عصبی‬(NeuIR)‫توجه‬‫زیادی‬‫از‬‫جامعه‬‫تحقیقاتی‬‫را‬‫به‬‫خود‬‫جلب‬‫کرده‬
‫است‬.
‫کنفرانس‬ACM SIGIR‫اطالعات‬ ‫بازیابی‬ ‫توسعه‬ ‫و‬ ‫تحقیق‬ ‫در‬( :SIGIR)
)Craswell, Guo, & Rijke, 2016; Craswell, Croft, de Rijke, Guo, & Mitra, 2017(
Monograph‫نگاری‬‫تک‬ ‫یا‬
)Mitra & Craswell, 2018)
‫اطالعات‬ ‫بازیابی‬ ‫مجله‬ ‫در‬ ‫ویژه‬ ‫شماره‬ ‫یک‬(IRJ)
)Craswell, Croft, de Rijke, Guo, & Mitra, 2018)
SIGIR‫در‬ ‫شده‬ ‫چاپ‬paper:‫در‬ ‫مقاله‬ ‫یک‬ ‫از‬2015‫تا‬11‫تا‬ ‫مقاله‬2017
(Agosti, Fabris, & Silvello, 2019)
European Conference on Information Retrieval (ECIR)‫سال‬ ‫از‬2015
)Marchesin, S., Purpura, A., Silvello,G., 2019(

4. •‫بر‬ ‫تحقیقات‬ ‫موضوع‬:
‫های‬‫پیشرفت‬NeuIR‫؛‬
‫مدل‬ ‫واقعی‬ ‫کارایی‬/‫سیستم‬NeuIR‫؛‬
‫مدل‬ ‫در‬ ‫موجود‬ ‫های‬‫سیستم‬ ‫تکرارپذیری‬NeuIR‫؛‬
‫مدل‬ ‫ها‬‫آن‬ ‫روی‬ ‫که‬ ‫هایی‬‫داده‬NeuIR‫و‬ ‫است‬ ‫شده‬ ‫آزمایش‬
‫پردازش؛‬ ‫پیش‬ ‫از‬ ‫قبل‬ ‫اسناد‬ ‫پردازش‬ ‫چگونگی‬
‫فوق؛‬ ‫مدل‬ ‫بهبود‬
‫مرتبط؛‬ ‫موارد‬ ‫سایر‬ ‫و‬
• Marchesin, S., Purpura,A., Silvello, G., 2019
4

5. ‫تعریف‬‫شبکه‬‫عصبی‬
‫انگیزه‬‫سازی‬‫پیاده‬‫شبکه‬‫عصبی‬،‫توسط‬‫رایانه‬‫با‬‫الگو‬‫گ‬‫رفتن‬‫از‬
‫مغز‬‫انسان‬‫و‬‫های‬‫فعالیت‬‫پیچیده‬‫آ‬‫ن‬‫آغاز‬‫شد‬.
‫در‬‫توسعه‬‫شبکه‬،‫عصبی‬‫سعی‬‫در‬‫گویی‬‫پیش‬‫العم‬‫عکس‬‫ل‬
‫مبنی‬‫بر‬‫های‬‫محرک‬‫دریافتی‬‫مطابق‬‫با‬‫شبکه‬‫عصبی‬‫انس‬‫ان‬
‫است‬.
(،‫کلینی‬1387)
5

6. 6
‫طب‬ ‫عصبی‬ ‫شبکه‬ ‫طبق‬ ‫بر‬ ‫ها‬‫شبکه‬ ‫این‬ ‫سازی‬‫پیاده‬ ‫جهت‬ ‫ذیل‬ ‫های‬‫فرضیه‬‫یعی‬
‫است‬ ‫شده‬ ‫گرفته‬ ‫نظر‬ ‫در‬:
‫پردازش‬‫ها‬‫داده‬‫در‬‫عناصر‬‫ای‬‫ساده‬‫عنوان‬‫به‬‫نرون‬‫انجام‬‫شود؛‬‫می‬
‫ها‬‫سیگنال‬(‫اطالعات‬)‫از‬‫طریق‬‫اتصاالت‬‫بین‬‫ها‬‫نرون‬‫منتشر‬‫شود؛‬‫می‬
‫به‬‫هر‬،‫اتصال‬‫یک‬‫وزن‬‫تخصیص‬‫یابد‬‫می‬‫که‬‫این‬‫وزن‬(‫که‬‫ت‬ّ‫ی‬‫کم‬‫عددی‬‫اس‬‫ت‬)
‫در‬‫های‬‫سیگنال‬(‫اطالعات‬)‫منتظر‬‫شده‬‫ضرب‬،‫شود‬‫می‬‫یا‬‫به‬‫عبارت‬،‫دیگر‬
‫هنگامی‬‫که‬‫یک‬‫سیگنال‬(‫اطالعات‬)‫از‬‫یک‬‫نرون‬‫به‬‫نرون‬‫دیگر‬‫در‬‫حال‬‫حرک‬‫ت‬
،‫است‬‫تحت‬‫تاثیر‬‫محیط‬‫انتشار‬‫خود‬‫قرار‬‫گیرد‬‫می‬.
‫های‬‫شبکه‬‫عصبی‬،‫چندالیه‬‫از‬‫تعداد‬‫گره‬‫و‬‫پیوند‬‫تشکیل‬‫شده‬‫است‬.
‫اطالعات‬،‫از‬‫طریق‬‫های‬‫گره‬‫ورودی‬‫به‬‫شبکه‬‫عصبی‬‫وارد‬‫شده‬‫و‬‫سپس‬‫با‬
‫استفاده‬‫از‬‫پیوندها‬‫به‬‫های‬‫الیه‬‫بعدی‬(‫پنهان‬)‫منتقل‬‫گردیده‬‫و‬‫در‬‫نهایت‬
‫خروجی‬‫شبکه‬‫از‬‫های‬‫گره‬‫خروجی‬‫بدست‬‫آید‬‫می‬
(‫کلینی‬،1387)

7. ‫های‬‫مدل‬‫بازیابی‬‫اطالعات‬‫عصبی‬(NeuIR)
7
‫توانایی‬‫این‬‫ها‬‫مدل‬‫برای‬‫استخراج‬‫خودکار‬‫الگوهای‬‫مرتبط‬‫از‬‫متن‬‫خام‬(raw
text)
(Mitra, B. and Craswell, N. , 2018; Pang, L., Lan, Y., Guo, J. , Xu, J. and Cheng X.,
2016)
‫این‬،‫ها‬‫روش‬‫رویکردهای‬‫متفاوتی‬‫جهت‬‫بازیابی‬‫اطالعات‬‫از‬‫رویکردهای‬
‫واژگانی‬‫سنتی‬‫برای‬‫بازیابی‬‫اطالعات‬‫هستند‬‫که‬‫عمدتا‬‫بر‬"‫ها‬‫سیگنال‬/
‫های‬‫عالمت‬‫تطبیق‬‫دقیق‬"‫بین‬‫عبارات‬query and document‫متکی‬‫هستند‬
‫که‬‫می‬‫توانید‬‫اسناد‬‫مربوطه‬‫را‬‫که‬‫شامل‬‫هیچ‬‫عبارت‬‫پرس‬‫و‬‫جو‬،‫نیست‬
‫بازیابی‬‫کنید‬.

8. 8
‫پیشرفت‬‫تعبیه‬‫کلمه‬(Word Embeddings:WE)،‫نقش‬‫مهمی‬‫در‬
‫پیشرفت‬‫شناختی‬‫روش‬‫این‬‫روش‬‫ایفا‬‫کرده‬‫است‬.‫برای‬‫تولید‬
‫های‬‫سیگنال‬،‫تطبیق‬‫که‬‫تواند‬‫می‬‫بیشتر‬‫توسط‬‫یک‬‫مدل‬‫عصبی‬‫تفسیر‬
‫شود‬‫تا‬‫امتیازات‬‫مربوط‬‫به‬‫پرس‬‫و‬‫جو‬‫سند‬‫را‬‫بازگرداند‬.
‫در‬‫سالهای‬‫گذشته‬‫در‬‫جامعه‬IR‫کار‬‫زیادی‬‫در‬‫مورد‬‫مطالعه‬‫و‬‫توسعه‬
‫های‬‫معماری‬‫عصبی‬‫جدید‬‫برای‬‫تفسیر‬‫این‬‫های‬‫سیگنال‬‫منطبق‬‫معن‬‫ایی‬
‫انجام‬‫شده‬‫است‬.
(Alberto, P., Marco, M.,Gianmaria, S., GianAntonio, S. 2019)
‫های‬‫مدل‬‫بازیابی‬‫اطالعات‬‫عصبی‬(NeuIR)

9. ‫سیستم‬NeuIR‫اکوسیستمی‬‫از‬‫اجزاء‬‫است؛‬
‫قابلیت‬‫تکرارپذیری‬:‫قابلیت‬‫ساخت‬:‫تولید‬‫مجدد‬:‫قابلیت‬‫تکثیر‬‫آن‬‫حتی‬‫اگر‬‫کد‬‫منبع‬‫در‬
‫دسترس‬،‫باشد‬‫بسیار‬‫چالش‬‫برانگیز‬‫است؛‬
‫چنین‬‫هایی‬‫سیستم‬‫اغلب‬‫شامل‬‫های‬‫روش‬‫پردازش‬‫متن‬(text processing methods)،
‫های‬‫مدل‬‫بندی‬‫رتبه‬‫واژگانی‬(lexical ranking models)،‫تعبیه‬‫کلمات‬(word
embeddings)،‫بهینه‬‫سازها‬(optimizers)،‫های‬‫روش‬‫گسترش‬‫پرس‬‫و‬‫جو‬(query
expansion methods)‫و‬‫سایر‬‫های‬‫مؤلفه‬‫بازیابی‬‫اطالعات‬‫سنتی‬(IR)‫و‬‫پردازش‬‫زبان‬
‫طبیعی‬(NLP)‫است؛‬
‫شامل‬‫تمامی‬‫هایی‬‫روش‬‫است‬‫که‬‫در‬‫تغذیه‬‫یک‬‫شبکه‬‫عصبی‬‫سطحی‬‫یا‬‫عمیق‬‫مورد‬
‫استفاده‬‫قرار‬‫گیرد؛‬‫می‬
‫هر‬‫یک‬‫از‬‫اجزای‬‫سیستم‬‫باید‬‫طور‬‫به‬‫دقیق‬‫تنظیم‬‫شود‬‫تا‬‫سطح‬‫باالیی‬‫از‬‫سازگار‬‫ی‬‫و‬
‫سازی‬‫بهینه‬‫جهت‬‫بازیابی‬‫مواردی‬‫چون‬‫اخبار‬‫انگلیسی‬‫گرفته‬‫تا‬‫اخبار‬،‫آلمانی‬‫صف‬‫حات‬
‫وب‬‫یا‬‫اسناد‬‫پزشکی‬‫برخوردار‬‫شود؛‬
‫بیشتر‬ ‫و‬ ‫بهتر‬ ‫درک‬‫تعامل‬ ‫و‬ ‫سیستم‬ ‫های‬‫مؤلفه‬‫برنامه‬ ‫اجرای‬ ‫و‬ ‫تعمیم‬ ‫موجب‬ ‫ها‬‫آن‬
‫شد‬ ‫خواهد‬.
9
‫های‬‫سیستم‬ ‫تعریف‬NeuIR
(Marchesin, S., Purpura,A., Silvello, G., 2019)

10. 10
‫ایجاد‬‫عصبی‬ ‫اطالعات‬ ‫بازیابی‬ ‫پیشرفته‬ ‫مدل‬ ‫دو‬
‫قبلی‬ ‫های‬‫روش‬ ‫امتداد‬ ‫در‬:
‫عصبی‬ ‫اطالعات‬ ‫بازیابی‬
(NeuIR: Neural Information Retrieval)
‫عمیق‬ ‫ربط‬ ‫تطبیق‬ ‫مدل‬
the Deep Relevance Matching Model:DRMM
‫مدل‬‫فضا‬‫عصبی‬ ‫برداری‬
the Neural Vector Space Model:NVSM

11. 11
•‫پتانسیل‬‫رویکردهای‬NeuIR
•(‫مدل‬ ‫دو‬DRMM‫و‬NVSM)

12. ‫پیشرفته‬ ‫مدل‬ ‫دو‬ ‫این‬NeuIR‫است‬ ‫گرفته‬ ‫بهره‬ ‫ذیل‬ ‫های‬‫مدل‬ ‫از‬:
12
‫های‬‫مدل‬IR‫واژگانی‬‫متداول‬
‫و‬‫های‬‫مدل‬‫معنایی‬‫پایه‬
(Onal, etal.2017; Marchesin, S., Purpura,A., Silvello, G., 2019(

13. 13
‫های‬‫مدل‬IR‫واژگانی‬‫متداول‬‫مانند‬:
TF-IDF:‫فراوانی‬‫وزنی‬‫کلمه‬‫کلیدی‬/‫اهمیت‬‫کلمه‬‫کلیدی‬(TF‫به‬‫معنای‬‫محدوده‬‫فرکانس‬‫نرمال‬‫و‬
IDF‫که‬‫فرکانس‬‫محتوایی‬‫معکوس‬‫نامیده‬‫‌شود‬‫ی‬‫م‬)
BM25:‌‫یک‌نیز‌الگوی‌وزنی‌است‌که‌در‌واقع‌از‌همان‬tf-idf‫مشتق‌شده‬
Query Likelihood Model (QLM)
Divergence from Randomness) DFR)
‫و‬‫های‬‫مدل‬‫معنایی‬،‫پایه‬‫مانند‬:
Word2Vec‫و‬(Latent Dirichlet Allocation (LDA)
‫و‬‫از‬‫طرفی‬‫در‬‫های‬‫دامنه‬‫چندزبانه‬‫و‬‫ناهمگن‬:،‫ایتالیایی‬‫المانی‬‫و‬‫فارسی‬...
‫مجموعه‬‫اسناد‬‫خبری‬‫از‬‫کنفرانس‬‫و‬‫آزمایشگاههای‬‫انجمن‬‫ارزیابی‬(CLEF)
‫حوزه‬‫پزشکی‬:‫از‬‫منابع‬/‫اسناد‬‫از‬MEDLINE‫و‬‫مجموعه‬OHSUMED
‫دامنه‬،‫وب‬‫مانند‬:theText REtrieval Conference (TREC)WT2g
‫بازنمودهای‬‫بردار‬‫کلمه‬‫متفاوت‬(‫مانند‬‫های‬‫مدل‬‫تعبیه‬‫کلمه‬)‫و‬‫کلمه‬

14. 14
‫مدل‬The Deep Relevance Matching Model:DRMM
DRMM،‫مدل‬‫پیشرفته‬‫بازیابی‬‫اطالعات‬‫عصبی‬‫است؛‬
‫سیستمی‬‫نظارت‬‫شده‬‫است‬(supervised system)‫جهت‬‫بازیابی‬‫موقت‬‫با‬‫در‬‫نظر‬‫گرفتن‬
‌‫ی‬‫استراتژ‬‫ویژه؛‬
‫استراتژی‬،‫سیگنال‬‫‌ها‬‫ت‬‫عالم‬‫و‬‫‌های‬‫ن‬‫نشا‬‫تطبیق‬‫دقیق‬(exact matching signals)‫بین‬
query‫و‬document‫؛‬
‫وزن‬‫اهمیت‬‫متفاوت‬‫اصطالحات‬‫پرس‬‫و‬‫جو‬(different importance weight)‫؛‬
‫این‬‫روش‬‫تاثیر‬‫قابل‬‫توجهی‬‫در‬‫تعبیه‬‫کیفیت‬‫کلمات‬‫و‬‫تکرارپذیری‬‫بر‬‫عملکرد‬‫ک‬‫ل‬‫سیستم‬‫دارد؛‬
‫و‬‫مطابقت‬‫داده‬‫شده‬‫با‬‫الزامات‬‫تطبیق‬‫مختلف‬(different matching requirements)
‫مانند‬‫‌های‬‫ه‬‫فرضی‬:
(Onal, etal.2017; Marchesin, S., Purpura,A., Silvello, G., 2019(

15. 15
•(‫یک‬‫سند‬‫طوالنی‬‫مانند‬‫یک‬‫سند‬‫کوتاه‬‫است‬‫که‬‫دامنه‬
‫مشابهی‬‫را‬‫با‬‫کلمات‬‫بیشتری‬‫پوشش‬‫دهد‬‫می‬) verbosity
•(‫در‬‫اسناد‬،‫تر‬‫طوالنی‬‫فقط‬‫هایی‬‫بخش‬‫از‬‫مطالب‬
‫ممکن‬‫است‬‫مرتبط‬‫باشند‬،‫بنابراین‬‫کل‬‫این‬‫سند‬
‫الزم‬‫نیست‬‫که‬‫برای‬‫یک‬‫پرس‬‫و‬‫جو‬‫مرتبط‬‫ب‬‫اشد‬)
Scope
(Onal, etal.2017; Marchesin, S., Purpura,A., Silvello, G., 2019(

16. ‫الگوریتم‬DRMM‫اجرای‬ ‫به‬ ‫نیاز‬7‫دارد‬ ‫اجرا‬ ‫جهت‬ ‫فایل‬:
1. a run inTREC format to be re-ranked
2. a word embedding model to be used by the system
3. a file containing the document and corpus frequency for each
term in the collection
4. a file containing each document of the corpus with its identifier
(the same used in the run to re-rank), its length, and the
frequency of each term in it
5. a file with the ideal discounted cumulative gain value for each
considered topic
6. a file with the list of terms for each topic along with the topic
identifier (the same used in the run to re-rank )
7. the relevance judgments inTREC format for the given topics
and the documents in the collection.
16)Guo et al., 2016 (

17. 17
.1‫اجرای‬‫در‬‫قالب‬TREC(Text REtrieval Conference (TREC) Document)
‫برای‬‫‌بندی‬‫ه‬‫رتب‬‫مجدد؛‬
 TRECCollection - Parses TREC formatted corpora, delimited by
the <DOC></DOC> tags.
 TRECWebCollection - As TRECCollection, but additionally parses
DOCHDR tags, which contain the URL of each document. TREC Web
and Blog corpora such as WT2G, WT10G, .GOV, .GOV2, Blogs06 and
Blogs08 are supported.
‫الگوریتم‬DRMM‫اجرای‬ ‫به‬ ‫نیاز‬7‫دارد‬ ‫اجرا‬ ‫جهت‬ ‫فایل‬-‫ادامه‬
)Guo et al., 2016 (

18. 18
2.‫یک‬‫مدل‬‫تعبیه‬‫کلمه‬‫ای‬‫که‬‫توسط‬‫سیستم‬‫استفاده‬‫می‬‫شود‬.
3.‫پرونده‬‫ای‬‫که‬‫حاوی‬‫سند‬‫و‬‫فرکانس‬‫جسد‬‫برای‬‫هر‬‫اصطالح‬‫در‬‫مجموعه‬‫است‬.
4.‫پرونده‬‫ای‬‫که‬‫حاوی‬‫هر‬‫سند‬‫از‬‫بدنه‬‫با‬‫شناسه‬‫آن‬(‫همان‬‫استفاده‬‫شده‬‫برای‬‫اجرا‬‫مجدد‬)،‫طو‬‫ل‬‫آن‬
‫و‬‫فرکانس‬‫هر‬‫اصطالح‬‫در‬‫آن‬‫است‬.
5.‫پرونده‬‫ای‬‫با‬‫ارزش‬‫سود‬‫تجمعی‬‫با‬‫تخفیف‬‫ایده‬‫آل‬‫برای‬‫هر‬‫موضوع‬‫در‬‫نظر‬‫گرفته‬‫شده‬‫؛‬
6.‫پرونده‬‫ای‬‫با‬‫لیست‬‫اصطالحات‬‫مربوط‬‫به‬‫هر‬‫موضوع‬‫به‬‫همراه‬‫شناسه‬‫موضوع‬(‫همان‬‫مورد‬
‫استفاده‬‫در‬‫اجرا‬‫برای‬‫رتبه‬‫بندی‬‫مجدد‬).
7.‫داوری‬‫های‬‫مربوط‬‫به‬‫فرمت‬TREC‫برای‬‫موضوعات‬‫داده‬‫شده‬‫و‬‫اسناد‬‫موجود‬‫در‬‫این‬‫مجموعه‬.
)Guo et al., 2016 (
‫الگوریتم‬DRMM‫اجرای‬ ‫به‬ ‫نیاز‬7‫دارد‬ ‫اجرا‬ ‫جهت‬ ‫فایل‬-‫ادامه‬

19. •‫روش‬ ‫اجرای‬DRMM
•،‫کلمات‬ ‫تعبیه‬ ‫اساس‬ ‫بر‬DRMM‫را‬ ‫اصطالح‬ ‫جفت‬ ‫هر‬ ‫بین‬ ‫محلی‬ ‫تعامل‬
‫گیرد‬‫می‬ ‫نظر‬ ‫در‬ ‫سند‬ ‫یک‬ ‫و‬ ‫جو‬ ‫و‬ ‫پرس‬ ‫یک‬ ‫در‬.
•،‫جو‬ ‫و‬ ‫پرس‬ ‫عبارت‬ ‫هر‬ ‫برای‬"‫متغیر‬ ‫طول‬ ‫با‬ ‫محلی‬ ‫های‬‫تعامل‬"‫یک‬ ‫در‬ ‫را‬
"‫ثابت‬ ‫طول‬ ‫با‬ ‫تطبیق‬ ‫هیستوگرام‬"‫کند‬‫می‬ ‫بازنمون‬.
•‫شو‬‫می‬ ‫عصبی‬ ‫شبکه‬ ‫یک‬ ‫وارد‬ ‫تطبیق‬ ‫های‬‫هیستوگرام‬ ‫این‬ ،‫سپس‬‫که‬ ‫د‬
‫عبارات‬ ‫از‬ ‫جفت‬ ‫هر‬ ‫برای‬query/document‫نظر‬ ‫در‬ ‫تطابقی‬ ‫نمره‬ ‫نتایج‬
‫شود‬‫می‬ ‫گرفته‬.
•‫تا‬ ‫شود‬‫می‬ ‫محاسبه‬ ‫جفت‬ ‫هر‬ ‫برای‬ ‫نمرات‬ ‫این‬ ‫وزنی‬ ‫مجموع‬ ،‫سرانجام‬
‫شود‬ ‫تولید‬ ‫جو‬ ‫و‬ ‫پرس‬ ‫هر‬ ‫برای‬ ‫تطبیق‬ ‫کلی‬ ‫نمره‬ ‫یک‬.
•‫اصطالح‬ ‫هر‬ ‫بین‬ ‫محلی‬ ‫تعامالت‬query/document‫محاسبه‬‫شباهت‬
‫محاسبه‬ ‫را‬ ‫اصطالح‬ ‫بردار‬ ‫هر‬ ‫بین‬ ‫کسینوسی‬‫نماید‬‫می‬.
•‫کنند‬‫می‬ ‫تفکیک‬ ‫را‬ ‫فاصله‬ ‫که‬ ‫تطبیقی‬ ‫نمودارهای‬ ‫در‬ ‫نمرات‬ ‫سپس‬‫جمع‬
‫شوند‬‫می‬.
19

20. •‫مقادیر‬ ‫بازنمون‬ ‫برای‬ ‫مختلف‬ ‫روش‬ ‫سه‬‫روش‬DRMM‫در‬
‫دهند‬‫می‬ ‫پیشنهاد‬ ‫تطابق‬ ‫های‬‫هیستوگرام‬:
(1‫هیستوگرام‬‫مبتنی‬‫بر‬‫شمارش‬(CH):‫شامل‬‫شمارش‬‫تعامالت‬
‫محلی‬‫در‬‫هر‬‫سطل‬‫به‬‫عنوان‬‫مقدار‬‫هیستوگرام‬
(2‫هیستوگرام‬‫نرمال‬(NH):‫سازی‬‫نرمال‬‫کردن‬‫مقادیر‬‫شمارش‬‫در‬‫هر‬
‫سطل‬‫با‬‫تعداد‬‫کل‬
(3‫هیستوگرام‬‫مبتنی‬‫بر‬LogCount((LCH:‫اعمال‬‫کردن‬‫لگاریتمی‬
‫بیش‬‫از‬‫مقدار‬‫شمارش‬‫در‬‫هر‬‫سطل‬
20(Guo et al. 2016)

21. 21
‫توابع‬‫وزنی‬‫مورد‬‫استفاده‬‫در‬‫روش‬DRMM
(Guo et al. 2016)

22. 22
Tutorialpoint.com
types of weighting functions which require different input
values:
• Term Vector (TV): in this case, xi (q) denotes the ith
query term vector, and wg is a weight vector of the same
size of the term vectors;
• Inverse Document Frequency (IDF): in this case, xi (q)
denotes the inverse document frequency of the ith query
term, and wg is a coefficient with a single parameter.
(Guo et al. 2016)

23. ‫معماری‬‫ربط‬ ‫تطابق‬ ‫مدل‬DRMM
23
Marchesin, S., Purpura,A., Silvello, G., 2019

24. 24
DRMM‫مجدد‬ ‫بندی‬ ‫رتبه‬ ،(re-ranking)‫شده‬ ‫بازیابی‬ ‫اسناد‬
‫است‬ ‫بازیابی‬ ‫دیگر‬ ‫های‬‫مدل‬ ‫توسط‬.
‫ب‬ ‫که‬ ‫معنایی‬ ‫منطبق‬ ‫های‬‫سیگنال‬ ‫استخراج‬ ‫برای‬ ‫رویکرد‬ ‫این‬‫نوبه‬ ‫ه‬
‫گ‬‫می‬ ‫قرار‬ ‫استفاده‬ ‫مورد‬ ‫اسناد‬ ‫مجدد‬ ‫بندی‬‫رتبه‬ ‫انجام‬ ‫برای‬ ‫خود‬‫به‬ ،‫یرد‬
‫کلمه‬ ‫شده‬ ‫نمایش‬ ‫پیش‬ ‫های‬‫تعبیه‬ ‫از‬ ‫ای‬‫مجموعه‬-‫آمده‬ ‫دست‬ ‫به‬‫با‬
Word2Vec -‫است‬ ‫متکی‬.
(Marchesin, S., Purpura,A., Silvello, G., 2019)

25. 25
‫برداری‬ ‫فضای‬ ‫مدل‬
(Vector space model)
‫ّالعات‬‫ط‬‫ا‬ ‫بازیابی‬ ‫در‬

26. 26
‫مدل‬‫فضای‬‫برداری‬(Vector space model)‫در‬‫بازیابی‬‫ّالعات‬‫ط‬‫ا‬
‫یکی‬‫از‬‫های‬‫الگوریتم‬‫مهمی‬‫که‬‫در‬‫بازیابی‬،‫ّالعات‬‫ط‬‫ا‬‫کاربرد‬‫بسیار‬،‫دارد‬‫الگوریتم‬‫ف‬‫ضای‬
‫برداری‬‫است‬‫؛‬
‫مدل‬‫فضای‬‫برداری‬‫به‬‫عنوان‬‫یکی‬‫از‬‫معتبرترین‬‫تکنیك‬‫های‬‫بازیابی‬‫شناخته‬‫می‬‫شود؛‬
‫تمام‬‫مدارک‬‫را‬‫در‬‫مجموعه‬‫و‬‫جستجوهای‬‫کاربر‬‫به‬‫صورت‬‫بردارها‬‫نشان‬‫دهد‬‫؛‬
‫و‬‫ضریب‬‫تشابه‬‫میان‬‫بردارهای‬‫مدرک‬‫و‬‫بردار‬‫جستجو‬‫را‬‫جهت‬‫بازیابی‬‫مدرک‬‫مربوط‬،
‫محاسبه‬‫نماید‬‫؛‬
(‫مهراد‬‫و‬،‫کلینی‬1386)
‫یك‬‫مدل‬‫جبری‬‫برای‬‫نمایش‬‫اسناد‬‫متنی‬‫به‬‫صورت‬‫فضای‬‫برداری‬،‫است‬‫که‬‫در‬‫فیلتر‬‫کردن‬
‫و‬‫بازیابی‬،‫اطالعات‬‫سازی‬‫نمایه‬‫در‬‫موتورهای‬‫جستجو‬‫و‬‫بندی‬‫رتبه‬‫مربوط‬‫به‬‫ها‬‫آن‬‫استفاده‬
‫شود‬‫می‬.

27. ‫به‬‫هر‬‫يك‬‫از‬‫اصطالحات‬‫هر‬،‫مدرك‬‫به‬‫طور‬‫خودكار‬‫وزني‬‫اختصاص‬‫يابد‬‫مي‬‫كه‬‫بر‬
‫فراواني‬‫رخداد‬‫اصطالح‬‫در‬ّ‫ل‬‫ك‬‫مجموعة‬‫مدرك‬‫و‬‫تعداد‬‫دفعات‬‫حضور‬‫يك‬‫اصطالح‬
‫در‬‫مدرك‬‫خاص‬‫مبتني‬‫است‬.‫با‬‫افزايش‬‫فراواني‬‫اصطالح‬‫در‬‫يك‬،‫مدرك‬‫وزن‬‫آن‬
‫اصطالح‬‫درمدرك‬‫افزايش‬‫مي‬‫يابد‬.،‫برعكس‬‫وقتي‬‫فراواني‬‫اصطالح‬‫در‬‫مجموع‬‫ة‬
‫مدارك‬‫بیشتر‬،‫باشد‬‫اين‬‫وزن‬‫كاهش‬‫مي‬‫يابد‬‫؛‬
‫اين‬‫استراتژي‬‫مجموعه‬‫جوابهاي‬‫بندي‬‫رتبه‬‫اي‬‫شده‬‫تولید‬‫كند‬‫مي‬‫كه‬‫بهبود‬
‫آن‬‫ها‬‫بدون‬‫بسط‬‫جستجو‬‫يا‬‫بازخورد‬‫میزان‬‫ربط‬‫در‬‫چارچوب‬‫مدل‬،‫برداري‬
‫مشكل‬‫است‬.
27
‫مدل‬‫فضای‬‫برداری‬(Vector space model)‫در‬‫بازیابی‬‫ّالعات‬‫ط‬‫ا‬-‫ادامه‬

28. ‫مدل‬‫فضایی‬‫برداری‬‫عصبی‬
(the NeuralVector Space Model:NVSM)
28
NVSM،‫یک‬‫مدل‬‫پیشرفته‬‫بازیابی‬‫اطالعات‬‫عصبی‬‫است؛‬
‫یکی‬‫از‬‫معدود‬‫های‬‫مدل‬NeuIR‫؛‬
‫قابلیت‬‫تکرارپذیری‬:‫قابلیت‬‫ساخت‬:‫تولید‬‫مجدد‬‫دارد‬(‫واژگانی‬‫و‬‫معنایی‬).
‫ا‬‫ال‬‫کام‬‫بدون‬‫نظارت‬(state-of-the-art unsupervised model)‫جهت‬‫بازیابی‬
‫فاقد‬‫عمومیت‬‫و‬‫کاره‬‫تک‬(ad hoc retrieval)‫است؛‬
‫نتایج‬‫قابل‬‫رقابتی‬‫را‬‫در‬‫برابر‬‫های‬‫مدل‬‫واژگانی‬‫سنتی‬‫مانند‬‫های‬‫مدل‬uery
Language Models) QLM)‫و‬‫حتی‬‫های‬‫مدل‬‫بازیابی‬‫مبتنی‬‫بر‬Word2Vec
‫ارائه‬‫نماید؛‬‫می‬
(Ferro, Marchesin, Purpura, & Silvello, 2019)

29. 29
‫بنابراین‬‫از‬‫پتانسیل‬‫بسیار‬‫خوبی‬‫برای‬‫تعمیم‬‫برخوردار‬‫است‬‫زیرا‬‫نیازی‬‫به‬‫ت‬‫عامل‬‫داده‬(‫داده‬
‫تقابل‬)‫ویا‬‫های‬‫داده‬‫دارای‬‫برچسب‬‫نیست؛‬
‫یک‬‫منبع‬‫کمیاب‬‫در‬‫محیط‬‫تجربی‬IR‫معمولی‬‫یا‬‫نوعی‬‫است‬‫؛‬
‫این‬،‫مدل‬‫صورت‬‫به‬‫جا‬‫یک‬‫و‬‫طور‬‫به‬‫مشترک‬‫بازنمودهای‬‫متن‬‫و‬‫اسناد‬(word and
document)‫را‬‫فرا‬‫خواند‬‫می‬‫با‬‫بهینه‬‫کردن‬‫تابعی‬‫که‬‫فاصله‬‫بین‬‫توالی‬‫کلمات‬‫را‬‫حداقل‬‫به‬
‫رساند‬‫می‬(i.e. n-grams)‫و‬‫اسناد‬‫موجود‬‫در‬‫ها؛‬‫آن‬
‫چنین‬‫هدف‬‫بهینه‬‫سازی‬‫تحمیل‬‫می‬‫کند‬‫که‬n-‫گرم‬‫های‬‫استخراج‬‫شده‬‫از‬‫یک‬‫سند‬‫باید‬
‫پیش‬‫بینی‬‫کننده‬‫آن‬‫سند‬‫باشند؛‬
‫برخالف‬‫هایی‬‫مدل‬‫که‬‫از‬‫آن‬‫مشتق‬،‫شود‬‫می‬NVSM‫مفهومی‬‫از‬‫مشخصات‬‫اصطالح‬‫را‬‫در‬
‫خود‬‫ادغام‬‫کند؛‬‫می‬
(Marchesin, S., Purpura,A., Silvello, G., 2019)
‫مدل‬‫عصبی‬ ‫بردار‬ ‫فضایی‬-‫ادامه‬

30. 30
‫مدل‬‫عصبی‬ ‫بردار‬ ‫فضایی‬-‫ادامه‬
(Marchesin, S., Purpura,A., Silvello, G., 2019)

31. 31(Marchesin, S., Purpura,A., Silvello, G., 2019)

32. ‫ماخذ‬ ‫و‬ ‫منابع‬
•1.‫کلینی‬‫سارا‬ ،(1387.)‫متنی‬ ‫اطالعات‬ ‫بازیابی‬ ‫در‬ ‫عصبی‬ ‫شبکه‬ ‫راهکار‬ ‫از‬ ‫استفاده‬.‫فصلنامه‬
‫اطالعات‬ ‫سازماندهی‬ ‫و‬ ‫کتابداری‬ ‫ملی‬ ‫مطالعات‬،19(1:)13-24.
•2.‫مهراد‬‫سارا‬ ،‫کلینی‬ ،‫جعفر‬ ،(1386.)‫اطالعات‬ ‫بازیابی‬ ‫در‬ ‫فضابرداری‬ ‫مدل‬ ‫بررسی‬.‫و‬ ‫کتابداری‬
‫تابستان‬ ‫دهم‬ ‫دوره‬ ‫رسانی‬ ‫اطالع‬1386،2(38:)197-210.
• 3.Alberto, P., Marco, M., Gianmaria, S., Gian Antonio, S. (2019). Probabilistic Word Embeddings
in Neural IR: A Promising Model That Does Not Work as Expected (For Now). ACM,
Proceedings of the 2019 ACM SIGIR International Conference on Theory of Information
Retrieval: 3-10.
• 4.Agosti, M., Fabris, E., & Silvello, G. (2019). On synergies between information retrieval and
digital libraries. In P. Manghi, L. Candela, & G. Silvello (Vol. Eds.), Communications in
computer and information science: . 988. Proc of the 15th Italian research conference on digital
libraries, IRCDL 2019 (pp. 3–17). Springer. https:// doi.org/10.1007/978-3-030-11226-4_1.
• 5.Craswell, N., Croft, W. B., Guo, J., Mitra, B., & de Rijke, M. (2016). Neu-IR: The SIGIR 2016
workshop on neural information retrieval. In: In R. Perego, F. Sebastiani, J. A. Aslam, I. Ruthven,
& J. Zobel (Eds.). Proc. 39th annual international ACM SIGIR conference on research and
development in information retrieval (SIGIR 2016) (pp. 1245–1246). New York, USA: ACM
Press. https://doi.org/10.1145/2911451.2917762.
• 6.Craswell, N., Croft, W. B., de Rijke, M., Guo, J., & Mitra, B. (2017). SIGIR 2017 workshop on
neural information retrieval (Neu-IR’17). In: Proc. 40th annual international ACM SIGIR
conference on research and development in information retrieval (SIGIR 2017). New York, USA:
ACM Press1431–1432. https://doi.org/10.1145/3077136. 3084373. 32

33. • 7. Ferro, N., Marchesin, S., Purpura, A., & Silvello, G. (2019). A Docker-Based
Replicability Study of a Neural Information Retrieval Model. OSIRRC@SIGIR.
• 8. Guo, J., Fan, Y., Ai, Q., & Croft, W. B. (Fan, Ai, Croft, 2016). A deep relevance
matching model for ad-hoc retrieval. In: Proc. of the 25th ACM international
conference on information and knowledge management, CIKM 2016
https://doi.org/10.1145/2983323.2983769.
• 9.Marchesin, S., Purpura,A., Silvello, G., )2019(. Focal elements of neural
information retrieval models. An outlook through a reproducibility study.
Information Processing & Management
• 10.Mitra, B. and Craswell, N. (2018). An Introduction to Neural Information
Retrieval. Foundations and Trends in Information Retrieval , 13 (1): 1–126.
• 11.Pang, L., Lan, Y., Guo, J. , Xu, J. and Cheng X. (2016). A Study of
MatchPyramid Models on Ad-hoc Retrieval. CoRR abs/1606.04648 (2016).
• 12.Onal, K.D., Zhang, Y., Altingövde, I.S., Rahman, M.M., Senkul, P., Braylan, A.,
Dang, B., Chang, H., Kim, H., McNamara, Q., Angert, A., Banner, E., Khetan, V.,
McDonnell, T., Nguyen, A.H., Xu, D., Wallace, B.C., Rijke, M.D., & Lease, M.
(2017). Neural information retrieval: at the end of the early years. Information
Retrieval Journal, 21, 111-182.
33
‫ماخذ‬ ‫و‬ ‫منابع‬