Презентация на уебинара «Текстова релевантност», Геннадий Воробьов, 22 януари.

1. Gennadiy
Vorobyov
Текстова релевантност

2. План на доклада
1. Нелинейност на честотност на думи
Индекс на търсачката и лематизация
речник на честотностите
Демонстрация
Лематизатор на български текст
Подобни фрази
Продължителност минути минути за въпроси

3. 1. Една и съща дума не трябва да се употребява в
текста много пъти
Важно е самото й наличие Зависимост на релевантността спрямо честотност на
дума има нелинеен характер
Общ принцип колкото по често се употребява думата в документа толкова ще
е по висока релевантност вярно
Но започвайки от определено значение увеличение на честотата спира да влияе
върху релевантността

4. 1. Релевантност VS честотност
Схематично поведение на влиянието на честотност на думата върху
релевантността й честотност релевантност

5. 2. Индекс на търсачката
При текстово търсене търсачката се обръща към индексната си база с документи

6. 2. Инвертиран индекс

7. 2. Лематизиране

8. 2. Лематизиране
Лема основна форма на думата словоформа
случай случаи случаите случай случаят
нотариус нотариус нотариуса нотариусът
получа получа получени получи получил
платен платена платената платил платя
уговоря уговорената уговорения уговорили
посоча посоча посочените посочи
недвижим недвижим недвижими недвижимите
Нужно е
● за съставяне на индексна база на търсачката
● за и специалисти за работа с текстове и ключови думи

9. 2. Лематизиране
Как се свежда думата до нейна лема
● Лематизатор с речник
● Стеминг алгоритъм на П Наков

10. 3. TF/IDF, Речник на честотностите
честотност на думата отношение на брой повторения
на думата към общия брой думи в документа По този начин оценяваме
важността на думата в рамките на документа
където е брой повторения на думата в документа а в знаменателя общ
брой думи в документа
думите се лематизират

11. 3. TF/IDF, Речник на честотностите
обратна честотност на документа
инверсия на честотата с която някоя дума се среща в документите на
колекцията
намаля тежестта на честоизпоолзваните думи За всяка уникална дума в
рамките на конкретна колекция документи съществува конкретно значение на
където
брой документи в колекцията
брой документи в които се среща когда

12. 3. TF/IDF, Речник на честотностите
По голяма тежест в ще получат думи с висока честотност в рамките на
конретен документ и с ниска честотност в другите документи

13. 3. TF/IDF, Речник на честотностите
Речник на честотностите е нужен за коректна калкулация на честотност на
думите в цялата колекция
Варианти на колекциите
набор от документи примерно
всички текстове в рамките на ТОП ТОП
всички текстове в сайта
индекс на търсачките

14. 4. BM25
е една от функциите за текстова релевантност на документи
Модифициран вариант на която оценява срещанията на думите в
ключовата фраза без оценка на взаимоотношения между думите например
близостта им
Това не е единствена формула а семейство модифицирани формули
Нека фразата състояща от думите тогава дава следната
оценка на релевантността на документа към
е
е дължината на документа
е средна дължина на документите в колекцията
свободни коефициенти обикновено

15. 4. Демонстрация: калкулация на TF/IDF, BM25 Excel
Калкулация на и

16. 4. Демонстрация: калкулация на TF/IDF, BM25 Excel

17. 4. Демонстрация: калкулация на TF/IDF, BM25 Excel

18. 4. Демонстрация: калкулация на TF/IDF, BM25 Excel

19. 4. Разширена BM25 @Яндекс
Автоматизирахме процеса за пресмятане на BM25 (статия в Блога)

20. 5. LSA
алгоритъм за намиране на сходство между
текстове без да има явно подобие с помощта на скрити и неочевидни
зависимости
Определяне дали документите се отнасят към конкретна тематика или не
Документите се представят във вид на вектор а сходството на документите се
измерва с помощта на векторно разстояние между тях

21. 6. Демонстрация
Лематизатор
Фирма ТЕТО ЕООД е компания с над от годишен опит и традиции в изработването на метални керемиди трапецовидни профили безшевни улуци тръби и тн През годините фирмата се е специализирала в ремонт на покриви Произходът
на металните керемиди е още от те години на век във Финландия и те са пригодени за различни климатични условия където температурните амплитуди на въздуха варират от до градуса Употребата на металните керемиди все
повече се увеличава във времето което се дължи на продължителния им период на използване и тяхната издръжливост при всякакви атмосферни условия В производството на метални керемиди компанията използва производствените линии
на световноизвестната марка която е наложена с годините на международния пазар ремонт на покриви През годините на съществуване на ТЕТО ЕООД можем да се похвалим с реализацията на стотици строителни обекти от
жилищни блокове и кооперации до административни сгради и учреждения както и значителен брой вили хотели и тн Фирма ТЕТО ЕООД е наложила високо качеството при производствените си и организационните процеси в своята
работа Дейности като ремонт на покриви облицоването на сгради водосточните системи са част от качествените услуги които предоставя компанията Чрез широкия набор от услуги и качествена продукция фирмата се е утвърдила като
сигурна компания в сферата на строителните и ремонти дейности а металните керемиди са надеждни и предпочитани от все повече домакинства метални покриви и конструкции Освен това ТЕТО ЕООД предлага и най различни аксесоари с
които има възможност да бъдат изготвяни елементи при различни специфични поръчки Предлаганите продукти се отличават с високо качество на изработка и удовлетворяват нуждите на клиента За улеснение на клиентите предлагаме и
подробни инструкции при монтажа на металните керемиди които може да намерите на нашия сайт Имате възможност да разгледате и няколко снимкови галерии с реализирани проекти от нашата фирма в които може да видите интересни
решения за различни типове сгради Основните преимущества на металните керемиди са Дълъг период на експлоатация достигащ години Ниски нива на тегло м тежи кг Многопластово защитно покритие Високо нива на
устойчивост при силни температурни амплитуди Лесно и удобни са за транспортиране и монтаж Херметичност Красив дизайн и външен вид Силно и естествено наподобяват по външен на традиционните керемиди

22. 6. n-gramm анализ
честотност на грами в текста

23. 6. Netpeak Tags Finder @Prodvigator beta

24. 6. Word investigator @Prodvigator beta

25. 6. Подобни фрази @ Standard&Professional Prodvigator

26. Допълнителна литература
1. http://googleresearch.blogspot.ca/2014/08/teaching-machines-to-read-between-lines.html
2. http://moz.com/blog/7-advanced-seo-concepts
3. Introduction to Information Retrieval http://www-nlp.stanford.edu/IR-book/

27. Learn more about internet marketing

28. Въпроси?

29. Gennadiy Vorobyov
CEO Netpeak Bulgaria
g.vorobyov@netpeak.net