SlideShare uma empresa Scribd logo
1 de 20
ПРОБЛЕМЫ КЛАСТЕРИЗАЦИИ  НОВОСТНОГО ПОТОКА Петр Воляк [email_address] NLPseminar,  Санкт-Петербург 8 октября 2011 года
О КОМПАНИИ И ТЕХНОЛОГИЯХ
О компании   «Медиалогия» ,[object Object],[object Object],[object Object]
Что такое система «Медиалогия» БАЗА СМИ ТЕХНОЛОГИИ ОБРАБОТКИ И  ИЗВЛЕЧЕНИЯ ДАННЫХ СИСТЕМА ОНЛАЙН  АНАЛИЗА СМИ + =
База СМИ
База СМИ
Основные технологии ,[object Object],[object Object],[object Object],[object Object],[object Object]
Named Entity Recognition ,[object Object],[object Object],[object Object],[object Object],[object Object]
На том же этапе ,[object Object],[object Object],[object Object],[object Object],[object Object]
Продукты ,[object Object],[object Object],[object Object],[object Object]
КЛАСТЕРИЗАЦИЯ
Гравитационная кластеризация ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Обработка новостей ,[object Object],[object Object],[object Object]
Главная статья кластера ,[object Object],[object Object],[object Object],[object Object]
Основные проблемы ,[object Object],[object Object],[object Object],[object Object]
Способы решения ,[object Object],[object Object],[object Object],[object Object],[object Object]
Учет географии ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Выбор заголовка (задача) лексика  – отсутствие оценочной, жаргонной, ненормативной лексики Например:  (хорошо)  1 января для водителей московских такси вводится обязательная лицензия (плохо)  Зимой столичные бомбилы попадут на новые штрафы объекты  – в заголовке должны фигурировать главные участники сюжета + фактическая информация наиболее полно Например:  (хорошо)  ВТБ заявил о продаже «Газпрому» 70% акций «Связьбанка» за $100 млн   (плохо)  Крупнейший госбанк продает свою дочку (хорошо)  Председатель фракции «Справедливая россия» в Госдуме Николай Левичев сложил полномочия (плохо)  Левичев заявил об уходе  уровень обобщенности  – заголовок должен описывать сюжет в общем, а не его фазу или деталь Например:  (хорошо)  При взрыве в «Домодедово» пострадало несколько десятков человек (плохо)  Два харьковчанина числятся пропавшими после теракта в Москве знаки препинания  – заголовок не должен состоять из нескольких предложений, крайне нежелательны символы «тире», «двоеточие», восклицательный и вопросительный знаки Например:  (хорошо)  Президент России обсудил спортивное образование в школах   (плохо)  Медведев: Самое лучшее – детям!
Выбор заголовка (критерии) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Спасибо за внимание! Воляк Петр Компания «Медиалогия» Руководитель направления лингвистических решений  +7 (916) 534 35 61 pvolyak @mlg.ru 127018 , Москва, ул. Складочная, д.3, стр.1 телефон/факс: +7 (495) 780   90   40

Mais conteúdo relacionado

Semelhante a News Articles Clustering

YouScan product presentation Moldova
YouScan product presentation MoldovaYouScan product presentation Moldova
YouScan product presentation MoldovaPavel Sidorenco
 
Semantic forse presentation
Semantic forse presentationSemantic forse presentation
Semantic forse presentationVitalii Koval
 
Семь граблей краудсорсинга (7 crowdsourcing rakes)
Семь граблей краудсорсинга (7 crowdsourcing rakes)Семь граблей краудсорсинга (7 crowdsourcing rakes)
Семь граблей краудсорсинга (7 crowdsourcing rakes)Pavel Rastyannikov
 
Программа семинара
Программа семинараПрограмма семинара
Программа семинараWitology
 
Как правильно составить структуру сайта, Дмитрий Сатин, лекция в Школе вебмас...
Как правильно составить структуру сайта, Дмитрий Сатин, лекция в Школе вебмас...Как правильно составить структуру сайта, Дмитрий Сатин, лекция в Школе вебмас...
Как правильно составить структуру сайта, Дмитрий Сатин, лекция в Школе вебмас...Yandex
 
197.моделирование систем в среде bp win
197.моделирование систем в среде bp win197.моделирование систем в среде bp win
197.моделирование систем в среде bp winivanov156633595
 
техническая реализация
техническая реализациятехническая реализация
техническая реализацияPavel Evdokimov
 
Библиометрические показатели для оценки публикационной активности
Библиометрические показатели для оценки публикационной активностиБиблиометрические показатели для оценки публикационной активности
Библиометрические показатели для оценки публикационной активностиnulibrary
 
SiTex порталы. Работы со статьями. Презентация для обучения.
SiTex порталы. Работы со статьями. Презентация для обучения.SiTex порталы. Работы со статьями. Презентация для обучения.
SiTex порталы. Работы со статьями. Презентация для обучения.Nikita Melnikov
 
Ainl 2013 bogatyrev_математическая и лингвистическая
Ainl 2013 bogatyrev_математическая и лингвистическаяAinl 2013 bogatyrev_математическая и лингвистическая
Ainl 2013 bogatyrev_математическая и лингвистическаяAINL Conferences
 
Практическое применение семантического анализа для фильтрации трафика (Яков М...
Практическое применение семантического анализа для фильтрации трафика (Яков М...Практическое применение семантического анализа для фильтрации трафика (Яков М...
Практическое применение семантического анализа для фильтрации трафика (Яков М...Ontico
 
О концептуальном моделировании
О концептуальном моделированииО концептуальном моделировании
О концептуальном моделированииОтшельник
 
Кибервойны программных агентов
Кибервойны программных агентовКибервойны программных агентов
Кибервойны программных агентовPositive Hack Days
 
YouScan - мониторинг социальных медиа - функции
YouScan - мониторинг социальных медиа - функцииYouScan - мониторинг социальных медиа - функции
YouScan - мониторинг социальных медиа - функцииAlexey Orap
 
Data base
Data baseData base
Data basesng
 

Semelhante a News Articles Clustering (20)

YouScan product presentation Moldova
YouScan product presentation MoldovaYouScan product presentation Moldova
YouScan product presentation Moldova
 
Semantic forse presentation
Semantic forse presentationSemantic forse presentation
Semantic forse presentation
 
Семь граблей краудсорсинга (7 crowdsourcing rakes)
Семь граблей краудсорсинга (7 crowdsourcing rakes)Семь граблей краудсорсинга (7 crowdsourcing rakes)
Семь граблей краудсорсинга (7 crowdsourcing rakes)
 
Nws2
Nws2Nws2
Nws2
 
Программа семинара
Программа семинараПрограмма семинара
Программа семинара
 
Как правильно составить структуру сайта, Дмитрий Сатин, лекция в Школе вебмас...
Как правильно составить структуру сайта, Дмитрий Сатин, лекция в Школе вебмас...Как правильно составить структуру сайта, Дмитрий Сатин, лекция в Школе вебмас...
Как правильно составить структуру сайта, Дмитрий Сатин, лекция в Школе вебмас...
 
197.моделирование систем в среде bp win
197.моделирование систем в среде bp win197.моделирование систем в среде bp win
197.моделирование систем в среде bp win
 
техническая реализация
техническая реализациятехническая реализация
техническая реализация
 
Библиометрические показатели для оценки публикационной активности
Библиометрические показатели для оценки публикационной активностиБиблиометрические показатели для оценки публикационной активности
Библиометрические показатели для оценки публикационной активности
 
clasification
clasificationclasification
clasification
 
SiTex порталы. Работы со статьями. Презентация для обучения.
SiTex порталы. Работы со статьями. Презентация для обучения.SiTex порталы. Работы со статьями. Презентация для обучения.
SiTex порталы. Работы со статьями. Презентация для обучения.
 
Системы автоматического составления обзорных рефератов
Системы автоматического составления обзорных рефератовСистемы автоматического составления обзорных рефератов
Системы автоматического составления обзорных рефератов
 
rubashkin
rubashkinrubashkin
rubashkin
 
Ainl 2013 bogatyrev_математическая и лингвистическая
Ainl 2013 bogatyrev_математическая и лингвистическаяAinl 2013 bogatyrev_математическая и лингвистическая
Ainl 2013 bogatyrev_математическая и лингвистическая
 
Практическое применение семантического анализа для фильтрации трафика (Яков М...
Практическое применение семантического анализа для фильтрации трафика (Яков М...Практическое применение семантического анализа для фильтрации трафика (Яков М...
Практическое применение семантического анализа для фильтрации трафика (Яков М...
 
О концептуальном моделировании
О концептуальном моделированииО концептуальном моделировании
О концептуальном моделировании
 
Извлечение знаний и фактов из текстов
Извлечение знаний и фактов из текстовИзвлечение знаний и фактов из текстов
Извлечение знаний и фактов из текстов
 
Кибервойны программных агентов
Кибервойны программных агентовКибервойны программных агентов
Кибервойны программных агентов
 
YouScan - мониторинг социальных медиа - функции
YouScan - мониторинг социальных медиа - функцииYouScan - мониторинг социальных медиа - функции
YouScan - мониторинг социальных медиа - функции
 
Data base
Data baseData base
Data base
 

Mais de NLPseminar

[ИТ-лекторий ФКН ВШЭ]: Диалоговые системы. Татьяна Ландо
[ИТ-лекторий ФКН ВШЭ]: Диалоговые системы. Татьяна Ландо[ИТ-лекторий ФКН ВШЭ]: Диалоговые системы. Татьяна Ландо
[ИТ-лекторий ФКН ВШЭ]: Диалоговые системы. Татьяна ЛандоNLPseminar
 
клышинский
клышинскийклышинский
клышинскийNLPseminar
 
конф ии и ея гаврилова
конф ии и ея  гавриловаконф ии и ея  гаврилова
конф ии и ея гавриловаNLPseminar
 
кудрявцев V3
кудрявцев V3кудрявцев V3
кудрявцев V3NLPseminar
 
акинина осмоловская
акинина осмоловскаяакинина осмоловская
акинина осмоловскаяNLPseminar
 
потапов
потаповпотапов
потаповNLPseminar
 
molchanov(promt)
molchanov(promt)molchanov(promt)
molchanov(promt)NLPseminar
 
белканова
белкановабелканова
белкановаNLPseminar
 
гвоздикин
гвоздикингвоздикин
гвоздикинNLPseminar
 
веселов
веселоввеселов
веселовNLPseminar
 

Mais de NLPseminar (20)

[ИТ-лекторий ФКН ВШЭ]: Диалоговые системы. Татьяна Ландо
[ИТ-лекторий ФКН ВШЭ]: Диалоговые системы. Татьяна Ландо[ИТ-лекторий ФКН ВШЭ]: Диалоговые системы. Татьяна Ландо
[ИТ-лекторий ФКН ВШЭ]: Диалоговые системы. Татьяна Ландо
 
Events
EventsEvents
Events
 
Tomita
TomitaTomita
Tomita
 
бетин
бетинбетин
бетин
 
Andreev
AndreevAndreev
Andreev
 
клышинский
клышинскийклышинский
клышинский
 
конф ии и ея гаврилова
конф ии и ея  гавриловаконф ии и ея  гаврилова
конф ии и ея гаврилова
 
кудрявцев V3
кудрявцев V3кудрявцев V3
кудрявцев V3
 
Vlasova
VlasovaVlasova
Vlasova
 
Ageev
AgeevAgeev
Ageev
 
Khomitsevich
Khomitsevich Khomitsevich
Khomitsevich
 
акинина осмоловская
акинина осмоловскаяакинина осмоловская
акинина осмоловская
 
Serebryakov
SerebryakovSerebryakov
Serebryakov
 
потапов
потаповпотапов
потапов
 
molchanov(promt)
molchanov(promt)molchanov(promt)
molchanov(promt)
 
белканова
белкановабелканова
белканова
 
Skatov
SkatovSkatov
Skatov
 
гвоздикин
гвоздикингвоздикин
гвоздикин
 
веселов
веселоввеселов
веселов
 
Mitsov
MitsovMitsov
Mitsov
 

News Articles Clustering

  • 1. ПРОБЛЕМЫ КЛАСТЕРИЗАЦИИ НОВОСТНОГО ПОТОКА Петр Воляк [email_address] NLPseminar, Санкт-Петербург 8 октября 2011 года
  • 2. О КОМПАНИИ И ТЕХНОЛОГИЯХ
  • 3.
  • 4. Что такое система «Медиалогия» БАЗА СМИ ТЕХНОЛОГИИ ОБРАБОТКИ И ИЗВЛЕЧЕНИЯ ДАННЫХ СИСТЕМА ОНЛАЙН АНАЛИЗА СМИ + =
  • 7.
  • 8.
  • 9.
  • 10.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18. Выбор заголовка (задача) лексика – отсутствие оценочной, жаргонной, ненормативной лексики Например: (хорошо) 1 января для водителей московских такси вводится обязательная лицензия (плохо) Зимой столичные бомбилы попадут на новые штрафы объекты – в заголовке должны фигурировать главные участники сюжета + фактическая информация наиболее полно Например: (хорошо) ВТБ заявил о продаже «Газпрому» 70% акций «Связьбанка» за $100 млн (плохо) Крупнейший госбанк продает свою дочку (хорошо) Председатель фракции «Справедливая россия» в Госдуме Николай Левичев сложил полномочия (плохо) Левичев заявил об уходе уровень обобщенности – заголовок должен описывать сюжет в общем, а не его фазу или деталь Например: (хорошо) При взрыве в «Домодедово» пострадало несколько десятков человек (плохо) Два харьковчанина числятся пропавшими после теракта в Москве знаки препинания – заголовок не должен состоять из нескольких предложений, крайне нежелательны символы «тире», «двоеточие», восклицательный и вопросительный знаки Например: (хорошо) Президент России обсудил спортивное образование в школах (плохо) Медведев: Самое лучшее – детям!
  • 19.
  • 20. Спасибо за внимание! Воляк Петр Компания «Медиалогия» Руководитель направления лингвистических решений +7 (916) 534 35 61 pvolyak @mlg.ru 127018 , Москва, ул. Складочная, д.3, стр.1 телефон/факс: +7 (495) 780 90 40