03 кластеризация документов

Кластеризация документов Лидия Михайловна Пивоварова Системы понимания текста

Введение ,[object Object],[object Object],[object Object]

Содержание ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Оценка качества кластеризации ,[object Object],[object Object],[object Object],[object Object]

Матрица несоответствий ,[object Object],8 0 0 c 0 2 2 b 0 2 2 a C B A К Л А С Т Е Р Ы КЛАССЫ

Метрики заимствованные из информационного поиска ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],tn fn Ненайденные fp tp Найденные Нерелевантные Релевантные

Применительно к кластеризации ,[object Object],[object Object],[object Object]

Чистота ,[object Object],[object Object],[object Object]

Энтропия ,[object Object],[object Object]

Взаимная информация ,[object Object],[object Object],n Класс n h n h,l Кластер n l

Стабильность ,[object Object],[object Object]

Векторная модель ,[object Object],[object Object],[object Object],[object Object],[object Object]

Предобработка ,[object Object],[object Object],[object Object],[object Object],[object Object]

Иерархическая кластеризация ,[object Object],[object Object],[object Object],[object Object]

«Разделяющая» кластеризация ,[object Object],[object Object],[object Object],[object Object]

Недостатки kmeans ,[object Object],[object Object],[object Object],[object Object],[object Object]

Генеративные алгоритмы ,[object Object],[object Object]

Гауссова модель ,[object Object],[object Object],[object Object],[object Object],[object Object]

Гауссова модель ,[object Object],P(d| θ ) - вероятность того, что документ d принадлежит кластеру θ , m – размерность пространства, μ – центроид, Σ – матрица ковариации. Общая вероятность (правдоподобие того, что данный документ описывается моделью): Задача кластеризации: максимизировать это число, максимизировав каждое из слагаемых (т.е. найдя наилучшее среднее и матрицу ковариации для каждого кластера).

Expectation maximization ( EM -алгоритм) ,[object Object],[object Object],[object Object],[object Object]

EM -алгоритм ,[object Object],[object Object],[object Object],[object Object]

Модель фон Мисес-Фишера ,[object Object],[object Object]

Спектральная кластеризация ,[object Object],[object Object],[object Object],[object Object]

Алгоритм divide & merge ,[object Object],[object Object],[object Object],[object Object]

Алгоритм divide & merge

Нечеткая совместная корреляция ,[object Object],[object Object],[object Object],[object Object],[object Object]

Снижение размерности ,[object Object],[object Object]

Метод главных компонентов ( PCA) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Метод главных компонентов ,[object Object],[object Object],[object Object],[object Object],[object Object]

Неотрицательная факторизация (NMF) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Мягкая спектральная кластеризация ,[object Object],[object Object]

Мягкая спектральная кластеризация ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Lingo ,[object Object],[object Object],[object Object],[object Object]

Модели с учетом порядка слов ,[object Object],[object Object],[object Object]

Кластеризация на основе суффиксных деревьев ,[object Object],[object Object],[object Object],[object Object],dog chased cat , dog chased mailman

Кластеризация на основе суффиксных деревьев ,[object Object],[object Object],[object Object],[object Object],[object Object]

Граф документа ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Заключение ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Источники ,[object Object]

03 кластеризация документов

03 кластеризация документов

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(9)

Destaque

Destaque(20)

Similar a 03 кластеризация документов

Similar a 03 кластеризация документов(20)

Mais de Lidia Pivovarova

Mais de Lidia Pivovarova(20)

03 кластеризация документов