O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Nkp 2015

Презентация доклада «Элементы поиска нечетких дубликатов видео»
на XIII Всероссийской научной конференции «Нейрокомпьютеры и их применение»
(17 марта 2015 года).

Я хочу рассказать о поиске нечетки дубликатов видео.
Понятие «нечеткий дубликат» означает неполное или частичное совпадение текущего документа (изображения) с другим документом подобного класса.
Почему интересно заниматься поиском дубликатов именно видео?

Российский рынок онлайн-видео в 2012—2018 годах.
На слайде приведены ретроспектива и прогноз развития Российского интернет видео.
Видно, что ожидается рост как и зрителей онлайн‑видео, так и количество просмотров от одного зрителя.
Издатели, пользователи и сторонние организации часто редактируют и публикуют копии оригинального видео.
Часто одинаковые видео снабжаются совершенно разными, причем очень часто не соблюдаются в том числе и правовые аспекты.
Задача поиска таких копий могут быть решены через поиск нечетких дубликатов видео.
Кроме того поиск нечетких дубликатов может быть полезен для организации систем рекомендаций по видео.

  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Nkp 2015

  1. 1. .. Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения МОСКОВСКИЙ АВИАЦИОННЫЙ ИНСТИТУТ (национальный исследовательский университет) Элементы поиска нечетких дубликатов видео Никитин Илья Константинович, асп. каф. 806 МАИ twitter: @w_495 почта: w@w-495.ru nikitin.i@tvzavr.ru w495@yandex-team.ru 17 марта 2015 года. «Элементы поиска нечетких дубликатов видео» XIII Всероссийская научная конференция «Нейрокомпьютеры и их применение»
  2. 2. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Кто я аспирант, преподаватель разработчик разработчик 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 2 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  3. 3. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Дубликаты Онлайн-видео Рекомендации Ранжирование Группировка Что такое «нечеткие дубликаты» оригинал естественный дубликат искусственный дубликат 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 3 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  4. 4. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Дубликаты Онлайн-видео Рекомендации Ранжирование Группировка Российский рынок онлайн-видео в 2012—2018 годах ... .. 2012 . 2013 . 2014 . 2015 . 2016 . 2017 . 2018 . 0. 100 . 200 . 300 ...................... 53 . 59 . 67 . 76 . 85 . 95 . 105 . 166 . 167 . 179 . 191 . 204 . 218 . 233 . 106 . 118 . 144 . 174 . 209 . 248 . 292 . . .. Среднее число зрителей в месяц (в миллионах) . .. Среднее число просмотров в месяц для одного зрителя . .. Общее число просмотров видео в год (в миллиардах) 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 4 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  5. 5. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Дубликаты Онлайн-видео Рекомендации Ранжирование Группировка Пример ошибочной рекомендации видео 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 5 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  6. 6. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Дубликаты Онлайн-видео Рекомендации Ранжирование Группировка «Faszination Korallenriff (2011)». Сервис Mail.ru 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 6 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  7. 7. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Дубликаты Онлайн-видео Рекомендации Ранжирование Группировка «Faszination Korallenriff (2011)». Сервис Яндекс.Видео 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 7 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  8. 8. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Дубликаты Онлайн-видео Рекомендации Ранжирование Группировка «Faszination Korallenriff (2011)». Сервис vk.com 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 8 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  9. 9. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Дубликаты Онлайн-видео Рекомендации Ранжирование Группировка «Faszination Korallenriff (2011)». Сервис YouTube. 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 9 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  10. 10. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Дубликаты Онлайн-видео Рекомендации Ранжирование Группировка Группировка новостей. Пример с eyeopening.info . Перевод подписи .. . Безоружные мирные граждане встали на пути бронетехники и пытаются остановить укра- инских военных при входе в Славянск. 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 10 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  11. 11. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Дубликаты Онлайн-видео Рекомендации Ранжирование Группировка Группировка новостей. Пример с rt.com . Перевод подписи .. . Местные жители собираются, чтобы поговорить с украинскими военными на блокпосту, который те захватили утром в селе Андреевка, 7 км от центра Славянска, 2 мая 2014 года. 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 11 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  12. 12. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Дубликаты Онлайн-видео Рекомендации Ранжирование Группировка Группировка новостей. Пример с ewn.co.za . Перевод подписи .. . Во вторник украинские вооруженные силы нанесли удар по базам пророссийских сепара- тистов в восточных регионах страны. 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 12 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  13. 13. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Ву Шен Башарат Керубини Нечеткие дубликаты видео по Ву . Копии друг друга, отличаются набором модификаций .. . .. .. .. .. .. . ≃дубликат . ≃дубликат . ̸≃уже не дубликат 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 13 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  14. 14. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Ву Шен Башарат Керубини Нечеткие дубликаты видео по Шену . Общая сцена, разные условия съемки и варианты монтажа .. . .. .. .. .. .. . ≃дубликат . ≃дубликат . ̸≃уже не дубликат 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 14 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  15. 15. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Ву Шен Башарат Керубини Нечеткие дубликаты видео по Башарату . Общая смысловая концепция, разные варианты представления .. . .. .. .. .. .. .. .. .. .. .. . ≃ . ≃ . ≃ . ≃ . ≃ .≃ . ̸≃ . ≃. ̸≃ . ̸≃ . ≃ . ≃ 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 15 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  16. 16. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Ву Шен Башарат Керубини Нечеткие дубликаты видео по Керубини . Общая семантика и нет дополнительной информации .. . .. .. .. .. .. .. .. .. .. .. . ≃ . ≃ . ̸≃ . ≃ . ≃ .≃ . ̸≃ . ̸≃. ̸≃ . ̸≃ . ≃ . ≃ 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 16 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  17. 17. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Схема Сегментация Признаки Общая схема поиска по видео ... Сегментация .. Извлечение признаков .. Построение сигнатур ..Видео . . Съёмки. . Кадры . . Сцены . . Движение. . Ключевые кадры . . Объекты . . Аннотирование. . Анализ . . Классификация . . Индекс . Смысловая индексация . Индексация данных . . Запрос . . Выдача . . Зритель 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 17 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  18. 18. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Схема Сегментация Признаки Сегментация видео .... Видео . .. Сцены . . . .. Съёмки . . . . . . . .. Ключевые кадры . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 18 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  19. 19. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Схема Сегментация Признаки ..Признаки. Кадры . Цвет . Текстура. Контуры . Края . Объекты . Цвет . Текстура . Размер . Движение . Камеры . Объектов . Звук . Средняя частота . Шумы . Музыка . Речь .Признаки. Кадры . Цвет . Текстура . Контуры . Края . Объекты . Цвет . Текстура . Размер . Движение . Камеры . Объектов . Звук . Средняя частота . Шумы . Музыка . Речь 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 19 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  20. 20. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Виды Локальные Глобальные Типы видео-сигнатур . Локальные .. . ▶ выражают локальную информацию кадра, ▶ напрямую работают с дескрипторами особых точек. . Глобальные .. . ▶ выражают одной сигнатурой целый кадр; ▶ выражают одной сигнатурой все видео целиком; ▶ выражают изменении кадров во времени. 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 20 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  21. 21. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Виды Локальные Глобальные Локальные сигнатуры Видео кандидат Оригинальное видео Плюсами показаны особые точки Прямоугольниками показаны области, (запрос) где могут находиться особые точки 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 21 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  22. 22. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Виды Локальные Глобальные Локальные сигнатуры: оценка . Пример .. . Пусть дано некоторое видео: ▶ разрешение 800 × 600 пикселей; ▶ в кадре может быть найдено около 1000 точек; Если таких видео много: ▶ 100000 видео-файлов; ▶ по 5 ключевых кадров в каждом виде; ⇒ 500000000 ключевых точек; Каждая точка представлена вектором: ▶ SIFT (128 компонент) ▶ или PCA-SIFT (64 компоненты); 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 22 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  23. 23. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Виды Локальные Глобальные Глобальные сигнатуры ▶ одна сигнатура — целый кадр: ▶ средние цветовые моменты кадра; ▶ цветовые моменты областей кадра (дескриптор GIST); ▶ мешок визуальных слов; ▶ линеаризация, видео как ДНК; ▶ одна сигнатура — видео целиком: ▶ средний цветовой момент видео; ▶ ссылочная видео-гистограмма — набор опорных кадров; ▶ кластеризация кадров. ▶ пространственно-временные сигнатуры: ▶ отслеживание траекторий; ▶ линеаризация, порядковая сигнатура; ▶ последовательность монтажных склеек; ▶ дерево сцен. 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 23 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  24. 24. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Виды Локальные Глобальные Глобальные сигнатуры: видео как ДНК ⇒ ⇒ ⇒ Исходное (RGB) Яркость 2 × 2 ⇒ 172 164 125 114 ⇒ 1 2 3 4 ⇒ 1, 2, 3, 4 ⇒ 𝑨 ⋯ 4, 3, 1, 2 ⇒ W 4, 3, 2, 1 ⇒ X Матрица яркости Порядок блоков Символ 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 24 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  25. 25. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Виды Локальные Глобальные Глобальные: порядковая, сравнение по времени ⇒ ⇒ ⇒ Исходное (RGB) Яркость 3 × 3 ⇒ ⎛ ⎜⎜ ⎝ 177 170 168 160 152 142 111 109 103 ⎞ ⎟⎟ ⎠ ⇒ ⎛ ⎜⎜ ⎝ 8 7 6 5 4 3 2 1 0 ⎞ ⎟⎟ ⎠ Матрица яркости Порядок блоков 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 25 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  26. 26. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Видео Факты Результаты Что такое видео? .. Видео. Мета . заголовок . автор . субтитры . описание . Кадры . события . объекты . фон . Звук . шумы . музыка . голос . Текст . речь . надписи . OCR субтитры . Видео. Мета . заголовок . автор . субтитры . описание . Кадры . события . объекты . фон . Звук . шумы . музыка . голос . Текст . речь . надписи . OCR субтитры 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 26 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  27. 27. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Видео Факты Результаты Что такое видео? — Последовательность ... Видео — последовательность фактов, развивающихся во времени. . . ▶ Свойства фактов — пространственная характеристика видео, ▶ продолжительность и порядок фактов — временная. . Что есть факты? .. . ▶ простейший вариант — сцены-съёмки: ▷ ищем точки смены съёмок (монтажных склеек). ▶ пространственная характеристика: ▷ начальный и конечный кадр («мешок слов», GIST) ▶ временная характеристика: ▷ отношения длин съёмок к длинам соседних съёмок ▷ + алгоритмы выравнивания последовательностей 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 27 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  28. 28. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Видео Факты Результаты Результаты и перспективы . Предложен подход .. . £ относительные длины, £ выравнивания, ⇒ дескриптор сцен фактов в видео; . Проведены эксперименты (17 тыс. фильмов) .. . ▶ точность = 0.8; ▶ полнота = 0.7; ▶ ложноотрицательные оценки; ♦ требуется более детальное практическое сравнение с существующими методами. 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 28 из 28 (32) | «Элементы поиска нечетких дубликатов видео»
  29. 29. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Алгоритм Длины сцен Выравнивания Приложение: алгоритм поиска нечетких дубликатов ▶ ν — новое видео; ▶ Π = {π1, π2, . . . , πn} — исходные видео: ← Π может быть пустым; ← для непустого Π вычислены дескрипторы сцен элементов. 1. Сравниваем дескриптор каждой сцены σν,i из ν с дескриптором каждой сцены σπk,j из πk в L2. 2. Если дескрипторы совпали ν c дескрипторами πk. на некотором временном промежутке , то считаем эту часть ν — дубликатом πk, несовпавшие части ν помещаем в Π. 3. Если дескрипторы не совпали, то считаем ν уникальным и добавляем в Π. 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 29 из 32 | Приложение к «Элементам поиска нечетких дубликатов видео»
  30. 30. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Алгоритм Длины сцен Выравнивания Приложение: относительные длины Первые кадры сцен некоторого видео ▶ длина всех отрезков относительно всех, для видео это будет представлять матрицу   1.0000 0.3171 0.3071 0.6000 3.1538 1.0000 0.9685 1.8923 3.2564 1.0325 1.0000 1.9538 1.6667 0.5285 0.5118 1.0000   ; ▶ длина отрезков относительно некоторых: — например 3 предыдущих, — такой вариант применим для реального времени. 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 30 из 32 | Приложение к «Элементам поиска нечетких дубликатов видео»
  31. 31. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Алгоритм Длины сцен Выравнивания Приложение: временные отметки перемены сцен Временные отметки перемены сцен для видео закодированного различными кодеками. Отметки в секундах n cinepak indeo5 h264 1 0.133333 0.133333 0.133333 2 11.3333 — — 3 74 74 74 4 78.9333 — — 5 87.9333 — 87.9333 6 88.2667 88.2667 88.2667 7 88.3333 — — 8 94.5333 94.5333 94.5333 9 — 101.133 101.133 10 101.4 — 101.4 11 — — 112 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 31 из 32 | Приложение к «Элементам поиска нечетких дубликатов видео»
  32. 32. ... Зачем Что такое HДВ Поиск по видео Сигнатуры Структура Приложения Алгоритм Длины сцен Выравнивания Приложение: выравнивания последовательностей Время 1 cек 2 cек 3 cек 4 cек 5 cек 6 cек 7 cек Видео v1 σ1,1 σ1,2 σ1,3 Видео v2 σ2,1 σ2,2 Алгоритм Гейла-Черча для выравниваня длин предложений параллельных корпусов на разных языках ▶ требуется установить, что v1 и v2, «переводы» друг друга; ▶ когда лучше выравнивать, до или после перехода к относительным длинам: до: перевычислять относительные длины, после: учитывать масштаб относительных длин; ▶ вычислительные затраты. 17 марта 2015 года: И. К. Никитин. Почта: w@w-495.ru, twitter: @w_495 32 из 32 | Приложение к «Элементам поиска нечетких дубликатов видео»

×