2. Задача работы
• Цель моей работы – реализация алгоритма распознавания
пульса по видеозаписи. Рассматриваемый метод распознавания
пульса называется Eulerian Video Magnification (дословно:
усиление видео по Эйлеру). Метод был разработан в
Массачусетском технологическом институте (MIT) в 2012 году.
Моя задача состоит в том, чтобы разработать приложение для
мобильных устройств, реализующее данный алгоритм.
3. Постановка задачи определения
пульса по видео
• Цвет кожи человека незначительно меняется в зависимости от
циркуляции крови. Эти изменения(амплитуда колебаний цвета)
очень малы и невидимы глазом, но присутствуют на
видеозаписи.
• Имея на входе видеозапись участка кожи человека требуется
сделать эти невидимые изменения различимыми для глаза
человека(усилить), чтобы можно было их количественно и
качественно оценить.
4. Краткий алгоритм решения
1. Разбиение видео на последовательность кадров(фреймов).
2. Фильтрация кадров от шумов
3. Фильтрация диапазона частот колебаний цвета пикселей в
котором может быть пульс
4. Усиление отфильтрованных изменений нужных частот и
наложение усиленного сигнала на входную
последовательность кадров
6. Фильтрация от шумов
1. Построение пирамиды Гаусса для кадра
2. Использование для дальнейших расчетов последовательности
кадров 3-4 уровня пирамиды.
7. Выделение необходимой частоты в
колебаниях цвета.
1. Имеется последовательность значений цветов для каждого
пикселя относительно времени.
2. Преобразование последовательности по Фурье.
3. Выделение из частотного спектра необходимых частот.
Например, 0.4-4Hz, соответствуют 24-240 ударам в минуту.
4. Обратное преобразование по временную область
8. Усиление отфильтрованных изменений нужных
частот и наложение усиленного сигнала на входную
последовательность кадров
• Усиление изменений осуществляется по линейному
закону.
Кадр результирующего видео получается так:
кадр результата = кадр входного видео + кадр
отфильтрованной по частотам последовательности × alpha.
• Alpha – числовой коэффициент, который выбирается с
учетом частот отфильтрованной последовательности.
9. Сравнение Eulerian Video Magnification с
методом Лагранжа (Lagrangian Processing.)
Метод Эйлера Метод Лагранжа
Вычислительная низкая высокая
сложность
Чувствительность к средняя высокая
распознаванию цветовых
изменений
Чувствительность к шуму низкая высокая
Величина усиления средняя высокая
• Таким образом на более шумной видеозаписи, когда требуются
не слишком большие усиления метод Эйлера будет
предпочтителен. Метод полностью подходит для определения
пульса, а меньшая чувствительность к шумам и большая
простота по сравнению с методом Лагранжа являются
большими аргументами в пользу его использования в данной
ситуации.
10. Заключение
• Преимущество, которые дает приложение по
определению пульса:
• Легкое определение пульса в любое время и в любом
месте
• Сравнение потоков крови на различных участках тела
• Также следует учесть, что алгоритм с некоторыми
различиями подходит не только для определения
пульса но и для множества подобных задач с усилением
трудноразличимых изменений цвета и
движений, поэтому функциональность приложения в
дальнейшем можно намного расширить.
