SlideShare a Scribd company logo
1 of 74
Распознавание и анализ лиц




                Антон Конушин
       http://courses.graphicon.ru/vision2
Этот курс подготовлен
при поддержке Microsoft
       Research
Что предполагаем




• Умеем:
  • Выделять лица в изображении
  • Находять характерные точки на изображении лица
  • Строить 2D и 3D сеточные модели лица человека по
    изображению


• Этим задачам посвящены отдельные лекции
Что будем рассматривать

• Тестовые базы

• Распознавание лиц

• Распознавание атрибутов по лицу

• Фокусы с лицами
Верификация




  На обоих изображениях один и тот же человек, или нет?

Базовая задача распознавания лиц, которую и человеку проще
                       всего решать
Идентификация




•   Есть фиксированный список людей (база) и тестовое
    изображении
•   Нужно определить, кто из списка изображени на тестовой
    фотографии?
«Watch List»




•   Есть список «подозрительных людей»
•   Необходимо определить, входит ли человек в этот список
    по его фотографии
•   Самая сложная постановка задачи
Аттрибуты

                                 Мужчина

                                   Азиат

                                  Бородат

                                Улыбается


• Что мы можем сказать про этого человека?
• Атрибуты – «типичные» характеристики объекта
• Для человека - пол, возраст, раса, борода, усы,
  улыбка, очки и т.д.
FERET (1995-2000)




 •   14000 изображений, 1200 человек
 •   2 фронтальных фотографии с разным выражением лица (fa, fb)
 •   Иногда одна фотография другой камерой и освещением
 •   Несколько дупликатов (фотографий того же человека через 1-2 года
     после первой съёмки)



P. J. Phillips, H. Moon, P. J. Rauss, and S. Rizvi, "The FERET evaluation methodology
for face recognition algorithms", PAMI 2000.
FRGC




 •   Face Recognition Grand Challenge (для Face Recognition Vendor Test)
 •   Идея: исследовать возможность повышения качества распознавания за
     счёт улучшенных данных разной природы (контролируемые,
     неконтролируемые, 3д), высокое разрешение
 •   220 человек, 12К изображений в обучающих данных
 •   465 человек в валидационной выборке (год спустя)

P. Jonathon Phillips, Patrick J. Flynn, Todd Scruggs, Kevin Bowyer, Jin Chang, Kevin Hoffman,
Joe Marques, Jaesik Min, and William Worek. Overview of the Face Recognition Grand
Challenge. In CVPR, 2005.
Labeled Faces in the Wild (LFW)
                                          http://vis-www.cs.umass.edu/lfw




Gary B. Huang, Manu Ramesh, Tamara Berg, and Erik Learned-Miller.
Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained
Environments. University of Massachusetts, Amherst, Technical Report 07-49, 2007.
Labeled Faces in the Wild
•   5749 человек, 12К изображений, 1680
    человек по 2 и более фотографии, остальные
    – по одной
•   Фотографии разрешения 250*250, JPEG
•   Неконтролируемые условия, очень разные
    фоны, позы, разное время съёмки
PubFig

                              Публичные люди:
                              • Политики
                              • «Звезды»

                              Большая коллекция
                              • 60,000 изображений
                              • 200 человек
                              • 300 изображений на человека

                              Поднаборы:
                              • Поза
                              • Освещение
                              • Выражение лица



    http://www.cs.columbia.edu/CAVE/databases/pubfig/
Верификация

Изображения   Признаки   Верификация

                RGB
                HOG
                LBP
                SIFT
                 …
                          Разные
                RGB
                HOG
                LBP
                SIFT
                 …
Нормализация изображения лица




• Обычно лицо нормализуется по центрам глаз
• Центры глаз должны быть на одной строке и с
  фиксированным расстоянием
EigenFaces




M. Turk and A. Pentland (1991). "Face recognition using
eigenfaces". Proc. IEEE Conference on Computer Vision and
Pattern Recognition. pp. 586–591.
EigenFaces




Большая собственная выборка изображений лиц
Метод главных компонент




•   Идея – аппроксимация данных векторами меньшей размерности
•   Изначально прямыми и плоскостями (Пирсон, 1901)

•   Ортогональное преобразование векторов в
    новый базис
•   Базисные вектора – собственные вектора
    матрицы ковариации
EigenFaces
         PCA:   x  x  Pb
EigenFaces
EigenFaces
• Первые коэффициенты разложения лица
  используются как признаки в задачах
  идентификации личности
• Самые первые 3 компоненты в PCA считаем,
  отмечают за свет, поэтому при сравнении их
  отбрасываем
FisherFaces vs EigenFaces




P. Belhumeur, J. Hespanha, and D. Kriegman, “Eigenfaces vs. Fisherfaces: Recognition using
class specific linear projection,” ECCV, pp. 45–58, 1996.
Эксперименты




•   5 человек, 330 изображений. Набор 1 – освещение в
    основном спереди, в следующих набора источник света всё
    больше удаляется от исходного положения
Эксперименты
Сопоставление графов

•   Руками создаем модельный граф:
     • Вершины – интересные точки лица.
     • Ребра – расстояния между точками
•   На фотографию лица накладывается
    модельный граф так, чтобы ошибка
    наложения была минимальной.
•   Потом для каждой точки графа ищется
    позиция в ее окрестности, где ошибка
    сопоставления минимальная.
•   Признаки считаются с помощью Вейвлет
    преобразования с фильтром Габора.




Wiskott, L., Fellous, J.M., Krьger, N., and von der Malsburg, C. Face
recognition by elastic bunch graph matching. 1997
Local Binary Patterns




Ahonen, T., Hadid, A. and Pietikäinen, M. (2006), Face Description with Local Binary
Patterns: Application to Face Recognition. IEEE PAMI 28(12):2037-2041.
Применение LBP




•   Изображение разбивается на области. В каждой области
    применяются LBP операторы к каждому пикселю. Строится
    гистограмма.
•   Объединение гистограмм – LBP дескриптор для изображения.
•   Для пары изображений считается разность дескрипторов по
    какой-нибудь метрике (например, Хи-квадрат)
Развитие LBP
   •   Придумали два новых признаковых дескриптора: Three-Patch
       LBP и Four-Patch LBP - усовершенствованные LBP.
   •   Будем сравнивать не пиксели, а фрагменты изображения между
       собой (попиксельно по L2 и т.д.)
   •   f(x) =1 если x>T, и 0, если наоборот
   •   Затем всё переводим




Lior Wolf, Tal Hassner and Yaniv Taigman, "Descriptor Based Methods in the Wild," Faces in
Real-Life Images workshop at the European Conference on Computer Vision (ECCV), 2008.
Four-Patch LBP




       Сравнение двух пар фрагментов
BIF
      •   Биологически-
          обусловленные
          признаки
      •   Фильтры Габора в 4х
          ориентациях и 16
          масштабах
      •   Соседние масштабы
          объединяются через
          max-оператор
      •   Затем разбивается на
          пересекающиеся блоки
          и для каждого считается
          стандартное отклонение


      •   Всего ~3700 параметров
Аттрибуты

                               Мужчина

                                Азиат

                               Бородат

                              Улыбается


• Самый сложный атрибут – возраст, ключевая
  проблема – данные
Аттрибуты определяют категорию

Female   Eyeglasses   Middle-aged   Dark hair
Google: “smiling asian men with glasses” 7/08
ECCV 2008, FaceTracer: “smiling asian men with glasses”
SVM-подход
   •   Уменьшенные изображения
       до 12*21 пикселей
       (thumbnails)
   •   SVM-RBF классификатор
   •   300 опорных векторов
   •   FERET база
   •   Точность – 96.6%




B. Moghaddam and M.-H. Yang, “Learning gender with support faces,” TPAMI, vol.
24, no. 5, pp. 707–711, 2002
«Boosting Sex»




•     Применим “boosting” подход для классификации пола лиц
•     Опираемся на классификатор «позы лица», использующий
      сравнение интенсивности двух пикселей в изображении


    S. Baluja and H. Rowley, “Boosting sex identification performance,” IJCV, 2007
Результаты
• Обучали и тестировали на FERET
  • 10 сравнений – точность 80%
  • 20 cравнений – точность 90%
  • 1000 признаков – точность 96%


• Сравнение с SVM по скорости
  • В 25-50 раз быстрее
Аттрибуты для верификации




Neeraj Kumar, Alexander C. Berg, Peter N. Belhumeur, and Shree K. Nayar.
Attribute and Simile Classifiers for Face Verification. ICCV, 2009.
3,000,000 face images




MIT+CMU    Yale A    Yale B




FERET     CMU PIE   FRGC v2.0
Nose Type                  Race

                            Age
      Gender                             Eye Wear

  Eyebrow Type
                      Hair Color        Lip Type
        Blurry
                                       Mustache
Eye Type               Lighting
            Smiling
                                   Indoor/Outdoor
Hair Type
Amazon Mechanical Turk




           500,000 меток= $5,000 + 1 месяц
 See also [Deng, et al., 2009] [Vijayanarasimhan & Grauman, 2009]
Attribute Labeling Task
Human Face Verification Task
Построение классификатора
• Есть набор областей изображения
• Есть набор признаков
• Есть SVM + RBF

• Процедура
  • Обучим классификаторы на всех комбинациях (область,
    признак)
  • Выбираем наилучшую комбинацию (область, признак)
  • Выберем вторую наилучшую комбинацию, добавим в
    набор, обучим классификатор на наборе
  • Будем добавлять новые наилучшие комбинации в набор,
    пока не прекратиться рост качества (или до 6
    комбинаций)
Области лица
Виды особенностей

Pixel Value Type    Normalizations   Aggregation

       RGB              None            None
       HSV           Mean-Norm        Histogram
  Image Intensity    Energy-Norm      Statistics

 Edge Magnitude

 Edge Orientation
«Similes» / «Подобия»




     Penelope
        Cruz

                                                 Angelina Jolie


«Подобия» - классификатор, похожа ли данная часть лица на
тестовом изображении и у другого конкретного человека
«Эталонные люди»




Эталонный человек R1   Эталонный человек R2
Обучение «подобий»




             Изображения Пенелопы Круз      (её глаз)




               Изображения других людей (их глаз)

60 человек, 8 регионов, 6 типов особенностей (без выбора), для
                 каждого обучаем классификатор
Алгоритм верификации
• Выходы всех
  классификаторов
  аттрибутов и similes
  объединяются в
  один
  вектор признаков.
• Этот вектор
  подается
  на вход новому
  SVM + RBF
  классификатору.
Learning-based (LE)

                                                      Посчитали частоты
                                                      появления кодов для
                                                      LBP и HOG, и
                                                      увидели, что коды
                                                      встречаются очень
                                                      неравномерно


                                                       Идея – обучить такие
                                                       коды, которые
                                                       встречались бы с
                                                       одинаковой частотой




Zhimin Cao, Qi Yin, Xiaoou Tang, and Jian Sun. Face Recognition with Learning-
based Descriptor. Computer Vision and Pattern Recognition (CVPR), 2010.
Cхема метода
Признаки фрагмента




• Для каждого пиксла фрагмента считаем свой
  вектор-признаков
• Для этого записываем интенсивности пикселов по
  одному из указанных шаблонов (Выбрали №2)
• Эти вектора-признаков будет затем квантова
Построение дескриптора




• Квантуем вектора-признаки с помощью
  рандомизированных проекций, чтобы частоты появления
  каждого кластера были одинаковы
  • Этого можно добиться рандомизированными проекциям
• Фрагмента изображения разбиваем на блоки 5*7
  пикселов
• В каждом блоке считаем гистограммы частот и
  объединяем их
• Применяем PCA для сжатия дескрипторов
Результаты работы
Распознавание человеком


                      Original
                      99.20%



                      Cropped
                      97.53%


                      Inverse
                      Cropped
                      94.27%
Текущее состояние (весна 2011)
«Метод Тюбика»
    • Эксперименты показали, что можно обучить
      классификатор SVM так, чтобы его результаты
      хорошо кореллировали с оценками людей (по
      шкале от 1 до 7 баллов)
    • Попробуем чуть-чуть поправить все пропорции
      лица так, чтобы оно казалось красивее




EISENTHAL, Y DROR, G., AND RUPPIN, E. 2006. Facial attractiveness:
              .,
Beauty and the machine. Neural Computation 18, 1, 119–142.

Tommer Leyvand, Daniel Cohen-Or, Gideon Dror and Dani Lischinski Data-Driven
Enhancement of Facial Attractiveness ACM SIGGRAPH 2008
Схема




•   Вычисление черт на основе ASM моделей
Улучшение лица
• Из изображения извлекаем вектор v,
  описывающий геометрию модели.
• Нужно найти v’, близкий к исходному, но с более
  высокой оценкой красоты
• Подходы:
   • K-NN
      – Ранжируем все изоражения в базе по
      – Затем усредняем k ближайших

      – Только выпуклые комбинации примеров из базы



   • SVR
      – Оптимизация оценки красоты
      – Проекция v через PCA (234 в 35)
      – Регуляризация вероятностью модели (как в Active Shape)
Зависимость от K в K-NN
Сравнение подходов
Результаты
Результаты
Результаты
Видео
Синтез анимации




  •   Идея – для текущего изображения лица найдём в базе
      изоражений / видео изображения с наиболее похожими
      выражениями




Ira Kemelmacher-Shlizerman, Aditya Sankar, Eli Shechtman, and Steven M. Seitz.
Being John Malkovich, ECCV 2010
Выделение черт лица




• Любые методы подойдут
• Морфируемые модели дадут наиболее точный
  результат
Канонические лица




• Лицо отображется на каноническую позу. Таким
  образом, мы убираем разницу в позе и можем
  сравнивать выражение лица напрямую
Расстояние между выражениями
                                •   Все изображение
                                    разбивается на блоки
                                •   В каждом блоке считаем
                                    LBP
                                •   Сравнивается область
                                    лица и область глаз



•   Расстояние между блоками:

•   Для каждой области суммируем расстояние между всеми
    блоками
•   Суммарное расстояние в выражении лиц – взвешенная сумма
    расстояний по области рта и области глаз:
Расстояние между изображениями
• Расстояние между позами:


  где L(d) – логистическая функция



  T отображается в 0.5, T+/- σ в 0.01 и 0.99


• Суммарное расстояние:



  • Учитывается сходство выражения между соседними
    кадрами
Примеры сопоставлений лиц
Видео
Резюме лекции
• Все методы анализа лица опираются на
  выделение лиц и черт лица, а также на
  построение сеточных моделей лиц
• Текстурный признак LBP и его варианты сейчас
  один из самых часто применяемых для
  распознавания лиц
• Вычисление атрибутов и сравнение лиц с
  «примерами» - очень мощный инструмент, и
  сейчас активно исследуется

More Related Content

What's hot

CV2015. Лекция 8. Распознавание лиц людей.
CV2015. Лекция 8. Распознавание лиц людей.CV2015. Лекция 8. Распознавание лиц людей.
CV2015. Лекция 8. Распознавание лиц людей.Anton Konushin
 
CV2015. Лекция 6. Нейросетевые алгоритмы.
CV2015. Лекция 6. Нейросетевые алгоритмы.CV2015. Лекция 6. Нейросетевые алгоритмы.
CV2015. Лекция 6. Нейросетевые алгоритмы.Anton Konushin
 
CV2011-2. Lecture 02. Photomontage and graphical models.
CV2011-2. Lecture 02.  Photomontage and graphical models.CV2011-2. Lecture 02.  Photomontage and graphical models.
CV2011-2. Lecture 02. Photomontage and graphical models.Anton Konushin
 
CV2011 Lecture 10. Image retrieval
CV2011 Lecture 10.  Image retrievalCV2011 Lecture 10.  Image retrieval
CV2011 Lecture 10. Image retrievalAnton Konushin
 
CV2015. Лекция 5. Выделение объектов.
CV2015. Лекция 5. Выделение объектов.CV2015. Лекция 5. Выделение объектов.
CV2015. Лекция 5. Выделение объектов.Anton Konushin
 
CV2011-2. Lecture 05. Video segmentation.
CV2011-2. Lecture 05.  Video segmentation.CV2011-2. Lecture 05.  Video segmentation.
CV2011-2. Lecture 05. Video segmentation.Anton Konushin
 
CV2011 Lecture 13. Real-time vision
CV2011 Lecture 13. Real-time visionCV2011 Lecture 13. Real-time vision
CV2011 Lecture 13. Real-time visionAnton Konushin
 
20120415 videorecognition konushin_lecture05
20120415 videorecognition konushin_lecture0520120415 videorecognition konushin_lecture05
20120415 videorecognition konushin_lecture05Computer Science Club
 
CV2011 Lecture 12. Action recognition
CV2011 Lecture 12. Action recognitionCV2011 Lecture 12. Action recognition
CV2011 Lecture 12. Action recognitionAnton Konushin
 
20120414 videorecognition konushin_lecture03
20120414 videorecognition konushin_lecture0320120414 videorecognition konushin_lecture03
20120414 videorecognition konushin_lecture03Computer Science Club
 
CV2011-2. Lecture 06. Structure from motion.
CV2011-2. Lecture 06.  Structure from motion.CV2011-2. Lecture 06.  Structure from motion.
CV2011-2. Lecture 06. Structure from motion.Anton Konushin
 
CV2011-2. Lecture 03. Photomontage, part 2.
CV2011-2. Lecture 03.  Photomontage, part 2.CV2011-2. Lecture 03.  Photomontage, part 2.
CV2011-2. Lecture 03. Photomontage, part 2.Anton Konushin
 
CV2011 Lecture 8. Detection
CV2011 Lecture 8. DetectionCV2011 Lecture 8. Detection
CV2011 Lecture 8. DetectionAnton Konushin
 
CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет.
CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет.CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет.
CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет.Anton Konushin
 
CV2011 Lecture 5. Features
CV2011 Lecture 5. FeaturesCV2011 Lecture 5. Features
CV2011 Lecture 5. FeaturesAnton Konushin
 
CV2015. Лекция 2. Основы обработки изображений.
CV2015. Лекция 2. Основы обработки изображений.CV2015. Лекция 2. Основы обработки изображений.
CV2015. Лекция 2. Основы обработки изображений.Anton Konushin
 
20120414 videorecognition konushin_lecture04
20120414 videorecognition konushin_lecture0420120414 videorecognition konushin_lecture04
20120414 videorecognition konushin_lecture04Computer Science Club
 
CV2011 Lecture 3. Basic image analysis
CV2011 Lecture 3. Basic image analysisCV2011 Lecture 3. Basic image analysis
CV2011 Lecture 3. Basic image analysisAnton Konushin
 
CV2011 Lecture 6. Fitting
CV2011 Lecture 6. FittingCV2011 Lecture 6. Fitting
CV2011 Lecture 6. FittingAnton Konushin
 
CV2011 Lecture 7. Recognition
CV2011 Lecture 7. RecognitionCV2011 Lecture 7. Recognition
CV2011 Lecture 7. RecognitionAnton Konushin
 

What's hot (20)

CV2015. Лекция 8. Распознавание лиц людей.
CV2015. Лекция 8. Распознавание лиц людей.CV2015. Лекция 8. Распознавание лиц людей.
CV2015. Лекция 8. Распознавание лиц людей.
 
CV2015. Лекция 6. Нейросетевые алгоритмы.
CV2015. Лекция 6. Нейросетевые алгоритмы.CV2015. Лекция 6. Нейросетевые алгоритмы.
CV2015. Лекция 6. Нейросетевые алгоритмы.
 
CV2011-2. Lecture 02. Photomontage and graphical models.
CV2011-2. Lecture 02.  Photomontage and graphical models.CV2011-2. Lecture 02.  Photomontage and graphical models.
CV2011-2. Lecture 02. Photomontage and graphical models.
 
CV2011 Lecture 10. Image retrieval
CV2011 Lecture 10.  Image retrievalCV2011 Lecture 10.  Image retrieval
CV2011 Lecture 10. Image retrieval
 
CV2015. Лекция 5. Выделение объектов.
CV2015. Лекция 5. Выделение объектов.CV2015. Лекция 5. Выделение объектов.
CV2015. Лекция 5. Выделение объектов.
 
CV2011-2. Lecture 05. Video segmentation.
CV2011-2. Lecture 05.  Video segmentation.CV2011-2. Lecture 05.  Video segmentation.
CV2011-2. Lecture 05. Video segmentation.
 
CV2011 Lecture 13. Real-time vision
CV2011 Lecture 13. Real-time visionCV2011 Lecture 13. Real-time vision
CV2011 Lecture 13. Real-time vision
 
20120415 videorecognition konushin_lecture05
20120415 videorecognition konushin_lecture0520120415 videorecognition konushin_lecture05
20120415 videorecognition konushin_lecture05
 
CV2011 Lecture 12. Action recognition
CV2011 Lecture 12. Action recognitionCV2011 Lecture 12. Action recognition
CV2011 Lecture 12. Action recognition
 
20120414 videorecognition konushin_lecture03
20120414 videorecognition konushin_lecture0320120414 videorecognition konushin_lecture03
20120414 videorecognition konushin_lecture03
 
CV2011-2. Lecture 06. Structure from motion.
CV2011-2. Lecture 06.  Structure from motion.CV2011-2. Lecture 06.  Structure from motion.
CV2011-2. Lecture 06. Structure from motion.
 
CV2011-2. Lecture 03. Photomontage, part 2.
CV2011-2. Lecture 03.  Photomontage, part 2.CV2011-2. Lecture 03.  Photomontage, part 2.
CV2011-2. Lecture 03. Photomontage, part 2.
 
CV2011 Lecture 8. Detection
CV2011 Lecture 8. DetectionCV2011 Lecture 8. Detection
CV2011 Lecture 8. Detection
 
CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет.
CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет.CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет.
CV2015. Лекция 1. Понятия и история компьютерного зрения. Свет и цвет.
 
CV2011 Lecture 5. Features
CV2011 Lecture 5. FeaturesCV2011 Lecture 5. Features
CV2011 Lecture 5. Features
 
CV2015. Лекция 2. Основы обработки изображений.
CV2015. Лекция 2. Основы обработки изображений.CV2015. Лекция 2. Основы обработки изображений.
CV2015. Лекция 2. Основы обработки изображений.
 
20120414 videorecognition konushin_lecture04
20120414 videorecognition konushin_lecture0420120414 videorecognition konushin_lecture04
20120414 videorecognition konushin_lecture04
 
CV2011 Lecture 3. Basic image analysis
CV2011 Lecture 3. Basic image analysisCV2011 Lecture 3. Basic image analysis
CV2011 Lecture 3. Basic image analysis
 
CV2011 Lecture 6. Fitting
CV2011 Lecture 6. FittingCV2011 Lecture 6. Fitting
CV2011 Lecture 6. Fitting
 
CV2011 Lecture 7. Recognition
CV2011 Lecture 7. RecognitionCV2011 Lecture 7. Recognition
CV2011 Lecture 7. Recognition
 

Similar to CV2011-2. Lecture 11. Face analysis.

20120413 videorecognition konushin_lecture01
20120413 videorecognition konushin_lecture0120120413 videorecognition konushin_lecture01
20120413 videorecognition konushin_lecture01Computer Science Club
 
20100919 computer vision_konushin_lecture02
20100919 computer vision_konushin_lecture0220100919 computer vision_konushin_lecture02
20100919 computer vision_konushin_lecture02Computer Science Club
 
Классификация лиц
Классификация лицКлассификация лиц
Классификация лицNikolai Ptitsyn
 
20100919 computer vision_konushin_lecture04
20100919 computer vision_konushin_lecture0420100919 computer vision_konushin_lecture04
20100919 computer vision_konushin_lecture04Computer Science Club
 
Машинное обучение (Открытый семинар по средам)
Машинное обучение (Открытый семинар по средам)Машинное обучение (Открытый семинар по средам)
Машинное обучение (Открытый семинар по средам)Pavel Egorov
 

Similar to CV2011-2. Lecture 11. Face analysis. (6)

20120413 videorecognition konushin_lecture01
20120413 videorecognition konushin_lecture0120120413 videorecognition konushin_lecture01
20120413 videorecognition konushin_lecture01
 
20100919 computer vision_konushin_lecture02
20100919 computer vision_konushin_lecture0220100919 computer vision_konushin_lecture02
20100919 computer vision_konushin_lecture02
 
Классификация лиц
Классификация лицКлассификация лиц
Классификация лиц
 
20100919 computer vision_konushin_lecture04
20100919 computer vision_konushin_lecture0420100919 computer vision_konushin_lecture04
20100919 computer vision_konushin_lecture04
 
Машинное обучение (Открытый семинар по средам)
Машинное обучение (Открытый семинар по средам)Машинное обучение (Открытый семинар по средам)
Машинное обучение (Открытый семинар по средам)
 
L06 detection
L06 detectionL06 detection
L06 detection
 

More from Anton Konushin

CV2015. Лекция 7. Поиск изображений по содержанию.
CV2015. Лекция 7. Поиск изображений по содержанию.CV2015. Лекция 7. Поиск изображений по содержанию.
CV2015. Лекция 7. Поиск изображений по содержанию.Anton Konushin
 
CV2015. Лекция 4. Классификация изображений и введение в машинное обучение.
CV2015. Лекция 4. Классификация изображений и введение в машинное обучение.CV2015. Лекция 4. Классификация изображений и введение в машинное обучение.
CV2015. Лекция 4. Классификация изображений и введение в машинное обучение.Anton Konushin
 
Технологии разработки ПО
Технологии разработки ПОТехнологии разработки ПО
Технологии разработки ПОAnton Konushin
 
Статистическое сравнение классификаторов
Статистическое сравнение классификаторовСтатистическое сравнение классификаторов
Статистическое сравнение классификаторовAnton Konushin
 
Classifier evaluation and comparison
Classifier evaluation and comparisonClassifier evaluation and comparison
Classifier evaluation and comparisonAnton Konushin
 
Anton Konushin - TEDxRU 2009
Anton Konushin - TEDxRU 2009Anton Konushin - TEDxRU 2009
Anton Konushin - TEDxRU 2009Anton Konushin
 
Computer vision infrastracture
Computer vision infrastractureComputer vision infrastracture
Computer vision infrastractureAnton Konushin
 
Writing a computer vision paper
Writing a computer vision paperWriting a computer vision paper
Writing a computer vision paperAnton Konushin
 
Andrew Zisserman Talk - Part 1a
Andrew Zisserman Talk - Part 1aAndrew Zisserman Talk - Part 1a
Andrew Zisserman Talk - Part 1aAnton Konushin
 
CV2011 Lecture 11. Basic video
CV2011 Lecture 11. Basic videoCV2011 Lecture 11. Basic video
CV2011 Lecture 11. Basic videoAnton Konushin
 

More from Anton Konushin (10)

CV2015. Лекция 7. Поиск изображений по содержанию.
CV2015. Лекция 7. Поиск изображений по содержанию.CV2015. Лекция 7. Поиск изображений по содержанию.
CV2015. Лекция 7. Поиск изображений по содержанию.
 
CV2015. Лекция 4. Классификация изображений и введение в машинное обучение.
CV2015. Лекция 4. Классификация изображений и введение в машинное обучение.CV2015. Лекция 4. Классификация изображений и введение в машинное обучение.
CV2015. Лекция 4. Классификация изображений и введение в машинное обучение.
 
Технологии разработки ПО
Технологии разработки ПОТехнологии разработки ПО
Технологии разработки ПО
 
Статистическое сравнение классификаторов
Статистическое сравнение классификаторовСтатистическое сравнение классификаторов
Статистическое сравнение классификаторов
 
Classifier evaluation and comparison
Classifier evaluation and comparisonClassifier evaluation and comparison
Classifier evaluation and comparison
 
Anton Konushin - TEDxRU 2009
Anton Konushin - TEDxRU 2009Anton Konushin - TEDxRU 2009
Anton Konushin - TEDxRU 2009
 
Computer vision infrastracture
Computer vision infrastractureComputer vision infrastracture
Computer vision infrastracture
 
Writing a computer vision paper
Writing a computer vision paperWriting a computer vision paper
Writing a computer vision paper
 
Andrew Zisserman Talk - Part 1a
Andrew Zisserman Talk - Part 1aAndrew Zisserman Talk - Part 1a
Andrew Zisserman Talk - Part 1a
 
CV2011 Lecture 11. Basic video
CV2011 Lecture 11. Basic videoCV2011 Lecture 11. Basic video
CV2011 Lecture 11. Basic video
 

CV2011-2. Lecture 11. Face analysis.

  • 1. Распознавание и анализ лиц Антон Конушин http://courses.graphicon.ru/vision2
  • 2. Этот курс подготовлен при поддержке Microsoft Research
  • 3. Что предполагаем • Умеем: • Выделять лица в изображении • Находять характерные точки на изображении лица • Строить 2D и 3D сеточные модели лица человека по изображению • Этим задачам посвящены отдельные лекции
  • 4. Что будем рассматривать • Тестовые базы • Распознавание лиц • Распознавание атрибутов по лицу • Фокусы с лицами
  • 5. Верификация На обоих изображениях один и тот же человек, или нет? Базовая задача распознавания лиц, которую и человеку проще всего решать
  • 6. Идентификация • Есть фиксированный список людей (база) и тестовое изображении • Нужно определить, кто из списка изображени на тестовой фотографии?
  • 7. «Watch List» • Есть список «подозрительных людей» • Необходимо определить, входит ли человек в этот список по его фотографии • Самая сложная постановка задачи
  • 8. Аттрибуты Мужчина Азиат Бородат Улыбается • Что мы можем сказать про этого человека? • Атрибуты – «типичные» характеристики объекта • Для человека - пол, возраст, раса, борода, усы, улыбка, очки и т.д.
  • 9. FERET (1995-2000) • 14000 изображений, 1200 человек • 2 фронтальных фотографии с разным выражением лица (fa, fb) • Иногда одна фотография другой камерой и освещением • Несколько дупликатов (фотографий того же человека через 1-2 года после первой съёмки) P. J. Phillips, H. Moon, P. J. Rauss, and S. Rizvi, "The FERET evaluation methodology for face recognition algorithms", PAMI 2000.
  • 10. FRGC • Face Recognition Grand Challenge (для Face Recognition Vendor Test) • Идея: исследовать возможность повышения качества распознавания за счёт улучшенных данных разной природы (контролируемые, неконтролируемые, 3д), высокое разрешение • 220 человек, 12К изображений в обучающих данных • 465 человек в валидационной выборке (год спустя) P. Jonathon Phillips, Patrick J. Flynn, Todd Scruggs, Kevin Bowyer, Jin Chang, Kevin Hoffman, Joe Marques, Jaesik Min, and William Worek. Overview of the Face Recognition Grand Challenge. In CVPR, 2005.
  • 11. Labeled Faces in the Wild (LFW) http://vis-www.cs.umass.edu/lfw Gary B. Huang, Manu Ramesh, Tamara Berg, and Erik Learned-Miller. Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained Environments. University of Massachusetts, Amherst, Technical Report 07-49, 2007.
  • 12. Labeled Faces in the Wild • 5749 человек, 12К изображений, 1680 человек по 2 и более фотографии, остальные – по одной • Фотографии разрешения 250*250, JPEG • Неконтролируемые условия, очень разные фоны, позы, разное время съёмки
  • 13. PubFig Публичные люди: • Политики • «Звезды» Большая коллекция • 60,000 изображений • 200 человек • 300 изображений на человека Поднаборы: • Поза • Освещение • Выражение лица http://www.cs.columbia.edu/CAVE/databases/pubfig/
  • 14. Верификация Изображения Признаки Верификация RGB HOG LBP SIFT … Разные RGB HOG LBP SIFT …
  • 15. Нормализация изображения лица • Обычно лицо нормализуется по центрам глаз • Центры глаз должны быть на одной строке и с фиксированным расстоянием
  • 16. EigenFaces M. Turk and A. Pentland (1991). "Face recognition using eigenfaces". Proc. IEEE Conference on Computer Vision and Pattern Recognition. pp. 586–591.
  • 18. Метод главных компонент • Идея – аппроксимация данных векторами меньшей размерности • Изначально прямыми и плоскостями (Пирсон, 1901) • Ортогональное преобразование векторов в новый базис • Базисные вектора – собственные вектора матрицы ковариации
  • 19. EigenFaces PCA: x  x  Pb
  • 21. EigenFaces • Первые коэффициенты разложения лица используются как признаки в задачах идентификации личности • Самые первые 3 компоненты в PCA считаем, отмечают за свет, поэтому при сравнении их отбрасываем
  • 22. FisherFaces vs EigenFaces P. Belhumeur, J. Hespanha, and D. Kriegman, “Eigenfaces vs. Fisherfaces: Recognition using class specific linear projection,” ECCV, pp. 45–58, 1996.
  • 23. Эксперименты • 5 человек, 330 изображений. Набор 1 – освещение в основном спереди, в следующих набора источник света всё больше удаляется от исходного положения
  • 25. Сопоставление графов • Руками создаем модельный граф: • Вершины – интересные точки лица. • Ребра – расстояния между точками • На фотографию лица накладывается модельный граф так, чтобы ошибка наложения была минимальной. • Потом для каждой точки графа ищется позиция в ее окрестности, где ошибка сопоставления минимальная. • Признаки считаются с помощью Вейвлет преобразования с фильтром Габора. Wiskott, L., Fellous, J.M., Krьger, N., and von der Malsburg, C. Face recognition by elastic bunch graph matching. 1997
  • 26. Local Binary Patterns Ahonen, T., Hadid, A. and Pietikäinen, M. (2006), Face Description with Local Binary Patterns: Application to Face Recognition. IEEE PAMI 28(12):2037-2041.
  • 27. Применение LBP • Изображение разбивается на области. В каждой области применяются LBP операторы к каждому пикселю. Строится гистограмма. • Объединение гистограмм – LBP дескриптор для изображения. • Для пары изображений считается разность дескрипторов по какой-нибудь метрике (например, Хи-квадрат)
  • 28. Развитие LBP • Придумали два новых признаковых дескриптора: Three-Patch LBP и Four-Patch LBP - усовершенствованные LBP. • Будем сравнивать не пиксели, а фрагменты изображения между собой (попиксельно по L2 и т.д.) • f(x) =1 если x>T, и 0, если наоборот • Затем всё переводим Lior Wolf, Tal Hassner and Yaniv Taigman, "Descriptor Based Methods in the Wild," Faces in Real-Life Images workshop at the European Conference on Computer Vision (ECCV), 2008.
  • 29. Four-Patch LBP Сравнение двух пар фрагментов
  • 30. BIF • Биологически- обусловленные признаки • Фильтры Габора в 4х ориентациях и 16 масштабах • Соседние масштабы объединяются через max-оператор • Затем разбивается на пересекающиеся блоки и для каждого считается стандартное отклонение • Всего ~3700 параметров
  • 31. Аттрибуты Мужчина Азиат Бородат Улыбается • Самый сложный атрибут – возраст, ключевая проблема – данные
  • 33. Google: “smiling asian men with glasses” 7/08
  • 34. ECCV 2008, FaceTracer: “smiling asian men with glasses”
  • 35. SVM-подход • Уменьшенные изображения до 12*21 пикселей (thumbnails) • SVM-RBF классификатор • 300 опорных векторов • FERET база • Точность – 96.6% B. Moghaddam and M.-H. Yang, “Learning gender with support faces,” TPAMI, vol. 24, no. 5, pp. 707–711, 2002
  • 36. «Boosting Sex» • Применим “boosting” подход для классификации пола лиц • Опираемся на классификатор «позы лица», использующий сравнение интенсивности двух пикселей в изображении S. Baluja and H. Rowley, “Boosting sex identification performance,” IJCV, 2007
  • 37. Результаты • Обучали и тестировали на FERET • 10 сравнений – точность 80% • 20 cравнений – точность 90% • 1000 признаков – точность 96% • Сравнение с SVM по скорости • В 25-50 раз быстрее
  • 38. Аттрибуты для верификации Neeraj Kumar, Alexander C. Berg, Peter N. Belhumeur, and Shree K. Nayar. Attribute and Simile Classifiers for Face Verification. ICCV, 2009.
  • 39. 3,000,000 face images MIT+CMU Yale A Yale B FERET CMU PIE FRGC v2.0
  • 40. Nose Type Race Age Gender Eye Wear Eyebrow Type Hair Color Lip Type Blurry Mustache Eye Type Lighting Smiling Indoor/Outdoor Hair Type
  • 41. Amazon Mechanical Turk 500,000 меток= $5,000 + 1 месяц See also [Deng, et al., 2009] [Vijayanarasimhan & Grauman, 2009]
  • 44. Построение классификатора • Есть набор областей изображения • Есть набор признаков • Есть SVM + RBF • Процедура • Обучим классификаторы на всех комбинациях (область, признак) • Выбираем наилучшую комбинацию (область, признак) • Выберем вторую наилучшую комбинацию, добавим в набор, обучим классификатор на наборе • Будем добавлять новые наилучшие комбинации в набор, пока не прекратиться рост качества (или до 6 комбинаций)
  • 46. Виды особенностей Pixel Value Type Normalizations Aggregation RGB None None HSV Mean-Norm Histogram Image Intensity Energy-Norm Statistics Edge Magnitude Edge Orientation
  • 47. «Similes» / «Подобия» Penelope Cruz Angelina Jolie «Подобия» - классификатор, похожа ли данная часть лица на тестовом изображении и у другого конкретного человека
  • 48. «Эталонные люди» Эталонный человек R1 Эталонный человек R2
  • 49. Обучение «подобий» Изображения Пенелопы Круз (её глаз) Изображения других людей (их глаз) 60 человек, 8 регионов, 6 типов особенностей (без выбора), для каждого обучаем классификатор
  • 50. Алгоритм верификации • Выходы всех классификаторов аттрибутов и similes объединяются в один вектор признаков. • Этот вектор подается на вход новому SVM + RBF классификатору.
  • 51. Learning-based (LE) Посчитали частоты появления кодов для LBP и HOG, и увидели, что коды встречаются очень неравномерно Идея – обучить такие коды, которые встречались бы с одинаковой частотой Zhimin Cao, Qi Yin, Xiaoou Tang, and Jian Sun. Face Recognition with Learning- based Descriptor. Computer Vision and Pattern Recognition (CVPR), 2010.
  • 53. Признаки фрагмента • Для каждого пиксла фрагмента считаем свой вектор-признаков • Для этого записываем интенсивности пикселов по одному из указанных шаблонов (Выбрали №2) • Эти вектора-признаков будет затем квантова
  • 54. Построение дескриптора • Квантуем вектора-признаки с помощью рандомизированных проекций, чтобы частоты появления каждого кластера были одинаковы • Этого можно добиться рандомизированными проекциям • Фрагмента изображения разбиваем на блоки 5*7 пикселов • В каждом блоке считаем гистограммы частот и объединяем их • Применяем PCA для сжатия дескрипторов
  • 56. Распознавание человеком Original 99.20% Cropped 97.53% Inverse Cropped 94.27%
  • 58. «Метод Тюбика» • Эксперименты показали, что можно обучить классификатор SVM так, чтобы его результаты хорошо кореллировали с оценками людей (по шкале от 1 до 7 баллов) • Попробуем чуть-чуть поправить все пропорции лица так, чтобы оно казалось красивее EISENTHAL, Y DROR, G., AND RUPPIN, E. 2006. Facial attractiveness: ., Beauty and the machine. Neural Computation 18, 1, 119–142. Tommer Leyvand, Daniel Cohen-Or, Gideon Dror and Dani Lischinski Data-Driven Enhancement of Facial Attractiveness ACM SIGGRAPH 2008
  • 59. Схема • Вычисление черт на основе ASM моделей
  • 60. Улучшение лица • Из изображения извлекаем вектор v, описывающий геометрию модели. • Нужно найти v’, близкий к исходному, но с более высокой оценкой красоты • Подходы: • K-NN – Ранжируем все изоражения в базе по – Затем усредняем k ближайших – Только выпуклые комбинации примеров из базы • SVR – Оптимизация оценки красоты – Проекция v через PCA (234 в 35) – Регуляризация вероятностью модели (как в Active Shape)
  • 67. Синтез анимации • Идея – для текущего изображения лица найдём в базе изоражений / видео изображения с наиболее похожими выражениями Ira Kemelmacher-Shlizerman, Aditya Sankar, Eli Shechtman, and Steven M. Seitz. Being John Malkovich, ECCV 2010
  • 68. Выделение черт лица • Любые методы подойдут • Морфируемые модели дадут наиболее точный результат
  • 69. Канонические лица • Лицо отображется на каноническую позу. Таким образом, мы убираем разницу в позе и можем сравнивать выражение лица напрямую
  • 70. Расстояние между выражениями • Все изображение разбивается на блоки • В каждом блоке считаем LBP • Сравнивается область лица и область глаз • Расстояние между блоками: • Для каждой области суммируем расстояние между всеми блоками • Суммарное расстояние в выражении лиц – взвешенная сумма расстояний по области рта и области глаз:
  • 71. Расстояние между изображениями • Расстояние между позами: где L(d) – логистическая функция T отображается в 0.5, T+/- σ в 0.01 и 0.99 • Суммарное расстояние: • Учитывается сходство выражения между соседними кадрами
  • 74. Резюме лекции • Все методы анализа лица опираются на выделение лиц и черт лица, а также на построение сеточных моделей лиц • Текстурный признак LBP и его варианты сейчас один из самых часто применяемых для распознавания лиц • Вычисление атрибутов и сравнение лиц с «примерами» - очень мощный инструмент, и сейчас активно исследуется