Наш алгоритм по распознаванию лиц может осуществлять поиск по миллиардам фотографий за доли секунды с высокой точностью. Уже сейчас работает решение, которое осуществляет поиск по базе в 300 млн. фотографий меньше чем за секунду и держит нагрузку 50 запросов в секунду на 5 амазоновских серверах.

1. Распознавание лиц в реальном
времени по базам фотографий
глобального масштаба
Артем Кухаренко

2. N-Tech.Lab
Основан в 2015 году;
Наш алгоритм занял 1е место на соревновании Megaface;
Сервис Findface:
250М фотографий в поисковом индексе;
время поиска: 0.5 сек.;
точность распознавания 70%;
50 RPS на 5 AWS серверах.

3. Схема работы алгоритмов
распознавания лиц
Построение вектора признаков:
Варианты использования:
?
?
?
Идентификация Верификация
Детектор
Нормализация
- 2D/3D выравнивание
- Выравнивание
освещенности
Вектор
признаков
magic goes here...

4. Deep Learning
* Source: devblogs.nvidia.com
Source: Rémi Lebret et. al. Phrase-based Image Captioning. ICML 2015.
Image captioning
Image recognition Speech recognition
Text analysis
* Source: Microsoft’s speech group
Source: T.Mikolov. Efficient Estimation of Word Representations in
Vector Space

5. Deep Learning. Обучение нейронной сети
AlexNet architecture Функции потерь
Forward
propagation
Backward
propagation
• Multinomial logistic
regression
• Triplet loss
• Contrastive loss
20M фотографий для обучения;
3 недели обучения на 3 GPUs NVidia Titan Black.

6. Получение
вектора
признаков
Устойчивость к условиям съемки (ракурс, освещение,
возраст, эмоции..);
Компактное представление (до 32 floats);
Векторпризнаков
Можно использовать для обучения дополнительных
классификаторов: например, пол, раса.
Deep Learning. Построение вектора признаков
AlexNet architecture

7. Верификация на базе LFW
Примеры ошибок:
False negative: False positive:
● Изображения взяты из Интернета;
● 13K фотографий, 5K человек;
● Точность: 99%.

8. Соревнование Megaface
Осень 2015;
1M людей в базе;
Принимало участие более 100 команд:

9. Identification Results
NtechLAB - facenx_large
Google - FaceNet v8
Beijing Faceall Co. - FaceAll_Norm_1600
Beijing Faceall Co. - FaceAll_1600
Barebones_FR - cnn
NTechLAB - facenx_small
3DiVi Company - tdvm6
Joint Bayes
LBP
0,00 % 20,00 % 40,00 % 60,00 % 80,00 %
2,326 %
3,021 %
33,705 %
58,218 %
59,363 %
63,977 %
64,803 %
70,496 %
73,300 %

10. Neural Net vs Human
FaceN;
Humans;
LBP.

11. FindFace.ru
Поиск по фотографиям профилей социальной сети Вконтакте;
250M+ фотографий в поисковом индексе;
90M пользователей в индексе;
Время поиска 0.5сек;
50 RPS на 5 AWS
серверах.

12. FindFace.ru

13. FindFace.ru

14. Точность поиска
Количество
фото
Точность
1 M 73 %
250 M 60 %
Точность Rank-1
Количество людей в базе

15. Устойчивость к перекрытиям

16. Время работы отдельных компонент
GPU
Nvidia GTX TITAN Black
CPU
Intel Core i7-5930K
Обучение нейронной сети 514 hours x 3 GPUs -
Детекция лиц - 150 ms
Получение вектора
признаков
8.96 ms 143 ms
Время поиска - 130 ms

17. FindFace в реальной жизни
Сервис уже используется в неофициальном порядке
представителями полиции для поиска людей из
розыска.

18. FindFace
в реальной жизни
В одном из районов Санкт-Петербурга двое подростков
устроили поджог в новостройке, однако их лица оказались
запечатлены на камеру в лифте;
После того, как видео появилось в сети, пользователи
с помощью Findface быстро нашли аккаунты хулиганов
в социальной сети Вконтакте со всей дополнительной
информацией: где они живут, в какую школу ходят итп.
Вся найденная информация была передана в Полицию.

19. Направления деятельности N-Tech.Lab

20. FindFace.pro — облачный сервис
разпознавания лиц
Возможность загрузки до 1 миллиарда фотографий;
Сценарии поиска и верификации;
Возможность масштабирования под любую нагрузку.

21. Распознавание лиц для предприятий
(частное облачное хранилище)
Частное решение
Все данные остаются
на стороне заказчика.
Архитектурная диаграмма
Возможность настройки под запросы клиента
Частное облачное решение для заказчика
Программное
обеспечение
Сервера
заказчика
Хранение
данных
Камеры
(сбор данных)
В отличие от больших компаний, мы тесно взаимодействуем с
заказчиком, чтобы реализовать все необходимые уникальные
особенности решения.
Объединяя распознавание лиц и обработку больших данных.

23. Зоны применения технологии
Ntechlab в области безопасности
Программа для мобильных устройств линейных патрулей, сотрудников полиции;
Стационарные камеры наблюдения, интегрированные в городские системы (в т.ч. система
видеонаблюдения Департамента Информационных Технологий Москвы, камеры, подключенные к системе
АПК «Безопасный город», и т.д.);
Камеры на объектах транспортной инфраструктуры (метро, аэропорты, вокзалы);
Камеры государственных ведомств, отделений полиции, режимных объектов и т.д.
Поиск
и идентификация людей в
потоковом видео
Ограничение доступа на
объекты и проверка по базам
данных
Проверка документов
соответствия личности
Контроль передвижения
конкретных людей
на инфраструктурных
объектах и по городуВ т. ч. камеры
наблюдения в
общественных местах
Например,
болельщиков из
«черных списков»
на стадионы
В т.ч. пропускные
пункты режимных
объектов, линейные
патрули полиции

25. Узнайте
своих клиентов
Почасовая, дневная, ежемесячная статистика;
Пол, возраст;
Новые и вернувшиеся посетители;
Паттерны привлечения и удержания клиентов,
тепловые карты, среднее время посещений.
Полная статистика по вашим посетителям:
Частота и история посещений;
Любимые игры / товары;
Время в магазине / за игровым столом;
Привычки пользователя.
Профайл каждого посетителя:

26. Каждый посетитель — VIP
Нет лимитов: гораздо больше, чем может
запомнить человек.
Отслеживайте каждого посетителя
Частые посетители;
Посетители, тратящие больше среднего;
Условия, основанные на их привычках и
предпочтениях.
Узнавайте и предлагайте специальные
условия тысячам посетителей:
Даже если они не пользуются картами
лояльности и не говорят свое имя.
Определяйте и следите за частыми
посетителями и покупателем с большим
чеком:

27. ОНЛАЙН-
ПРИМЕНЕНИЕ

28. Революционный формат
онлайн-рекламы:
оффлайн-ретаргетинг
Ретаргетинг в социальных сетях
(онлайн-реклама)
Сбор данных в оффлайн
Облачный сервис как для крупного ритейла, так и среднего и малого бизнеса,
подключенный к системам видеонаблюдения магазинов, ресторанов,
кинотеатров, позволит в оффлайне идентифицировать пользователей, находить их
в социальных сетях и откручивать персонализированные рекламные предложения
с помощью онлайн-рекламы.

29. Прорывные возможности
для онлайн-сервисов
Видео
Использование алгоритма для распознавания эмоций людей в видеозвонках
Cloud-сервисы
Систематизация фотодокументов по персонам (например, из контакт-листа)
с определением людей и возможностью шаринга документов для них.
Dating
Функционал сервиса знакомств Findface можно интегрировать
в существующий проект.

30. Прорывные возможности
для онлайн-сервисов
Добавление в друзья по фотографии
Теперь для добавления человека в друзья в социальной сети нет необходимости долго
искать его имя, достаточно сфотографировать его или сделать с ним селфи.
Автоматические метки друзей на фотографии
При загрузке фотографий алгоритм может автоматически отмечать имена друзей
пользователя.
Верификация фотографий пользователя и автоматическое удаление дубликатов
С помощью эталонного селфи пользователь может автоматически верифицировать все свои
фотографии и отправить на автоматическую блокировку дубликаты фотографий
и фейковые анкеты, что может сильно сократить работу службы поддержки.

31. Контакты
info@ntechlab.ru
+7 (499) 110-22-54
Python backend-разработчик;
Специалист по машинному обучению.
Наши вакансии: