Поиск ключевых точек лица на снимке

Успешное завершение поиска state-of-the-art решения в области обнаружения лиц на снимке позволяет перейти к следующему этапу построения системы распознавания – выделению ключевых точек лица (landmarks) и оценке его положения в пространстве.

Библиотека dlib содержит две предварительно настроенные модели определения положения лица и его выравнивания на основе регрессионных деревьев, описанных в статье "One millisecond face alignment with an ensemble of regression trees". Модели различаются количеством выделяемых точек: 5 и 68. Обученные модели по условиям лицензионного соглашения на использование лежащей в их основе обучающей выборки iBUG 300-W нельзя использовать в коммерческих целях, мы применим их для следующих исследовательских задач:

1. Определение числа ошибок второго рода – невозможности определить ключевые точки для лица, обнаруженного с помощью сверточной нейронной сети.

2. Расчет точности расстановки ключевых точек путем сопоставления с эталонной разметкой.

Обе задачи будут решаться на обучающей выборке изображений MF2.

На данный момент получены первые результаты выделения ключевых точек, которые приведены ниже.

Корректные результаты

Ключевые точки на лице мальчикаКлючевые точки на лице ребёнкаКлючевые точки на лице мужчины

Некорректные результаты

Ключевые точки на лице ребёнка с рисункомКлючевые точки на лице на засвеченной фотографииКлючевые точки на лице в профиль

Ссылки

1.    Kazemi, Vahid, and Josephine Sullivan. "One millisecond face alignment with an ensemble of regression trees." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014.
2.    Sagonas, Christos, et al. "300 faces in-the-wild challenge: Database and results." Image and vision computing 47 (2016): 3-18.

КодЛикс разрабатывает программное обеспечение обработки изображений, систем технического зрения, искусственный интеллект и нейросети. Мы создаём программное обеспечение любой сложности под ключ и с гарантией.