Поиск ключевых точек лица на снимке

Успешное завершение поиска state-of-the-art решения в области обнаружения лиц на снимке позволяет перейти к следующему этапу построения системы распознавания – выделению ключевых точек лица (landmarks) и оценке его положения в пространстве.

Библиотека dlib содержит две предварительно настроенные модели определения положения лица и его выравнивания на основе регрессионных деревьев, описанных в статье "One millisecond face alignment with an ensemble of regression trees". Модели различаются количеством выделяемых точек: 5 и 68. Обученные модели по условиям лицензионного соглашения на использование лежащей в их основе обучающей выборки iBUG 300-W нельзя использовать в коммерческих целях, мы применим их для следующих исследовательских задач:

1. Определение числа ошибок второго рода – невозможности определить ключевые точки для лица, обнаруженного с помощью сверточной нейронной сети.

2. Расчет точности расстановки ключевых точек путем сопоставления с эталонной разметкой.

Обе задачи будут решаться на обучающей выборке изображений MF2.

На данный момент получены первые результаты выделения ключевых точек, которые приведены ниже.

Корректные результаты

Некорректные результаты

Ссылки

1.    Kazemi, Vahid, and Josephine Sullivan. "One millisecond face alignment with an ensemble of regression trees." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014.
2.    Sagonas, Christos, et al. "300 faces in-the-wild challenge: Database and results." Image and vision computing 47 (2016): 3-18.