Évaluer la coopération d'une personne pour la reconnaissance faciale

Le problème

En conditions contrôlées, les systèmes de reconnaissance faciale dépassent 99 % de bonnes vérifications. Dans un couloir de contrôle d'accès ou un espace public, leurs performances chutent dès que la personne ne coopère pas : regard détourné, visage masqué, tête inclinée, passage en courant.

L'objectif

Évaluer automatiquement, en temps réel et sans gêner la personne, son degré de coopération. Il ne s'agit pas de remplacer la reconnaissance faciale, mais de lui fournir une analyse de contexte :

• repérer les comportements qui la perturbent (profil, visage caché, course, posture inhabituelle) ;
• produire un score de coopération utilisable par un opérateur ou par un système en aval ;
• garder la même identité pour chaque personne, même quand elle disparaît un instant.

Le cadre

Projet de M1 de l'ISEN Nantes, d'une durée de trois mois, réalisé en binôme : nous avons travaillé ensemble sur l'ensemble des tâches. Il était encadré par Khadidja Ould Amer et Cyril Barrelet.

L'organisation

Une méthode agile en cinq sprints, chacun livrant une fonctionnalité testable seule : état de l'art et architecture, modules visage et regard, analyse de la démarche, modules complémentaires, optimisation et finalisation. Le code vivait sur un dépôt GitHub privé, avec une branche par module.

Les contraintes

Fonctionner sur un processeur standard, sans carte graphique dédiée, accepter une vidéo ou une webcam en entrée, et ne conserver aucune donnée biométrique par défaut.

Occlusion du visage

MediaPipe FaceMesh place 478 points de repère sur le visage, qui délimitent des zones anatomiques : yeux, nez, bouche, joues, front. La couleur de peau de la personne est étalonnée sur les premières images, dans l'espace Y'CbCr qui sépare la luminosité de la couleur. Une zone où trop peu de pixels ressemblent à de la peau est considérée comme masquée.

Le score global, de 0 à 100, pondère les zones selon leur importance pour la reconnaissance : les yeux et le nez comptent trois fois plus que le front. Il a été testé avec une main devant le visage, un masque médical, un objet tenu devant soi et des éclairages variés.

Orientation de la tête et regard

L'orientation de la tête est estimée par résolution PnP à partir de six points du visage : nez, menton, coins des yeux et commissures des lèvres. L'ouverture des yeux est mesurée par le rapport d'aspect de l'œil, et la direction du regard par la position de l'iris.

La décision

La personne est jugée coopérative si ses deux yeux sont ouverts, si son regard vise la caméra et si sa tête n'est pas tournée de plus de 25° sur le côté ni de plus de 20° vers le haut ou le bas. Un vote sur quatorze images stabilise l'affichage.