Analyse du visage pour applications automobiles

Le Centre de Transport a initiĂ© un programme de recherche collaboratif dans le but d’amĂ©liorer la sĂ©curitĂ© et le confort du conducteur. Ce programme se concentre sur des interfaces homme-machine non-invasives basĂ©es sur l’image.

L’objectif principal de ce programme de recherche est d’extraire du visage du conducteur autant d’informations pertinentes que possible tout en utilisant uniquement des moyens non invasifs. Plusieurs techniques d’analyse de visage existent dĂ©jĂ  (reconnaissance des expressions faciales, suivi des yeux, lecture sur les lĂšvres
) mais elles ne peuvent pas ĂȘtre appliquĂ©es telles quelles au contexte automobile. En effet, l’espace restreint, les variations des conditions lumineuses, la personnalitĂ© du conducteur et les exigences de sĂ©curitĂ© ne sont que quelques-uns des dĂ©fis qui imposent de tester, de valider et d’adapter les techniques existantes ou Ă  venir au domaine automobile.

Depuis 2012, cette collaboration scientifique a conduit Ă  plusieurs projets de recherche:

  • Mesures physiologiques basĂ©es sur l’imagerie par camĂ©ra (2015)

Ce projet vise à démontrer les performances de la mesure des rythmes cardiaque et respiratoire par caméra sous éclairage infra-rouge, en environnement automobile.

Les constructeurs de voitures cherchent Ă  connaĂźtre l’état du conducteur du vĂ©hicule tant pour des questions de sĂ©curitĂ© que de confort. Ce projet vise Ă  dĂ©terminer son Ă©tat physiologique, en mesurant ses rythmes cardiaque et respiratoire, de maniĂšre non invasive. Pour cela, il exploite les images vidĂ©o du visage Ă©clairĂ© sous infrarouge.

Contrairement aux techniques classiques de mesure de l’état physiologique, celle-ci possĂšde l’avantage de fonctionner sans contact. Elle n’est donc pas soumise aux artefacts dus aux mauvais contacts, comme peuvent l’ĂȘtre les techniques avec capteurs physiologiques. Elle semble ainsi trĂšs bien adaptĂ©e Ă  cette application dans l’habitacle automobile.

Ce projet cherche à valider cette technique et à quantifier la robustesse aux variations de conditions telles que nous pouvons les rencontrer dans un habitacle de voiture (variations de la luminosité ambiante, mouvements du conducteur face à la caméra).

D’une durĂ©e de trois mois, il est dirigĂ© par le Laboratoire de traitement des signaux (LTS5) du professeur Jean-Philippe Thiran en collaboration avec le Groupe de traitement des signaux appliquĂ© (ASPG) du Dr Jean-Marc Vesin. Il est financĂ© par Groupe PSA.

  • Surveillance de l’état psychologique du conducteur (2014-2015)

Ce projet vise Ă  dĂ©finir et Ă  dĂ©tecter les Ă©tats Ă©motionnels pertinents du conducteur afin d’estimer son Ă©tat physiologique.

Ces dix derniĂšres annĂ©es, le Laboratoire de traitement des signaux (LTS5) a dĂ©veloppĂ© une expertise dans l’analyse de visage. Ce projet vise Ă  estimer l’état Ă©motionnel du conducteur grĂące Ă  l’analyse de ses expressions faciales. La premiĂšre Ă©tape consister Ă  fournir une dĂ©finition des Ă©motions et des Ă©tats pertinents pour l’interface pilote-voiture. La deuxiĂšme Ă©tape comprend le dĂ©veloppement d’un systĂšme de dĂ©tection des Ă©motions en temps rĂ©el. La derniĂšre partie s’attache Ă  la dĂ©tection spĂ©cifique de l’attention et de la distraction du conducteur sur la base des informations fournies par le visage.

D’une durĂ©e de 24 mois, il est rĂ©alisĂ© par le LTS5 et financĂ© par Groupe PSA et Valeo.

  • Reconnaissance audiovisuelle de la parole (2013-2014)

Ce projet vise Ă  dĂ©montrer que l’information visuelle peut amĂ©liorer de façon significative la reconnaissance vocale dans un contexte automobile rĂ©aliste.

Dans le domaine des interfaces homme-machine, le visage tient une place centrale. Il est reconnu comme un des principaux convoyeurs naturels d’informations, au mĂȘme titre que les gestes ou la voix. Le but de ce projet est de dĂ©montrer que les images du visage d’un conducteur peuvent amĂ©liorer de façon significative les systĂšmes de reconnaissance automatique de la parole, dans l’habitacle d’une voiture.

Des travaux prĂ©cĂ©dents, rĂ©alisĂ©s au LTS5, ont permis de montrer que l’information visuelle augmente les performances de reconnaissance automatique de la parole lorsque le canal audio est parasitĂ©, ce qui est frĂ©quent dans une voiture (bruits de moteur, bruits aĂ©rodynamiques, bruits extĂ©rieurs ou intĂ©rieurs, etc.). Ce projet transpose ces acquis dans l’habitacle d’une voiture. A l’aide d’un vĂ©hicule mis Ă  disposition par le constructeur français, les chercheurs vont crĂ©er une base de donnĂ©es audiovisuelle pour tester et quantifier les performances de la reconnaissance audio et audiovisuelle de la parole. Ces donnĂ©es seront intĂ©grĂ©es dans les outils de dĂ©tection et de suivi des visages disponibles dans le cadre du partenariat entre LTS5 et Groupe PSA.

Ce projet d’une durĂ©e de dix mois est menĂ© par le LTS5 et financĂ© par Groupe PSA.

  • DĂ©tecteur d’émotions (2012-2013)

Ce projet vise Ă  dĂ©velopper un systĂšme de surveillance non-intrusif qui dĂ©tecte l’état Ă©motionnel du conducteur.

Surveiller l’état Ă©motionnel du conducteur est essentiel pour la sĂ©curitĂ© et le confort de conduite. Dans ce projet, un systĂšme de surveillance non-intrusif en temps rĂ©el est dĂ©veloppĂ©. Il dĂ©tecte les Ă©tats Ă©motionnels du conducteur en analysant ses expressions faciales. Le systĂšme tient compte de deux Ă©motions de base, la colĂšre et le dĂ©goĂ»t, des Ă©motions associĂ©es au stress.

Au cours du projet de recherche, les scientifiques ont rĂ©alisĂ© des vidĂ©os. Ils dĂ©tectent les Ă©motions individuelles sur chaque image et l’évaluation du niveau de stress se fait au niveau de la sĂ©quence. Les rĂ©sultats expĂ©rimentaux montrent que le systĂšme mis au point fonctionne trĂšs bien sur des donnĂ©es simulĂ©es, mĂȘme avec des modĂšles gĂ©nĂ©riques. Une Ă©tape d’adaptation supplĂ©mentaire permettra d’amĂ©liorer encore le systĂšme actuel.

D’une durĂ©e d’un an, il est dirigĂ© par le LTS5. Il est financĂ© par Groupe PSA.

  • DĂ©tecteur de fatigue (2013)

Ce projet vise Ă  dĂ©velopper un algorithme de vision par ordinateur capable d’estimer le niveau de fatigue d’un conducteur sur la base du degrĂ© de fermeture des paupiĂšres. 

Dans le domaine des vĂ©hicules intelligents et de l’assistance Ă  la conduite, la dĂ©tection de fatigue joue un rĂŽle important. Les estimations indiquent que jusqu’à 30% des accidents de voiture sur les autoroutes pourraient ĂȘtre liĂ©s Ă  la somnolence du conducteur. Par consĂ©quent, un systĂšme capable de dĂ©tecter cet Ă©tat et d’avertir le conducteur pourrait contribuer Ă  rĂ©duire de maniĂšre significative les accidents.

Une façon intuitive de mesurer la fatigue est l’utilisation d’une camĂ©ra et la dĂ©tection des symptĂŽmes liĂ©s Ă  la fatigue. L’indicateur PERCLOS, qui mesure le pourcentage de temps durant lequel l’Ɠil est fermĂ© Ă  l’intĂ©rieur d’un certain laps de temps, offre une corrĂ©lation significative de la somnolence et est relativement facile Ă  calculer.

Ce projet se concentre sur la dĂ©tection de la fermeture de l’oeil dans le but d’utiliser ensuite le PERCLOS comme indicateur du niveau de fatigue. Son but est de dĂ©velopper un module d’analyse de l’oeil en crĂ©ant un algorithme capable de ne pas tenir compte des Ă©ventuels effets de la lumiĂšre et des diffĂ©rentes morphologies des yeux des conducteurs. Un profilage 3D de l’oeil et des paupiĂšres est alors Ă©tabli de façon Ă  distinguer un oeil ouvert d’un oeil fermĂ©. Enfin, la mĂ©thodologie est optimisĂ©e pour permettre Ă  l’algorithme de fonctionner en temps rĂ©el sur des ordinateurs embarquĂ©s dont la puissance de calcul est limitĂ©e.

Ce projet de master est rĂ©alisĂ© au LTS5 et financĂ© par Groupe PSA.

  • Plateforme de prototypage pour le suivi des visages (2012-2013)

Ce projet dĂ©veloppe, teste et valide de nouvelles techniques de dĂ©tection robuste du visage, d’analyse du visage et de suivi du regard sur une plateforme de prototypage pour interfaces homme-machine dans l’automobile.

Il vise Ă  mettre en place une plateforme de dĂ©veloppement, spĂ©cifiquement dĂ©diĂ©e Ă  l’analyse en temps rĂ©el du visage et du regard par camĂ©ra vidĂ©o, sur la plate-forme de prototypage P2S (plateforme de prototypage et simulation), fournie par Groupe PSA.

Ce projet Ă©tudie plusieurs aspects essentiels. Tout d’abord, les algorithmes pour le suivi du visage sont transfĂ©rĂ©s sur la plate-forme P2S et leurs performances Ă©valuĂ©es en termes de puissance de calcul et de robustesse pour les applications automobiles. Puis, en fonction de ces performances, les chercheurs intĂšgrent des matĂ©riaux plus spĂ©cifiques, comme les cartes de GPU, afin d’atteindre les performances requises pour le traitement en temps rĂ©el. Dans une troisiĂšme phase, ils adaptent la dĂ©tection de visage et le suivi aux conditions de nuit avec un Ă©clairage infrarouge et proposent des mĂ©thodes qui sont robustes aux conditions variables d’éclairage et d’occlusions.

Dans une quatriĂšme phase, ils Ă©tudient la possibilitĂ© d’amĂ©liorer l’exactitude des mĂ©thodes proposĂ©es par l’utilisation de deux camĂ©ras HD au lieu d’une, tout en maintenant l’exĂ©cution en temps rĂ©el sur la plate-forme P2S. Enfin, ils identifient les applications automobiles de ces algorithmes avec Groupe PSA et les prĂ©senteront sur un dĂ©monstrateur.

D’une durĂ©e d’un an, ce projet est menĂ© par le LTS5 et financĂ© par Groupe PSA.