Dans le cadre de l’exploitation du MOBILEX CAOR Mines – Safran il est envisagé d’implémenter un système de perception sur une plate-forme mobile, permettant d’identifier les zones “franchissables” à résistance réduite et de fournir une cartographie de navigation englobant ces informations.
Il est privilégié d’identifier une technologie, une méthode et des algorithmes, afin de réaliser un dispositif indépendant des équipements du robot mobile et qui installé à bord, permettrait de caractériser seuls la franchissabilité de l’environnement.
La technologie envisagée est l’analyse multi/hyperspectrale d’image de la scène et la fusion avec l’analyse de l’image spatiale 2D ou 2D + profondeur.
Ce que nous cherchons n’est pas forcément une carte précise en tout point du parcours, mais plutôt d’identifier certaines zones, où la franchissabilité serait en-dessous d’un certain seuil et qui permettrait au robot mobile de passer.
La thèse s’articulera autour des travaux suivants :
- État de l’art sur la perception des différents matériaux et leur degré de franchissabilité;
- Identification de solutions de capture d’images spectrales et spatiales des catégories d’obstacles;
- Évaluation des différentes méthodes d’analyse multi / hyperspectrale et fusion avec l’information spatiale pour la classification des obstacles selon leur “franchissabilité”;
- Segmentation de scène et détection d’objets dans le domaine spatial avec leur positionnement et structure 3D.
Etat de l’art et obtention d’images exploitables
L’état des lieux sur l’imagerie multi/hyper spectrale permettra d’identifier les caractéristiques physiques déterminant la franchissabilité des matériaux qui composent les principales catégories d’obstacles (végétaux, minéraux, métalliques, pré-fabriqués, etc), susceptibles de bloquer la route du robot. De ces caractéristiques et des retours d’expérience de Safran et du CAOR/Mines sur la perception de l’environnement, des méthodes d’identification de matériaux par analyses d’image et machine learning seront à définir et à évaluer. Cet état des lieux sera complété d’un état des lieux de solutions embarquées à bord des robots mobiles de type off-road et AGV, basé sur le traitement d’image. Il permettra d’identifier et de définir les points critiques d’environnement à maîtriser.
Evaluation des différentes méthodes d’analyse hyperspectrale
Ce sujet de thèse se veut initialement ouvert et exploratoire. Il s’agira donc d’identifier un panel d’approches possibles, d’en caractériser la faisabilité et la fiabilité, ainsi que la capacité à être adaptées à l’environnement off-road et non-structuré (obstacles végétaux, rochers, artefacts, etc). A partir de cet état des lieux, la ou les solutions les plus prometteuses seront explorées plus profondément.
L’analyse hyperspectrale d’images étend les possibilités de l’analyse d’images classique, étant largement appliquée dans différents domaines d’application tels que l’imagerie spatiale, l’agriculture, l’industrie pharmaceutique et la médecine et finalement l’analyse chimique. La plupart des applications utilisant l’imagerie hyperspectrale relèvent de deux classes de traitements :
- La détection et la classification des matériaux constituant chaque pixel de l’image de l’objet ;
- La réduction de volume de bandes spectrales tout en minimisant les pertes d’information pour une vitesse de traitement accrue.
Les capteurs hyperspectraux fournissent des centaines de bandes spectrales par pixel, ce qui rend le traitement des images très coûteux en termes de calculs. Des méthodes de réductions de tailles des données sans pertes d’information pourront être abordées. Dans la plupart des cas le matériel observé est composé de plusieurs types de matériaux distincts, considérés « purs ». Chaque matériau distinct comporte une signature considérée comme étant « pure ». Une signature d’un matériau composite quelconque sera donc un assemblage de signatures « pures » (« endmembers ») de matériaux constituants. Différentes techniques de classification des pixels « hyperspectraux » ont déjà été utilisées, le plus souvent des mesures de distances ou probabilistes. L’ensemble des techniques qui se proposent de déterminer la décomposition en « endmembers » et leur proportion dans la signature analysée, se retrouve dans la littérature sous le nom de techniques de séparation de sources (« unmixing techniques »).
Des techniques de séparation linéaire de sources ont été utilisées avec succès pour améliorer la précision des différents algorithmes de classification des images hyperspectrales. Parmi les approches qui ont été proposées [7] pour une comparaison exhaustive, une attention particulière sera accordée aux algorithmes qui combinent la séparation linéaire des sources et les techniques éparses [8], ou les champs aléatoires de Markov [9] et les algorithmes de coupes de graphes [10], qui à eux seuls (sans séparation des sources) ont donné des résultats intéressants dans d’autres domaines de classification d’images.
Définition de la méthode retenue
Dans cette thèse, l’approche qui sera implémentée mettra l’accent sur la recherche des caractéristiques multi-dimensionnelles, dans le parallélépipède « 2D + lambda » (bande spectrale), qui nous permettrait de constituer une base de signatures « pures » correspondant aux différents types de matériaux composant les obstacles. Une base de caractéristiques multi-dimensionnelles sera donc créée à partir d’une collection d’images multi-spectrales, annotées et sélectionnées [11].
Par la suite, différentes techniques de classification par du deep learning et machine learning seront testées (AdaBoost, SVM ou Random Forests, etc.) afin de choisir les signatures « pures » qui caractérisent le mieux possible les obstacles et les matériaux qui les composent. L’apprentissage sera effectué donc sur une base d’images exemples pour chaque élément constituant d’obstacle, tandis que l’évaluation s’effectuera sur une vérité terrain constituée par des différents mélanges connus, d’éléments « purs ». Cette évaluation nous permettra de sélectionner l’algorithme d’apprentissage optimal pour notre application.
Evaluation de la solution
Cette dernière phase permettra d’évaluer la solution retenue. Sur la base des développements réalisés et des hypothèses prises en compte pour l’évaluation des obstacles, une évaluation multicritère de la “franchissabilité” sera réalisée. Elle permettra de caractériser les points suivants :
- Fiabilité de détection des zones à faible adhérence
- Capacité à être intégré dans un robot mobile off-road
- Réponses aux objectifs de sûreté de fonctionnellement
Bibliographie:
[1] Parente, M. and Plaza, A., Survey of geometric and statistical unmixing algorithms for hyperspectral images, in IEEE GRSS Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing-WHISPERS’10, Reykjavik, Iceland, 2010.
[2] Imec introduces hyperpectral CMOS camera for snapshot and video”, EETimes February 2013, Julien Happich. ONLINE: http://www.electronics-eetimes.com/en/imec-introduces-hyperpectral-cmos-camera-for-snapshot-and -video.html?cmp_id=7&news_id=222915621#
[3] A. Plaza and C.-I. Chang, High performance computing in remote sensing. CRC Press Florida, 2007.
[4] A. Plaza, J. Plaza, A. Paz and S. Sanchez, “Parallel hyperspectral image and signal processing,” IEEE Signal Processing Magazine, vol. 28, no. 3, pp. 119-126, May 2011.
[5] S. Bernabe, S. Lopez, A. Plaza and R. Sarmiento, ‘GPU Implementation of an Automatic Target Detection and Classification Algorithm for Hyperspectral Image Analysis’, IEEE Geoscience and Remote Sensing Letters, accepted for publication, 2012
[6] US 2010/0056928 A1. Date: Mar.4, 2010. “Digital Light Processing Hyperspectral Imaging Apparatus”. K. Zuzak; J. Cadeddu; R. Ufret-Vincenty; R. Francis; E. Livingston.
[7] Dopido, I. ; Villa, A. ; Plaza, A. ; Gamba, P. “A Quantitative and Comparative Assessment of Unmixing-Based Feature Extraction Techniques for Hyperspectral Image Classification” IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, Volume: 5 , Issue: 2, 2012 , Page(s): 421 – 435.
[8] Le Sun ; Zebin Wu ; Zhihui Wei ; Jianjun Liu ; Xingxiu Li, “Supervised hyperspectral image classification combining sparse unmixing and spatial constraint”, 2012 International Conference on Computer Vision in Remote Sensing (CVRS), 2012 , Page(s): 110 – 115
[9] Eches, O. ; Benediktsson, J.A. ; Dobigeon, N. ; Tourneret, J.-Y., “Adaptive Markov Random Fields for Joint Unmixing and Segmentation of Hyperspectral Images” IEEE Transactions on Image Processing, Volume: 22 , Issue: 1, 2013 , Page(s): 5 – 16
[10] Jun Bai ; Shiming Xiang ; Chunhong Pan, “A Graph-Based Classification Method for Hyperspectral Images”, IEEE Transactions on Geoscience and Remote Sensing, Volume: 51 , Issue: 2, 2013 , Page(s): 803 – 817
[11] Daniel D. Lee & H. Sebastian Seung (1999). “Learning the parts of objects by non-negative matrix factorization”. Nature. 401 (6755): 788–791. Bibcode:1999 Natur.401..788L. doi:10.1038/44565. PMID 10548103. S2CID 4428232.
Contacts:
Bogdan Stanciulescu: MINES Paris PSL, bogdan.stanciulescu@minesparis.psl.eu
Paula Lakomicki, SAFRAN Electronics & Defense, paula.lakomicki@safrangroup.com
Christophe Guettier, SAFRAN Electronics & Defense, christophe.guettier@safrangroup.com