Identification de vêtements dans des images : de la segmentation d'instances à la classification multi-étiquettes faiblement supervisée

Abstract

Pour l’industrie textile et de la mode, les images de vêtements sont essentielles à différentes fins : décisionnelles, collaboratives, promotionnelles, pour tous les types de produits : intemporels, saisonniers, tendance, et à toutes les phases de leur cycle de vie : de la conception à la vente. Il est donc nécessaire de faciliter leur accès et leur recherche parmi un grand nombre d’images candidates. Cela repose le plus souvent sur l’apposition de mots clefs afin de les indexer et de les référencer. Il est alors fondamental d’automatiser la saisie manuelle de ces mots clefs lors de tout dépôt ou collecte d’images. Cette opération chronophage est source d’erreurs ou de descriptions incomplètes des données. De plus, elle est irréalisable pour des cas de collecte ou d’analyse à grande échelle. En apprentissage supervisé, l’attribution d’une étiquette (c.-à-d. un mot clef) se transpose en un problème de classification. Sans information sur la composition de l’image, la classification se fait sur l’image dans sa globalité. Pour avoir des prédictions plus fines, l’approche retenue dans cette thèse se décompose en deux étapes : localisation de chacun des vêtements pour les différencier, puis caractérisation plus fine du contenu de chaque détection. La localisation et la caractérisation sont indépendantes et peuvent être effectuées par différents types de méthodes. Les méthodes de segmentation d’instances, qui sont la forme de localisation la plus fine, ont été retenues. En effet, ces approches permettent d’estimer, sous la forme d’un masque, l’ensemble des pixels constituant un objet donné. Elles offrent de plus l’avantage de différencier les objets d’une même étiquette, ce qui permet une caractérisation indépendante par la suite. Une étude des méthodes de segmentation d’instances a ainsi été réalisée pour le cas particulier des images de vêtements. Nous disposons de données annotées et recourrons donc à des méthodes de segmentation issues de l’apprentissage supervisé, qui reposent sur un étiquetage connu a priori et considéré comme vérité à reproduire. Ces méthodes peuvent alors être évaluées en mesurant l’écart des prédictions à ces annotations. Après avoir montré que les approches classiques de validation de masques de segmentation ne sont pas adaptées à nos cas d’usages, un protocole d’évaluation à trois niveaux a été proposé : global, contour, contenu, afin de discriminer correctement les architectures retenues. Les travaux sur la caractérisation des vêtements se sont concentrés sur trois caractéristiques : type fin du vêtement (ex. jean, pantalon de costume, jogging etc.), motif tissu (ex. rayure, pois, uni etc.), couleur dominante (ex. saumon, fuchsia, corail, etc.). Pour le type de vêtement et le motif tissu, une méthode de classification a été développée pour exploiter les images enrichies de la zone du vêtement. Cependant, certains motifs tissus apparaissent ou disparaissent selon la résolution (ex. rayure fine). Une approche extrayant des patchs à résolution native a alors été proposée. Pour la couleur dominante, les problématiques de dénomination et de partitionnement d’espace de couleur ont été abordées. Ces travaux nous ont permis d’obtenir un processus global d’attribution d’étiquette reversé à Lectra (intégrant segmentation et caractérisation). Enfin, il est parfois difficile de classer une image avec une unique étiquette. Cela est notamment le cas lorsque plusieurs tissus et motifs composent un même vêtement. La classification multi-étiquettes des images est alors plus adaptée. L’application des méthodes d’apprentissage supervisé à ce type de problème nécessite cependant des données dédiées, dont la collecte et l’annotation sont complexes. Pour répondre à ce problème, nous avons développé une méthode faiblement supervisée, nécessitant seulement une étiquette positive connue par image. L’entraînement repose alors sur une nouvelle stratégie efficace pour estimer des exemples négatifs pour chaque classe.