Imagerie multimodale 3D+ pour drone : application à l’évaluation de l’état phytosanitaire de la vigne
Language
fr
Thèses de doctorat
Date
2020-12-17Speciality
Informatique
Doctoral school
École doctorale de mathématiques et informatique (Talence, Gironde)Abstract
En viticulture comme dans de nombreux domaines, l'adoption de méthodes modernes est une étape essentielle dans l'optique de garantir la conformité aux normes de qualités. La télédétection, permettant de cartographier, ...Read more >
En viticulture comme dans de nombreux domaines, l'adoption de méthodes modernes est une étape essentielle dans l'optique de garantir la conformité aux normes de qualités. La télédétection, permettant de cartographier, analyser et traiter les vignobles est aujourd'hui une solution moderne pour gérer efficacement les parcelles de vignes. De plus, l'utilisation de capteurs multi-spectraux, notamment infrarouge et proche infrarouge, fournit des indicateurs clés dans l'aide au diagnostique d'une parcelle, notamment par la génération de carte d'indice de végétation par différence normalisée (NDVI). Enfin, les méthodes de reconstruction 3D offrent un réel apport pour le diagnostique d'un champ de vignes, puisqu'elles permettent d'effectuer des mesures précises directement depuis le modèle.Tandis que plusieurs solutions exploitent les différentes forces de ces méthodes, elles se contentent de traiter ces indicateurs séparément. Ainsi, il est possible d'obtenir une carte 3D à partir de capteurs spécifiques, l'on peut générer une carte NDVI 2D grâce aux images infrarouges et des images aériennes sont régulièrement prises à partir de drone ou de satellite pour analyser l'évolution d'un vignoble.L'objectif de cette thèse est de montrer qu'il est possible de combiner ces indicateurs afin de fournir une carte NDVI 3D d'une parcelle à partir d'images aériennes prises par un drone équipé d'une paire de capteurs.Nous proposons dans la première partie de ce manuscrit le contexte dans lequel se place notre étude. Nous introduisons la notion de viticulture de précision, et établissons un état de l’art des différentes méthodes de télédétection appliquées à l’étude de l’état phytosanitaire de la vigne.Nous nous intéressons dans une deuxième partie aux modèles 3D reconstruits par stéréo vision, et proposons différentes méthodes pour améliorer la qualité du nuage de points généré.Nous nous attarderons dans une troisième partie aux méthodes de reconstruction 3D à partir d'un système ne comportant qu'une seule caméra. Nous présentons dans cette partie une méthode pour optimiser le nombre d'images traitées pour alléger les solutions sur système embarqué ; ainsi qu'un modèle de réseau neuronal convolutif permettant de générer un modèle 3D à partir d'une seule image.Enfin, nous mettons en avant dans une dernière partie l'utilisation d'un système stéréo mobile multi-spectral. Nous mettons à disposition un jeu de données public aidant au développement de futures méthodes et détaillons le développement d'un prototype drone stéréo multi-spectral. Nous montrons enfin comment utiliser les images obtenues par ce prototype pour construire une carte NDVI 3D et démontrons ses avantages par rapport aux cartes 2D qui sont utilisées aujourd'hui.Read less <
English Abstract
In viticulture, as in many fields, the adoption of modern methods is an essential step in order to guarantee compliance with quality standards. Remote sensing, making it possible to map, analyze and treat vineyards is today ...Read more >
In viticulture, as in many fields, the adoption of modern methods is an essential step in order to guarantee compliance with quality standards. Remote sensing, making it possible to map, analyze and treat vineyards is today a modern solution for efficiently managing vineyard plots. In addition, the use of multispectral sensors, in particular infrared and near infrared, provides key indicators that could helpto diagnose a plot, in particular by generating a normalized difference vegetation index (NDVI) map.Finally, 3D reconstruction methods offer a real contribution to the vineyard diagnosis, since they allow precise measurements that could be made directly from the 3D model.While several solutions exploit the different strengths of these methods, they simply treat these indicators separately. Thus, it is possible to obtain a 3D map from specific sensors, a 2D NDVI map can be generated using infrared images and aerial images are regularly taken from a drone or satellite to analyze the evolution of a vineyard.The objective of this thesis is to show that it is possible to combine these indicators in order to provide a 3D NDVI map of a plot from aerial images taken by a drone with a spécific pair of sensors embedded.We propose in the first part of this manuscript the context in which our study is placed. We introduce the notion of 'precision viticulture', and establish a state of the art of the various remote sensing methods applied to the study of the health state of the vine.In a second part, we focus in 3D reconstruction by stereo vision, and propose several methods to improve the quality of the point cloud generated.We will investigate in a third part the 3D reconstruction methods from a system involving only one camera. In this part, we present a method for optimizing the number of images processed in order to lighten the solutions on embedded systems; as well as a convolutional neural network model able to generating a 3D point cloud from a single image.Finally, we highlight in a last part the use of a multispectral mobile stereo system. We provide a public dataset to help the development of future methods and detail the development of a multi-spectral stereo drone prototype. We finally show how to use the images obtained by this prototype to build a 3D NDVI map and demonstrate its advantages over 2D maps that are used today.Read less <
Keywords
Reconstruction 3D
NDVI
Vigne
Stéréo vision
Multi spectral
English Keywords
3D reconstruction
NDVI
Vineyard
Stereo vision
Multi-spectral
Origin
STAR imported