Littérature scientifique sur le sujet « Robots Vision artificielle (robotique) »

La reconnaissance d'objet est un grand défi à résoudre pour améliorer l'autonomie des robots. Bien que de nombreuses techniques aient été développées dans le domaine de la vision basée image, aucune d'entre elle ne tient la comparaison face à la perception humaine en termes de performance, de poids et de consommation. Le domaine de l'ingénierie neuromorphique où l'on cherche à reproduire sur puce le comportement d'organes humains, a récemment permis l'émergence de caméras asynchrones bio-inspirées. Les données générées par ces capteurs sont éparses, et asynchrones, ce qui permet le développement d'une vision artificielle adaptée à la scène visuelle en terme de coûts de calculs. Dans cette thèse est étudié l'impact de la prise en compte de temps relatifs précis, rendue possible par l'acquisition évènementielle sur la reconnaissance d'objet. Dans ce travail est d'abord introduit un système de reconnaissance d'objet basé sur des images implémenté sur un robot mobile visant à réaliser une cartographie sémantique. Ensuite sont quantitativement décrits les avantages d'une acquisition évènementielle gr\^ace à l'utilisation de l'information mutuelle. Des primitives visuelles de bas niveau correspondant à la description spatio-temporelle d'une scène dynamique sont ensuite décrites puis une implémentation en temps réel d'un algorithme de suivi de primitive est proposée pour des noyaux de Gabor orientés et de manière générale pour n'importe quel noyau. Finalement, une architecture complètement asynchrone de reconnaissance qui tire pleinement partie de l'information temporelle est présentée, cette méthode étant une extension du modèle HMAX qui s'inspire du cortex visuel des primates
The recognition of objects is a key challenge in increasing the autonomy of robots and their performances. Although many techniques of object recognition have been developed in the field of frame-based vision, none of them hold the comparison against human perception in terms of performance, weight and power consumption. Neuromorphic engineering models biological components into artificial chips. It recently provides an event-based camera inspired from a biological retina. The sparse, asynchronous, scene-driven visual data generated by these sensors allow the development of computationally efficient bio-inspired artificial vision. I focus in this thesis on studying how event-based acquisition and its accurate temporal precision can change object recognition by adding precise timing in the process. This thesis first introduces a frame-based object detection and recognition algorithm used for semantic mapping. It then studies quantitatively what are the advantages of using event-based acquisition using mutual information. It then inquires into low level event-based spatiotemporal features in the context of dynamic scene to introduce an implementation of a real-time multi-kernel feature tracking using Gabor filters or any kernel. Finally, a fully asynchronous time-oriented architecture of object recognition mimicking V1 visual cortex is presented. It extends the state of the art HMAX model in a pure temporal implementation of object recognition

Cette thèse traite de l'analyse de nuages de points 3D désorganisés et s'appuie sur deux outils : un algorithme de partitionnement efficace inspiré des C-moyennes floues d'une part, et des outils de filtrage morphologique de représentation à base de triangulation de Delaunay d'autre part. Le cadre applicatif essentiel est la navigation autonome en robotique mobile en environnement inconnu, c'est à dire sans modèle. Mais la méthodologie générique développée a été appliquée à d'autres types d'environnements, notamment plus structurés. Dans ce cadre, nous nous intéressons à l'analyse des nuages de points généraux et décrivant tous types de scènes. L'accent n'est alors plus à mettre sur la technique de reconstruction mais plutôt sur la faculté d'analyse, de dénombrement et de représentation d'un nuage de points contenant plusieurs objets, utilisant à l'occasion des techniques déjà expérimentées de reconstruction. Par ailleurs, il est vrai qu'historiquement nos travaux se situent dans un cadre de robotique mobile, dans lequel on espère pouvoir doter un robot d'une certaine autonomie en navigation par l'octroi d'une capacité de construire peu à peu un modèle de l'environnement exploré, inconnu "a priori". Nous avons l'objectif de fournir une description relativement détaillée des obstacles qu'il a eu ou qu'il aura à éviter. Le problème de partitionnement d'une scène en objets ou éléments simples reste à ce jour un problème ouvert en environnement naturel, où l'absence de structure géométrique rend difficile à concevoir des algorithmes de modélisation. Dans cette perspective, l'originalité de notre travail réside entre autres dans la définition d'une méthodologie générique d'analyse de scène représentée par des nuages de points 3D, indépendamment de l'environnement. (. . . )
This thesis work deals with unorganised 3D point sets analysis based on two tools : on the one hand a clustering algorithm inspired by K-means and on the other hand morphological filtering techniques specifically designed for Delaunay triangulation representations of unstructured point sets. Applications to autonomous mobile robotic navigation are performed in the field of computer vision in unknown environments. But the designed methodology has been generically applied to others types of more structured environments

La perception visuelle de l’espace libre (ou de façon duale des obstacles) est une problématique majeure dans de nombreuses applications en robotique mobile. Dans cette thèse, nous proposons d’utiliser les contours actifs comme support de perception pour la navigation autonome de robots mobiles dans des environnements inconnus et dynamiques, à l’aide d’un capteur de vision omnidirectionnelle. A ce jour, deux types de catégories de contours déformables existent dans la littérature : les contours actifs paramétriques et géométriques. Classiquement, les approches paramétriques fondées sur la minimisation d’une fonctionnelle énergie, apportent des solutions rapides mais présentent des problèmes de convergence dans les zones à fortes concavités ou à courbures extrémales. A l’inverse, les approches géométriques fondées sur la résolution d’une EDP non linéaire de propagation, gèrent les changements de topologie mais sont prohibitives en temps de calcul. Dans ce travail, les différentes améliorations apportées aux modèles paramétriques et géométriques existants ont permis de s’affranchir de ces contraintes de temps de calcul prohibitif et de convergence des modèles. Une nouvelle méthode basée sur une approximation par courbes de Bézier avec construction géométrique est également proposée. Des expérimentations menées en conditions réelles ont validé l’intérêt et l’efficacité de ces approches. Au terme de cette étude, la modélisation de l’espace libre par contour actif a été utilisée pour définir les possibilités d’exploration du robot dans son champ visuel, et une représentation métrique de l’espace dans une optique de partage des données. Une stratégie de navigation vers des points objectifs virtuels extraits du squelette de l’espace libre a été proposée. Cette technique permet le déplacement du robot au plus loin des frontières-obstacles (en suivant le diagramme de Voronoï par exemple) tout en évitant les éléments mobiles présents dans le champ perceptif du robot. Enfin, un module de cartographie incrémentale de l’espace exploré, reposant sur l’utilisation d’une grille d’occupation, a été proposé. Plusieurs expériences, menées dans divers environnements inconnus d’intérieur et d’extérieurs, nous ont permis d’évaluer les performances et le potentiel des méthodes développées
Free space perception, without any prior knowledge, is still a challenging issue in mobile robotics. In this thesis, we propose to use active contour models and monocular omnidirectional vision as a framework within which to realize real-time unknown free space detections. Several approaches have been developed in the literature and can be classified in two main categories : Parametric and Geometric active contours. The parametric active contours are explicit models whose deformation is constrained by minimization of a functional energy. These latters provide fast segmentations but can not ensure the convergence of the contour to boundary concavities. In contrast, the geometric methods consider an implicit representation of the contour as the level sets of two dimensional distance functions which evolve according to an Eulerian formulation. They overcome contour convergence in boundary concavities and allow to automatically handle topology changes of the contour. However, their use is limited because of their prohibitive computational cost. In this work, various improvements to existing geometric and parametric models have been proposed to overcome these constraints of prohibitive computational cost and poorly convergence to boundary concavities. A new method based on an Bezier curves interpolation with a geometric construction is proposed. Experiments led in real environments have validated the interest and efficiency of these approaches

Cette thèse a pour objectif la conception et la réalisation d'un système de vision relativement générique pour la robotique, répondant aux exigence actuelles des systèmes embarqués en terme de robustesse, de sûreté de fonctionnement et de coût. Un tel système doit exploiter au mieux les ressources disponiblesL'analyse des tâches et des contraintes robotiques montre que cette généricité nécessite une extraction d'information complémentaires : contours, régions, mouvements. De nouveaux opérateurs adaptés au temps-réel ont donc été développés. Ce socle de traitements bas-niveau réalisé, nous avons élaboré une architecture dynamiquement reconfigurable répondant au problème posé. Nous proposons une méthode d'utilisation de l'applicatif temps-réel Cléopatre, garantissant l'embarquabilité, le non-blocage pour une intégration pensée au plus juste. Nous tirons de l'implantation de cette architecture une méthode d'utilisation efficace des mécanismes de tolérance aux fautes en vision robotique.

Le point de départ de nos travaux est l'asservissement référencé capteur qui permet une très bonne convergence locale, mais converge difficilement lorsque la tâche est complexe par rapport aux degrés de liberté disponibles et aux contraintes à respecter. Notre objectif est de construire une méthode générale pour réaliser un enchaînement de tâches robotiques permettant d'élargir le domaine d'application de la commande référencée capteur. Ces travaux s'articulent autour de deux axes principaux. Dans la première partie, nous construisons une structure de contrôle nommée pile de tâches permettant un contrôle du robot à un plus haut niveau en modifiant pendant l'asservissement les tâches de la pile. Dans la seconde partie, nous utilisons ces fonctionnalités pour réaliser automatiquement l'enchaînement des tâches. Ceci permet d'accomplir la tâche globale et d'assurer en même temps le respect des contraintes. Cette méthode générique est enfin appliquée à différents types de robot.

Cette thèse se situe dans le cadre de l'augmentation des capacités de perception des robots mobiles destinés à évoluer en environnement naturel. Un robot mobile autonome doit être capable de percevoir et d'appréhender l' environnement dans lequel il évolue, à partir des données fournies par ses capteurs (télémètre laser, caméra...), pour effectuer des missions du type "aller à - (un amer)". L'utilisation d'un télémètre laser suffit pour faire effectuer au robot des missions de déplacement ; l'information tridimensionnelle apportée par ce capteur permet d'extraire des informations sur la géométrie du terrain, la forme et la surface des objets, mais ne permet pas toujours d'obtenir une description suffisante de l'environnement : plusieurs objets peuvent avoir la même forme, le terrain peut être impraticable même s'il est plat. Les travaux présentés dans ce mémoire portent donc sur le développement de l'utilisation du capteur caméra vidéo pour apporter des informations utiles à la localisation et à la navigation du robot dans son environnement. Les besoins actuels pour réaliser ces deux tâches ont permis de déterminer deux directions à développer. L'une concerne l'obtention de l'information tridimensionnelle à partir d'un systeème stéréoscopique ; l'autre consiste à enrichir la connaissance de l'environnement par identification des objets contenus dans la scène. La stéréovision est un moyen répandu pour obtenir l'information tridimensionnelle. Nous avons implémenté un algorithme de stéréocorrélation, technique qui est adaptée pour des scènes texturées. L'algorithme de base est amélioré pour prendre en compte à la fois les contraintes de rapidité d'exécution et de qualité de la corrélation. Lorsque le robot évolue dans un environnement extérieur, la connaissance du terrain ou des objets situés dans cet environnement peut être améliorée en ajoutant des informations telles que la co uleur ou la texture. Nous avons proposé comme représentation complémentaire, le modèle nominatif de régions qui indique la nature de chaque région d'une image. Tout d'abord, un algorithme de segmentation donne une description synthétique de la scène : la méthode combine à la fois les techniques de grossissement de régions et de classification (basée sur l'étude de l'allure générale des histogrammes sur chaque composante colorimétrique). Les régions issues de cette segmentation sont ensuite caractérisées puis identifiées afin d'obtenir leur nature (herbe, roche, terre...). Leur caractérisation est obtenue à partir des informations sur leur couleur et leur texture. Les opérateurs de texture développés sont basés sur l'étude des lignes de contraste dans la région considérée (densité, courbure,...). Une technique probabiliste est finalement utilisée pour déterminer la nature des éléments présents dans l'environnement.

Nous formalisons et validons une approche novatrice du contrôle robotique utilisant la vision par apprentissage par l'exemple. Dédiée à la coordination sensori-motrice d'un système de vision binoculaire et d'un système robotique (bras manipulateur) indépendants, cette approche ne nécessite ni connaissance a priori de la géométrie du système robot-vision, ni recours à un quelconque dispositif d'étalonnage externe. L'apprentissage par l'exemple est l'apanage des techniques neuromimétiques, qui associent la statistique et l'optimisation contrainte et non contrainte. La structure neuromimétique adoptée pour le contrôle robotique visuel comporte deux modules séquentiels : ○ un module de reconstruction de l'espace 3D, dans lequel évolue le bras manipulateur, à partir des images binoculaires, ○ un module de commande robotique hybride en position/vitesse. La commande robotique est asservie dans l'espace reconstruit à partir du premier module. Le module de reconstruction 3D associe deux techniques statistiques du traitement du signal : l'analyse en composantes principales (ACP) et l'analyse en composantes indépendantes (ACI). Le contrôle robotique est réalisé alternativement à partir de l'apprentissage des modèles géométriques direct et inverse du manipulateur. Nous proposons HYPSOM («HYPerplan-based Self-Organizing Map»), un réseau novateur d'hyperplans auto-organisés, en vue de l'apprentissage indifférencié de ces modèles. Le réseau HYPSOM est plus généralement adapté à l'approximation linéaire locale de fonctions scalaires multivariables. Notre approche neuronale du contrôle robotique par la vision binoculaire est validée dans le contexte de la simulation logicielle 3D du système robot-vision.

Les nouvelles technologies deviennent les véritables stars de la chirurgie de demain ! Entre l’impression 3D, les Big Datas, lintelligence artificielle, et maintenant les robots chirurgicaux le chirurgien vit une période passionnante ! Mais attention à ce que l’utilisation de ces techniques serve à la pratique et ne soit pas la réponse à un simple effet de mode... «Jai eu la chance de tester le robot chirurgical Da Vinci dans ma pratique de la chirurgie endobuccale... cette présentation est un simple retour dexpérience...»