Academic literature on the topic 'Fusion de capteurs visuels-inertiels'

L’estimation précise de l’état du système est un problème fondamental pour la navigation des véhicules autonomes. Ceci est particulièrement important lorsque le véhicule navigue dans des environnements encombrés ou à proximité d’obstacles, afin d’effectuer la localisation, l’évitement d’obstacles, la cartographie de l’environnement, etc. Bien que plusieurs algorithmes aient été proposés dans le passé pour ce problème d’estimation d’état, ils impliquent généralement un seul capteur ou plusieurs du même type. Afin de pouvoir exploiter les propriétés de multiples capteurs dotés de caractéristiques différentes (tels que Camera, IMU, Lidar, etc.), les chercheurs de la communauté de vision et de contrôle ont mis au point des modèles mathématiques qui produisent des estimations locales précises (position, orientation, vitesse, etc.). En m’inspirant de cela, ma thèse se concentre sur le développement d’observateurs non-linéaires pour l’estimation d’état en exploitant les algorithmes classiques de type Riccati en mettant l’accent sur la fusion de capteurs visuels-inertiels. Dans le cadre de cette thèse, nous utilisons une suite de capteurs à faible coût composée d’une caméra monoculaire et d’une centrale inertielle. Dans le cadre de la vision monoculaire, nous faisons l’hypothèse que la cible est pratiquement plate. Bien que cette hypothèse soit restrictive, les solutions proposées sont pertinentes pour de nombreuses applications dans les domaines de la robotique aérienne, terrestre et sous-marine. Dans ce contexte, deux nouveaux observateurs non linéaires sont proposés, le premier pour l’estimation de l’homographie et le deuxième pour l’estimation de l’attitude partielle, de la vitesse linéaire et de la profondeur. Dans la deuxième partie de la thèse, deux nouveaux observateurs déterministes de Riccati sont proposés pour traiter le problème classique de décomposition d’homographie au lieu de le résoudre image par image comme les approches algébriques traditionnelles. Tous ces travaux sont publiés dans des conférences internationales de haut-niveau. Tous les observateurs proposés ci-dessus font partie de la bibliothèque HomographyLab dont je suis l’un des principaux contributeurs. Cette bibliothèque a été évaluée au niveau TRL 7 (Technology Readiness Level) et est protégée par l’APP (Agence pour la Protection des Programmes) qui sert de brique principale pour diverses applications telles que l’estimation de vitesse et de flux optique, et la stabilisation basée sur l’homographie visuelle
Accurate state estimation is a fundamental problem for the navigation of Autonomous vehicles. This is particularly important when the vehicle is navigating through cluttered environments or it has to navigate in close proximity to its physical surroundings in order to perform localization, obstacle avoidance, environmental mapping etc. Although several algorithms were proposed in the past for this problem of state estimtation, they were usually applied to a single sensor or a specific sensor suite. To this end, researchers in the computer vision and control community came up with a visual-inertial framework (Camera + Imu) that exploit the combined properties of this sensor suite to produce precise local estimates (position, orientation, velocity etc). Taking inspiration from this, my thesis focuses on developing nonlinear observers for State Estimation by exploiting the classical Riccati design framework with a particular emphasis on visual-inertial sensor fusion. In the context of this thesis, we use a suite of low-cost sensors consisting of a monocular camera and an IMU. Throughout the thesis, the assumption on the planarity of the visual target has been considered. In the present thesis, two research topics have been considered. Firstly, an extensive study for the existing techniques for homography estimation has been carried out after which a novel nonlinear observer on the SL(3) group has been proposed with application to optical flow estimation. The novelty lies in the linearization approach undertaken to linearize a nonlinear observer on SL(3), thus making it more simplistic and suitable for practical implementation. Then, another novel observer based on deterministic Ricatti observer has been proposed for the problem of partial attitude, linear velocity and depth estimation for planar targets. The proposed approach does not rely on the strong assumption that the IMU provides the measurements of the vehicle’s linear acceleration in the body-fixed frame. Again experimental validations have been carried out to show the performance of the observer. An extension to this observer has been further proposed to filter the noisy optical flow estimates obtained from the extraction of continuous homography. Secondly, two novel observers for tackling the classical problem of homography decomposition have been proposed. The key contribution here lies in the design of two deterministic Riccati observers for addressing the homography decomposition problem instead of solving it on a frame-by-frame basis like traditional algebraic approaches. The performance and robustness of the observers have been validated over simulations and practical experiments. All the observers proposed above are part of the Homography-Lab library that has been evaluated at the TRL 7 (Technology Readiness Level) and is protected by the French APP (Agency for the Protection of Programs) which serves as the main brick for various applications like velocity, optical flow estimation and visual homography based stabilization

Cette thèse traite la problématique d'estimation de la pose (position relative et orientation) d'un corps rigide en mouvement dans l’espace 3D par fusion de données issues de capteurs inertiels et visuels. Les mesures inertielles sont fournies à partir d’une centrale inertielle composée de gyroscopes 3 axes et d’accéléromètres 3 axes. Les données visuelles sont issues d’une caméra. Celle-ci est positionnée sur le corps rigide en mouvement, elle fournit des images représentatives du champ visuel perçu. Ainsi, les mesures implicites des directions des lignes, supposées fixes dans l’espace de la scène, projetées sur le plan de l’image seront utilisées dans l’algorithme d’estimation de l’attitude. La démarche consistait d’abord à traiter le problème de la mesure issue du capteur visuel sur une longue séquence en utilisant les caractéristiques de l’image. Ainsi, un algorithme de suivi de lignes a été proposé en se basant sur les techniques de calcul du flux optique des points extraits des lignes à suivre et utilisant une approche de mise en correspondance par minimisation de la distance euclidienne. Par la suite, un observateur conçu dans l’espace SO(3) a été proposé afin d’estimer l’orientation relative du corps rigide dans la scène 3D en fusionnant les données issues de l’algorithme de suivi de lignes avec les données des gyroscopes. Le gain de l’observateur a été élaboré en utilisant un filtre de Kalman de type M.E.K.F. (Multiplicative Extended Kalman Filter). Le problème de l’ambigüité du signe dû à la mesure implicite des directions des lignes a été considéré dans la conception de cet observateur. Enfin, l’estimation de la position relative et de la vitesse absolue du corps rigide dans la scène 3D a été traitée. Deux observateurs ont été proposés : le premier est un observateur en cascade avec découplage entre l’estimation de l’attitude et l’estimation de la position. L’estimation issue de l’observateur d’attitude alimente un observateur non linéaire utilisant des mesures issues des accéléromètres afin de fournir une estimation de la position relative et de la vitesse absolue du corps rigide. Le deuxième observateur, conçu quant à lui directement dans SE(3) , utilise un filtre de Kalman de type M.E.K.F afin d’estimer la pose par fusion de données inertielles (accéléromètres, gyromètres) et des données visuelles. Les performances des méthodes proposées sont illustrées et validées par différents résultats de simulation
AbstractThis thesis addresses the problems of pose estimation of a rigid body moving in 3D space by fusing data from inertial and visual sensors. The inertial measurements are provided from an I.M.U. (Inertial Measurement Unit) composed by accelerometers and gyroscopes. Visual data are from cameras, which positioned on the moving object, provide images representative of the perceived visual field. Thus, the implicit measure directions of fixed lines in the space of the scene from their projections on the plane of the image will be used in the attitude estimation. The approach was first to address the problem of measuring visual sensors after a long sequence using the characteristics of the image. Thus, a line tracking algorithm has been proposed based on optical flow of the extracted points and line matching approach by minimizing the Euclidean distance. Thereafter, an observer in the SO(3) space has been proposed to estimate the relative orientation of the object in the 3D scene by merging the data from the proposed lines tracking algorithm with Gyro data. The observer gain was developed using a Kalman filter type M.E.K.F. (Multiplicative Extended Kalman Filter). The problem of ambiguity in the sign of the measurement directions of the lines was considered in the design of the observer. Finally, the estimation of the relative position and the absolute velocity of the rigid body in the 3D scene have been processed. Two observers were proposed: the first one is an observer cascaded with decoupled from the estimation of the attitude and position estimation. The estimation result of the attitude observer feeds a nonlinear observer using measurements from the accelerometers in order to provide an estimate of the relative position and the absolute velocity of the rigid body. The second observer, designed directly in SE (3) for simultaneously estimating the position and orientation of a rigid body in 3D scene by fusing inertial data (accelerometers, gyroscopes), and visual data using a Kalman filter (M.E.K.F.). The performance of the proposed methods are illustrated and validated by different simulation results

La vision est cruciale pour les pilotes d'hélicoptère, surtout près du relief ou des obstacles non cartographiés. Toutefois, et malgré des décennies de recherche avancée dans l'utilisation de la vision en robotique, peu de résultats ont été exploités dans l'aide au pilotage d'aéronefs. Les avancées en calcul informatique ont néanmoins permis l'émergence de techniques de vision par ordinateur, capables de traiter, analyser et comprendre des images numériques pour en extraire des informations pertinentes. Airbus Helicopters a depuis longtemps équipé ses hélicoptères moyens et lourds de pilotes automatiques pour améliorer les performances de vol et proposer des aides au pilotage telles que le maintien stationnaire et le suivi de trajectoire. Aujourd'hui, l'entreprise envisage d'intégrer des capteurs visuels à ses hélicoptères pour renforcer l'estimation de l'état (position, vitesse, attitude) pour le pilote automatique. La thèse se concentre donc sur la synthèse d'observateurs non linéaires pour l'estimation de l'état d'un système visuel-inertiel, en utilisant des techniques de type Riccati pour fusionner les données des capteurs visuels et inertiels. Les observateurs proposés sont déterministes, offrant ainsi des conditions suffisantes pour garantir la stabilité exponentielle localement de l'origine de l'observateur, ce qui est crucial dans le contexte de certifications rigoureuses des systèmes aéronautiques. Les performances de cette solution sont comparées à l'état de l'art sur des jeux de données fournis par la communauté scientifique, validant ainsi son potentiel pour d'éventuelles utilisations futures
Vision is the primary means for helicopter pilots to perceive and evaluate the surrounding environment, especially when navigating near terrain or close to obstacles not listed on aeronautical charts. However, despite over half a century of research into the use of vision in robotics, few of the results have been transferred technologically to aid aircraft piloting. Thanks to developments in computing resources, recent decades have seen the emergence of computer vision techniques, which now enable the processing, analysis, and understanding of digital images to extract and interpret information. For several decades, Airbus Helicopters has equipped its medium and heavy helicopter range with an autopilot system to improve flying qualities, and to offer piloting aids such as hovering and trajectory following. The company is now considering integrating visual sensors into its helicopters to enhance the robustness of its kinematic state estimation (position, speed, attitude), crucial information for the autopilot. Thus, the thesis focuses on the synthesis of nonlinear observers for state estimation of a visual-inertial system, using Riccati-type techniques to fuse visual and inertial sensors. The deterministic nature of the proposed observers has allowed determining sufficient conditions, expressed in terms of positioning and number of source points, and persistent excitation of camera motion, for which exponential and local stability is formally demonstrated. This aspect is particularly valuable in designing technological bricks intended for integration into systems subject to rigorous certification constraints. The performance of the proposed solution is compared to state-of-the-art algorithms using datasets provided by the scientific community

Face aux limites auxquelles doivent faire face les systèmes optoélectroniques (matériel lourd, champ de mesure limité), les capteurs inertiels constituent une alternative prometteuse pour la mesure du mouvement humain. Grâce aux dernières avancées techniques, notamment en termes de miniaturisation des capteurs, leur utilisation en ambulatoire c’est-à-dire de façon autonome et embarquée est devenue possible. Mais ces opérations de miniaturisation ne sont pas sans effet sur les performances de ces capteurs. En effet, une telle mesure est dégradée par différents types de perturbations (stochastiques et déterministes) qui sont alors propagées au cours du processus dit de fusion des données visant à estimer l'orientation des segments humains. Classiquement, cette opération est réalisée à l'aide d'un filtre de Kalman dont le rôle est justement d'estimer une grandeur à partir d'une mesure bruitée en la confrontant à un modèle d'évolution.Dans ce contexte, nous proposons diverses méthodologies dans le but d'accéder à une mesure suffisamment précise pour être exploitée dans le cadre de l'analyse du mouvement humain. La première partie de cette thèse se focalise sur les capteurs. Tout d'abord, nous étudions les bruits de mesure issus des capteurs inertiels, puis nous leur attribuons un modèle afin de les prendre en compte au sein du filtre de Kalman. Ensuite, nous analysons les procédures de calibrage et évaluons leurs effets réels sur la mesure afin d'émettre quelques propositions en termes de compromis performance/facilité de réalisation.Dans une seconde partie, nous nous consacrons à l'algorithme de fusion des données. Après avoir proposé un filtre de Kalman adapté à la mesure du mouvement humain, nous nous focalisons sur un problème récurrent à ce stade : l'identification des matrices de covariance dont le rôle est d'attribuer une caractérisation globale aux erreurs de mesure. Cette méthode, basée sur une confrontation de la mesure avec une référence issue d'un système optoélectronique, met en évidence la nécessité de traiter ce problème rigoureusement.Dans une troisième partie, nous commençons à aborder les problèmes liés à l'utilisation des capteurs inertiels pour la mesure du mouvement humain, notamment le calibrage anatomique et le positionnement des capteurs.En conclusion, les gains apportés par les diverses propositions avancées dans cette thèse sont évalués et discutés
To face the limits of optoelectronic systems (heavy device, restricted measurement field), inertial sensors are a promising alternative for human motion analysis. Thanks to the latest technical advancements like sensor miniaturization, they can now work autonomously which makes possible to directly embed them on the human segments. But, as a counterpart of these developments, inertial sensor measurement still suffers from both stochastic and deterministic perturbations. The induced errors then propagate over the so-called fusion algorithm used to estimate human segment orientation. A common tool to perform such an operation is the Kalman filter that estimates unknown variables by correcting noisy measurements by the use of a dynamic model.With the aim of achieving a sufficiently accurate measurement to perform human motion analysis, various methodologies are proposed in the present work. The first part of this thesis focuses on the sensors. First, inertial sensor noises are studied and modeled in order to be integrated into the Kalman filter. Calibration processes as their effects over the measurement are for that purposed analyzed. Some recommendations are thus proposed to reach a compromise between calibration performance and complexity.In a second part, the data fusion algorithm is approached. A specific Kalman filter dedicated to human motion measurement is first proposed. Then, a recurrent problem is studied in details: the definition of the covariance matrix that represents a globalcharacterization of the measurement errors. Considering an optoelectronic system as a reference to compare inertial measurement, a method is proposed for this covariance matrix identification, which also highlights the need to address this problem rigorously.In a third part, we begin to address the use of inertial sensors for human motion analysis by focusing on models and IMU-to-segment calibration.To conclude, the benefits made by the proposed methodologies are evaluated and discussed

Dans ce travail de thèse on s’intéresse à l’estimation de l’attitude d’un corps rigideen mouvement dans l’espace 3D en utilisant les quaternions comme représentation. Cetteproblématique a été largement étudiée dans la littérature sous divers domaines d’application.L’objectif de la thèse est de proposer de nouvelles méthodes de fusion de données en combinantdes mesures inertielles et magnétiques. Dans un premier temps, nous nous sommesintéressés à l’estimation de l’attitude en cas de mouvement accéléré où l’accélération linéairedu corps n’est plus négligeable devant la gravité. Deux approches ont été proposées dans cecadre. La première utilise un filtre de Kalman adaptatif pour la compensation des accélérationslinéaires. Précisément, des lois de détection ont été développées pour distinguer d’unefaçon automatique les différentes phases de mouvement (statiques et dynamiques). Ainsi, lamatrice de covariance associée à l’accélération linéaire est estimée afin d’ajuster le gain dufiltre. La deuxième approche consiste à intégrer un filtre singulier élaboré sur la base d’unnouveau modèle, dans lequel le modèle du processus est défini en se basant sur les mesuresissues de l’accéléromètre tandis que le modèle d’observation est défini par les mesures issuesdu gyromètres et du magnétomètres. Cette formulation permet de prendre en compte l’effetdes accélérations linéaires d’une manière efficace. Dans un deuxième temps, on s’est focalisésur l’estimation de l’attitude avec utilisation intermittente de gyromètres, considérés commecapteurs énergivores. Nous avons étudié dans ce cas la façon la plus adéquate afin de réduirel’acquisition des mesures de vitesse angulaire tout en gardant une qualité acceptable de l’estimationde l’attitude. Toutes les approches développées ont été validées par des simulationsnumériques ainsi que des expérimentations utilisant des données réelles
In this PhD. thesis we deal with attitude estimation of accelerated rigid body moving in the 3D space using quaternion parameterization. This problem has been widely studied in the literature in various application areas. The main objective of the thesis is to propose new methods for data fusion to combine inertial gyros) and magnetic measurements. The first challenge concerns the attitude estimation during dynamic cases, in which external acceleration of the body is not negligible compared to the Gravity. Two main approaches are proposed in this context. Firstly, a quatenion-based adaptive Kalman filter (q-AKF) was designed in order to compensate for such external acceleration. Precisely, a smart detector is designed to decide whether the body is in static or dynamic case. Then, the covariance matrix of the external acceleration is estimated to tune the filter gain. Second, we developed descriptor filter based on a new formulation of the dynamic model where the process model is fed by accelerometer measurements while observation model is fed by gyros and magnetometer measurements. Such modeling gives rise to a descriptor system. The resulting model allows taking the external acceleration of the body into account in a very efficient way. The second challenge is related to the energy consumption issue of gyroscope, considered as the most power consuming sensor. We study the way to reduce the gyro measurements acquisition by switching on/off the sensor while maintaining an acceptable attitude estimation. The effciency of the proposed methods is evaluated by means of numerical simulations and experimental tests

La présente étude porte sur la capacité d'améliorer la détection des Activités de la Vie Quotidienne, AVQ (ou ADL :"Activity of Daily Life") par l'utilisation de capteur [i.e. capteurs] de mouvements portés par l'occupant d'un habitat intelligent. Les données provenant de ces capteurs devraient fusionner avec les informations issues de l'appartement pour donner une information plus pertinente par le principe de synergie [21]. La solution choisie pour le dispositif porté par la personne est l'innovation principale du projet : un réseau de capteurs disposés à plusieurs endroits sur le corps, communicant sans fil entre eux et avec le contrôle de l'appartement. Les données extraites sont le mouvement relatif du corps, et plus spécifiquement des mains et du tronc, par rapport à la verticale. De par les propriétés de ces éléments - nécessairement petits, discrets - des MEMS seront utilisés pour satisfaire ces critères. Le projet repose sur la conception des dispositifs embarqués sur l'occupant dans l'optique d'en étendre les fonctionnalités à d'autres analyses tels [i.e. telles] que le son, la position dans l'environnement, le statut médical, etc. Pour prouver la faisabilité, des capteurs externes seront ajoutés pour compléter les informations de base et donc étendre la qualité des inférences sur les activités en cours. Le mouvement est une donnée facilement détectable de par sa relative simplicité de mise en oeuvre et il fournit une bonne base de travail pour étudier de façon systématique les différents points clés de l'étude : la communication, la synergie des informations, l'analyse des activités, etc.

L'analyse de la marche et la mesure du déplacements des articulations humaines ont été largement étudiées. Les artefacts de tissus "mous" sont une source fréquente d'erreur pour la plupart des méthodes de mesure utilisées. La procédure standard en analyse de la marche consiste à utiliser une combinaison de mesures pour l'estimation efficace des angles articulaires et de la position des segments du corps humain. Ce travail propose le développement d'un système d'analyse de la marche reposant sur un robot parallèle à câbles équipé de plusieurs capteurs mesurant spécifiquement les déplacements du genou. Nous considérons le cas général pour lequel les articulations humaines se comportent comme des joints à 6 degrés de liberté reliant deux segments du corps. Afin de déterminer la position et l'orientation de ces segments, 14 câbles y sont attachés, ce qui permet de considérer ces segments comme les organes effecteurs de robots parallèles. Leur position peut alors être calculée à partir de la mesure de la longueur des câbles. Cependant, ces mesures sont entachées de bruit à cause des artefacts de tissus "mous". Afin d'améliorer la précision des résultats, le système propose aussi l'utilisation d'autres capteurs de nature différente : plusieurs capteurs inertiels (avec accéléromètres et gyroscopes), un système de motion capture, des capteurs de pression plantaire, des capteurs de distance (IR et résistance variable) et des capteurs de force pour mesurer la contraction musculaire. Plusieurs approches globales sont disponibles pour l'analyse du genou lors de la marche. Les choix technologiques effectués impactent directement sur la conception de notre système et imposent le développement de matériel spécifique pour mener à bien les mesures, tel que le collier flexible utilisé d'une part pour permettre l'attache des câbles sur les segments du patient et d'autres part pour supporter les capteurs supplémentaires. Nous traitons le collier comme une chaîne cinématique sérielle et nous proposons une méthode d'étalonnage qui ne nécessite pas d'utiliser les mesures angulaires des articulations contrairement aux méthodes existantes. Nous décrivons le protocole expérimental ainsi que les méthodes utilisées pour synchroniser les données issues de plusieurs ordinateurs. Les données sont ensuite fusionnées pour obtenir la pose du collier et donc celle des segments du patient. Enfin, ce travail permet d'identifier les modifications à apporter au système pour une meilleure analyse de la marche, ce qui pourra servir de base à un système de rééducation complet.