Academic literature on the topic 'Réalité augmentée – Systèmes d'information géographique'

Ces travaux de thèse se situent au croisement de plusieurs domaines que sont la Réalité Augmentée, la Réalité Virtuelle, les systèmes d'information géographique, le génie logiciel, le traitement d'image et les sciences humaines et sociales. Le premier axe de ce mémoire concerne les apports relatifs à l'amélioration des connaissances du domaine de la réalité augmentée par une approche centrée utilisateur. Nous proposons, basés sur nos définitions et sur les travaux en réalité virtuelle, notre modèle d'interaction et d'immersion en réalité augmentée nommé 3i2RA. L'axe suivant permet de préciser la problématique liée à l'utilisation d'un système d'aide à la navigation par un état de l'art spécifique aux systèmes d'information géographique. Nous présentons dans ce chapitre les systèmes d'information géographique particulièrement destinés à l'aide à la navigation. Le troisième axe présente nos apports méthodologiques concernant la conception d'un outil d'aide à la navigation. L'objectif est de proposer une démarche permettant d'interfacer la modélisation des activités des navigateurs et une méthode agile de développement d'un logiciel. Enfin, le dernier axe présente nos apports technologiques mis en œuvre afin de réaliser les fonctionnalités demandées.

Au fil des années, la nécessité de tirer profit de données géospatiales, dans tous domaines d’application, a été bien établie et les innovations dans l’utilisation de ces données ne se dénombrent plus. Cependant, les outils géomatiques traditionnels utilisés afin d’exploiter ces données, malgré leur évolution technologique remarquable des dernières années, comportent des lacunes au niveau de la visualisation, de l’interaction et de leur capacité de collaboration qui peuvent limiter la compréhension de l’espace par un public utilisateur non-expert. Pour répondre à ces limites, la technologie de réalité augmentée offre des possibilités intéressantes en ce qui a trait à la visualisation et l’interaction avec les données géospatiales 3D. Malgré les récentes avancées technologiques dans ce domaine, ce type d’application demeure peu exploré, particulièrement en contexte géospatial, ce qui fait en sorte que le développement de systèmes de réalité augmentée reste un processus laborieux et expérimental. Considérant ceci, nous proposons une étude établissant les bases du développement de systèmes interactifs et collaboratifs de réalité augmentée géospatial. Pour cette étude, nous avons choisi de retenir le contexte d’application du design et de l’aménagement urbain, un domaine dans lequel l’interaction et la visualisation de l’espace jouent un rôle central. La première partie de ce travail présente les résultats de la recherche conceptuelle et littéraire menée préalablement au développement de notre prototype. La deuxième partie présente le prototype développé en suivant la méthodologie Unified Process pour le développement logiciel ainsi que les résultats de la phase d’expérimentation du prototype menée par la suite. À la lumière des travaux réalisés, il nous est apparu évident que la réalité augmentée présente un potentiel très intéressant pour répondre aux limites des outils traditionnels mais que la réalisation d’une solution complète nécessiterait l’intervention d’une quantité de ressources qui dépasse le cadre d’un travail de maitrise.
Over the years, the usefulness of geospatial data, in any given field, has been well established and countless innovations in the usage of such data have appeared. However, traditional geomatic tools used for the exploitation of data, despite their remarkable technological evolution in recent years, still contain certain limits concerning 3D visualization, interaction and their collaboration capacity that can limit spatial comprehension by a public of non-expert users. To overcome these limits, augmented reality technologies demonstrate interesting possibilities regarding the interaction and visualization of 3D geospatial data. In spite of the recent technological advances, these types of applications remain poorly explored, especially in geospatial contexts. Consequently, the development of geospatial augmented reality systems remains a laborious and experimental process. Considering this, we propose a study to establish the basis for the development of geospatial interactive and collaborative augmented reality systems. We have chosen to inscribe this study in the urban design and planning context, a domain of application for which the interaction and visualization of space plays a central role. The first part of this study presents the results of our literary and conceptual research, undertaken prior to the development of our prototype. The second part presents the prototype developed following the Unified Process methodology for software development as well as the results of the prototype experimentation step conducted afterwards. This research project completed, it appears obvious to us that augmented reality presents an interesting potential to overcome the limits of traditional geomatic tools. However, the realization of a complete solution would require the intervention of a larger pool of resources that are unavailable in the scope of a master’s project.

Cette thèse a été réalisée sous convention CIFRE dans la cadre d’un partenariat entre la société MaxSea et le pôle recherche de l’ESTIA. La demande exprimée initialement par la société évoquait la nécessité d’améliorer la sécurité à bord des navires, autant d’un point de vue matériel et environnemental qu’humain. Ces travaux de thèse se situent donc au croisement de plusieurs domaines que sont la Réalité Augmentée, la Réalité Virtuelle, les systèmes d’information géographique, le génie logiciel, le traitement d’image et les sciences humaines et sociales. Le premier axe de ce mémoire concerne les apports relatifs à l’amélioration des connaissances du domaine de la réalité augmentée. Nous présentons dans ce chapitre les fondements de la réalité augmentée. Nous proposons, basés sur nos définitions et sur les travaux en réalité virtuelle, notre modèle d’interaction et d’immersion en réalité augmentée nommé 3i2RA.L’axe suivant permet de préciser la problématique liée à l’utilisation d’un système d’aide à la navigation par un état de l’art spécifique aux systèmes d’information géographique. Le troisième axe présente nos apports méthodologiques concernant la conception d’un outil d’aide à la navigation. L’objectif est de proposer une méthode permettant d’interfacer la modélisation des activités des navigateurs et une méthode agile de développement d’un logiciel. Pour illustrer notre méthode, après une présentation rapide de la méthode “Scrum”, nous présentons un cas pratique de conception d’un système d’information géographique pour l’aide à la navigation pour lequel nous nous sommes rapprochés de la Société Nationale de Sauvetage en Mer (SNSM).Enfin, le dernier axe présente nos apports technologiques mis en œuvre afin de réaliser les fonctionnalités demandées. Nous allons présenter dans ce chapitre l’architecture logicielle basée sur trois composants principaux et l’architecture matérielle de notre Système d’Information Géographique Maritime Augmenté, SIGMA. Nous présentons un cadre d’application de SIGMA pour la surveillance du trafic maritime
This thesis was carried out under CIFRE partnership between the MaxSea company and the research ESTIA laboratory. The initial request made by the company referred to the need to improve safety on ships. This research thesis are at the crossroads of several areas such as Augmented Reality, Virtual Reality, geographic information systems, software engineering, image processing and social sciences. The first axis concerns the contributions to the improvement of knowledge in the field of augmented reality. In this chapter we present the foundations of augmented reality. We propose, based on our definitions and the work in virtual reality, our model of interaction and immersion in augmented reality, named 3i2RA.The next axis is used to specify the issues related to the use of navigational aids. The third axis presents our methodological contributions in the design of an aid to navigation. The goal is to provide a method for interfacing modeling activities and a method of agile software development. To illustrate our method, we present a practical design of a geographic information system for the navigation aid for which we approached the National Society Rescue Sea (SNSM).The last line shows our technological approach to achieve the required functionality. We will present in this section the software architecture based on three main components and the hardware architecture of our Geographic Information System Enhanced Maritime, SIGMA. We present a use case of SIGMA for traffic monitoring

Les Systèmes d’Informations Géographiques (SIG) nécessitent plusieurs modèles pour résoudre les difficultés liées à la planification et la gestion urbaine. Ces modèles géométriques peuvent être en 2D ou en 3D. L’intégration des informations 3D dans un SIG soulève certaines difficultés comme celles rencontrées dans la modélisation, l’acquisition et la représentation des données 3D. Le processus d’acquisition se base sur deux questionnements différents, d’une part, comment peut-on extraire suffisamment d’information de l’environnement, sous forme d’une série d’images et de vidéos? Ce processus comprend également la localisation de l’information (connue sous le nom de géo-référencement). D’autre part, comment intégrer les informations 3D dans les SIG dans un contexte de réalité augmentée? Nous présentons une méthode qui permet d’insérer ces informations 3D dans l’objectif d’enrichir les SIG-3D. La première étape consiste en une extraction des informations. Une fois l’enregistrement d’une séquence vidéo de la rue est fait, nous passons à l’extraction des points caractéristiques des géométries en utilisant une technique de "Structure-From-Motion" ainsi qu'une technique de filtrage des données erronées à partir des données SIG. La deuxième étape consiste à reconstruire les bâtiments avec des techniques de vision par ordinateur. Nous proposons premièrement un algorithme de reconstruction automatique des façades, y compris les fractionnements de façade, le calcul de la hauteur des façades et leur rendu (affichage). Nous y ajoutons ensuite des interactions afin d’améliorer les résultats de la reconstruction automatique. La dernière étape est la mise à jour du SIG. Les données existantes sur les emprises au sol du bâti sont corrigées par l’utilisateur ou par des nouvelles données générées. Enfin, nous insérons ou nous mettons à jour les informations 3D contenues dans le SIG
GIS (Geographical Information Systems) need several models to solve urban planning and management issues, among them are 2D and 3D geometric models. Integration of 3D information in GIS raises usual database challenges like 3D data modeling, acquisition and representation of the 3D information. The acquisition process confronts two different problems: first, how to extract enough information from the environment, such as a series of images or a video, this process also includes the localization of the information (known as geo-referencing); secondly, how to insert the 3D information into the GIS in an Augmented-Reality context. We present a method to insert 3D information aiming at enriching 3D-GIS. The first step is 3D structure information extraction. A street-view video sequence is captured. Then we extract 3D original feature points from the input video data by using Structure-from-Motion (SfM) technique and filter the outliers making benefit of GIS data. The second step is to reconstruct the buildings with computer vision techniques. We propose an automatic facades reconstruction algorithm, including splitting facades, computing the height of facades and facades rendering. Then we design the interactions to improve the results of automatic reconstruction. The last step is GIS updating. The existing old footprints are corrected by user knowledge or new footprints are generated. Finally, we insert or update 3D information into the GIS

Les applications de réalité augmentée peuvent être conçues de différentes manières, mais encore très peu tirent partie de la géolocalisation.Pourtant, aujourd'hui, avec la multitude de capteurs embarqués dans nos smartphones et nos tablettes, l’utilisation de la géolocalisation dans le contexte de la RA (RA Geo) semble très prometteuse.Dans ce travail de thèse, nous avons contribué sur plusieurs aspects fondamentaux de la RA Geo: l'estimation de la position du dispositif, l'estimation de son orientation, ainsi que sur l'impact de ces estimations sur le rendu des informations virtuelles.Dans un premier temps, nous avons étudié l'estimation de l’orientation du téléphone.Nous avons réalisé le premier benchmark dans un motion lab afin de comparer et d'évaluer les différents filtres de la littérature sur une base commune.Celui-ci a permis de produire la première analyse comparative approfondie des différentes approches.Nous avons aussi proposé un nouveau filtre dont le but est de minimiser l’effet des perturbations magnétiques omniprésentes en intérieur et avons quantifié son apport par rapport aux techniques existantes.Dans un deuxième temps, nous avons étudié l'estimation de la position du téléphone lorsqu’il est porté par un piéton.Il existe de nombreux travaux sur les technologies de localisation mais il est difficile de trouver un benchmark qui évalue les différentes technologies dans le cas d’un smartphone grand public. Ainsi, à nouveau nous avons produit le premier benchmark pour analyser de façon comparative les différentes techniques de localisation qui peuvent être utilisées avec un smartphone.Dans un troisième temps, nous avons proposé une méthode pour caractériser l'impact des estimations d'orientation et de positionnement sur le rendu des informations virtuelles.Ceci a permis d'identifier des critères permettant de comprendre plus précisément les limites de faisabilité de différent cas d'utilisation de la RA Geo.Enfin, nous avons proposé un nouveau framework pour faciliter la conception d’applications de la RA Geo.Nous montrons comment les données de cartographie peuvent être utilisées et enrichies à l’aide d’une nouvelle sémantique utilisant OpenStreetMap.Nous avons créé un visualiseur permettant d'afficher des éléments virtuels sur le flux de la caméra.Ce framework intègre différents modules pour la localisation, l’orientation, la gestion des points d'intérêts, le geofencing, l’audio spatialisé, et le rendu 2D ou RA.Finalement, trois exemples d'applications d'AR Géo ont été réalisés à partir de ce framework.TyrAr est une application pour visualiser des informations sur les sommets et les villes environnantes.AmiAr permet de contrôler de certains objets de domotique dans un appartement connecté.Venturi Y3 est une visite guidée de la ville de Grenoble avec des expériences de RA avec de l'audio
Applications for augmented reality can be designed in various ways, but few take advantage of geolocation.However, nowadays, with the many cheap sensors embedded in smartphones and tablets, using geolocation for augmented reality (Geo AR) seems to be very promising.In this work, we have contributed on several aspects of Geo AR: estimation of device positioning and attitude, and the impact of these estimations on the rendering of virtual information.In a first step, we focused on smartphone attitude estimation.We proposed the first benchmark using a motion lab with a high precision for the purpose of comparing and evaluating filters from the literature on a common basis.This allowed us to provide the first in-depth comparative analysis in this context.In particular, we focused on typical motions of smartphones when carried by pedestrians.Furthermore, we proposed a new technique for limiting the impact of magnetic perturbations with any attitude estimation algorithm used in this context.We showed how our technique compares and improves over previous works.In a second step, we studied the estimation of the smartphone's position when the device is held by a pedestrian.Altough many earlier works focused on evaluation of localisation systems, it remains very difficult to find a benchmark to compare technologies in the setting of a commodity smartphone. Once again, we proposed a novel benchmark to analyse localisation technologies including WiFi fingerprinting, WiFi trilateration, SHS (Step and Heading System) and map-matching.In a third step, we proposed a method for characterizing the impact of attitude and position estimations on the rendering of virtual features.This made it possible to identify criteria to better understand the limits of Geo AR for different use cases.We finally proposed a framework to facilitate the design of Geo AR applications.We show how geodata can be used for AR applications.We proposed a new semantics that extends the data structures of OpenStreetMap.We built a viewer to display virtual elements over the camera livestream.The framework integrates modules for geolocation, attitude estimation, POIs management, geofencing, spatialized audio, 2.5D rendering and AR.Three Geo AR applications have been implemented using this framework.TyrAr is an application to display information on mountain summits and cities around the user.AmiAr allows one to monitor lights, shutters, tv in a smart appartment.Venturi Y3 is an AR-Tour of Grenoble with audio description and experiences

Le déplacement est une des plus grandes difficultés éprouvées par les déficients visuels dans leur vie quotidienne. Avec l'essor des TIC, plusieurs aides électroniques à la navigation ont vu le jour. L'objectif de ces systèmes est d'améliorer l'autonomie des déficients visuels dans leurs déplacements. Cependant, les aides au déplacement commercialisées aujourd'hui reposent sur une simple adaptation des dispositifs conçus pour les automobilistes et sont donc inadaptés ou mal adaptés à un piéton, de surcroit déficient visuel. Ces systèmes reposent généralement sur un positionnement peu précis et utilisent des cartographies et des stratégies de guidage mal ou non adaptées. Dans ce travail de doctorat, nous proposons la conception et le développement d'un système d'aide à la navigation destiné aux piétons déficients visuels. Cette thèse s'articule autour de trois problématiques identifiées comme critiques à savoir le positionnement, les systèmes d'informations géographiques et le suivi d'itinéraire. Le positionnement développé dans NAVIG repose sur la fusion multi capteurs dans le but d'en améliorer la précision. Cette fusion se base sur un module de vision par ordinateur, un système GPS et des capteurs inertiels. Les résultats obtenus montrent la faisabilité de ces techniques dans un contexte de navigation piétonne. Pour la cartographie, nous proposons une classification de données environnementales permettant d'assurer la perception de l'environnement et le calcul d'itinéraire, notamment pour un utilisateur privé de vision. Un modèle conceptuel adéquat pour le stockage des données est aussi proposé. Le suivi d'itinéraire est une fonction qui permet au système de savoir sur quelle section de l'itinéraire se trouve l'utilisateur à tout instant. C'est un processus important, car il permet d'assurer un guidage de qualité. L'amélioration du guidage passe donc par un suivi adapté à un déplacement piéton. Nous avons proposé quatre stratégies de suivi. L'évaluation des performances de ces différentes stratégies de suivi s'est déroulée dans un simulateur de guidage développé au cours de cette thèse. Il s'agit d'un environnement virtuel multimodal qui permet l'évaluation systématique des différents algorithmes proposés dans un environnement contrôlé et sécurisé. Finalement, un prototype du système NAVIG a été réalisé et a été testé auprès de deux utilisateurs déficients visuels, ce qui a mis en évidence un ensemble de verrous toujours présents. Pour conclure, bien que ce travail de doctorat doive être complété par un ensemble d'évaluations plus systématiques, il a apporté un ensemble de réponses sur un positionnement et un suivi d'itinéraire adaptés à des systèmes d'assistance à la navigation pour déficients visuels. Il ouvre des questions très actuelles sur la disponibilité et le partage des données géographiques et l'utilisation de la vision embarquée. Il ouvre aussi des perspectives intéressantes sur le guidage et la description de l'espace adapté à des utilisateurs piétons et déficients visuels
Navigation, especially in unknown areas, is a major problem for the visually impaired (VI). Over the past 50 years, a number of electronic travel aids (ETAs) have been developed with the aim of improving mobility of the VI. Despite many research efforts, these systems are rarely used. Although the explanation is likely to be incomplete, it is possible to identify three important factors : (1) positioning accuracy provided by these devices is not sufficient to guide a VI pedestrian, (2) these systems are based on Geographical Information Systems not adapted to pedestrian mobility, and (3) the guidance methods should be adapted to the task of VI pedestrian wayfinding. All these three components are sources of usability issues. In this thesis, committed in the collaborative research project called NAVIG, we present the design and implementation of an electronic navigation aid for the blind. In this work, we relied on the analysis of the needs of the visually impaired to propose solutions for improving positioning and guidance. First, we present a solution based on real-time fusion of A-GPS and embedded artificial vision positioning signals. The benefit of our device is two-fold : 1/ it provides a more accurate positioning, compatible with Blind mobility and guidance ; 2/ it matches the needs of Blind users in terms of space perception. Second, we define a classification of objects that should be included in every geographical information system (GIS) that is used in a navigation aid. This classification was based on multiple brainstorming and interviews with blind people and orientation and mobility (O&M) instructors. We present a database scheme integrating the principal classes proposed in this classification. We also propose a methodology allowing the selection of the most appropriate route, based on user needs, and relying on the proposed classification of geographical data. Finally, regarding pedestrian tracking, we propose 3 new strategies adapted to pedestrian navigation. The evaluation of those strategies was performed into a virtual environment framework. To do so, we designed a multimodal (input and output) Virtual Environment (VE) that simulates different interactions that could be used for space perception and guidance in an ETA. This platform subserves two goals : help designers to systematically test guidance strategies (i. E. For the development of new ETAs) and train blind people to use interactive ETAs, with an emphasis on cognitive mapping enhancement. Using this platform we performed several evaluations with 16 users to define the best tracking strategies. To conclude, the combined positioning (vision, GPS) was successfully evaluated in two real environments (Toulouse University campus, and a district in the Toulouse center). Results from evaluations of tracking strategies shown that it is very important to adapt such strategies to pedestrian navigation

L’architecture et la géo-ingénierie sont des domaines où les professionnels doivent prendre des décisions critiques. Ceux-ci requièrent des outils de haute précision pour les assister dans leurs tâches quotidiennes. La Réalité Augmentée (RA) présente un excellent potentiel pour ces professionnels en leur permettant de faciliter l’association des plans 2D/3D représentatifs des ouvrages sur lesquels ils doivent intervenir, avec leur perception de ces ouvrages dans la réalité. Les outils de visualisation s’appuyant sur la RA permettent d’effectuer ce recalage entre modélisation spatiale et réalité dans le champ de vue de l’usager. Cependant, ces systèmes de RA nécessitent des solutions de positionnement en temps réel de très haute précision. Ce n’est pas chose facile, spécialement dans les environnements urbains ou sur les sites de construction. Ce projet propose donc d’investiguer les principaux défis que présente un système de RA haute précision basé sur les panoramas omnidirectionels.
Architecture and geo-engineering are application domains where professionals need to take critical decisions. These professionals require high-precision tools to assist them in their daily decision taking process. Augmented Reality (AR) shows great potential to allow easier association between the abstract 2D drawings and 3D models representing infrastructure under reviewing and the actual perception of these objects in the reality. The different visualization tools based on AR allow to overlay the virtual models and the reality in the field of view of the user. However, the architecture and geo-engineering context requires high-accuracy and real-time positioning from these AR systems. This is not a trivial task, especially in urban environments or on construction sites where the surroundings may be crowded and highly dynamic. This project investigates the accuracy requirements of mobile AR GIS as well as the main challenges to address when tackling high-accuracy AR based on omnidirectional panoramas.

L'analyse de visibilité est une question importante de la recherche qui peut trouver des applications dans de nombreux domaines: sécurité, conception de réseau sans fil, gestion du paysage, mise en oeuvre d'accès piétonniers .... La prise en compte de la troisième dimension dans le calcul de visibilité est un réel défi. Seules quelques solutions peuvent détecter les obstacles 3D qui limitent l'isovist. Dans cette communication, nous présentons un nouvel algorithme qui peut détecter tous les objets qui bloquent la vue dans un environnement 30 reconstitué numériquement intégrant le relief. Une démonstration avec des données SIG est également effectuée.La reconnaissance automatique des bâtiments est une étape essentielle pour la réalité augmentée et un outil possible pour la géolocalisation d'une prise de vue. Les recherches dans ce domaine n'utilisent pas la localisation par contenu de l'image. Cet article présente une méthodologie pour l'enrichissement d'une base de données urbaine SIG grâce à un descripteur de texture de façade calculé sur des images de référence. Cet indicateur est ensuite utilisé pour retrouver ce bâtiment dans une nouvelle image et le localiser dans une base de données SIG 3D afin d'estimer sa position et son orientation dans le repère de l'appareil photographique qui a pris le cliché. La qualité des résultats obtenus fait l'objet d'une discussion.

La Réalité Augmentée est l'une des techniques utilisées pour permettre aux utilisateurs mobiles qui se trouvent dans différent zone géographique de partager un modèle 2D/3D comme point d'entrée pour travailler ensemble et interagir sur le même prototype en utilisant des ordinateurs mobiles. Dans cette étude, nous avons proposé une architecture modulaire permettant la gestion d'une application RA collaborative mobile. Elle est conçue pour que l'identification et l'adaptation au système soient transparentes aux utilisateurs. Les techniques de localisation et de suivi hybride et par vision sont adoptées pour assurer la robustesse de notre système. La base de données est répliquée dans les serveurs et/ou dans les clients. L'équilibrage des charges est utilisé afin que la communication entre les applications clientes et serveurs soit tolérante aux pannes
Augmented Reality is among of the techniques used to allow mobile users who are in different geographical area to share a model 2D/3D as primary tools for collaboration, using the same software on lightweight hardware or mobile computers. In this study, we proposed a modular architecture allowing the management of mobile collaborative Augmented Reality application. This architecture is designed so that the identification and the adaptation to the system are transparent to users. Vision and hybrid based tracking techniques are used to ensure the robustness of our system. The database is replicated in the servers and/or the clients. The technique of load balancing is used so that the communication between the client applications and servers is fault-tolerant

Nous nous intéressons au lien entre l'image numérique et un système d'information dans un cadre de conception de produit centré sur l'usager. Dans une première partie, nous nous intéressons à la perception par l'usager des environnements virtuels représentant un système d'information. La fidélité perceptive de l'environnement virtuel est étudié à plusieurs niveaux : psychophysique, fonctionnel et enfin sensible. La seconde partie est consacrée à la construction d'environnements virtuels fidèles au monde réel : nous abordons d'abord leur fidélité géométrique via la vision par ordinateur, puis la fidélité comportementale en reproduisant le comportement humain dans les environnements virtuels. Enfin, dans la dernière partie, nous proposons de considérer l'interaction entre le monde réel et le système d'information comme un système fonctionnant en boucle fermée : le système peut être représenté par des images mais aussi construit et mis à jour directement avec des images. Le domaine d'application visé est le système d'information géographique.