Dissertations / Theses on the topic '3D-interaction and visualisation technologies'

This thesis documents a body of research that links the field of electro-acoustic diffusion and spatialisation with practice in the music and film post-production industries. Three research questions are posed: "How can the physical user-interfaces used for panning by the music and film post-production industries offer creative alternatives to the fader-based hardware approach commonly used for electro-acoustic performance?" "How can a Digital Audio Workstation (DAW) be used as an alternative to dedicated panning hardware? "How can emerging programming technologies offer creative alternatives to the MAX/MSP or hardware-based tools commonly used for sound spatialisation?" This practice-based PhD addresses these questions by designing, developing and testing a set of hardware and software tools, the Requirement Specification for this `Toolset' results from literature review and critical analysis of current systems to determine potential research gaps. This analysis is followed by the selection of a suitable methodology for development and testing that allows the research questions to be explored effectively and results in the following Toolset: OctoPanner: Amulti-featured eight-channel 3D touchscreen panner application for Apple's Mac OS X controlling a DAW hosted customisable VST 3D panning plug-in with C++ source code. ShapePanner: A synchronisable shape-based sequencer application for Mac OS X inspired by Experimentalstudio's Halaphon. The user is ab{e to describe the movement of sounds in a 3D space using shape primitives such as lines and circles and thus extend the capabilities of the Toolset beyond realtime manual manipulation of sounds. 3DMIDIVisualiser: An application to allow the user to work without access to a multi-speaker system by enabling the movement of sounds to be viewed within a virtual room. Foot Puck: Afoot-controlled panning controller enabling a musician to spatialise their instrument using foot movement. Initial prototyping was achieved using Cycling `74's Max/MSP but the final applications are written using Apple's Cocoa environment and Objective C. This thesis gives close analysis and discussion of the various stages of research carried out; including the use of Apple's CoreMlDl and CoreAudio Clock OS X Core Services in a Cocoa application.

In der Neurochirurgie werden für die prä-, intra- und postoperative medizinische Bildgebung dreidimensionale Daten unterschiedlicher Modalitäten überlagert, segmentiert und visualisiert. Durch die Verknüpfung der multimodalen Daten erhofft man einen Informationsgewinn für Diagnose und Therapie. Dabei wird großer Wert auf die intuitive Handhabbarkeit und Verständlichkeit der Software gelegt. In einem neu entwickelten 3-D-Planungssystem wird insbesondere die Erfassung komplexer räumlicher Strukturen und die neurochirurgische Operationsplanung durch aktuelle 3-D-Interaktions- und Visualisierungstechnologien vereinfacht. Das Anwendungsspektrum des Systems wird durch die Entwicklung spezieller Algorithmen kontinuierlich erweitert, z. B. der automatischen Segmentierung und elastischen Registrierung von multimodalen Bilddaten, und kann somit an neue klinische Fragestellungen angepasst werden
In neurosurgery, three-dimensional data from different modalities are registered, segmented and visualised for pre-, intraand post-operative medical imaging. A combination of the multimodal data sets provides additional information for the analyses of anatomic and functional correlations and for surgical planning. For routine use, it is important to design a software application that is simple and intuitive to use. A neurosurgical operation planning system is realised in combination with novel 3D-interaction and visualisation technologies. The development of additional functions, such as automatic segmentation and elastic registration, enhances the usability of the systems to approach further clinical objectives

The purpose of the project is to create a Mixed Reality (MR) application for the 3D visualisation of the result of a breast reconstruction surgery. The application is to be used before surgery to facilitate communication between patient an surgeon about the expected result. To this purpose Microsoft HoloLens is used, which is a pair of Mixed Reality (MR) glasses developed and manufactured by Microsoft that has a self-contained, holographic rendering computer. For the development of the MR application on the Hololens, MixedRealityToolkit-Unity is used which is a Unity-based toolkit available. The goal of the application is that the user can scan a torso of a patient, render a hologram of the torso and attach to it a prefabricated breast which possibly follows the patient's specification. To prepare a prefabricated breast, a 3D model of the breast is first created in the 3D modelling software Blender. It then gets its texture from a picture taken with the HoloLens camera. The picture is cropped to better fit the model and uploaded as a 2D texture which is then attached to the prefabricated breast, which is imported into Unity. To scan objects, the HoloLens’s operating system feature Surface Observer is used. The resulting mesh from the observer is cropped using a virtual cube, scaled, moved and rotated by the user. The cropped mesh is then smoothed using the Humphrey's Classes smoothing algorithm. To fuse the smoothed mesh with the prefabricated breast model, the Unity components: Colliders and Transforms are used. On a collision the breast's transform parent is set to the mesh’s transform, making the objects transforms behave depending on each other. The MR application has been developed and evaluated. The evaluation results show that the goal has been achieved successfully. The project demonstrates that the Microsoft HoloLens is well suited for developing such medical applications as breast reconstructive surgery visualisations. It can possibly be extended to other surgeries such as showing on a patient’s body how the scar will look after a heart surgery, or a cesarean section.

L'objet de cette thèse est la perception dans les environnements immersifs de jeux de données complexes, une des applications est la visualisation scientifique de données volumiques scalaires issues de simulations de modèles physiques. Un exemple classique de ceci est la distribution de températures à l'intérieur d'un habitacle de véhicule.Dans la première partie de ce travail, notre objectif est d'étudier les limites perceptives dans le cadre d'un rendu volumétrique de données scientifiques dans un système de réalité virtuelle offrant la vision en stéréoscopie, et le suivi du point de vue de l'utilisateur. Nous étudions l'effet sur la perception de l'utilisateur de trois facteurs principaux : la taille des points utilisés pour le rendu, la densité du nuage de points, et enfin la position par rapport à l'utilisateur du premier plan de coupe. Nous présentons une étude dans laquelle une tâche de pointage est proposée à un ensemble d'utilisateurs. Les déplacements de celui-ci ainsi que les performances de pointage sont mesurées. L'étude a permis d'évaluer l'impact des paramètres de rendu du nuage de points et proposer un rendu améliorant la perception.La seconde partie du travail propose d'ajouter une dimension interactive à la première approche en permettant à l'utilisateur d'explorer plus activement la scène. L'hypothèse d'une meilleure compréhension des données par l'action est ici mise en avant. Nous évaluons une méthode d'interaction et quatre méthodes de rendu associées. L'approche proposée est de n'afficher qu'un sous ensemble des données volumiques, en l'occurrence des isosurfaces, et de permettre à l'utilisateur de naviguer par une gestuelle naturelle et interactive dans l'ensemble des isosurfaces du jeu de données explorées, dans cadre de manipulation directe. Une nouvelle étude est proposée, dans laquelle l'utilisateur doit effectuer une tâche de recherche et de pointage d'une propriété locale dans un jeu de températures 3D. Cette étude a permis de choisir une méthode de rendu adaptée à l'affichage immersif d'isosurfaces et de valider l'approche interactive pour l'exploration de données.

L'objet de cette thèse est la perception dans les environnements immersifs de jeux de données complexes, une des applications est la visualisation scientifique de données volumiques scalaires issues de simulations de modèles physiques. Un exemple classique de ceci est la distribution de températures à l'intérieur d'un habitacle de véhicule.Dans la première partie de ce travail, notre objectif est d'étudier les limites perceptives dans le cadre d'un rendu volumétrique de données scientifiques dans un système de réalité virtuelle offrant la vision en stéréoscopie, et le suivi du point de vue de l'utilisateur. Nous étudions l'effet sur la perception de l'utilisateur de trois facteurs principaux : la taille des points utilisés pour le rendu, la densité du nuage de points, et enfin la position par rapport à l'utilisateur du premier plan de coupe. Nous présentons une étude dans laquelle une tâche de pointage est proposée à un ensemble d'utilisateurs. Les déplacements de celui-ci ainsi que les performances de pointage sont mesurées. L'étude a permis d'évaluer l'impact des paramètres de rendu du nuage de points et proposer un rendu améliorant la perception.La seconde partie du travail propose d'ajouter une dimension interactive à la première approche en permettant à l'utilisateur d'explorer plus activement la scène. L'hypothèse d'une meilleure compréhension des données par l'action est ici mise en avant. Nous évaluons une méthode d'interaction et quatre méthodes de rendu associées. L'approche proposée est de n'afficher qu'un sous ensemble des données volumiques, en l'occurrence des isosurfaces, et de permettre à l'utilisateur de naviguer par une gestuelle naturelle et interactive dans l'ensemble des isosurfaces du jeu de données explorées, dans cadre de manipulation directe. Une nouvelle étude est proposée, dans laquelle l'utilisateur doit effectuer une tâche de recherche et de pointage d'une propriété locale dans un jeu de températures 3D. Cette étude a permis de choisir une méthode de rendu adaptée à l'affichage immersif d'isosurfaces et de valider l'approche interactive pour l'exploration de données
The objective in this case is not only to be realistic, but also to provide new and intelligible ways of model representation. This raises new issues in data perception. The question of perception of complex data, especially regarding visual feedback, is an open question, and it is the subject of this work. This PhD thesis studied the human perception in Immersive Virtual Environments of complex datasets, one of the applications is the scientific visualization of scalar values stemming from physics models, such as temperature distribution inside a vehicle prototype.The objective of the first part is to study the perceptive limits of volumetric rendering for the display of scientific volumetric data, such as a volumetric temperature distribution rendering using point cloud. We investigate the effect on the user perception of three properties of a point cloud volumetric rendering: point size, cloud density and near clipping plane position. We present an experiment where a series of pointing tasks are proposed to a set of users. User behavior and task completion time are evaluated during the test. The study allowed to choose the most suitable combination of these properties, and provided guidelines for volumetric data representation in VR immersive systems.In the second part of our work, we evaluate one interaction method and four display techniques for exploring volumetric datasets in virtual reality immersive environments. We propose an approach based on the display of a subset of the volumetric data, as isosurfaces, and an interactive manipulation of the isosurfaces to allow the user to look for local properties in the datasets. We also studied the influence of four different rendering techniques for isosurface rendering in a virtual reality system. The study is based on a search and point task in a 3D temperature field. User precision, task completion time and user movement were evaluated during the test. The study allowed to choose the most suitable rendering mode for isosurface representation, and provided guidelines for data exploration tasks in immersive environments

Context. 3D visualisations are highly demanded in different industries such as virtual factories. However, the benefits that 3D representations can bring to this industry have not been fully explored, being most of the representations either photorealistic or presenting abstract visualisations. Objectives. This thesis explores and compares two prototypes that present a visualisation of the process state of a factory. The first prototype presents a generic interface in which primitive 3D shapes convey the information of the factory status. The second prototype is complemented with specific and iconic 3D models of the factory that help the users associating the conveyed information to the factory flow. The motivation behind this dissertation is that the type of generic interface presented can lead to more reusable interfaces in the future. Methods. For the creation and development of the prototypes, the user-centered design process was followed in which the designs are iterated with users of the factory. Based on the two prototypes, a usability evaluation is conducted to analyse the perceived usability and the usability performance. This is complemented with post-interviews with all the participants. The results are presented attending to the triangulation methodology to support the strength of the qualitative findings. Conclusions. The results show that both interfaces are perceived as highly usable. However, the 3D iconic interface seemed to help the users more in depicting a better mental model of the factory flow, helping the users to complete most of the tasks with faster times.
This thesis explores and compares two prototypes that present a visualisation of the process state of a factory. The first prototype presents a generic interface in which primitive 3D shapes convey the information of the factory status. The second prototype is complemented with specific and iconic 3D models of the factory that help the users associating the conveyed information to the factory flow. The motivation behind this dissertation is that the type of generic interface presented can lead to more reusable interfaces in the future.

Un nombre croissant de paradigmes d'interaction et de dispositifs ont été développés et étudiés pour les manipulations 3D.Ce développement bénéficie, en particulier, aux domaines scientifiques tels que la visualisation qui s'appuie sur la manipulation de données 3D.De nombreuses études ont démontré les avantages de chacun d'entre eux pour des tâches spécifiques liées à la visualisation. Pourtant, les interfaces utilisateur graphiques classiques ainsi que la souris et les claviers prédominent toujours dans la plupart des environnements interactifs: de tels environnements sont toujours utiles pour des tâches spécifiques et parce qu'ils sont facilement disponibles et accessibles par rapport aux nouveaux paradigmes d'interaction et aux dispositifs innovants. Contrairement à l'approche habituelle qui consiste à créer ou étudier un nouveau paradigme, une nouvelle technique ou un nouveau dispositif d'interaction, les travaux présentés dans cette thèse ouvrent la voie à un continuum d'interaction: la possibilité de passer d'un paradigme d'interaction à l'autre et de combiner deux ou plusieurs paradigmes d'interaction pour en tirer profit. Pour atteindre cet objectif, nous prenons plusieurs mesures. Tout d'abord, en se basant sur l'observation que la souris et le clavier, l'interaction tactile et l'interaction tangible sont maintenant des normes ou se rapprochent d'être des paradigmes d'interaction standard pour les cas d'utilisation occasionnelle ou spécifique, cette thèse étudie et compare leurs avantages et limites inhérents aux manipulations 3D.Sur la base de ce travail, nous créons ensuite un paradigme d'interaction hybride tactile et tangible. Basé sur les besoins de la visualisation scientifique pour la mécanique des fluides, nous mettons en œuvre des techniques spécifiques d'interaction exploratrice 3D avec le paradigme hybride et les évaluons avec des experts du domaine. La mise en œuvre prototypique de ce paradigme hybride est une tablette tactile capable de quantifier ses propres mouvements (rotations et translations). Sur la base des retours d'expérience des experts du domaine, une telle combinaison est plus flexible que l'état de l'art et permet des manipulations 3D précises. Avec le potentiel de ce paradigme hybride, nous abordons ensuite la tâche complexe de la sélection des sous-ensembles 3D ---une étape initiale majeure pour la compréhension des données. Alors que la sélection de sous-ensembles 3D est généralement effectuée avec une entrée 2D initiale étendue ultérieurement par la machine, notre combinaison d'interactions tactiles et tangibles permet aux utilisateurs d'avoir une technique de sélection entièrement manuelle avec la même tablette: un lasso 2D peut être dessiné avec une entrée tactile qui peut ensuite être étendue en 3D lors du déplacement de la tablette. Non seulement cette combinaison comble-t-elle un vide dans la taxonomie des techniques de sélection de sous-ensembles 3D, mais est, qui plus est, plus précise que les solutions partiellement automatisées, quoique plus lentes. Enfin, en nous appuyant sur l'observation selon laquelle une interaction tangible avec un dispositif localement couplé pourrait nécessiter des ajustements de facteur de gain, nous proposons d'utiliser un aspect spécifique de l'interaction tactile, la détection de pression, pour contrôler les facteurs de gain des manipulations tangibles. Les travaux présentés dans cette thèse démontrent donc le potentiel d'un continuum d'interaction pour la visualisation en proposant des paradigmes d'interaction hybrides dans une configuration facile à maintenir, facile à intégrer et abordable. Il fournit les premières étapes nécessaires pour un continuum d'interaction qui, espérons-le, inspirera la création de plus de techniques d'interaction hybrides pour l'interaction de données 3D
An increasing number of interaction paradigms and devices are being developed and studied for 3D manipulations. This development benefits, in particular, scientific domains such as visualization which rely on manipulation of 3D data. Numerous studies have proven the benefits of each one of them for specific tasks involved in visualization. Yet, classical graphical user interfaces as well as mouse and keyboards still prevail in most interactive settings: such environments are still useful for specific tasks and because they are readily available and accessible when compared to innovative interaction paradigms and devices. In contrast to the usual approach to create or study a new interaction paradigm, technique, or device, the work presented in this thesis paves the way towards an interaction continuum: the possibility to transition between and combine two or more interaction paradigms to benefit from their inherent advantages. To achieve this goal we take several steps. First, building on the observation that mouse and keyboard, tactile interaction and tangible interaction are now standards or are getting close to being standard interaction paradigms for casual or specific use cases, this thesis studies and compares their inherent advantages and limitations for 3D manipulations. Based on this work, we then create a hybrid tactile/tangible interaction paradigm. Based on the needs of scientific visualization for fluid dynamics, we implement specific 3D explorative interaction techniques with the hybrid paradigm and evaluate them with domain experts. The prototypical implementation of this hybrid paradigm is a tactile-enabled and spatially-aware tablet. Based on the feedback from domain experts, such a combination is more flexible than the state of the art and still facilitates precise 3D manipulations. With the potential of this hybrid paradigm, we then tackle the complex task of 3D subsets selection---a major initial step for data understanding. While 3D subset selection is usually conducted with an initial 2D input later extended by the machine, our combination of tactile and tangible interaction allows users to have a fully manual selection technique with the same spatially-aware tablet: a 2D lasso can be drawn with tactile input which can then be extended into 3D when moving the tablet. Not only does this combination fill in an empty space in the taxonomy of 3D subset selection techniques, but we also found it to be more precise than partially-automated solutions---albeit being slower. Finally, building on the observation that tangible interaction with a locally-coupled device might need gain factor adjustments, we propose to use a specific aspect of tactile interaction, pressure-sensing, to control the gain factors of tangible manipulations. The work presented in this thesis thus demonstrates the potential of an interaction continuum for visualization by proposing hybrid interaction paradigms in an easy-to-maintain, easy-to-integrate, and affordable setup. It provides the necessary initial steps for an interaction continuum that will hopefully inspire the creation of more hybrid interaction techniques for 3D data interaction

Increasing numbers of alerts produced by network intrusion detection systems (NIDS) have burdened the job of security analysts especially in identifying and responding to them. The tasks of exploring and analysing large quantities of communication network security data are also difficult. This thesis studied the application of visualisation in combination with alerts classifier to make the exploring and understanding of network security alerts data faster and easier. The prototype software, NSAViz, has been developed to visualise and to provide an intuitive presentation of the network security alerts data using interactive 3D visuals with an integration of a false alert classifier. The needs analysis of this prototype was based on the suggested needs of network security analyst's tasks as seen in the literatures. The prototype software incorporates various projections of the alert data in 3D displays. The overview was plotted in a 3D plot named as "time series 3D AlertGraph" which was an extension of the 2D histographs into 3D. The 3D AlertGraph was effectively summarised the alerts data and gave the overview of the network security status. Filtering, drill-down and playback of the alerts at variable speed were incorporated to strengthen the analysis. Real-time visual observation was also included. To identify true alerts from all alerts represents the main task of the network security analyst. This prototype software was integrated with a false alert classifier using a classification tree based on C4.5 classification algorithm to classify the alerts into true and false. Users can add new samples and edit the existing classifier training sample. The classifier performance was measured using k-fold cross-validation technique. The results showed the classifier was able to remove noise in the visualisation, thus making the pattern of the true alerts to emerge. It also highlighted the true alerts in the visualisation. Finally, a user evaluation was conducted to find the usability problems in the tool and to measure its effectiveness. The feed backs showed the tools had successfully helped the task of the security analyst and increased the security awareness in their supervised network. From this research, the task of exploring and analysing a large amount of network security data becomes easier and the true attacks can be identified using the prototype visualisation tools. Visualisation techniques and false alert classification are helpful in exploring and analysing network security data.

L'objectif principal de ces travaux de thèse est d'unifier différentes informations 2D et 3D afin de réaliser une visualisation adaptée dans un environnement client/serveur hétérogène en termes de réseau, de traitement et de ressources mémoire. Dans ce contexte, nous avons exploité la nature multi-résolution de la transformée en ondelettes discrètes (TOD) du codeur JPEG2000. L'unification des données est réalisée par insertion aveugle, synchrone ou partiellement synchrone, des données cachées dans le domaine des ondelettes. Une visualisation 3D classique nécessite au moins deux types de données : une image 2D d'intensité, appelé texture, et une forme 3D pouvant être représentée par une image, un modèle 3D ombré ou un maillage de points. Ce type d'image, parfois également appelé carte de profondeur est une image dans laquelle la valeur des pixels reflète la distance du capteur à la surface par imagerie. La texture est une image 2D couleur qui est apposée sur le modèle 3D après triangulation. Au niveau de l'insertion des données cachées, la carte de profondeur est d'abord transformée dans le domaine des ondelettes tandis que la texture est insérée dans le codeur JPEG2000. Le processus de codage JPEG2000 de la texture est interrompue, et les coefficients 3D sont insérés dans la totalité ou dans un sous-ensemble des sous-bandes de la texture. Les données sont re-intégrées dans le codeur standard de JPEG2000 à l'endroit où l'interruption a été faite. Le fichier résultant peut alors être envoyé à travers tous types de canal de communication comme un autre fichier standard issu du codeur JPEG2000. Les différents niveaux de résolution et le caractère synchronisé de nos algorithmes permettent une visualisation en 3D, même avec peu de sous-bandes de résolution suite à un transfert partiel ou retardé. La méthode permet ainsi d'effectuer une visualisation à partir uniquement d'une fraction des données. Dans ce cas nous remplaçons par des zéros les coefficients des sous-bandes manquantes. La première phase de ce travail a concerné l'imperceptibilité; c'est la raison pour laquelle l'insertion a été réalisée dans les bits de poids plus faibles. La deuxième phase de ces travaux a concerné la robustesse, c'est pourquoi une stratégie d'insertion par étalement de spectres a été utilisée. Au cours de la seconde phase, l'imperceptibilité n'a pas été complètement ignorée, du fait que l'insertion des données est effaçable après l'extraction. Les deux applications principales sont la visualisation 3D de modèles numériques de terrains et de visages. Dans la troisième et dernière phase de ces travaux de thèse, nous avons élargi le problème en essayant de prendre en compte le problème d'assemblage de dalles de niveaux de résolutions différentes sans soudure apparente. Ceci a eté assuré par des fonctions de lissage dans le domaine des ondelettes.

Le travail présenté dans cette thèse s'inscrit à la fois dans le domaine de l'informatique musicale et dans celui de la réalité virtuelle. Nous présentons tout d'abord les avantages des environnements virtuels immersifs et de l'interaction graphique 3D pour les instruments multi-processus et en particulier pour le live-looping hiérarchique, un nouveau modèle d'instrument que nous définissons. Nous proposons ensuite des solutions pour la visualisation et la manipulation des processus sonores dans ces environnements virtuels. Afin de représenter les processus sonores, nous introduisons les widgets réactifs 3D qui s'appuient sur des mappings audiovisuels que nous évaluons. Nous développons un nouveau dispositif d'interaction 3D adapté à l'interaction musicale, appelé Piivert, ainsi que des techniques associées, dont les tunnels afin de manipuler les widgets réactifs 3D. Finalement, nous mettons en œuvre le live-looping hiérarchique avec l'instrument immersif Drile, en utilisant les techniques développées précédemment, et nous étudions plusieurs scènes pour les performances musicales immersives.

De nos jours, l'économie d'énergie est devenue un enjeu crucial. Les bâtiments des différents pays ont été identifiés comme étant une source importante de perte énergétique. De ce constat a émergé le projet RIDER (Reasearch for IT Driven EneRgy efficiency). Ce projet a pour objectif de développer un système d'information innovant permettant d'optimiser la consommation énergétique d'un bâtiment ou d'un groupe de bâtiments. Ce système est basé sur des composants logiciels, notamment une solution générale de modélisation du bâtiment, une solution de fouille de données, une solution de visualisation. Chacun de ces composants est destiné à améliorer le modèle de données de RIDER. Dans ce manuscrit, nous nous intéressons à la partie visualisation et nous proposons donc une solution d'amélioration du modèle par cette méthode. Dans ces travaux, nous allons présenter les solutions que nous avons mises en place pour modéliser le bâtiment ; pour ce faire nous avons utilisé une solution à base de particules dont la valeur est interpolée par rapport aux différents capteurs du bâtiment. Nous présentons également les différentes solutions mises en place pour visualiser les données et les méthodes d'interactions pour améliorer le modèle du bâtiment. Enfin, notre dernière partie présente les résultats de notre solution au travers de deux jeux de données
Energy efficiencies are became a major issue. Building from any country have been identified as gap of energy, building are not enough insulated and energy loss by this struc- ture represent a major part of energy expenditure. RIDER has emerged from this viewpoint, RIDER for Research for IT Driven EneRgy efficiency. This project has goal to develop a new kind of IT system to optimize energy consumption of buildings. This system is based on a component paradigm, which is composed by a pivot model, a data warehouse with a data mining approach and a visualization tool. These two last components are developed to improve content of pivot model.In this manuscript, our focus was on the visualization part of the project. This manuscript is composed in two parts: state of the arts and contributions. Basic notions, a visualization chapter and a visual analytics chapter compose the state of the art. In the contribution part, we present data model used in this project, visualization proposed and we conclude with two experimentations on real data

Les environnements virtuels sont des espaces immersifs et intuitifs mais la conception des interfaces d'édition et de navigation y est complexe en raison de la diversité des dispositifs d'interaction et des tâches à réaliser. Les tables tactiles offrent des interactions intuitives mais proposent seulement un nombre limité de degrés de liberté. Dans le but de mieux couvrir les besoins d'interaction dans les environnements 3D, nous proposons la conception des TEAMViz (Tabletop Environment Augmented with Mural Visualization soit en français environnement tabletop augmenté par une visualisation murale). Les TEAMViz combinent des interactions réalisées au moyen d'une vue 2D d'un environnement virtuel présentée sur une table tactile et des interactions au moyen d'une vue 3D en perspective de ce même environnement projetée sur un écran vertical. La contribution principale de notre recherche est la réalisation d'une méthode de conception pour la combinaison d'interactions effectuées avec plusieurs dispositifs d'entrée sur des vues multiples présentées sur des surfaces d'affichage distinctes pour des tâches d'édition et de navigation dans un environnement virtuel. Cette méthode de conception prend en compte les relations entre les degrés de liberté des dispositifs d'entrée dans le monde réel, les tâches à réaliser et les relations entre les vues. Elle permet de combiner des interactions réalisées avec des dispositifs dont le couplage fort entre l'entrée et la sortie est requis comme dans le cas des surfaces tactiles.

The aim of the master thesis is to provide visitors of various types of objects - typically galleries, museums, etc. with additional information about exhibited objects with emphasis on visual display in augmented reality. It includes an analysis of already existing solutions, design and implementation of the entire system needed for deployment. From the point of view of the content creator (administrator), the system represents a complex solution enabling the creation of an interactive walk - scanning 3D objects, scanning 2D objects and adding content to the given objects. On the other hand, the tool for visitors (users) who are part of an interactive walk, provides additional information about objects primarily located near the user, which are automatically detected by the camera on the mobile phone. Solution includes augmented reality, which is implemented using ARKit technology, so the final application is built on the iOS platform. The work addresses the issue of detection of 3D objects and their subsequent recognition, along with the way to work with this information, how to store it and then use it for purposes of this thesis. In the final solution, emphasis is placed on the simplicity of the usage (guide marks, hints...) and overall user experience.

La réalité virtuelle représente aujourd'hui une technologie à part entière puisqu'elle autorise la simulation, la navigation et l'interaction avec un univers sensoriel synthétisé de toutes pièces. Les potentialités offertes par la réalité virtuelle ont été très bien perçues lorsque les ordinateurs graphiques ont été capables d'assurer un rendu des images à une cadence interactive. De plus, l'augmentation des capacités des machines coïncide aujourd'hui avec un développement vertigineux des réseaux, ce qui décuple littéralement le champ d'application de la réalité virtuelle. Plusieurs difficultés subsistent toutefois pour développer les services de télécommunications associés : le volume des données est considérable, l'affichage est coûteux en calculs et la nature des données nécessite une prise en compte spécifique dans le contexte client-serveur. Si l'on ajoute à cela l'inégalité des capacités des terminaux et la variabilité des réseaux, on obtient une synthèse du triple challenge de la thèse : le stockage, la transmission et la visualisation de scènes 3D complexes. On pourrait aussi résumer la problématique en endossant le temps d'une phrase, le rôle d'un opérateur de télécommunication : "quels que soient : le terminal, le volume de données à transmettre et le débit du réseau, l'utilisateur doit pouvoir visualiser à tout moment une image attractive". Ce mémoire relève le défi sous la forme de briques technologiques susceptibles de s'assembler pour composer un moteur de transmission et d'affichage de scènes 3D en réseau. Il propose des solutions correspondant à un schéma courant en codage de l'information audiovisuelle : simplification, approximation, et codage échelonnable. Il reste cependant une spécificité propre à la 3D : la visualisation. En effet, il est d'une part plus coûteux de projeter un polygone à l'écran plutôt que d'afficher un pixel, et d'autre part le point de vue hautement variable d'une caméra influence sensiblement la pertinence des données transmises. Le premier chapitre, introductif, fournit une compréhension naturelle de la problématique et les trois autres suivent logiquement l'ordre des opérations appliquées sur les scènes 3D : la simplification et l'approximation, le codage et la visualisation. Plus précisément, les maillages composant les objets d'une scène sont simplifiés par fusion d'arête et approximés par minimisation de volume. Ils sont ensuite encodés par une technique de conquête sur les arêtes exploitant les valences des sommets. L'échelonnabilité est, quant à elle, obtenue sur les positions par une technique apparentée aux plans binaires de raffinement. Le codage des textures est adressé par intégration d'une technique développée au sein du laboratoire, cette dernière combinant la transformée en cosinus discrète et les éléments finis sur une hiérarchie de maillages triangulaires. Sur le terminal, la visualisation dépendant du point de vue est assurée par une technique de reconstruction adaptative des surfaces fonctionnant par subdivision successive des régions d'intérêt et des silhouettes. Nous montrons qu'une telle reconstruction s'applique en cours de transmission et s'adapte aisément à la puissance graphique d'un terminal.

La visualisation exploratoire des données 3D est fondamentale dans des domaines scientifiques. Traditionnellement, les experts utilisent un PC et s'appuient sur la souris pour ajuster la vue. Cette configuration permet l'immersion par interaction---l'utilisateur peut contrôler précisément la vue, mais elle ne fournit pas de profondeur, qui limite la compréhension de données complexes. La réalité virtuelle ou augmentée (RV/A), en revanche, offre une immersion visuelle avec des vues stéréoscopiques. Bien que leurs avantages aient été prouvés, plusieurs points limitent leur application, notamment les besoins élevés de configuration/maintenance, les difficultés de contrôle précis et, plus important, la séparation des outils d'analyse traditionnels. Pour bénéficier des deux côtés, nous avons donc étudié un système hybride combinant l'environnement RA avec un PC pour fournir des immersions interactives et visuelles. Nous avons collaboré étroitement avec des physiciens des particules afin de comprendre leur processus de travail et leurs besoins de visualisation pour motiver notre conception. D'abord, basé sur nos discussions avec les physiciens, nous avons construit un prototype qui permet d'accomplir des tâches pour l'exploration de leurs données. Ce prototype traitait l'espace RA comme une extension de l'écran du PC et permettait aux utilisateurs d'interagir librement avec chacun d'eux avec la souris. Ainsi, les experts pouvaient bénéficier de l'immersion visuelle et utilisent les outils d'analyse sur PC. Une étude observationnelle menée avec 7 physiciens au CERN a validé la faisabilité et confirmé les avantages. Nous avons également constaté que la grande toile du RA et le fait de se déplacer pour observer les données dans le RA présentaient un grand potentiel. Cependant, la conception de l'interaction de la souris et l’utilisation de widgets dans la RA devaient être améliorés. Ensuite, nous avons décidé de ne pas utiliser intensivement les widgets plats dans la RA. Mais nous nous sommes demandé si l'utilisation de la souris pour naviguer dans la RA est problématique, et nous avons ensuite tenté d'étudier si la correspondance de la dimensionnalité entre les dispositifs d'entrée et de sortie joue un rôle important. Les résultats des études (qui ont comparé la performance de l'utilisation de la souris, de la souris spatiale et de la tablette tangible couplée à l'écran ou à l'espace de RA) n'ont pas montré que la correspondance était importante. Nous avons donc conclu que la dimensionnalité n'était pas un point critique à considérer, ce qui suggère que les utilisateurs sont libres de choisir toute entrée qui convient à une tâche spécifique. De plus, nos résultats ont montré que la souris restait un outil efficace. Nous pouvons donc valider notre conception et conserver la souris comme entrée principale, tandis que les autres modalités ne devraient servir que comme complément pour des cas spécifiques. Ensuite, pour favoriser l'interaction et conserver les informations pendant que les utilisateurs se déplacent en RA, nous avons proposé d'ajouter un appareil mobile. Nous avons introduit une nouvelle approche qui augmente l'interaction tactile avec la détection de pression pour la navigation 3D. Les résultats ont montré que cette méthode pouvait améliorer efficacement la précision, avec une influence limitée sur le temps. Nous pensons donc qu'elle est utile à des tâches de vis où une précision est exigée. Enfin, nous avons résumé tous les résultats obtenus et imaginé un scénario réaliste qui utilise un poste de travail PC, un casque RA et un appareil mobile. Les travaux présentés dans cette thèse montrent le potentiel de la combinaison d'un PC avec des environnements de RA pour améliorer le processus d'exploration de données 3D et confirment sa faisabilité, ce qui, nous l'espérons, inspirera la future conception qui apportera une visualisation immersive aux flux de travail scientifiques existants
Exploratory visualization of 3D data is fundamental in many scientific domains. Traditionally, experts use a PC workstation and rely on mouse and keyboard to interactively adjust the view to observe the data. This setup provides immersion through interaction---users can precisely control the view and the parameters, but it does not provide any depth clues which can limit the comprehension of large and complex 3D data. Virtual or augmented reality (V/AR) setups, in contrast, provide visual immersion with stereoscopic views. Although their benefits have been proven, several limitations restrict their application to existing workflows, including high setup/maintenance needs, difficulties of precise control, and, more importantly, the separation from traditional analysis tools. To benefit from both sides, we thus investigated a hybrid setting combining an AR environment with a traditional PC to provide both interactive and visual immersions for 3D data exploration. We closely collaborated with particle physicists to understand their general working process and visualization requirements to motivate our design. First, building on our observations and discussions with physicists, we built up a prototype that supports fundamental tasks for exploring their datasets. This prototype treated the AR space as an extension to the PC screen and allowed users to freely interact with each using the mouse. Thus, experts could benefit from the visual immersion while using analysis tools on the PC. An observational study with 7 physicists in CERN validated the feasibility of such a hybrid setting, and confirmed the benefits. We also found that the large canvas of the AR and walking around to observe the data in AR had a great potential for data exploration. However, the design of mouse interaction in AR and the use of PC widgets in AR needed improvements. Second, based on the results of the first study, we decided against intensively using flat widgets in AR. But we wondered if using the mouse for navigating in AR is problematic compared to high degrees of freedom (DOFs) input, and then attempted to investigate if the match or mismatch of dimensionality between input and output devices play an important role in users’ performance. Results of user studies (that compared the performance of using mouse, space mouse, and tangible tablet paired with the screen or the AR space) did not show that the (mis-)match was important. We thus concluded that the dimensionality was not a critical point to consider, which suggested that users are free to choose any input that is suitable for a specific task. Moreover, our results suggested that the mouse was still an efficient tool compared to high DOFs input. We can therefore validate our design of keeping the mouse as the primary input for the hybrid setting, while other modalities should only serve as an addition for specific use cases. Next, to support the interaction and to keep the background information while users are walking around to observe the data in AR, we proposed to add a mobile device. We introduced a novel approach that augments tactile interaction with pressure sensing for 3D object manipulation/view navigation. Results showed that this method could efficiently improve the accuracy, with limited influence on completion time. We thus believe that it is useful for visualization purposes where a high accuracy is usually demanded. Finally, we summed up in this thesis all the findings we have and came up with an envisioned setup for a realistic data exploration scenario that makes use of a PC workstation, an AR headset, and a mobile device. The work presented in this thesis shows the potential of combining a PC workstation with AR environments to improve the process of 3D data exploration and confirms its feasibility, all of which will hopefully inspire future designs that seamlessly bring immersive visualization to existing scientific workflows

The building which manifests itself is a direct reaction to the desires of the site and more importantly to the functions it houses. The purpose of this thesis though is to make an addition to the desires and to solve a desire which is not so evident to the naked eye. This desire is to eliminate the product which will manifest itself in the near future if nothing is done to change its clear and certain direction. The product I speak of is decentralized society where human interaction is almost elimininated. The thesis manifests a new building type one which is labeled "a complex for computer technologies" this complex looks at the relationship between architecture and the computer image in three different levels but always promoting human interaction.
Master of Architecture

Nous nous intéressons à la détection et au suivi d'objets biologiques divers (cellules, noyaux, etc.) dans des images et séquences tri-dimensionnelles acquises en microscopie par fluorescence. L'observation de phénomènes biologiques in situ étant de plus en plus cruciale pour les experts, il est nécessaire, en plus de l'analyse quantitative, d'effectuer un rendu volumique 3D de la scène et des objets qui y évoluent. De plus, l'automatisation des techniques d'acquisition d'images requiert un haut niveau de reproductibilité des algorithmes et induit souvent des contraintes de temps de calcul que nous nous efforçons de prendre en compte.

Les modèles déformables, également connus sous le nom de contours actifs, font actuellement partie des méthodes de pointe en analyse d'images pour la segmentation et le suivi d'objets grâce à leur robustesse, leur flexibilité et leur représentation à haut niveau sémantique des entités recherchées. Afin de les adapter à notre problématique, nous devons faire face à diverses difficultés. Tout d'abord, les méthodes existantes se réfèrent souvent aux variations locales d'intensité (ou gradients) de l'image pour détecter le contour des objets recherchés. Cette approche est inefficace en microscopie tridimensionnelle par fluorescence, où les gradients sont très peu prononcés selon l'axe de profondeur de l'image. Ensuite, nous devons gérer le suivi d'objets multiples susceptibles d'entrer en contact en évitant leur confusion. Enfin, nous devons mettre en place un système permettant de visualiser efficacement les contours durant leur déformation sans altérer les temps de calcul.

Dans la première partie de ce travail, nous pallions à ces problèmes en proposant un modèle de segmentation et de suivi multi-objets basé sur le formalisme des lignes de niveaux (ou level sets) et exploitant la fonctionnelle de Mumford et Shah. La méthode obtenue donne des résultats quantitatifs satisfaisants, mais ne se prête pas efficacement au rendu 3D de la scène, pour lequel nous sommes tributaires d'algorithmes dédiés à la reconstruction 3D (e.g. la méthode des "Marching Cubes"), souvent coûteux en mémoire et en temps de calcul. De plus, ces algorithmes peuvent induire des erreurs d'approximation et ainsi entraîner une mauvaise interprétation des résultats.

Dans la seconde partie, nous proposons une variation de la méthode précédente en remplaçant le formalisme des lignes de niveaux par celui des maillages triangulaires, très populaire dans le domaine de la conception assistée par ordinateur (CAO) pour leur rendu 3D rapide et précis. Cette nouvelle approche produit des résultats quantitatifs équivalents, en revanche le formalisme des maillages permet d'une part de réduire considérablement la complexité du problème et autorise d'autre part à effectuer un rendu 3D précis de la scène parallèlement au processus de segmentation, réduisant d'autant plus les temps de calculs.

Les performances des deux méthodes proposées sont d'abord évaluées puis comparées sur un jeu de données simulées reproduisant le mieux possible les caractéristiques des images réelles. Ensuite, nous nous intéressons plus particulièrement à l'évaluation de la méthode par maillages sur des données réelles, en évaluant la robustesse et la stabilité de quelques descripteurs de forme simples sur des expériences d'imagerie haut-débit. Enfin, nous présentons des applications concrètes de la méthode à des problématiques biologiques réelles, réalisées en collaboration avec d'autres équipes de l'Institut Pasteur de Corée.

Les modèles numériques de terrains (MNT) permettent de représenter efficacement la topographie d'une zone géographique donnée. Ces MNT peuvent être issus d'une télé acquisition à l'aide de radars embarqués ou de levés manuels sur le terrain à l'aide d'un tachéomètre. Les MNT constituent le contexte thématique de cette thèse qui est composée en trois parties.

Dans un premier temps, nous nous intéressons à la création de ces modèles à partir d'une source importante de données topographiques constituée par les cartes topographiques. Nous présentons une chaîne complète de traitements permettant de générer un MNT à partir d'une carte topographique numérisée. Nous détaillons particulièrement de nouvelles méthodes de reconstruction des courbes de niveaux et d'interpolation de ces courbes pour générer un MNT. Les différents travaux effectués dans cette thématique s'intègrent au sein de la plate-forme logicielle AutoDEM que nous avons développée durant cette thèse.

Puis, dans une deuxième partie, nous présentons une nouvelle technique permettant de visualiser des MNT en 3D sur une large gamme de dispositifs allant de stations de travail reliées à de grands écrans jusqu'à des terminaux mobiles (TM) à faibles capacités tels que les PDA ou les téléphones portables. L'intérêt majeur de la technique présentée, qui repose sur un mode connecté client-serveur, réside dans l'adaptation dynamique du modèle 3D aux capacités d'affichage du terminal. Nous nous intéressons également à des techniques de rendu à distance et présentons deux techniques permettant d'offrir d'une part une visualisation interactive temps réel et d'autre part un panorama virtuel à l'utilisateur.

Enfin, dans un troisième temps, nous décrivons des techniques nouvelles permettant à un utilisateur mobile disposant d'un TM de naviguer et d'interagir avec des données géographiques (cartes ou plans 2D et scènes 3D). La première est une technique d'interaction tangible et bi-manuelle reposant sur la détection par analyse du flux vidéo d'une cible décrivant un code couleur. La deuxième est une technique de sélection à deux niveaux adaptée aux TM ne disposant pas de dispositif de pointage continu.

Augmented Reality (AR), a concept where the real word is being enhanced with computer generated objects and text, has evolved and become a popular tool to communicate information through. Research on how the technique can be optimized regarding the technical aspects has been made, but not regarding how typography in three dimensions should be designed and used in AR applications. Therefore this master’s thesis investigates three different design attributes of typography in three dimensions. The three attributes are: typeface style, color, and weight including depth, and how they affect the visibility of the text in an indoor AR environment. A user study was conducted, both with regular users but also with users that were considered experts in the field of typography and design, to investigate differences of the visibility regarding the typography’s design attributes. The result shows noteworthy differences between two pairs of AR simulations containing different typography among the regular users. This along with a slight favoritism of bright colored text against dark colored text, even though no notable different could be seen regarding color alone. Discussions regarding the design attributes of the typography affect the legibility of the text, and what could have been done differently to achieve an even more conclusive result. To summarize this thesis, the objective resulted in design guidelines regarding typography for indoor mobile AR applications.

Interagir avec des scènes virtuelles 3D est nécessaire à de nombreuses applications. Parmi elles : la visualisation de données 3D, la conception assistée par ordinateur, les simulateurs d’entraînement ou encore les jeux vidéos. Effectuer cette tâche par l'intermédiaire de systèmes en 2D tels que des ordinateurs de bureau ou des tablettes tactiles peut s’avérer fastidieux. Pour interagir plus efficacement avec des contenus 3D, les systèmes d'interaction haute-fidélité tels que les casques de réalité virtuelle tentent de reproduire les modalités d'interaction dont nous disposons dans le monde réel. Ces systèmes offrent un rendu visuel stéréoscopique couplé à la position de l'utilisateur et un contrôle isomorphe des objets 3D. Cependant, la littérature manque de résultats issus d'expériences rigoureuses montrant leurs bénéfices. L'objectif de cette thèse est double. Nous cherchons d'une part à étoffer la littérature par l'intermédiaire d'études utilisateur contrôlées permettant d'apporter des résultats robustes sur les bénéfices de ces systèmes. D'autre part, nous nous efforçons de fournir les moyens d'implémenter les expériences haute fidélité les plus performantes.Dans ce manuscrit, nous présentons, tout d'abord, un état de l'art des dispositifs haute-fidélité existants et de leurs bénéfices potentiels. Nous introduisons notamment une approche prometteuse appelée appareil à perspective corrigée déplaçable (APCD), que nous avons particulièrement étudiée dans cette thèse.Nous détaillons ensuite deux contributions qui nous ont permis de quantifier les bénéfices des systèmes haute-fidélité. Afin de témoigner du potentiel applicatif de ces systèmes, nous avons étudié leur apport dans la réalisation de deux tâches mettant en jeu des processus cognitifs très différents. La première étude concerne une tâche de positionnement d'objets 3D dans l'espace. Les deux systèmes haute-fidélité que nous avons testés : un APCD et un casque de réalité virtuelle, se sont respectivement montrés 43% et 29% plus efficaces que le statu quo (un bras articulé utilisé avec un écran plat). La seconde étude concerne une tâche d'apprentissage de la forme d'un objet 3D. Pour cette tâche, les deux mêmes systèmes haute-fidélité ont permis d'améliorer de 27% les performances de reconnaissance de l'objet par rapport à un apprentissage via une tablette tactile.Nous présentons ensuite deux contributions apportant des solutions pour faciliter l'implémentation matérielle et logicielle des systèmes d'interaction haute-fidélité.Nous proposons une méthode permettant d'évaluer l'impact de différents paramètres techniques sur le sentiment de présence éprouvée au cours d'une expérience interactive : un sentiment qui témoigne de la fidélité de l'expérience relativement à la réalité simulée. Mettre en jeu cette méthode dans une étude utilisateur nous a permis d'identifier que la stabilité du système de suivi et la fréquence d'affichage sont les paramètres les plus critiques avec l'APCD que nous avons testé.Nous proposons enfin une panoplie de techniques d'interaction permettant l'implémentation d'applications adaptées aux APCD sphériques et à tout autre système fournissant un écran manipulable à deux mains. Les interactions que nous proposons tirent parti du contrôle efficace des rotations de l'appareil et se sont montrées intuitives et efficaces lors d'un test qualitatif dans une application d'apprentissage d'anatomie
Interacting with 3D virtual scenes is essential for numerous applications. Among others: 3D data visualization, computer assisted design, training simulators and video games. Performing this task through 2D systems like desktop computers or multi-touch tablets can be tedious. To interact more efficiently with 3D contents, high fidelity interactive systems such as virtual reality head-mounted displays try to reproduce the interactive modalities available in real life. Such systems offer a stereoscopic head-coupled rendering and an isomorphic control of 3D objects. However, there is a lack of rigorous studies that showed their benefits in the literature. This thesis has two purposes. We want to enrich the literature through controlled user studies that bring robust results on high fidelity systems' benefits. We also seek to provide the means to implement the most efficient high fidelity experiences.In this manuscript, we start by presenting a state of the art of existing high fidelity devices and their potential benefits. We especially introduce a promising approach called handheld perspective corrected displays (HPCD), that we particularly studied through this thesis.We then present two contributions that allowed us to quantify high fidelity systems benefits. We studied two tasks involving very different cognitive processes in order to attest the variety of applications that could benefit from those systems. The first study concerns a 6D docking task. The two high fidelity systems that we tested, an HPCD and a virtual reality head mounted display, performed respectively 43% and 29% more efficiently than the status quo (an articulated arm used alongside a flat screen). The second study focuses on the task of learning the shape of an unknown 3D object. Regarding this task, the two previously studied high fidelity systems allowed to enhance by 27% the object's recognition performances when compared to the use of a multi-touch tablet.We then present two other contributions that bring solutions to ease both hardware and software implementation of high fidelity systems. We provide a method to evaluate the impact of several technical parameters on the presence felt during an interactive experience, which is a feeling that testifies to the experience’s fidelity with regard to the simulated reality. Using this method in a user study allowed us to identify the fact that, with the tested HPCD, the tracking stability and the rendering frame rate were the most critical parameters concerning presence. We finally suggest a suit of interacting techniques that enable the implementation of applications well suited for spherical HPCD, and any other devices that provide a manipulable screen held with both hands. The proposed interactions take advantage of the efficient control of the device rotations and appeared to be both intuitive and efficient during a qualitative test in an anatomy learning application

With computer games getting more and more advanced with every year, game developers need to get creative to attract an audience. Throughout the years, tries has been made by moving away from the traditional gaming controller to enrich the gaming experience and to create a more healthy view upon the gaming industry. Most of these has involved the need of additional equipment to play the game, but what if all you need is the hardware in the computer? This report made findings in how to create a game that easily can be scaled by adding additional levels with custom tools for creation and modification in Unity. While only using the built-in web camera in the computer, it made it an accessible motion- based platformer game. This report also investigates the performance of the game when using these tools and the camera, as well as what is needed for improvements, including rendering and lighting effects in the game.

Fashion brands have always been avant-garde in embracing new technologies and new formats of retail business models. The rapid development in 3D digital technologies, including 3D scanning, 3D modelling and 3D web rendering, have brought many new opportunities to the fashion industry, especially in shaping the future fashion e-commerce. The traditional 2D user interface and 2D media content have limited ability of displaying every detail of a product in full 360 degree, and the color accuracy of products in pictures is also a common problem. This thesis focuses on how to use 3D technologies to enhance the brand identity and  to reduce return rate, by designing and implementing a web 3D user interface for fashion e-commerce. An interactive 3D product user interface were designed and used for test. The results presented the pros and cons of the designed 3D user interface, and evaluated to what extent can this approach help to solve the brand identity problem and the high return rate issue for fashion e-commerce. It turns out that indeed the 3D user interface is rich in detail storytelling and the product accuracy can be improved by using the Physically Based Rendering technology and dynamic virtual lighting environments. However, the results also indicate that there are still lots of technical constraints for developing the virtual showrooms and the 3D user interface.
Fashion varumärken har alltid varit avantgarde i att omfamna ny teknik och nya format av detaljhandel affärsmodeller. Den snabba utvecklingen inom 3D-digitalteknik, inklusive 3D-skanning, 3D-modellering och 3D-webbearbetning, har medfört många nya möjligheter till modebranschen, särskilt när det gäller att forma framtida fashion e-handel. Det traditionella 2D-användargränssnittet och 2D-medieinnehållet har begränsad förmåga att visa alla detaljer i en produkt i full 360 grader, och färgnoggrannheten hos produkter i bilder är också ett vanligt problem. Denna avhandling fokuserar på hur man använder 3D-teknik för att förbättra varumärkets identitet och minska avkastningsgraden genom att utforma och implementera ett webb 3D-användargränssnitt för mode-e-handel. Ett interaktivt 3D-produkt användargränssnitt designades och användes för test. Resultaten presenterade fördelar och nackdelar med det utformade 3D-användargränssnittet och utvärderades i vilken utsträckning kan detta tillvägagångssätt hjälpa till att lösa varumärkesidentitetsproblemet och problemet med hög avkastning för fashion e-handel. Det visar sig att 3D-användargränssnittet är rikt på detaljerad berättande och produktnoggrannheten kan förbättras med hjälp av fysisk baserad renderingsteknik och dynamiska virtuella ljusmiljöer. Resultaten visar emellertid också att det fortfarande finns många tekniska begränsningar för att utveckla virtuella showroom och 3D-användargränssnittet.

De nombreux travaux ont montré que, à l'origine des limitations de l'interaction bureautique, il y a un manque à la fois d'espace moteur et d'espace visuel.Cette thèse explore des moyens pour optimiser l'usage de ces espaces.D'une part, à partir du constat que l'on contrôle la position et l'orientation d'un objet par un geste naturel, cette thèse étudie les bénéfices que peut offrir une souris dotée d'un capteur de rotation. Cette < souris rotative > permet à l'utilisateur de maîtriser avec aisance trois variables continues d'une tâche informatique. Un état de l'art présente des aspects perceptifs et moteurs des actions en question et les particularités ergonomiques et techniques d'un tel dispositif. Deux techniques d'interaction - visant à faciliter des tâches métier récurrentes - sont proposées :le réglage < quasi-intégral > et la < palette satellitaire >. Par ailleurs, une évaluation expérimentale compare la performance d'une souris rotative avec celle d'une souris traditionnelle.D'autre part, ce travail se penche sur les questions de la visualisation de documents dans le contexte des bibliothèques numériques. D'abord, il examine l'apport et la faisabilité technique de l'utilisation d'un dispositif d'affichage immersif pour la navigation dans un catalogue de titres virtuel. Puis, afin de faciliter l'inspection massive d'un lot de pages numérisées, il avance des techniques de visualisation zoomables et multi-focales. Ces dernières permettent, dans une recherche d'anomalies, de saisir vite les caractéristiques visuelles de quelques centaines de pages. Et cela grâce à un va-et-vient entre la vue d'ensemble et la navigation panoramique des détails.

Depuis les premiers travaux de Moreno en 1934, l'analyse de réseaux sociaux s'est toujours accompagnée de diagrammes représentant les relations entre individus. Depuis, la visualisation de graphes n'a cessé de se développer au sein des communautés de visualisation d'information et de dessin de graphes. Au-delà des travaux se concentrant sur les problèmes combinatoires et algorithmiques posés par les dessins de graphes on parle désormais de fouille visuelle de réseaux et plus généralement de visual analytics en intégrant l'utilisateur au coeur de l'analyse. Dans cette thèse nous nous concentrons sur les supports visuels interactifs stéréoscopiques qui permettent de piloter le processus de fouille. En utilisant un environnement expérimental ad hoc, nous essayons d'en évaluer l'impact dans une tâche très populaire de détection de structures en communautés. A travers différentes expériences, nous montrons que pour une classe de graphes particulière la 2D semble plus adapté pour les graphes simples tandis que la 3D stéréo est bénéfique pour les graphes les plus complexes. Nous identifions également des différences dans l'usage des interactions entre la mono et la stéréo, ce qui semble illustrer des différences de comportement caractérisant des différences de stratégie d'utilisation entre ces deux conditions. Nos travaux se prolongent sur le plan technologique par le développement d'une bibliothèque permettant des interactions "mains-libres" adaptées à la fouille visuelle debout devant un grand écran.

Modeling articulated objects made of rigid layered parts used to populate 3D scenes in video games or movie production is a complex and time-consuming task for digital artists. This work proposes a sketch-based approach to efficiently model 3D layered articulated objects, such as animals with rigid shells and armors, in annotating a single 2D photo manually, and eventually fabricate it from automatically computed 2D patterns. In considering symmetrical objects seen under a 3/4 view, and an- notating salient features such as extremities of the rigid articulated parts as a mix of circular and Bézier curve, this approach is able to retrieve depth information, hidden parts, and rotation-articulated structure. The resulting shape consists of a set of quadrangulated polygons that may be flattened in 2D. Details such as ears, tails, and legs were further models using dedicated annotations. The accuracy of the reconstruction has been validated on synthetic cylindrical examples, and its ro- bustness in reconstructing a 3D model of armor, armadillo, and shrimp. The latter was finally fabricated using paper.
Att modellera artikulerade objekt gjorda av styva delar lagda i lager som används till att fylla 3D-scener i datorspel och filmskapande är en komplex och tidsödande uppgift för digitala konstnärer. Den här undersökningen föreslår ett skiss-baserat tillvägagångssätt att effektivt modellera artikulerade 3D-objekt lagda i lager, såsom djur med styva skal och rustning, i att annotera ett 2D-foto manuellt, och eventuellt skapa det från automatiskt beräknade 2D-mönster. Hänsyn är tagen till symmetriska objekt sedda under en 3/4 vy, och annotera framträdande egenskapersåsom extremiteter av de styva artikulerade delarna som en blandning avcirkulära och Bézier-kurvor, kan det här tillvägagångssättet hämta information om djup, gömda delar och rotations-artikulerade strukturer. Den slutliga formen består av ett set av fyrsidiga polygoner som kan bli tillplattade i 2D. Detaljer såsom öron, svansar och ben där framtida modeller använder dedikerade annotationer. Noggrannheten av rekonstruktionen har blivit validerad på syntetiska cylindriska exempeloch dess robusthet i att rekonstruera en 3D-modell av en rustning, ett bältdjur och en räka. Den senare skapades slutligen med hjälp av papper.

Ce travail de these porte sur l'exploration immersive de donnees genomiques textuelles et factuelles. Il s'agit d'etudier et de concevoir une nouvelle approche pour d'explorer dans un cadre immersif (i. E. De realite virtuelle), des donnees d'une nature specifique : les donnees genomiques. Ces donnees se presentent sous deux formes : la forme factuelle, c'est-a-dire l'ensemble des donnees structurees provenant des banques de donnees biologiques, et la forme textuelle, a savoir l'ensemble des donnees non structurees presentes dans les millions de publications concernant la genomique. Face a la complexite de ces donnees, l'enjeu est de proposer des paradigmes d'exploration et d'interaction, qui permettent de couvrir le plus largement possible ces donnees de nature variees. Ces paradigmes doivent etre capables de gerer des donnees massives, et doivent etre adaptes a la fois au cadre immersif et aux besoins des biologistes. Ainsi sur la base de l'etude des besoins des utilisateurs et de leurs usages, un paradigme de representation a ete defini en utilisant les caracteristiques tres specifiques des banques de donnees genomiques, et dans lequel la semantique des donnees etudiees est traduite par des proprietes visuelles, geometriques, ou topologiques, choisies initialement par l'utilisateur. Un prototype a ete implemente pour tester et valider le paradigme precedemment defini, et plusieurs experiences d'analyse de donnees genomiques ont ete menees en collaboration avec des biologistes ou bio-informaticiens, afin de mesurer la pertinence de cette solution d'exploration, face a plusieurs problematiques d'analyse de donnees genomiques
This thesis concerns the immersive exploration of textual and factual genomic data. The goal of this work is to design and study new approach for exploring genomic data within an immersive framework (i. E. Of virtual reality). The knowledge about genome is constituted by factual data, coming from structured biological or genomic databanks, and by textual data, namely the unstructured data within the millions publications relating to the research about genome. These data are heterogeneous, huge in quantity, and complex. The stake of this work is to propose visualization and interaction paradigms, which are able to deals with these characteristics. These paradigms must also be adapted to the immersive framework, and must respect the needs of the biologists. We used common points of genomic databanks, to design an original visualization paradigm, where the user is able to choice a translation of the semantic of the genomic data to visual, geometric or topologic properties. We implemented a software prototype in order to test and validate the visualization paradigm within an immersive framework. In this context, we proposed and tested new interaction paradigms, in order to navigate, search and edit the genomic data during the immersive exploration. We used finally this software to lead several experiments of genomic data analysis with biologists, in order to measure the relevance of this visual mining approach on different kinds of genomic data

Eson Pac is a company that develops pharmaceutical packaging. One problem that thecompany currently has is that they do not have a basis for showing their products andthe information about them. This report presents the development of this to the company,through a degree project. The important focus of the work has been to developan information design that informs and visualizes their products in a user-friendly way.By following well-founded theory and research-based methods, the iterative work hastaken shape. This is partly by following an IDEO based process method called the threeI method which contains the three phases Inspire, generate Ideas and Implement. Inaccordance with Eson Pac’s wishes, certain restrictions have been placed on the productionof the result, such as colors and containing information, in addition to whichthe focus has been on producing a result that benefits the users. The work resulted in aninteractive information design with produced animations and illustrations of the company’sproducts together with information about them.
Eson Pac är ett företag som utvecklar läkemedelsförpackningar. Ett problem som företagethar i dagsläget är att de inte har ett underlag för att visa sina produkter ochinformation kring dem. Denna rapport presenterar utvecklingen av detta till företaget,genom ett examensarbete. Det viktiga fokuset i arbetet har varit att ta fram en informationsdesignsom informerar och visualiserar deras produkter på ett användarvänligtsätt.Genom att följa välgrundad teori och forksningsbaserade metoder har det itterativa arbetettagit form. Detta dels genom att följa en IDEO baserad processmetod som kallasthree I method som innehåller de tre faserna Inspirera, idegenerera och implementera.Utefter Eson Pac’s önskemål har vissa begränsningar gjorts vid framtagnignen avresultatet såsom färger och innehållande information, utöver dethar fokus legat på attta fram ett resultat som gynnar användarna. Arbetet resulterade i en interaktiv informationsdesignmed framtagna animeringar och illustrationr av företagets produktertilsammans med information kring dem.

Year after year, technologies are evolving in an incredible rapid pace, becoming faster, more complex, more accurate and more immersive. Looking back just a decade, especially interaction technologies have made a major leap. Just two years ago in 2013, after being researched for quite some time, the hype around virtual reality (VR) arouse renewed enthusiasm, finally reaching mainstream attention as the so called head-mounted displays (HMD), devices worn on the head  to grant a visual peek into the virtual world, gain more and more acceptance with the end-user. Currently, humans interact with computers in a very counter-intuitive two dimensional way. The ability to experience digital content in the humans most natural manner, by simply looking around and perceiving information from their surroundings, has the potential to be a major game changer in how we perceive and eventually interact with digital information. However, this confronts designers and developers with new challenges of how to apply these exciting technologies, supporting interaction mechanisms to naturally explore digital information in the virtual world, ultimately overcoming real world boundaries. Within the virtual world, the only limit is our imagination. This thesis investigates an approach of how to naturally interact and explore information based on open data within an immersive virtual reality environment using a head-mounted display and vision-based motion controls. For this purpose, an immersive VR application visualizing information as a network of European capital cities has been implemented, offering interaction through gesture input. The application lays a major focus on the exploration of the generated network and the consumption of the displayed information. While the conducted user interaction study with eleven participants investigated their acceptance of the developed prototype, estimating their workload and examining their explorative behaviour, the additional dialog with five experts in the form of explorative discussions provided further feedback towards the prototype’s design and concept. The results indicate the participants’ enthusiasm and excitement towards the novelty and intuitiveness of exploring information in a less traditional way than before, while challenging them with the applied interface and interaction design in a positive manner. The design and concept were also accepted through the experts, valuing the idea and implementation. They provided constructive feedback towards the visualization of the information as well as emphasising and encouraging to be even bolder, making more usage of the available 3D environment. Finally, the thesis discusses these findings and proposes recommendations for future work.

La recherche d'information textuelle fait partie des principales tâches liées au Web. Elle se fait majoritairement par des moteurs de recherche qui sont rapidement devenus incontournables. En effet, lorsque les utilisateurs ont une nouvelle tâche à accomplir sur le Web, ils démarrent - 88% du temps - par l'utilisation d'un moteur de recherche. Cependant, face à l'augmentation des informations disponibles sur le Web et à l'absence d'évolution significative du processus de recherche, la quantité de résultats obtenus pour une requête devient très importante. Il est alors difficile pour l'utilisateur d'interpréter efficacement tous ces résultats. Cette problématique est abordée en se plaçant du côté de la restitution des résultats de recherche à l'utilisateur via des interfaces utilisateur d'information (IUI). De nombreux travaux ont déjà été réalisés sur la visualisation des résultats de recherche au cours des dernières années, sans réelle influence sur les interfaces grand public. L'objectif de notre approche est de créer dynamiquement des présentations 3D interactives et basées sur des métaphores de visualisation adaptées à la fois à l'utilisateur, à la tâche à réaliser et aux données. Pour cela, nous avons développé un prototype - SmartWeb - proposant des interfaces hybrides (2D/3D) de visualisation de résultats de recherche. Il utilise le langage X-VRML qui permet d'exprimer efficacement les métaphores 3D de visualisation et de générer automatiquement des contenus 3D interactifs. Nous proposons alors une métaphore 3D cognitive permettant d'utiliser une représentation spatiale plus riche afin d'aider efficacement l'utilisateur dans sa tâche. Il s'agit d'une ville virtuelle dans laquelle les résultats sont organisés d'après le calcul d'une carte auto-organisatrice. Une étude utilisateur de cette interface est réalisée et une réflexion plus générale sur l'évaluation des IUI est proposée.

Chlorella vulgaris (C. vulgaris) est un organisme modèle qui présente un potentiel commercial élevé dans le domaine de l'alimentation et de l'énergie, avec une faisabilité prouvée de cultures sous forme de biofilms et de co-culture de levures/microalgues pour la valorisation in situ du CO2 dans les processus biotechnologiques. Ce travail de doctorat se concentre sur les colonies immobilisées dans des cultures pures ou mixtes. Il vise une meilleure compréhension des interactions au sein des colonies et entre colonies, avec pour objectif ultime de comprendre et d'optimiser les co-cultures.Pour atteindre ces objectifs, un protocole complet et des dispositifs expérimentaux innovants ont été développés, notamment des techniques d'inoculation, des dispositifs de culture immobilisée avec capteurs de gaz, l'imagerie 3-D à l'aide d'un microscope à lumière structurée, le traitement d'images, un bilan gazeux calibré et l'analyse des données. Des précautions ont également été prises concernant les conditions d'incubation, la détermination de la masse sèche, la concentration en glucose, la taille et la densité des cellules.Tout d'abord, le développement de colonies uniques de C. vulgaris a été étudié dans des conditions hétérotrophes. Sur la base du modèle biologique proposé pour la dynamique de croissance en hauteur et en rayon, nous avons conclu que les colonies se développaient à un taux constant dans la direction horizontale et à un taux décroissant dans la direction verticale. Ces tendances sont cohérentes avec les effets cumulés de la disponibilité du glucose et de l'oxygène. Une calotte sphérique décrit le mieux la forme des colonies pendant la période de croissance. L'interaction intraspécifique de C. vulgaris a été étudiée en faisant croître plusieurs colonies sur la même plaque à des distances de initiales différentes : 1,5 mm, 3 mm et 15 mm. Aucun effet significatif de la coalescence des colonies n'a été observé sur les taux de croissance en rayon et en hauteur.Ensuite, l'effet de la lumière a été testé de deux manières : présence de lumière durant toute la culture et exposition à la lumière après une première période hétérotrophe. La forme de la colonie est significativement affectée par le mode de culture : la colonie en croissance hétérotrophe garde une calotte sphérique, tandis que la colonie en croissance mixotrophe atteint une forme cylindrique, en raison d'une croissance radiale presque complètement arrêtée après quelques jours. Grâce au dispositif de mesure des gaz, les données brutes ont été analysées à l'aide d'une équation de bilan gazeux pour obtenir les termes source biologique d'O2 et de CO2. Le rapport de masse du gaz sur la masse sèche de la cellule a été déterminé pour les différentes conditions de croissance. Une synergie est mise en évidence entre la photosynthèse au sommet de la colonie et l’hétérotrophie à la base.L'interaction inter-espèces de C. vulgaris et S. cerevisiae a été étudiée à deux niveaux : au niveau des cellules dans la même colonie et entre colonies. Au niveau de la colonie, des colonies de C. vulgaris et de S. cerevisiae ont été inoculées avec deux distances de séparation initiales différentes (3 mm et 15 mm). Les colonies ont été observées en continu pendant un mois. Même si des recherches supplémentaires sont nécessaires, la croissance et l'interaction observées semblent s'expliquer principalement par le taux de croissance beaucoup plus élevé de la levure. Après avoir fusionné, les colonies de S. cerevisiae finissent par envelopper les colonies de C. vulgaris. Au niveau des cellules, les colonies mélangées de C. vulgaris et de S. cerevisiae ont été observées en 3D. En raison de leur croissance rapide, les cellules de S. cerevisiae finissent par dominer l'ensemble de la colonie, à l'exception de quelques cellules de C. vulgaris présentes au cœur de la colonie et sur le dessus. Les cellules de C. vulgaris cessent presque de croître lorsque les nutriments sont limités
Chlorella vulgaris (C. vulgaris) is a model organism that has high commercial potential in the food and energy field, with proved feasibility of cultures as biofilms and yeast/ microalgae co-culture for in situ CO2 mitigation in biotechnological processes. This PhD work focuses on immobilized colonies in pure or mixed cultures. It proposes a better understanding of the interactions within and between colonies, with the ultimate goal of understanding and optimizing co-cultures.To archive these goals, a comprehensive protocol and required innovative experimental devices were developed including inoculation techniques, immobilized culture devices with gas sensors, 3-D imaging using a structured-light microscope, image processing, calibrated gas balance equation and data analysis. Care was also taken regarding incubation conditions, determination of dry mass, glucose concentration, cell size and density.Firstly, the development of single C. vulgaris colonies under heterotrophic conditions was studied. Based on the biological model proposed for the growth dynamics in height and radius, we concluded that the colonies expanded at a constant rate in the horizontal direction and a decreasing rate in the vertical direction. The trends are consistent with the cumulative effects of glucose and oxygen availability. A spherical cap best describes the shape of the colonies during the growth period. The intraspecies interaction of C. vulgaris was investigated by growing several colonies on the same plate with different initial separation distances: 1.5 mm, 3mm, and 15 mm. No significant effects of colony merging were observed on the growth rates in radius and height.Then, the effect of light was tested in two ways: presence of light throughout the culture and exposition to light after a first, purely heterotrophic, period. The shape of colony is significantly affected by the cultivation mode: the heterotrophic growth colony keeps a spherical cap, while the mixotrophic growth colony reaches a cylindrical shape, due to a radial growth almost completely stopped after some days. Thanks to the gas measurement device, the raw data were analyzed using a gas balance equation to obtain the biological source terms of O2 and CO2. Gas yield (mass ratio of gas to dry mass of cell) are proposed for the different growth conditions. A synergy is highlighted between photosynthesis at the top of the colony and heterotrophy at the base.The interspecies interaction of C. vulgaris and S. cerevisiae were studied at two levels: cell-cell level within the same colony and colony-colony level. At the colony-colony level, colonies of C. vulgaris and S. cerevisiae were inoculated with two different initial separation distances (3 mm and 15 mm). Colonies were observed continuously for one month. Even though additional investigation is needed, the observed growth and interaction seems to be mostly explained by the much larger growth rate of yeast. After merging S. cerevisiae colonies eventually envelop C. vulgaris colonies. At the cell-cell level, C. vulgaris and S. cerevisiae intermixed colonies were observed in 3D. Due to its fast grow, S. cerevisiae cells eventually dominate the whole colony, at the exception of some C. vulgaris cells present in the core of the colony and on the top. C. vulgaris cells almost stop growing when the nutrients are limited

Ces travaux de recherche portent sur l'aide à l'exploration de bases de données.La particularité de l'approche proposée repose sur un principe de co-évolution de l'utilisateur et d'une interface intelligente. Cette dernière devant permettre d'apporter une aide à la compréhension du domaine représenté par les données. Pour cela, une métaphore de musée virtuel vivant a été adoptée. Ce musée évolue de façon incrémentale au fil des interactions de l'utilisateur. Il incarne non seulement les données mais également des informations sémantiques explicitées par un modèle de connaissances spécifique au domaine exploré.A travers l'organisation topologique et l'évolution incrémentale, le musée personnalise en ligne le parcours de l'utilisateur. L'approche est assurée par trois mécanismes principaux : l'évaluation du profil de l'utilisateur modélisé par une pondération dynamique d'informations sémantiques, l'utilisation de ce profil dynamique pour établir une recommandation ainsi que l'incarnation des données dans le musée.L'approche est appliquée au domaine du patrimoine dans le cadre du projet ANTIMOINE, financé par l'Agence Nationale de la Recherche (ANR). La généricité de cette dernière a été démontrée à travers son application à une base de données de publications mais également à travers l'utilisation de types d'interfaces variés (site web, réalité virtuelle).Des expérimentations ont permis de valider l'hypothèse que notre système s'adapte aux évolutions des comportements de l'utilisateur et qu'il est capable, en retour, d'influencer ce dernier. Elles ont également permis de comparer une interface 2D avec une interface 3D en termes de qualité de perception, de guidage, de préférence et d'efficacité
This thesis focus on a proposition that helps humans during the exploration of database. The particularity of this proposition relies on a co-evolution principle between the user and an intelligent interface. It provides a support to the understanding of the domain represented by the data. A metaphor of living virtual museum is adopted. This museum evolves incrementally according to the user's interactions. It incarnates both the data and the semantic information which are expressed by a knowledge model specific to the domain of the data. Through the topological organization and the incremental evolution, the museum personalizes online the user's exploration. The approach is insured by three main mechanisms: the evaluation of the user profile modelled by a dynamical weighting of the semantic information, the use of this dynamic profile to establish a recommendation as well as the incarnation of the data in the living museum. The approach has been applied to the heritage domain as part of the ANTIMOINE project, funded by the National Research Agency (ANR). The genericity of the latter has been demonstrated through its application to a database of publications but also using various types of interfaces (website, virtual reality).Experiments have validated the hypothesis that our system adapts itself to the user behavior and that it is able, in turn, to influence him.They also showed the comparison between a 2D interface and a 3D interface in terms of quality of perception, guidance, preference and efficiency

Digitaliseringen av samhället är igång och Sveriges regering har satt som mål att Sverige ska vara i spetsen för utveckling och innovation inom området. Efterfrågan på digitala lösningar är stor bland befolkningen och satsningar görs i de flesta branscher. Inom ämnesområdet fysisk planering innebär detta bland annat att nya tekniska lösningar bör utforskas för att hålla jämna steg med de krav som ställs på samtidens och framtidens medborgardeltagande. Syftet med uppsatsen var att undersöka virtual reality-teknikens potential i kommunal fysisk planering och hur den kan tillämpas. Med utgångspunkt i Jan Gehls ”12 kvalitetskriterier för offentliga platser” analyserades fallet Nättraby centrum i Karlskrona kommun som vidare mynnade ut i en redovisning av process samt arbetsmetodik för arbete med VR i kommunal planering. Gehls metod applicerades sedan på den virtuella miljön genom att tjänstemän på Karlskrona kommun fick utvärdera projektet. Syftet med appliceringen av analysmetoden var att belysa styrkor och svagheter med tekniken för att genom intervju med tjänstemän kunna diskutera vilka situationer den är tillämpbar samt hur planförslag bör visualiseras för att uppnå kommunens syfte med tekniken. Resultatet av uppsatsen visade att analysmetoden ”12 kvalitetskriterier för offentliga platser” var tillämpbar i en virtuell miljö men att vissa kriterier var lättare att bedöma än andra. De kriterier som ansågs lätta att bedöma i den fysiska miljön var relaterat till skala, rumslighet och relation mellan volymer. De kriterier som ansågs svåra var relaterade till faktisk rörelse på platsen och sinnesupplevelser som inte var representerade (ljud och känsel), men de behövde inte nödvändigtvis inkluderas i simuleringen för att yrkesverksamma planeringsarkitekter skulle kunna bedöma. Vid utformandet av planförslag i VR ansågs det vara extra viktigt att kommunicera förslagets föränderlighet till medborgare samt att diskutera och kunna motivera förslagets detaljeringsgrad baserat på förslagets kommunikationssyfte.
The process of digitalizing our society is in full swing and the Swedish government has set its sight on Sweden being the spearhead of development and innovation in the field. There is great demand for digital solutions among Swedish citizens and most branches of industry are making investments to answer it. What this means for spatial planning is, among other things, that new technical solutions should be explored to keep up with citizens demands regarding participatory planning today and in the future. The purpose of this thesis has been to explore virtual reality technology’s potential and application in municipalities spatial planning. With point of departure in Jan Gehl’s “12 quality criteria for public space” a case study was performed on Nättraby center in Karlskrona municipality. This was followed by a plan proposal constructed in 3D with a documented design process and work methodology for working with VR in spatial planning. Gehl’s method was then applied in the virtual environment where officials from Karlskrona municipality evaluated the plan proposal. The purpose of the method for analyzing public space was to highlight the strengths and weaknesses of the technology to create a discussion with officials from Karlskrona municipality, through an interview, about where VR is best used and how spatial planning proposals should be visualized to fulfill the municipality’s intent with using the technology. The results showed that the analysis method “12 quality criteria for public space” proved to be applicable in a virtual environment, but some of the criteria were easier to evaluate than others. Criteria related to scale, space and relation between volumes deemed easiest to evaluate. Criteria related to actual movement and senses that were not simulated like sound and touch were deemed harder to evaluate, but their lack of representation did not hinder the planning officials to evaluate the criteria. In the design of planning proposals for VR the officials emphasized the need to communicate to its citizens that the proposal was changeable and discuss the importance of the relation between level of detail and the proposals communicative intent.

The dissemination of new innovative technology requires feasibility and simplicity. The problem with marker-based augmented reality is similar to glove-based hand gesture recognition: they both require an additional component to function. This thesis investigates the possibility of combining markerless augmented reality together with appearance-based hand gesture recognition by implementing a game with good user experience. The methods employed in this research consist of a game implementation and a pre-study meant for measuring interactive accuracy and precision, and for deciding upon which gestures should be utilized in the game. A test environment was realized in Unity using ARKit and Manomotion SDK. Similarly, the implementation of the game used the same development tools. However, Blender was used for creating the 3D models. The results from 15 testers showed that the pinching gesture was the most favorable one. The game was evaluated with a System Usability Scale (SUS) and received a score of 70.77 among 12 game testers, which indicates that the augmented reality game, which interaction method is solely based on bare-hands, can be quite enjoyable.

Sem TID
In the world of today, immersive reality such as virtual and mixed reality, is one of the most attractive research fields. Virtual Reality, also called VR, has a huge potential to be used in in scientific and educational domains by providing users with real-time interaction or manipulation. The key concept in immersive technologies to provide a high level of immersive sensation to the user, which is one of the main challenges in this field. Wearable technologies play a key role to enhance the immersive sensation and the degree of embodiment in virtual and mixed reality interaction tasks. This project report presents an application study where the user interacts with virtual objects, such as grabbing objects, open or close doors and drawers while wearing a sensory cyberglove developed in our lab (Cyberglove-HT). Furthermore, it presents the development of a methodology that provides inertial measurement unit(IMU)-based gesture recognition. The interaction tasks and 3D immersive scenarios were designed in Unity 3D. Additionally, we developed an inertial sensor-based gesture recognition by employing an Long short-term memory (LSTM) network. In order to distinguish the effect of wearable technologies in the user experience in immersive environments, we made an experimental study comparing the Cyberglove-HT to standard VR controllers (HTC Vive Controller). The quantitive and subjective results indicate that we were able to enhance the immersive sensation and self embodiment with the Cyberglove-HT. A publication resulted from this work [1] which has been developed in the framework of the R&D project Human Tracking and Perception in Dynamic Immersive Rooms (HTPDIR).

La compréhension de la structure d’un logiciel est une première étape importante dans la résolution de tâches d’analyse et de maintenance sur celui-ci. En plus des liens définis par la hiérarchie, il existe un autre type de liens entre les éléments du logiciel que nous appelons liens d’adjacence. Une compréhension complète d’un logiciel doit donc tenir compte de tous ces types de liens. Les outils de visualisation sont en général efficaces pour aider un développeur dans sa compréhension d’un logiciel en lui présentant l’information sous forme claire et concise. Cependant, la visualisation simultanée des liens hiérarchiques et d’adjacence peut donner lieu à beaucoup d’encombrement visuel, rendant ainsi ces visualisations peu efficaces pour fournir de l’information utile sur ces liens. Nous proposons dans ce mémoire un outil de visualisation 3D qui permet de représenter à la fois la structure hiérarchique d’un logiciel et les liens d’adjacence existant entre ses éléments. Notre outil utilise trois types de placements différents pour représenter la hiérarchie. Chacun peut supporter l’affichage des liens d’adjacence de manière efficace. Pour représenter les liens d’adjacence, nous proposons une version 3D de la méthode des Hierarchical Edge Bundles. Nous utilisons également un algorithme métaheuristique pour améliorer le placement afin de réduire davantage l’encombrement visuel dans les liens d’adjacence. D’autre part, notre outil offre un ensemble de possibilités d’interaction permettant à un usager de naviguer à travers l’information offerte par notre visualisation. Nos contributions ont été évaluées avec succès sur des systèmes logiciels de grande taille.
Understanding the structure of software is an important first step in solving tasks of analysis and maintenance on it. However, in addition to the links defined by the hierarchy, there exists another type of links between elements of software that are called adjacency links. A complete understanding of software must take account of all these types of links. Visualization tools are generally effective in helping a developer in his understanding of software by presenting the information in a clear and concise manner. However, viewing these two types of links generate in general a lot of visual clutter, making these visualizations inefficient to provide useful information on these links. We propose in this M.Sc. thesis a 3D visualization tool that can represent both the hierarchical structure of an application and the adjacency relationships between its elements. Our tool uses three different types of layout to represent the hierarchy. Each layout can support efficiently the display of adjacency links. To represent adjacency links, we propose a 3D version of the Hierarchical Edge Bundles algorithm. We also use a metaheuristic algorithm to improve our layouts to further reduce visual clutter in the adjacency links. Moreover, our tool provides a set of interaction possibilities that allows a user to navigate through the information provided by our visualization. Our contributions have been evaluated successfully on large software systems.