Littérature scientifique sur le sujet « Exploration multisensorielle »

L’architecture est l’art de concevoir et de construire des édifices ou d’aménager des espaces extérieurs selon des critères esthétiques et des règles bien définies. Elle est donc partout dans nos vies. Mais comment est-elle perçue, du point de vue sensoriel, par les personnes aveugles ? Comment s’y repèrent-elles, comment découvrent-elles ces lieux ? À travers la littérature, nous explorons la perception de l’architecture par des personnes aveugles ou ayant une déficience visuelle. Comment décrire, percevoir un lieu sans la vue ? Des auteurs aveugles, tels Romain Villet, Jacques Lusseyran ou Taha Hussein, mais aussi les personnages aveugles présents dans Les Emmurés de Lucien Descaves, nous permettent de découvrir que la compréhension, la découverte, la beauté ou la laideur d’un bâtiment, d’un lieu n’est pas qu’une histoire de vue. À travers des exemples récents de projets architecturaux et le travail de Chris Downey, architecte devenu aveugle en 2008, nous voyons qu’il existe une architecture spécifique, ou particulièrement adaptée aux personnes aveugles, en nous penchant particulièrement sur l’aménagement des nouveaux locaux du LightHouse de San Francisco. Il existe ainsi des environnements plus « bavards » que d’autres, plus accueillants aussi. Et, plutôt que de concevoir la cécité comme un manque, nous prenons le pari de croire que l’architecture vue par les aveugles est la plus riche des expériences sensorielles.

La question de l’accessibilité des œuvres muséales aux personnes présentant une incapacité visuelle (PPIVs) est régulièrement soulevée par les associations et les musées. De par leur nature, certaines œuvres, telles que les tapisseries médiévales, ne peuvent être touchées et ne sont que peu souvent accessibles via l’audio-description. Aussi, la création manuelle de représentations tactiles est coûteuse et complexe, limitant leur disponibilité dans les musées. La Tapisserie de l’Apocalypse et la Tapisserie de Bayeux sont deux exemples emblématiques. Ces deux œuvres d’art de grande envergure mesurant 104 m sur 4,5 m pour la première et 70 m sur 50 cm pour la deuxième, sont devenues au fil du temps les objets de nombreuses études. Bien que le Château d’Angers propose des visites guidées adaptées aux personnes aveugles et malvoyantes, celles-ci restent limitées et nécessitent la participation de plusieurs personnes. Au musée de la Tapisserie de Bayeux, un espace de découverte tactile est proposé mais seules trois des 58 scènes peuvent être explorées.Cette thèse aborde les problématiques d'inclusion dans les musées. Ce travail a été mené dans une volonté de rendre la perception des tapisseries médiévales accessible à un plus grand nombre de personnes. Ce travail propose ainsi une méthodologie innovante de création semi-automatique d’objets 3D à partir d’une simple photographie. Nous nous intéressons dans ce manuscrit aux possibilités offertes par les outils d’intelligence artificielle pour la création de bas-reliefs imprimés en 3D, rapidement et à moindre coût. Pour cela, nous étudions des algorithmes de segmentation tels que les Mask R-CNN ; et d'autres réseaux de neurones permettant de générer des images, comme les réseaux génératifs antagonistes (GANs). En plus de la possible génération d'impressions 3D permettant une exploration tactile des œuvres, nous devons nous intéresser à la pertinence de telles représentations. Afin de nous assurer que la solution proposée permette une meilleure autonomie dans l’appréciation de l’art, nous menons également une campagne d'évaluation auprès de PPIVs. Au final, nous visons à améliorer l'expérience muséale des personnes aveugles et partiellement aveugles par une augmentation de leur autonomie dans ces lieux de culture et renforcer leur satisfaction et leur motivation à découvrir ces trésors culturels
The issue of accessibility to artworks in museums for visually impaired people (VIP) is frequently raised by associations and museums. Some works, such as medieval tapestries, by their very nature, cannot be touched and are often not accessible through audio-description. Moreover, the manual creation of tactile representations is costly and complex, limiting their availability in museums. The Apocalypse Tapestry and the Bayeux Tapestry are two iconic examples. These large-scale artefacts, measuring 104 m by 4.5 cm meters for the former and 70 m by 50 cm for the latter, have been the focus of numerous studies over the years. Although the Château d'Angers offers guided tours adapted for blind and partially sighted visitors, these remain limited and require the involvement of several people. At the Bayeux Tapestry Museum, there is a tactile discovery area, but only three of the 58 scenes have been adapted into tactile mock copies.This work is motivated by the challenges of inclusion in museums and aims to make the perception of medieval tapestries accessible to as many people as possible. We propose an innovative methodology for the semi-automatic creation of 3D objects from simple photographs. In this manuscript, we explore the possibilities offered by artificial intelligence tools to quickly and affordably create 3D-printed bas-reliefs. Specifically, we study segmentation algorithms like Mask R-CNN and image-generating neural networks such as generative adversarial networks (GANs). In addition to generating 3D prints that enable tactile exploration of artefacts, we also evaluate the relevance of these representations through experimentation with VIPs. Overall, our goal is to improve the museum experience for blind and partially sighted visitors by enhancing their autonomy in cultural spaces and increasing their satisfaction and motivation to discover these cultural treasures

Bien que de plus en plus de données sonores et audiovisuelles soient disponibles, la majorité des interfaces qui permettent d'y accéder reposent uniquement sur une présentation visuelle. De nombreuses techniques de visualisation ont déjà été proposées utilisant une présentation simultanée de plusieurs documents et des distorsions permettant de mettre en relief l'information plus pertinente. Nous proposons de définir des équivalents auditifs pour la présentation de plusieurs fichiers sonores en concurrence, et de combiner de façon optimale les stratégies audio et visuelles pour la présentation de documents multimédia. Afin d'adapter au mieux ces stratégies à l'utilisateur, nous avons dirigé nos recherches sur l'étude des processus perceptifs et attentionnels impliqués dans l'écoute et l'observation d'objets audiovisuels concurrents, en insistant sur les interactions entre les deux modalités.Exploitant les paramètres de taille visuelle et de volume sonore, nous avons étendu le concept de lentille grossissante, utilisée dans les méthodes focus+contexte visuelles, aux modalités auditive et audiovisuelle. A partir de ce concept, une application de navigation dans une collection de documents vidéo a été développée. Nous avons comparé notre outil à un autre mode de rendu dit de Pan&Zoom à travers une étude d'utilisabilité. Les résultats, en particulier subjectifs, encouragent à poursuivre vers des stratégies de présentation multimodales associant un rendu audio aux rendus visuels déjà disponibles.Une seconde étude a concerné l'identification de sons d'environnement en milieu bruité en présence d'un contexte visuel. Le bruit simule la présence de plusieurs sources sonores simultanées telles qu'on pourrait les retrouver dans une interface où les documents audio et audiovisuels sont présentés ensemble. Les résultats de cette expérience ont confirmé l'avantage de la multimodalité en condition de dégradation. De plus, au-delà des buts premiers de la thèse, l'étude a confirmé l'importance de la congruence sémantique entre les composantes visuelle et sonore pour la reconnaissance d'objets et a permis d'approfondir les connaissances sur la perception auditive des sons d'environnement.Finalement, nous nous sommes intéressée aux processus attentionnels impliqués dans la recherche d'un objet parmi plusieurs, en particulier au phénomène de " pop-out " par lequel un objet saillant attire l'attention automatiquement. En visuel, un objet net attire l'attention au milieu d'objets flous et certaines stratégies de présentation visuelle exploitent déjà ce paramètre visuel. Nous avons alors étendu la notion de flou aux modalités auditives et audiovisuelles par analogie. Une série d'expériences perceptives a confirmé qu'un objet net parmi des objets flous attire l'attention, quelle que soit la modalité. Les processus de recherche et d'identification sont alors accélérés quand l'indice de netteté correspond à la cible, mais ralentis quand il s'agit d'un distracteur, mettant ainsi en avant un phénomène de guidage involontaire. Concernant l'interaction intermodale, la combinaison redondante des flous audio et visuel s'est révélée encore plus efficace qu'une présentation unimodale. Les résultats indiquent aussi qu'une combinaison optimale n'implique pas d'appliquer obligatoirement une distorsion sur les deux modalités.