Academic literature on the topic 'Graph-Based visualization and structuring'

Cette thèse explore des approches de structuration automatique et semi-automatique pour les collections de contenus iconographiques patrimoniaux. La structuration et l'exploitation de tels contenus pourrait s'avérer bénéfique pour de nombreuses applications, du tourisme virtuel à un accès facilité pour les chercheurs et le grand public. Cependant, l'organisation "en silo" inhérente à ces collections entrave les approches de structuration automatique et toutes les applications subséquentes.La communauté de la vision par ordinateur a proposé de nombreuses méthodes automatiques pour l'indexation (et la structuration) de collections d'images à grande échelle. Exploitant l'aspect visuel des contenus, elles fonctionnent indépendamment des structures de métadonnées qui organisent principalement les collections patrimoniales, apparaissant ainsi comme une solution potentielle au problème de liage entre les structures uniques des différentes collections. Cependant, ces méthodes sont généralement entrainées sur de grands jeux d'images récentes ne reflétant pas la diversité visuelle des contenus patrimoniaux. Cette thèse vise à évaluer et à améliorer ces méthodes automatiques pour la structuration des contenus iconographiques patrimoniaux. Pour cela, cette thèse apporte trois différentes contributions avec l'objectif commun d'assurer une certaine explicabilité des méthodes évaluées et proposées, nécessaire pour justifier de leur pertinence et faciliter leur adaptation à de nouvelles acquisitions. La première contribution est une évaluation des approches automatiques de recherche d'images basée sur le contenu, confrontées aux différents types de données du patrimoine iconographique. Cette évaluation se concentre d'abord sur les descripteurs d'images de l'étape de recherche d'images, puis sur les méthodes de ré-ordonnancement qui réorganisent ensuite les images similaires en fonction d'un autre critère. Les approches les plus pertinentes peuvent alors être sélectionnées pour la suite tandis que celles qui ne le sont pas fournissent des informations inspirant notre deuxième contribution. La deuxième contribution consiste en trois nouvelles méthodes de ré-ordonnancement exploitant des informations spatiales plus ou moins globales pour réévaluer les liens de similarité visuelle créés par l'étape de recherche d'images. La première exploite les premières images retrouvées pour créer une scène 3D approximative dans laquelle les images retrouvées sont positionnées pour évaluer leur cohérence dans la scène. La deuxième simplifie la première avec une expansion de requête géométrique, c'est-à-dire en agrégeant des informations géométriques 2D issues des images récupérées pour encoder plus largement la géométrie de la scène sans la reconstruire (ce qui est couteux en temps de calcul). Enfin, la troisième exploite des informations de position plus globales, à l'échelle du jeu d'images, pour estimer la cohérence entre la similarité visuelle entre images et leur proximité spatiale. La troisième et dernière contribution est un processus semi-automatique de validation visuelle et de correction manuelle de la structuration d'une collection. Ce cadre exploite les approches automatiques les plus adaptées et une plateforme de visualisation basée sur une représentation en graphes. Nous utilisons plusieurs indices visuels pour orienter l'intervention manuelle de l'expert sur les zones impactantes. Cette approche semi-automatique guidée présente des avantages certains, car elle résout des erreurs de structuration qui échappent aux méthodes automatiques. Ces corrections étant ensuite largement diffusées dans toute la structure, l'améliorant globalement.Nous espérons que notre travail apportera quelques perspectives sur la structuration automatique de contenus iconographiques patrimoniaux par des approches basées sur le contenu, tout en ouvrant la porte à davantage de recherches sur la structuration semi-automatique guidée de collections d'images<br>This thesis explores automatic and semi-automatic structuring approaches for iconographic heritage contents collections. Indeed, exploiting such contents could prove beneficial for numerous applications. From virtual tourism to increased access for both researchers and the general public, structuring the collections would increase their accessibility and their use. However, the inherent "in silo" organization of those collections, each with their unique organization system hinders automatic structuring approaches and all subsequent applications. The computer vision community has proposed numerous automatic methods for indexing (and structuring) image collections at large scale. Exploiting the visual aspect of the contents, they are not impacted by the differences in metadata structures that mainly organize heritage collections, thus appearing as a potential solution to the problem of linking together unique data structures. However, those methods are trained on large, recent datasets, that do not reflect the visual diversity of iconographic heritage contents. This thesis aims at evaluating and exploiting those automatic methods for iconographic heritage contents structuring.To this end, this thesis proposes three distinct contributions with the common goal of ensuring a certain level of interpretability for the methods that are both evaluated and proposed. This interpretability is necessary to justify their efficiency to deal with such complex data but also to understand how to adapt them to new and different content. The first contribution of this thesis is an evaluation of existing state-of-the-art automatic content-based image retrieval (CBIR) approaches when faced with the different types of data composing iconographic heritage. This evaluation focuses first on image descriptors paramount for the image retrieval step and second, on re-ranking methods that re-order similar images after a first retrieval step based on another criterion. The most relevant approaches can then be selected for further use while the non-relevant ones provide insights for our second contribution. The second contribution consists of three novel re-ranking methods exploiting a more or less global spatial information to re-evaluate the relevance of visual similarity links created by the CBIR step. The first one exploits the first retrieved images to create an approximate 3D scene of the scene in which retrieved images are positioned to evaluate their coherence in the scene. The second one simplifies the first while extending the classical geometric verification setting by performing geometric query expansion, that is aggregating 2D geometric information from retrieved images to encode more largely the scene's geometry without the costly step of 3D scene creation. Finally, the third one exploits a more global location information, at dataset-level, to estimate the coherence of the visual similarity between images with regard to their spatial proximity. The third and final contribution is a framework for semi-automatic visual validation and manual correction of a collection's structuring. This framework exploits on one side the most suited automatic approaches evaluated or proposed earlier, and on the other side a graph-based visualization platform. We exploit several visual clues to focus the expert's manual intervention on impacting areas. We show that this guided semi-automatic approach has merits in terms of performance as it solves mistakes in the structuring that automatic methods can not, these corrections being then largely diffused throughout the structure, improving it even more globally.We hope our work will provide some first insights on automatically structuring heritage iconographic content with content-based approaches but also encourage further research on guided semi-automatic structuring of image collections