Literatura académica sobre el tema "Compréhension du contenu multimédia"

Si l'intégration des technologies éducatives dans l'enseignement/apprentissage des langues présente un interêt certain, jusqu'à présnt, l'utilisation de ces nouveaux supports reste encore peu répandue, surtout au Vietnam. Dans ce travail, nous étudierons les aides offertes par les supports multimédias dans le domaine de l'enseignement/apprentissage de la compréhension orale. Cela étant dit, dans un premier temps, nous analyserons les travaux de recherche portant sur cette activité. Puis, nous aborderons les questions qui se posent lors de la mise en oeuvre d'un outil multimédia dans les pratiques pédagogiques. Enfin, à partir de notre expérience d'enseignant/concepteur, nous proposerons certains principes concernant la conception et l'élaboration d'un produit multimédia<br>Even if the integration of educational technology in teaching/learning languages is, indeed, of interest, up to present, the utilisation of such a new form of teaching aids istill not yet widely spread, as for the case of Vietnam. With this present study, we will closely look into the assistance provided by these multimedia teaching aids in the field of oral comprehension competency. Therefore, we will, firstly, analyse research work done in this field of studies. Next, we will try to trackle issues which have been questioned during the pedagogical process od designing a multimedia tool. Lastely, we will present some new principles concerning the conception and the elaboration of a multimedia product

L'arrivée récente de plateformes véhiculaires connectées à internet permet la diffusion de contenus d'infodivertissement en flux poussés et tirés pour les conducteurs et les passagers en situation de mobilité d'une manière comparable aux appareils de communication nomades actuels. Toutefois, la voiture constitue un terminal d'accès très différent d'un téléphone portable que ce soit en termes de caractéristiques techniques, mais aussi en matière d'usages. Cette thèse aborde le sujet de la fourniture personnalisée du contenu multimédia pour les automobilistes. Une étude des caractéristiques techniques des plateformes d'infodivertissement, des types de contenus et de métadonnées nous permet dans un premier temps de cerner les contraintes d'une architecture de fourniture individualisée pour un véhicule. La mise en perspective de ces contraintes nous permet d'établir une architecture de fourniture de contenu à la demande, implémentée dans un prototype. Nous abordons ensuite le problème de la personnalisation suivant deux axes complémentaires : D'une part, la personnalisation active qui fait intervenir une interface homme machine multimodale que nous étudions dans le cadre spécifique d'un navigateur de bibliothèque musicale en ligne permettant de créer facilement des listes de lectures multicritères dans un véhicule ; et d'autre part, la personnalisation passive du contenu qui fait intervenir une modélisation du contexte de l'utilisateur. Nous discutons de la répartition de composants fonctionnels permettant cette personnalisation passive et construisons une architecture répartie prenant en compte la définition individualisée de préférences contextuelles et son intégration dans l'architecture multimédia présentée plus haut. Les différentes solutions proposées sont enfin évaluées selon des méthodes expérimentales faisant intervenir des utilisateurs et des méthodes dites expertes.

L'objectif de cette thèse était de mettre en évidence les processus cognitifs impliqués dans le traitement synchrone d'informations verbales auditives et d'illustrations. Pour cela 5 expériences ont été menées. Au cours de 4 expériences, nous avons comparé les effets de différents types d'illustrations présentées simultanément à une explication auditive sur la construction du modèle mental. L'impact de différents systèmes visant à faciliter la co-référenciation entre les informations analogiques issues des illustrations et les informations verbales a également été évalué. Ces systèmes ont pris la forme de mises en surbrillance, de segmentations donnant accès ou non à l'illustration et d'une manipulation du niveau de connaissance analogique préalablement à l'apprentissage cible. Dans le cadre d'une convention de recherche, une 5e expérience a permis d'évaluer les effets de la modalité de présentation des informations verbales et de la présence de démonstrations animées dans un site Web<br>The aim of this research was to give an account of the cognitive processes involved in the simultaneous processing of auditory verbal information and corresponding pictorial information. For that, 5 experiments were conducted. Four experiments aimed at comparing different types of illustrations simultaneously presented with an audio explanation on the establishment of mental models. We also evaluated the impact of different systems which aimed at facilitating the co-referencing between the informational sources (i. E. Verbal and pictorial). These systems consisted in highlighting pictorial elements, inserting pauses in the documents which gave access or not to pictorial information and manipulating subjects prior knowledge about a target learning. The 5th experiment took place in a research convention and aimed at optimising the presentation format of a Web site. For that, we evaluated the effects of two factors: the modality of verbal information and the presence of animated picture

L'arrivée récente de plateformes automobiles connectées à internet permet la diffusion de contenus d'infodivertissement en flux poussés et tirés. Toutefois, la voiture constitue un terminal d'accès très différent d'un téléphone portable que ce soit en termes de caractéristiques techniques mais aussi en matière d'usages. Cette thèse aborde le sujet de la fourniture personnalisée du contenu multimédia pour les automobilistes. Une étude des caractéristiques techniques des plateformes d'infodivertissement, des types de contenus et de métadonnées nous permet dans un premier temps de cerner les contraintes d'une architecture de fourniture individualisée pour un véhicule. La mise en perspective de ces contraintes nous permet d'établir une architecture de fourniture de contenu à la demande, implémentée dans un prototype. Nous abordons ensuite le problème de la personnalisation suivant deux axes complémentaires : d'une part, la personnalisation active qui fait intervenir une interface homme machine multimodale que nous étudions dans le cadre spécifique d'un navigateur de bibliothèque musicale en ligne permettant de créer facilement des listes de lecture multicritères dans un véhicule ; et d'autre part, la personnalisation passive du contenu qui fait intervenir une modélisation du contexte de l'utilisateur. Nous discutons de la répartition de composants fonctionnels permettant cette personnalisation passive et construisons et évaluons une architecture répartie prenant en compte la définition individualisée de préférences contextuelles et son intégration dans l'architecture multimédia présentée plus haut<br>The recent advent of connected vehicle platforms permits the distribution of infotainment assets to drivers and passengers with pulled and pushed workflows in a comparable manner to current mobile handsets. However, vehicles differ technically from mobile phones in terms of capability and in terms of usage. This thesis tackles the subject of personalised media delivery to motorists. We first study the technical characteristics of vehicle infotainment platforms, media assets and metadata in order to identify the requirements of a media delivery architecture for a vehicle. Based on those constraints, we have specified a media on-demand framework, which has been developed in a prototype. Afterwards, we tackle the topic of personalisation in light of two complementary point of views : on the one hand, the driver can process active personalisation when using a proper human machine interface. We present a music browser for online libraries that allows the creation of multicriteria playlists while driving. On the other hand, we analyse passive personalisation, which makes use of the driving context. We discuss the repartition of the functional components and build up a distributed architecture, which takes into account individual context preferences and their integration in the multimedia architecture that we have formerly presented. Eventually, the different solutions are evaluated according to experimental and expert methods

L'objectif de la thèse de doctorat présentée dans ce mémoire est de proposer des techniques et des méthodologies nouvelles, simples et efficaces pour l'adaptation de contenu multimédia à diverses contraintes de contexte d'utilisation. Le travail est basé sur des parties de la norme MPEG-21 en cours de définition, qui vise à définir les différents composants d'un système de distribution de contenus multimédia. Le travail de cette thèse est divisé en deux parties principales: l'adaptation de médias uniques, et l'adaptation sémantique de documents multimédia composés. Dans l'adaptation de médias uniques, le média est adapté aux contraintes du contexte de consommation, telles que les capacités du terminal, les préférences de l'utilisateur, les capacités du réseau, les recommandations de l'auteur, etc... Dans cette forme d'adaptation, le média est considéré hors de tout contexte de présentation multimédia structurée, ou indépendamment de la composition multimédia (scène) dans laquelle il est utilisé. Nous avons défini des outils et descripteurs, étendant les outils et descripteurs MPEG-21 DIA, pour la description des suggestions d'adaptation de médias (également appelée Conversion de Ressource), et la description des paramètres correspondants. Nous avons réalisé un moteur d'adaptation de médias qui fonctionne selon ces suggestions ainsi que selon les contraintes du contexte, et qui applique au media, la forme la plus appropriée d'adaptation avec des valeurs optimales des paramètres d'adaptation, afin d'obtenir la meilleure qualité d'utilisation. Durant cette partie du travail, nous avons apporté plusieurs contributions à la norme MPEG-21 DIA. Dans l'adaptation sémantique de documents multimédia structurés, nous avons considéré l'adaptation selon les relations temporelles, spatiales et sémantiques entre les objets média de la scène. En adaptant une présentation multimédia afin de préserver l'uniformité et la logique de la scène adaptée, le processus d'adaptation doit avoir accès à l'information sémantique de la présentation. Nous avons défini un langage d'extension de la description de scène pour l'expression de cette information sémantique, à base de descripteurs. Ces descripteurs contiennent des informations fournies par l'auteur de la scène multimédia, ou par n'importe quelle autre entité dans la chaîne de livraison multimédia. L'information incluse dans ces descripteurs aide le moteur d'adaptation à décider de la forme et de la nature optimales des adaptations qui doivent être appliquées au document. Cette information consiste en une information sémantique indépendante de chaque objet média, les dépendances sémantiques entre les objets média de la scène et les préférences sémantiques sur la fragmentation de scène. Pour la réalisation d'un tel système d'adaptation, nous avons utilisé SMIL 2.0 pour décrire nos scènes multimédia. Cependant, la méthodologie est indépendante de ce choix et peut être appliquée à d'autres types de documents multimédia, tels que MPEG-4 XMT. Nous avons implémenté un moteur d'adaptation sémantique expérimental, qui manipule et adapte des documents SMIL, en utilisant les informations sémantiques et physiques du contenu, ainsi que des contraintes de contexte.

Dans cette thèse, nous traitons de la compréhension de contenus visuels, qu’il s’agisse d’images, de vidéos ou encore de contenus 3D. On entend par compréhension la capacité à inférer des informations sémantiques sur le contenu visuel. L’objectif de ce travail est d’étudier des méthodes combinant deux approches : 1) l’analyse automatique des contenus et 2) l’analyse des interactions liées à l’utilisation de ces contenus (analyse des usages, en plus bref). Dans un premier temps, nous étudions l’état de l’art issu des communautés de la vision par ordinateur et du multimédia. Il y a 20 ans, l’approche dominante visait une compréhension complètement automatique des images. Cette approche laisse aujourd’hui plus de place à différentes formes d’interventions humaines. Ces dernières peuvent se traduire par la constitution d’une base d’apprentissage annotée, par la résolution interactive de problèmes (par exemple de détection ou de segmentation) ou encore par la collecte d’informations implicites issues des usages du contenu. Il existe des liens riches et complexes entre supervision humaine d’algorithmes automatiques et adaptation des contributions humaines via la mise en œuvre d’algorithmes automatiques. Ces liens sont à l’origine de questions de recherche modernes : comment motiver des intervenants humains ? Comment concevoir des scénarii interactifs pour lesquels les interactions contribuent à comprendre le contenu manipulé ? Comment vérifier la qualité des traces collectées ? Comment agréger les données d’usage ? Comment fusionner les données d’usage avec celles, plus classiques, issues d’une analyse automatique ? Notre revue de la littérature aborde ces questions et permet de positionner les contributions de cette thèse. Celles-ci s’articulent en deux grandes parties. La première partie de nos travaux revisite la détection de régions importantes ou saillantes au travers de retours implicites d’utilisateurs qui visualisent ou acquièrent des con- tenus visuels. En 2D d’abord, plusieurs interfaces de vidéos interactives (en particulier la vidéo zoomable) sont conçues pour coordonner des analyses basées sur le contenu avec celles basées sur l’usage. On généralise ces résultats en 3D avec l’introduction d’un nouveau détecteur de régions saillantes déduit de la capture simultanée de vidéos de la même performance artistique publique (spectacles de danse, de chant etc.) par de nombreux utilisateurs. La seconde contribution de notre travail vise une compréhension sémantique d’images fixes. Nous exploitons les données récoltées à travers un jeu, Ask’nSeek, que nous avons créé. Les interactions élémentaires (comme les clics) et les données textuelles saisies par les joueurs sont, comme précédemment, rapprochées d’analyses automatiques des images. Nous montrons en particulier l’intérêt d’interactions révélatrices des relations spatiales entre différents objets détectables dans une même scène. Après la détection des objets d’intérêt dans une scène, nous abordons aussi le problème, plus ambitieux, de la segmentation<br>This thesis focuses on the problem of understanding visual contents, which can be images, videos or 3D contents. Understanding means that we aim at inferring semantic information about the visual content. The goal of our work is to study methods that combine two types of approaches: 1) automatic content analysis and 2) an analysis of how humans interact with the content (in other words, usage analysis). We start by reviewing the state of the art from both Computer Vision and Multimedia communities. Twenty years ago, the main approach was aiming at a fully automatic understanding of images. This approach today gives way to different forms of human intervention, whether it is through the constitution of annotated datasets, or by solving problems interactively (e.g. detection or segmentation), or by the implicit collection of information gathered from content usages. These different types of human intervention are at the heart of modern research questions: how to motivate human contributors? How to design interactive scenarii that will generate interactions that contribute to content understanding? How to check or ensure the quality of human contributions? How to aggregate human contributions? How to fuse inputs obtained from usage analysis with traditional outputs from content analysis? Our literature review addresses these questions and allows us to position the contributions of this thesis. In our first set of contributions we revisit the detection of important (or salient) regions through implicit feedback from users that either consume or produce visual contents. In 2D, we develop several interfaces of interactive video (e.g. zoomable video) in order to coordinate content analysis and usage analysis. We also generalize these results to 3D by introducing a new detector of salient regions that builds upon simultaneous video recordings of the same public artistic performance (dance show, chant, etc.) by multiple users. The second contribution of our work aims at a semantic understanding of fixed images. With this goal in mind, we use data gathered through a game, Ask’nSeek, that we created. Elementary interactions (such as clicks) together with textual input data from players are, as before, mixed with automatic analysis of images. In particular, we show the usefulness of interactions that help revealing spatial relations between different objects in a scene. After studying the problem of detecting objects on a scene, we also adress the more ambitious problem of segmentation

Aujourd'hui, l'accès aux documents dans les bases de données, d'archives et sur Internet s'effectue principalement grâce à des données textuelles : nom de l'image ou mots-clés. Cette recherche est non exempte de fautes plus ou moins graves : omission, orthographe, etc. Les progrès effectués dans le domaine de l'analyse d'images et de l'apprentissage automatique permettent d'apporter des solutions comme l'indexation et la recherche à base des caractéristiques telles que la couleur, la forme, la texture, le mouvement, le son et le texte. Ces caractéristiques sont riches en informations et notamment d'un point de vue sémantique. Cette thèse s'inscrit dans le cadre de l'indexation automatique par le contenu sémantique des documents multimédia: plans vidéo et images-clés. L'indexation consiste à extraire, représenter et organiser efficacement le contenu des documents d'une base de données. L'état de l'art du domaine est confronté au «fossé sémantique» qui sépare les représentations visuelles brutes (bas-niveau) et conceptuelles (haut-niveau). Pour limiter les conséquences de cette problématique, nous avons introduit dans le système plusieurs types de descripteurs, tout en prenant à notre avantage les avancées scientifiques dans le domaine de l'apprentissage automatique et de la ``fusion multi-niveaux''. En effet, la fusion est utilisée dans le but de combiner des informations hétérogènes issues de plusieurs sources afin d'obtenir une information globale, plus complète, de meilleure qualité, permettant de mieux décider et d'agir. Elle peut être appliquée sur plusieurs niveaux du processus de classification. Dans cette thèse, nous avons étudié la fusion bas-niveau (précoce), la fusion haut-niveau (tardive), ainsi qu'à un niveau décisionnel basé sur l'ontologie et la similarité inter-concepts dit de raisonnement. Les systèmes proposés ont été validés sur les données de TRECVid (projet NoE K-Space) et les vidéos de football issues d'Orange-France Télécom Labs (projet CRE-Fusion). Les résultats révèlent l'importance de la fusion sur chaque niveau du processus de classification, en particulier, l'usage de la théorie des évidences.