Academic literature on the topic 'Parole visuelle et audiovisuelle'

La pragmatique de la communication interpersonnelle a été sous représentée dans le domaine de la recherche en traduction audiovisuelle (Mason, 1989). Cette lacune en recherche est regrettable si l'on considère des langues telles que le coréen, dans lesquelles les notions telles que la familiarité et le statut accueillent obligatoirement une représentation morphosyntactique. Un domaine particulièrement intéressant de la pragmatique coréenne est le changement stylistique, un phénomène par lequel les interlocuteurs changent leurs niveaux de parole pour des considérations stratégiques ou normatives. Cette étude examine 16 cas de de changements stylistiques qui ont lieu dans 64 épisodes de séries télévisées coréennes. Une analyse de ces scènes et leurs sous-titres en anglais révèlent que (1) le changement stylistique a lieu pour des raisons stratégiques, souvent pour dépeindre la froideur ou la rage des interlocuteurs ; (2) a lieu également pour des raisons normatives indiquant des changements importants de relations entre les interlocuteurs : (3) il est de surcroît utilisé pour transmettre des cadres relationnels discursifs ; (4) il est parfois redondant, surtout quand il est utilisé pour exprimer les crises de colère ; et (5) il est souvent négligé surtout lorsqu'il est utilisé en tant que dispositif dramaturge pour manifester un changement relationnel ou démontrer les difficultés qu'ont les personnages avec les ambiguïtés inhérentes dans les relations. Cette étude confirme les résultats de Hatim et Mason (1997) selon lesquels négliger les phénomènes pragmatiques est un problème potentiel dans le domaine des traductions audio visuelles et suggère un besoin plus grand pour la recherche descriptive et de meilleures pratiques dans ce domaine.

Résumé L’adaptation audiovisuelle – le sous-titrage et le doublage – révèle quelques surprises quant à la place qu’elle réserve à l’écriture. Le sous-titrage consiste bel et bien à ajouter une ou deux lignes de texte écrit aux images animées, ce qui en fait, en quelque sorte, une adaptation « audio-lego-visuelle ». En revanche, le doublage ne devrait a priori pas trop s’encombrer d’écriture puisqu’il s’agit de remplacer du langage parlé par du langage parlé. Or il en est tout autrement : de la « détection » à la « calligraphie » en passant tout de même par la traduction et l’adaptation, l’écriture y est omniprésente. Et le sens, si cher au traducteur, ne se cache pas toujours là où on le croit… Le but du « voice-over », méthode utilisée particulièrement dans le cadre de documentaires, est d’effacer toute trace d’écriture en faisant semblant de parler de manière spontanée, donc de créer une illusion d’interprétation simultanée. Enfin, il existe un cas où le principe même des langues source et cible semble être quelque peu ébranlé : la petite émission hebdomadaire du nom de « Karambolage » d’Arte. Peut-on alors encore parler de traduction? N’est-ce pas plutôt une sorte de rédaction ou création parallèle, bilingue et biculturelle?

Résumé Gaston Lagaffe est apparu en 1957 dans la revue Spirou dans une vignette au milieu d’une page de texte. Dans ce genre de revue de l’époque, le texte côtoyait la bande dessinée éditée sous la forme d’un feuilleton qu’un jour par semaine les jeunes allaient chercher avec avidité afin de savoir ce qui était arrivé à leur personnage préféré. C’est dans ce contexte qu’est né le personnage Gaston. Sa consolidation en tant que personnage puis (anti-)héros se fait petit à petit au fil des numéros, au fil des images et du discours, avec l’intervention des lecteurs, de l’auteur, des personnages qui tendent à s’effacer ou à être effacé pour laisser malgré eux la place à Gaston. C’est à travers la prise de parole de ce personnage, dont le discours était, dans un premier temps, uniquement imagé, qu’il s’est transformé et s’est constitué comme anti-héros. C’est donc l’émergence progressive de Gaston dans l’énonciation que nous allons ici étudier. Nous tenterons de montrer comment un personnage comme Gaston s’approprie l’énonciation visuelle et renverse les valeurs texte / image au profit de l’image / texte au point que le discours repose d’abord sur l’image, reléguant le discours oral (écrit) à certains moments clés qui feront avancer la transformation du personnage. Cette appropriation visuelle, liée à son statut de personnage, ne peut d’ailleurs se faire que grâce à la prise de parole, brève, de Gaston et à l’effacement de son concurrent, Fantasio.

La popularité grandissante des médias sociaux a réactualisé un discours présent depuis les débuts du réseau Internet, selon lequel les usagers du cyberespace, contribuant à la production du contenu en ligne, participent à l’essor de nouvelles structures de production appelées à révolutionner les industries de la culture. En quittant le simple statut de consommateur pour devenir générateur de contenu, l’internaute contribuerait activement au développement culturel de sa communauté et à la circulation de nouvelles formes de productions. En s’intéressant au rôle tenu par le réseau Internet dans la circulation de la production culturelle autochtone au Québec et au Canada, l’auteur a observé en quoi le cyberespace permet d’enrichir la production traditionnelle et comment le Web contribue à diversifier l’offre et à modifier les usages. En somme, dans quelle mesure les nouveaux moyens de communication contribuent- ils à élargir la prise de parole ou à renforcer la domination de médias déjà existants ?

Depuis trente ans, les Nehirowisiwok sont engagés dans un processus de revendication territoriale avec les gouvernements québécois et canadien. Cet article vise à documenter l’une des voies privilégiées de leur démarche de résistance, d’autodétermination et de reconnaissance de la souveraineté : celle du discours. La prise de parole est considérée comme un acte créatif à l’intérieur duquel s’exprime toute la capacité d’agir des Nehirowisiwok. Des récits récoltés lors de recherches de terrain réalisées depuis 2000 en territoire atikamekw nehirowisiw, ainsi que la production audiovisuelle atikamekw nehirowisiw du projet Wapikoni Mobile, constituent différentes sources permettant de relever les conceptions et les préoccupations des Nehirowisiwok d’aujourd’hui à l’égard de leur territoire. Avant de s’intéresser aux modalités d’appropriation des nouveaux médias par les autochtones, en particulier par les jeunes Nehirowisiwok, les auteurs ancrent d’abord leur propos dans des éléments de continuité de la tradition orale, pour ensuite valoriser le « dire » que des aînés témoins des transformations du territoire adressent aux nouvelles générations de Nehirowisiwok et aux non-autochtones.

À travers une lecture attentive de la série Face to Face d’Ann Hamilton – des photographies prises en exposant une pellicule photosensible posée dans la bouche de l’artiste – et suivant la réflexion de Jean-Luc Nancy sur la bouche dans Ego sum, ce texte traite de la relation entre « la matière photographique » et la question de l’ekphrasis. En prêtant attention aux manières dont la photographie vient au jour à travers les conditions de son énonciation, Face to Face déplace l’agencement temporel traditionnel de l’ekphrasis, où la représentation verbale tente de saisir la représentation visuelle. Ces photographies font plutôt passer au premier plan les conditions performatives de l’écriture ekphrastique, en déplaçant l’accent mis sur la description vers des questions d’exposition, de glossolalie et de parole.

RESUMEL’objectif de cet article est de déterminer l’impact de la tâche sur la prononciation du FLE, en l’occurrence sur le comportement du schwa. Dans cette perspective sont étudiées les productions de 145 apprenants autrichiens du FLE de niveau débutant à B1 dans la lecture d’une liste de mots et de deux textes, dans une tâche de répétition de mots ainsi que dans un entretien guidé (corpus de 87 heures et 45 minutes). L’étude se concentre sur la production du schwa dans huit mots et constructions : s(e)maine, ch(e)mise, premier, m(on)sieur, tout l(e) temps, tout l(e) monde, appartement et gouvernement. Nos résultats montrent que les 35 heures de parole spontanée ne contiennent que peu ou même pas d’occurrences de ces mots pour la moitié des cas analysés. Bien qu’il s’agisse d’une méthode valable pour l’analyse du système linguistique, il s’avère dans la recherche de la prononciation des apprenants indispensable de la compléter par des tâches d’élicitation. L’élicitation par des formes graphiques présente pourtant l’inconvénient d’influencer la prononciation par la présence visuelle des lettres (sans différence notable entre la liste de mots et les textes). Cette influence ne se limite pas au processus de décodage en temps réel.

Dans la consultation d’acupuncture, les aiguilles remplacent les médicaments du médecin allopathe. Ainsi, le traitement n’est pas différé, mais s’effectue plutôt sur-le-champ. Dans ces conditions, quelle est la place accordée au corps, à la parole du malade et à ses émotions dans la construction de « sa maladie » ? Quels en sont les impacts pour sa prise en charge thérapeutique ? Cette médecine propose-t-elle un autre modèle de mise en récit des maux et de la maladie ? Au-delà des résultats mêmes de l’étude, cet article tente d’évaluer l’impact du dispositif filmique comme mode de connaissance anthropologique ainsi que les possibilités heuristiques qu’offre le film pour une anthropologie des pratiques thérapeutiques en situation clinique. Nous essaierons ainsi d’aller plus loin dans ce domaine de l’anthropologie visuelle, encore peu exploré.

Der vorliegende Beitrag untersucht das Werk André Leroi-Gourhans und insbesondere seine zweibändige Monographie Le geste et la parole auf ihre kunsttheoretische Relevanz; so werden zentrale Debatten über künstlerische Kreativität behandelt und untersucht, inwiefern Leroi-Gourhan zu ihnen beitragen kann. Nach einer einführenden Darstellung einiger allgemeiner Prämissen von Leroi-Gourhan (I) wird in einem zweiten Teil (II) gezeigt, dass seine Theorie der »Rhythmen« wertvolle Einsichten in die Debatte um »Kunstwollen« und Materialismus bereithält. Der dritte Abschnitt (III) diskutiert Leroi-Gourhans Werk im Kontext der Debatte um Industrialisierung und audiovisuelle Kultur in ihrem Gegensatz zu handwerklicher Kreativität. Schließlich (IV) werden Leroi-Gourhans Schlussfolgerungen bezüglich Wahrnehung und Digitalität mit einigen Aspekten zeitgenössischer Kunsttheorie verbunden. Im Ganzen soll gezeigt werden, dass Leroi-Gourhans Werk ein flexibles analytisches Instrumentarium bereithält, um menschliche Evolution und Kunstgeschichte zusammenzudenken und Kreativität im Kontext der allgemeinen kulturellen und technologischen Verschiebungen nach der Moderne zu untersuchen.<br><br>This article relates the work of André Leroi-Gourhan and mostly his two-volume ok Le geste et la parole to art theory. More specifically, it is concerned with central debates on artistic creativity and examines how Leroi-Gourhan can contribute to them. After presenting some general premises of Leroi-Gourhan’s work (I), its second part (II) argues that his theory on ›rhythms‹ supplies valuable insights to the debate of Kunstwollen and materialism. The third part (III) discusses his work within the debate of industrialization and audiovisual culture as opposed to manual and artisanal creativity. The fourth part (IV) links Leroi-Gourhan’s conclusions on perception and digitality with some aspects of contemporary art theory. On the whole, this article argues that Leroi-Gourhans’s work provides flexible analytical tools in order to think art history and human evolution in conjunction, as well as a specifi c framework for examining creativity within the general cultural and technological shifts after the modern age. The conclusions of this essay shed some light on Leroi-Gourhan’s theories on art and offer some methodological perspectives to contemporary artistic theory.

En situation de perception audiovisuelle de la parole (i.e., lorsque deux interlocuteurs communiquent face à face) et lorsque le signal acoustique est bruité, l'intelligibilité des sons produits par un locuteur est augmentée lorsque son visage en mouvement est visible. L'objectif des travaux présentés ici est de déterminer si cette capacité à " lire sur les lèvres " nous est utile seulement pour augmenter l'intelligibilité de certains sons de parole (i.e., niveau de traitement pré-lexical) ou également pour accéder au sens des mots (i.e., niveau de traitement lexical). Chez l'adulte, nos résultats indiquent que l'information visuelle participe à l'activation des représentations lexicales en présence d'une information auditive bruitée (Etude 1 et 2). Voir le geste articulatoire correspondant à la première syllabe d'un mot constitue une information suffisante pour contacter les représentations lexicales, en l'absence de toute information auditive (Etude 3 et 4). Les résultats obtenus chez l'enfant suggèrent néanmoins que jusque l'âge de 10 ans, l'information visuelle serait uniquement décodée à un niveau pré-lexical (Etude 5).

Nos travaux ont consisté à étudier les mécanismes perceptifs et neuronaux impliqués lors de la perception audiovisuelle de la parole chez des patients sourds postlinguaux implantés cochléaires et des sujets contrôles normo-entendants. Dans ce but nous avons testé les performances audiovisuelles des patients implantés au cours de suivis longitudinaux en compor-temental et en tomographie par émission de positrons, ainsi qu'au travers d'un paradigme de parole audio-visuelle incongruente (McGurk). Pour comparaison nous avons systématiquement testé des sujets contrôles dans les mêmes conditions. Nous avons également testé ces derniers en condition de lecture labiale puis en utilisant des dégradations de la parole auditive et audiovisuelle par du bruit blanc et par une simulation acoustique d'implant cochléaire. L'ensemble de ces études concorde pour indiquer, à la suite de l'implantation cochléaire, une réorganisation rapide des réseaux corticaux multi-sensoriels impliqués dans l'intégration audiovisuelle de la parole, aboutissant à une combinaison optimale des indices perceptifs audiovisuels.

Cette thèse porte sur la perception visuelle, auditive et audiovisuelle des voyelles nasales [ɑ̃] (« lent »),[ɔ̃] (« long ») et [ɛ̃] (« lin ») par des adultes devenus sourds, implantés cochléaires et implantés dutronc cérébral. L’étude sur la perception visuelle des voyelles, auprès de 22 adultes devenus sourds,redéfinit les sosies labiaux des voyelles nasales et propose une mise à jour de la classification desvisèmes. Trois études sur l’identification auditive des voyelles nasales auprès de 82, 15 et 10 adultesimplantés cochléaires mettent en évidence leur difficulté à reconnaitre les trois voyelles nasales, qu’ilsperçoivent comme des voyelles orales. Les analyses acoustiques et perceptives suggèrent que lesadultes implantés cochléaires s’appuient sur les informations fréquentielles des deux premiers picsspectraux mais négligent les informations d’intensité relative de ces pics. D’après l’étude menéeauprès de 13 adultes implantés du tronc cérébral, des informations acoustiques linguistiques sonttransmises par l’implant du tronc cérébral mais la fusion entre les informations auditives et visuellespourrait être optimisée pour l’identification des voyelles. Enfin, une enquête auprès de 179orthophonistes pointe le besoin d’une information sur la définition phonétique articulatoire actualiséedes voyelles [ɑ̃] et [ɛ̃]
This thesis focuses on the visual, auditory and auditory-visual perception of french nasal vowels [ɑ̃](« lent »), [ɔ̃] (« long ») and [ɛ̃] (« lin ») by Cochlear Implant (CI) and Auditory Brainstem Implant(ABI) adults users. The study on visual perception of vowels, with 22 deafened adults, redefines thelip configuration of french nasal vowels and provides an update of the classification of vocalic visualphonemes. Three studies on auditory identification of nasal vowels with 82, 15 and 10 CI usershighlight their difficulty in recognizing the three nasal vowels, which they perceive as oral vowels.Acoustic and perceptual analyzes suggest that adults with CI rely on frequency informations of thefirst two spectral peaks but miss the informations of relative intensity of these peaks. The study with13 ABI users show that some linguistic acoustic cues are transmitted by the ABI but the fusion ofauditory and visual features could be optimized for the identification of vowels. Finally, a survey of179 Speech Language and Hearing Therapists show the need of an update on the phonetic articulationof french nasal vowels [ɑ̃] and [ɛ̃]

En situation de perception audiovisuelle de la parole, comme lors des conversations face-àface,nous pouvons tirer partie des informations visuelles fournies par les mouvements orofaciauxdu locuteur. Ceci améliore l’intelligibilité du discours. L'objectif de ce travail était dedéterminer si ce « bénéfice audiovisuel » permet de mieux identifier les phonèmes quin’existent pas dans notre langue. Nos résultats révèlent que l’utilisation de l’informationvisuelle permet de surmonter les difficultés posées par la surdité phonologique dont noussommes victimes lors d'une présentation auditive seule (Etude 1). Une étude EEG indique quel’apport des informations visuelles au processus d’identification de phonèmes non natifspourrait être dû à une modulation précoce des traitements effectués par le cortex auditifprimaire (Etude 2). En présentation audiovisuelle les phonèmes non natifs donnent lieu à uneP50, ce qui n’est pas observé pour les phonèmes natifs. Il semblerait également quel'expérience linguistique affecte l'utilisation des informations visuelles puisque des bilinguesprécoces semblent moins aptes à exploiter ces indices pour distinguer des phonèmes qui neleur sont pas familiers (Etude 3). Enfin, l’étude de l’identification de consonnes plosivesnatives avec une tâche de dévoilement progressif nous a permis d’évaluer la contributionconjointe et séparée des informations auditives et visuelles (Etude 4). Nous avons observé quel’apport de la modalité visuelle n’est pas systématique et que la prédictibilité de l’identité duphonème dépend de la saillance visuelle des mouvements articulatoires du locuteur
During audiovisual speech perception, like in face-to-face conversations, we can takeadvantage of the visual information conveyed by the speaker's oro-facial gestures. Thisenhances the intelligibility of the utterance. The aim of this work was to determine whetherthis “audiovisual benefit” can improve the identification of phonemes that do not exist in ourmother tongue. Our results revealed that the visual information contributes to overcome thephonological deafness phenomenon we experience in an audio only situation (Study 1). AnERP study indicates that this benefit could be due to the modulation of early processing in theprimary auditory cortex (Study 2). The audiovisual presentation of non native phonemesgenerates a P50 that is not observed for native phonemes. The linguistic background affectsthe way we use visual information. Early bilinguals take less advantage of the visual cuesduring the processing of unfamiliar phonemes (Study 3). We examined the identificationprocesses of native plosive consonants with a gating paradigm to evaluate the differentialcontribution of auditory and visual cues across time (Study 4). We observed that theaudiovisual benefit is not systematic. Phoneme predictability depends on the visual saliencyof the articulatory movements of the speaker

L'enquête relatée dans cette thèse a été menée en Bretagne et en région lyonnaise auprès de conteurs contemporains. La plupart des pratiques observées se sont constituées dans le sillage dudit "renouveau du conte" qui a pris place en France au début des années 1970. La présente recherche propose une analyse de la performance orale, dans le but de mieux comprendre la portée de cette pratique – les liens, accointances, rencontres qu'elle occasionne – et les causes de son efficience sociale. Pour ce faire, le terrain de recherche a été envisagé sous trois focales ethnographiques : la scène (quand l'énonciation est examinée de très près), les coulisses (une observation des processus d'élaboration) et le contexte (ethnographie qui vise à appréhender l'environnement social et culturel du contage). La méthodologie s'est voulue expérimentale – recherche par tâtonnements – réflexive et dialogique. De nombreux dispositifs d'enquête ont été élaborés, la majorité impliquant un recours aux technologies audiovisuelles. Le parcours proposé commence par une plongée dans l'univers de deux conteurs bretons : où l'on découvre pourquoi les conteurs peuvent être vus comme des porteurs de mémoire. Par la suite s'opère un "zoom" sur la performance orale des conteurs ; ce sont les modalités d'entrée en scène, la chorégraphie et la réception par l'auditoire qui font l'objet d'un long examen. Il en résulte que les artistes de la parole provoquent une situation dans laquelle les imaginaires se croisent. Le dernier itinéraire de recherche retracé renvoie aux situations dans lesquelles le conte est mobilisé comme un instrument de médiation sociale. Les conteurs et leurs apprentis s’attellent alors à "mettre en bouche" des histoires dans lesquelles s'expriment en filigrane des sentiments d'appartenance, des expériences vécues et au travers desquelles se créent des passerelles culturelles et sociales
The investigation related in this thesis was conducted in Bretagne (France) and in urban areas of Lyon, in close collaboration with some contemporary storytellers. Most of their practice were formed in the wake of the so-called "revival of storytelling" that took place in France in the early 1970s. The present research provides an analysis of the oral performance, in order to better understand the scope of this practice – the social ties, acquaintances, encounters it creates -- and the causes of its social efficiency. In that aim, the fieldwork was considered under three ethnographic scales: the stage (when the enounciation is evaluated very closely), the wings (an observation of the creative process) and the context (ethnography that aims to understand social and cultural environment of storytelling). The methodology pretended to be experimental – searching by trial and error approach – reflexive and dialogic. Many devices were developed, most of them requiring the use of audiovisual technology.The itinerary proposed here starts with an immersion in the world of two Bretons storytellers, which shows why storytellers can be considered as "memory holders". Then, we make a "zoom" on the oral performance of storytellers; the ways they enter in stage, their choreography and the reception by audience are the subjects of a long examination. It follows that the storytellers inciting a situation in which the imaginaries cross. The last itinerary of research refers to the situations in which the storytelling is used as an instrument of social mediation. At that time, storytellers and their apprentices work to "put in their mouths" stories in which are expressed, beneath the surface, feelings of belonging, life experiences and through which social and cultural bridges are created

Le présent travail de thèse s’inscrit dans le domaine de recherche sur la perception audio-visuelle (AV) de la parole. Son objectif est de répondre aux questions suivantes : (i) Quelle est la nature du traitement de l’input visuel (holistique vs analytique) dans la perception AV de la parole ? (ii) Quelle est l’implication des régions faciales extra-buccales dans la perception AV de la parole ? (iii) Quel est le comportement oculaire des sujets lors de la perception AV de la parole ? (iv) Quelle est l’évolution de la perception AV de la parole dans les aspects (i), (ii) et (iii) au cours du développement. Le paradigme de dégradation de l’information auditive par le bruit a été utilisé dans deux expériences qui ont été menées avec des participants de quatre groupes d’âge, enfants, préadolescents, adolescents, adultes (16 participants par groupe). La tâche des participants consistait à répéter les syllabes de type consonne-voyelle /a/, faiblement et fortement dégradées par le bruit rose, présentées dans quatre conditions différentes. Ces conditions étaient les suivantes : une auditive (AU) et trois audio-visuelles (AV) (AV visage (AVV)), AV « bouche extraction » (AVB-E) (format bouche sans contrastes lumineux), AV « bouche-masquage » (AVB-M) (format bouche avec contrastes lumineux) pour l’expérience 1, et AVV, AV « bouche active » (AVV-BA) (format « visage » avec un contexte facial statique), AV « régions extra-buccales actives » (AVV-EBA) (format « visage » sans bouche) pour l’expérience 2. Le nombre total des répétitions correctes par condition (performance totale), la différence dans ce score entre chaque condition AV et la condition auditive (gain AV) et la durée totale des fixations oculaires dans la région buccale et les autres régions faciales (pour les formats AVV) ont été analysés. Les principaux résultats montrent que les mécanismes de traitement AV de la parole atteignent leur maturité avant l’enfance tardive. La vision du visage entier de l’orateur n’est pas avantageuse pour ce type de traitement. Elle semble même désavantageuse pour les adultes possiblement car elle déclenche le traitement d’autres aspects du visage (identité, expressions faciales) qui pourrait interférer avec le traitement des indices acoustiques relatifs à la parole. Pour les quatre groupes d’âge, la contribution des mouvements articulatoires dans les régions extra-buccales à la perception AV de la parole s’est avérée faible et limitée aux conditions de haute incertitude quant à l’information auditive. Pour les stimuli respectant les caractéristiques écologiques de l’information faciale, les patterns du comportement oculaire dans la perception bimodale de la parole varient en fonction du degré de dégradation de l’information auditive, mais semblent relativement stables durant la période allant de l’enfance à l’âge adulte. Finalement, les modalités de présentation de l’information visuelle localisée à la bouche ont affecté le comportement oculaire chez les adultes, les pré-adolescents et les enfants. Ceci suggère que le traitement visuo-attentionnel dans le cadre de la perception AV de la parle est sensible aux caractéristiques de bas niveau des stimuli visuels chez ces populations. Les variations au niveau du traitement visuo-attentionnel s’accompagnent, dans une certaine mesure, de variations dans la perception AV de la parole
The present thesis work fits into the domain/is incorporated within the framework of research on audio-visual (AV) speech perception. Its objective is to answer the following questions: (i) What is the nature of visual input processing (holistic vs analytic) in AV speech perception? (ii) What is the implication of extra-oral facial movement in AV speech perception? (iii) What are the oculomotor patterns in AV speech perception? (iv) What are the developmental changes in the above-mentioned aspects (i), (ii) and (iii)? The classic noise degradation paradigm was applied in two experiments conducted in the framework of the present thesis. Each experiment were conducted on participants of 4 age groups, adults, adolescents, pre-adolescents and children. Each group consisted of 16 participants. Participants’ task was to repeat consonant-vowel (/a/) syllables. The syllables were both mildly and strongly degraded by pink noise and were presented in four audio(-visual) conditions, one purely auditory (AO) and three audio-visual conditions. The AV conditions were the following: (i) AV face (AVF), (ii) AV « mouth extraction » (AVM-E ; mouth format without visual contrasts), (iii) AV « mouth window » (AVM-W ; mouth format with high visual contrasts) in experiment 1, and (i) AVF, (ii) AVF « mouth active (and facial frame static) » (AVF-MA), (iii) AVF « extra-oral regions active (and mouth absent) » (AVF-EOA) in experiment 2. The data relative to (i) the total number of correct repetitions (total performance), (ii) the difference in the correct repetitions score between each AV and the AO condition (AV gain), and (iii) the total fixations duration in the oral area and other facial areas (for the AV formats) were analyzed. The main results showed that the mechanisms involved in AV speech perception reach their maturity before late childhood. The vision of the talker’s full face does not seem to be advantageous in this context. It seems that the vision of the talker’s full face might perturb AV speech processing in adults, possibly because it triggers processing of other types of information (identity, facial expressions) which could in terms interfere with the processing of acoustic aspects of speech. The contribution of the extra-oral articulatory movement to AV speech perception was poor and limited to the condition of highly degraded auditory information. For ecologically presented facial information, the oculomotor patterns in AV speech perception varied as a function of the level of auditory information degradation, but appeared rather stable across the 4 groups. Finally, the modalities of the featural (mouth) facial information presentation affected the oculomotor behavior patterns in adults, pre-adolescents and children, thus suggesting a certain sensitivity of visuo-attentional processing to low-level visual stimuli characteristics in AV speech perception. The variations in visuo-attentional processing seemed to be associated to a certain extent with variations in AV speech perception

La communication parlée est par essence multimodale. Le signal acoustique véhicule la modalité auditive, et l'image la modalité visuelle et gestuelle (déformations du visage). Le signal de parole est en effet la conséquence des déformations du conduit vocal sous l'effet du mouvement de la mâchoire, des lèvres, de la langue, etc.. pour moduler le signal d'excitation produit par les cordes vocales ou les turbulences aérodynamiques. Ces déformations sont visibles au niveau du visage (lèvres, joues, mâchoire) grâce à la coordination des différents muscles orofaciaux et de la déformation de la peau induite par ces derniers. La modalité visuelle permet de fournir des informations complémentaires au signal acoustique, et elle devient indispensable dans le cas où le signal acoustique est dégradé, comme c'est le cas chez les malentendants, ou en milieu bruité. D'autres modalités peuvent être liées à la parole, comme les mouvements des sourcils et les différents gestes qui expriment l'émotion. Cette dernière modalité suprasegmentale peut, comme la modalité visuelle, compléter le message acoustique ou acoustique-visuel. Cet exposé présentera les travaux que je mène sur la parole multimodale. Ce caractère multimodal de la communication parlée est traité de deux façons différentes : (1) étudier les deux composantes articulatoire et acoustique de la parole. En effet, je m'intéresse à la caractérisation articulatoire des sons et à l'étude du lien entre l'espace articulatoire et l'espace acoustique. En particulier, je m'intéresse à la récupération de l'évolution temporelle du conduit vocal à partir du signal acoustique (aussi appelée inversion acoustique-articulatoire) et à l'étude de la caractérisation articulatoire de la parole par l'analyse de corpus de données articulatoires. (2) étudier les deux composantes acoustique et visuelle. Dans ce cadre, je m'intéresse à l'effet de la déformation du conduit vocal sur l'apparence du visage qui véhicule le message visuel. La synthèse acoustique-visuelle est un cadre qui permet d'étudier cet aspect. De plus, l'étude de l'intelligibilité audiovisuelle permet de mieux comprendre les mécanismes de la communication audiovisuelle, mais également d'évaluer le système de synthèse acoustique-visuelle. Enfin, je présenterai mon programme de recherche qui porte sur la parole multimodale expressive que je propose d'étudier globalement, c.-à-d. en considérant les composantes articulaire, acoustique et visuelle ainsi que l'expressivité intrinsèque de celles-ci, simultanément. Je propose en particulier d'aborder la modélisation de la dynamique articulatoire et faciale de la parole pour produire de la parole combinée avec les expressions faciales.

L'integration des informations acoustiques et visuelles est un probleme central en reconnaissance automatique de la parole bimodale. Dans cette these, nous etudions differentes methodes d'integration et proposons une solution robuste a la degradation acoustique pour la fusion des deux modalites, sur un corpus compose de mots isoles prononces par un seul locuteur. Apres une breve presentation de quelques elements physiologiques sur la production de la parole et la parametrisation des levres, nous decrivons quelques proprietes intrinseques de la perception de la parole bimodale afin de mieux comprendre ce processus. Differents modeles d'integration audiovisuelle chez l'homme et dans la machine sont presentees. Nous passons a une description detaillee des techniques d'extraction des informations visuelles des mouvements des levres, notamment celles basees sur le traitement video, ainsi que notre methode de calcul des parametres labiaux basee sur un maquillage prealable des levres. Nous nous consacrons ensuite a une revue de l'etat de l'art dans le domaine du developpement des systemes de reconnaissance visuelle et audiovisuelle. Nous presentons les resultats de nos tests sur les deux modeles d'integration couramment utilises dans la litterature (precoce et tardive) en insistant sur notre architecture d'integration originale, basee sur une ponderation des canaux en fonction de leur fiabilite, estimee par la dispersion des meilleurs candidats. La derniere partie de ce manuscrit est dediee a la description technique de notre systeme electronique d'extraction des parametres labiaux en temps reel et a l'evaluation de ses performances dans une application de lecture labiale automatique.

Les travaux de cette thèse portent sur la modélisation des émotions pour la synthèse audiovisuelle expressive de la parole à partir du texte. Aujourd’hui, les résultats des systèmes de synthèse de la parole à partir du texte sont de bonne qualité, toutefois la synthèse audiovisuelle reste encore une problématique ouverte et la synthèse expressive l’est encore d’avantage. Nous proposons dans le cadre de cette thèse une méthode de modélisation des émotions malléable et flexible, permettant de mélanger les émotions comme on mélange les teintes sur une palette de couleurs. Dans une première partie, nous présentons et étudions deux corpus expressifs que nous avons construits. La stratégie d’acquisition ainsi que le contenu expressif de ces corpus sont analysés pour valider leur utilisation à des fins de synthèse audiovisuelle de la parole. Dans une seconde partie, nous proposons deux architectures neuronales pour la synthèse de la parole. Nous avons utilisé ces deux architectures pour modéliser trois aspects de la parole : 1) les durées des sons, 2) la modalité acoustique et 3) la modalité visuelle. Dans un premier temps, nous avons adopté une architecture entièrement connectée. Cette dernière nous a permis d’étudier le comportement des réseaux de neurones face à différents descripteurs contextuels et linguistiques. Nous avons aussi pu analyser, via des mesures objectives, la capacité du réseau à modéliser les émotions. La deuxième architecture neuronale proposée est celle d’un auto-encodeur variationnel. Cette architecture est capable d’apprendre une représentation latente des émotions sans utiliser les étiquettes des émotions. Après analyse de l’espace latent des émotions, nous avons proposé une procédure de structuration de ce dernier pour pouvoir passer d’une représentation par catégorie vers une représentation continue des émotions. Nous avons pu valider, via des expériences perceptives, la capacité de notre système à générer des émotions, des nuances d’émotions et des mélanges d’émotions, et cela pour la synthèse audiovisuelle expressive de la parole à partir du texte
: The work of this thesis concerns the modeling of emotions for expressive audiovisual textto-speech synthesis. Today, the results of text-to-speech synthesis systems are of good quality, however audiovisual synthesis remains an open issue and expressive synthesis is even less studied. As part of this thesis, we present an emotions modeling method which is malleable and flexible, and allows us to mix emotions as we mix shades on a palette of colors. In the first part, we present and study two expressive corpora that we have built. The recording strategy and the expressive content of these corpora are analyzed to validate their use for the purpose of audiovisual speech synthesis. In the second part, we present two neural architectures for speech synthesis. We used these two architectures to model three aspects of speech : 1) the duration of sounds, 2) the acoustic modality and 3) the visual modality. First, we use a fully connected architecture. This architecture allowed us to study the behavior of neural networks when dealing with different contextual and linguistic descriptors. We were also able to analyze, with objective measures, the network’s ability to model emotions. The second neural architecture proposed is a variational auto-encoder. This architecture is able to learn a latent representation of emotions without using emotion labels. After analyzing the latent space of emotions, we presented a procedure for structuring it in order to move from a discrete representation of emotions to a continuous one. We were able to validate, through perceptual experiments, the ability of our system to generate emotions, nuances of emotions and mixtures of emotions, and this for expressive audiovisual text-to-speech synthesis

L’intelligibilité de la parole est améliorée par l’apport des visèmes (contrepartie visuelle des phonèmes), dans un environnement bruyant (Sumby & Pollack, 1954), ce qui nous indique un effet facilitateur sur l’accès au lexique mental. Selon Massaro (1990), l’influence d’une source est maximale si une autre est ambiguë. Pourtant dans l’effet «McGurk» (McGurk & MacDonald, 1976), les deux sources, audible et visible sont équipotentes. Le résultat est bien une perturbation, puisque la «cible» a été mal interprétée. Certains chercheurs ont montré que l’effet McGurk pouvait avoir lieu sur des mots et même sur des phrases. Cela corrobore l’idée que l’intégration de la source visuelle est précoce et prélexicale, mais aussi sujette à l’influence d’effet top-down. Nous avons mené une étude anatomo-fonctionnelle simultanée en IRMf/EEG, en utilisant une tâche de discrimination à choix forcé, portant sur des syllabes consonne-voyelle, selon deux modalités perceptives : audiovisuelle animée et audiovisuelle fixe, afin de pouvoir observer les bases neurophysiologiques de la perception audiovisuelle syllabique. La tâche de discrimination portait sur des paires syllabiques s’opposant sur les trois traits suivants : la labialité vocalique, le lieu d’articulation et le voisement consonantiques. Les résultats de la discrimination syllabique indiquent un recrutement bilatéral du cortex auditif primaire pour les deux modalités perceptives. De plus, le gyrus fusiforme et l’aire MT/V5 (dans le cortex occipital) sont activés en modalité audiovisuelle animée. Les potentiels évoqués montrent des variations significatives autour de 150 et de 250 millisecondes
In a noisy environment, speech intelligibility is improved by perceiving a speaker’s face (Sumby & Pollack, 1954), a dimension which seemingly involves a facilitation effect in accessing the mental lexicon. Massaro (1990) assumes that the influence of one source of information is greatest when the other source is neutral or ambiguous. However, the McGurk effect suggests that audible and visible sources have an equal impact on the speech perception system (McGurk & MacDonald, 1976). The result is indeed a perturbation, in terms of misperception of the “target”. Several studies claim that the McGurk effect operates on the lexical level as well as on word or phrasal levels. Taken together, previous studies indicate that the bimodal integration of the visual source is early and prelexical, moreover it could be influenced by a top-down effect. We conducted a study with simultaneous recordings in fMRI/EEG, in a discrimination task, comprising consonant-vowel syllables, in two perception modalities : audiovisual and audio only, in order to investigate the neural substrates of audiovisual syllabic perception. The discrimination task was based on syllable pairs, contrasting three features : vowel lip rounding, consonant place of articulation and voicing. For syllabic discrimination, the results show bilateral activation of the primary auditive cortex for each modality. Furthermore, the fusiform gyrus and MT/V5 area (in occipital cortex) are recruited in the audio-visual modality. ERPs indicate significant modulation around 150 and 250 milliseconds