Academic literature on the topic 'Processus Markovien déterministe par morceaux (PDMP)'

Le but de cette synthèse est de présenter mon activité de recherche couvrant la période de temps écoulée à partir de l'année terminale de ma thèse (c'est à dire, la période octobre 2008 - février 2013). Mes thèmes de recherche correspondent, en majeure partie, à trois directions principales, chacune présentée dans une section dédiée : - méthodes de programmation linéaire dans l'étude des problèmes de contrôle déterministe ou stochastique ; - méthodes de contrôle des processus Markoviens déterministes par morceaux et leurs applications dans la théorie des réseaux stochastiques de gènes. - propriétés de contrôlabilité des systèmes linéaires stochastiques et sujets connexes. Dans le premier chapitre, nous étudions plusieurs classes de problèmes de contrôle déterministe ou stochastique à coût discontinu. Dans le contexte stochastique, nous considérons le problème de type Mayer et l'arrêt optimal des diffusions contrôlées (correspondant à l'article [G10]), les principes de la programmation dynamique (correspondant à l'article [G6]), ainsi qu'une classe de problèmes de contrôle impliquant des contraintes d'état (correspondant à l'article [G2]). Nous étudions également : des problèmes de contrôle à coût escompté et en horizon infini, ainsi que la moyennisation en temps long (correspondant à [G12]), des systèmes régis par des inégalités variationnelles stochastiques (dans [G3]) et une caractérisation de type Zubov pour les domaines de stabilité asymptotique (toujours dans [G3]). Nous investiguons l'existence d'une fonction valeur limite pour une classe de problèmes de contrôle stochastique sous des hypothèses de non-expansivité, ainsi que des théorèmes Tauberiennes uniformes (correspondant à [G19]). Dans le cadre déterministe, nous considérons la linéarisation et les principes de la programmation dynamique pour des problèmes de type coût supremum (ce qui correspond à [G9]) et pour des systèmes à contraintes d'état (dans [G1]). Nous proposons une méthode de linéarisation pour des problèmes de type min-max (correspondant à [G18]). Le point commun entre ces articles réside dans la méthode employée basée sur des formulation linéaires et des techniques de viscosité. Nous présentons également des résultats de viabilité pour les perturbations singulières des systèmes contrôlés (correspondant à [G13]). Le deuxième chapitre est axé sur quelques contributions à la théorie des processus de Markov déterministes par morceaux (PDMP, acronyme anglais de "piecewise deterministic Markov process"). Nous investiguons des conditions géométriques pour la viabilité et l'invariance des ensembles fermés par rapport aux dynamiques PDMP contrôlées (correspondant à l'article [G5]). Nous proposons également des formulations linéaires pour certains problèmes de contrôle dans ce contexte (correspondant aux articles [G8] et [G4]). Ces résultats permettent d'en inférer certaines conditions d'atteignabilité (dans l'article [G5]) ainsi que de caractériser les domaines de stabilité asymptotique en généralisant la méthode de Zubov (dans l'article [G4]). Les résultats théoriques sont appliqués à une classe de systèmes associés à des réseaux stochastiques de gènes (des modèles On/Off, le modèle proposé par Cook pour l'haploinsuffisance, ainsi que le modèle de Hasty pour la bistabilité du phage lambda). Le dernier chapitre présente l'étude de différentes classes de contrôlabilité pour des systèmes linéaires de type diffusion à sauts (correspondant à l'article [G7]) ou des systèmes linéaires de contrôle à dynamique champs-moyen (correspondant à l'article [G20]). Les arguments font intervenir des techniques de viabilité ainsi que des équations différentielles de type Riccati. Une première étape dans l'étude des propriétés de contrôlabilité des systèmes ayant comme espace d'état un espace d'Hilbert est franchie dans l'article [G11]. Nous y proposons une approche de type quasi-tangence dans l'étude de la propriété de (presque)viabilité des systèmes semi-linéaires dans un cadre infini-dimensionnel. Nous avons essayé de rendre le manuscrit aussi autonome que possible. Pour en assurer la lisibilité, nous avons également essayé de garder l'indépendance des chapitres. Afin de garder une dimension raisonnable du manuscrit, nous avons fait le choix de limitation de la redondance. Pour cette raison, les problèmes de contrôle sous contraintes d'état ont été présentés uniquement dans le contexte stochastique. Aussi, les détails précis de la méthode de Zubov ont été spécifiés uniquement dans le cas des processus Markoviens déterministes par morceaux et les contributions aux diffusions Browniennes ont été seulement mentionnées.

Dans le cadre de l'optimisation de la fiabilité, Thales Optronique intègre désormais dans ses équipements, des systèmes d'observation de leur état de fonctionnement. Cette fonction est réalisée par des HUMS (Health & Usage Monitoring System). L'objectif de cette thèse est de mettre en place dans le HUMS, un programme capable d'évaluer l'état du système, de détecter les dérives de fonctionnement, d'optimiser les opérations de maintenance et d'évaluer les risques d'échec d'une mission, en combinant les procédés de traitement des données opérationnelles (collectées sur chaque appareil grâce au HUMS) et prévisionnelles (issues des analyses de fiabilité et des coûts de maintenance, de réparation et d'immobilisation). Trois algorithmes ont été développés. Le premier, basé sur un modèle de chaînes de Markov cachées, permet à partir de données opérationnelles, d'estimer à chaque instant l'état du système, et ainsi, de détecter un mode de fonctionnement dégradé de l'équipement (diagnostic). Le deuxième algorithme permet de proposer une stratégie de maintenance optimale et dynamique. Il consiste à rechercher le meilleur instant pour réaliser une maintenance, en fonction de l'état estimé de l'équipement. Cet algorithme s'appuie sur une modélisation du système, par un processus Markovien déterministe par morceaux (noté PDMP) et sur l'utilisation du principe d'arrêt optimal. La date de maintenance est déterminée à partir des données opérationnelles, prévisionnelles et de l'état estimé du système (pronostic). Quant au troisième algorithme, il consiste à déterminer un risque d'échec de mission et permet de comparer les risques encourus suivant la politique de maintenance choisie.Ce travail de recherche, développé à partir d'outils sophistiqués de probabilités théoriques et numériques, a permis de définir un protocole de maintenance conditionnelle à l'état estimé du système, afin d'améliorer la stratégie de maintenance, la disponibilité des équipements au meilleur coût, la satisfaction des clients et de réduire les coûts d'exploitation.

Les processus markoviens déterministes par morceaux (PMDM) ont été introduits dans la littérature par M.H.A. Davis en tant que classe générale de modèles stochastiques non-diffusifs. Les PMDM sont des processus hybrides caractérisés par des trajectoires déterministes entrecoupées de sauts aléatoires. Dans cette thèse, nous développons des méthodes numériques adaptées aux PMDM en nous basant sur la quantification d'une chaîne de Markov sous-jacente au PMDM. Nous abordons successivement trois problèmes : l'approximation d'espérances de fonctionnelles d'un PMDM, l'approximation des moments et de la distribution d'un temps de sortie et le problème de l'arrêt optimal partiellement observé. Dans cette dernière partie, nous abordons également la question du filtrage d'un PMDM et établissons l'équation de programmation dynamique du problème d'arrêt optimal. Nous prouvons la convergence de toutes nos méthodes (avec le plus souvent des bornes de la vitesse de convergence) et les illustrons par des exemples numériques.

Les Processus Markoviens Déterministes par Morceaux (PDMP) ont été introduits dans la littérature par M.H.A Davis comme une classe générale de modèles stochastiques. Les PDMP forment une famille de processus markoviens qui décrivent une trajectoire déterministe ponctuée par des sauts aléatoires. Dans une première partie, les PDMP sont utilisés pour calculer des probabilités d'événements redoutés pour un cas-test de la fiabilité dynamique (le réservoir chauffé) par deux méthodes numériques différentes : la première est basée sur la résolution du système différentieldécrivant l'évolution physique du réservoir et la seconde utilise le calcul de l'espérancede la fonctionnelle d'un PDMP par un système d'équations intégro-différentielles.Dans la seconde partie, nous proposons une méthode numérique pour approcher lafonction valeur du problème d'arrêt optimal pour un PDMP. Notre approche estbasée sur la quantification de la position après saut et le temps inter-sauts de lachaîne de Markov sous-jacente au PDMP, et la discréetisation en temps adaptée à latrajectoire du processus. Ceci nous permet d'obtenir une vitesse de convergence denotre schéma numérique et de calculer un temps d'arrêt ε-optimal
Piecewise Deterministic Markov Processes (PDMP's) have been introduced inthe literature by M.H.A. Davis as a general class of stochastics models. PDMP's area family of Markov processes involving deterministic motion punctuated by randomjumps. In a first part, PDMP's are used to compute probabilities of top eventsfor a case-study of dynamic reliability (the heated tank system) with two di#erentmethods : the first one is based on the resolution of the differential system giving thephysical evolution of the tank and the second uses the computation of the functionalof a PDMP by a system of integro-differential equations. In the second part, wepropose a numerical method to approximate the value function for the optimalstopping problem of a PDMP. Our approach is based on quantization of the post-jump location and inter-arrival time of the Markov chain naturally embedded in thePDMP, and path-adapted time discretization grids. It allows us to derive boundsfor the convergence rate of the algorithm and to provide a computable ε-optimalstopping time

Les Processus Markoviens D eterministes par Morceaux (PDMP) ont et e introduits dans la litt erature par M.H.A Davis comme une classe g en erale de mod eles stochastiques. Les PDMP forment une famille de processus markoviens qui d ecrivent une trajectoire d eterministe ponctu ee par des sauts al eatoires. Dans une premi ere partie, les PDMP sont utilis es pour calculer des probabilit es d' ev enements redout es pour un cas-test de la abilit e dynamique (le r eservoir chau e) par deux m ethodes num eriques di erentes : la premi ere est bas ee sur la r esolution du syst eme di erentiel d ecrivant l' evolution physique du r eservoir et la seconde utilise le calcul de l'esp erance de la fonctionnelle d'un PDMP par un syst eme d' equations int egro-di erentielles. Dans la seconde partie, nous proposons une m ethode num erique pour approcher la fonction valeur du probl eme d'arr^et optimal pour un PDMP. Notre approche est bas ee sur la quanti cation de la position apr es saut et le temps inter-sauts de la chaî ne de Markov sous-jacente au PDMP, et la discr etisation en temps adapt ee a la trajectoire du processus. Ceci nous permet d'obtenir une vitesse de convergence de notre sch ema num erique et de calculer un temps d'arrêt epsilon-optimal.

Nous décrivons le niveau de dégradation caractéristique d'une structure à l'aide d'un processus stochastique appelé processus de dégradation. La dynamique de ce processus est modélisée par un système différentiel à environnement markovien.

Nous étudions la fiabilité du système en considérant la défaillance de la structure lorsque le processus de dégradation dépasse un seuil fixe. Nous obtenons la fiabilité théorique à l'aide de la théorie du renouvellement markovien.

Puis, nous proposons une procédure d'estimation des paramètres des processus aléatoires du système différentiel. Les méthodes d'estimation et les résultats théoriques de la fiabilité, ainsi que les algorithmes de calcul associés, sont validés sur des données simulés.

Notre méthode est appliquée à la modélisation d'un mécanisme réel de dégradation, la propagation des fissures, pour lequel nous disposons d'un jeu de données expérimental.

Nous présentons d'abord les problématiques liées à l'utilisation des processus pour la modélisation des modèles d'histoire de vie et de survie, écriture de vraisemblance, définition d'indépendance locale entre processus et interprétation causale. De manière indépendante, nous présentons ensuite des modèles de processus de bifurcation, les méthodes d'estimation associées avec application à la division cellulaire. Enfin nous regardons des problèmes liés aux PDMP : modélisation de propagation de fissures, de HUMS et estimation du taux de saut. Quelques exemples de collaborations avec des chercheurs d'autres disciplines sont donnés dans le dernier chapitre.