Academic literature on the topic 'Processus de Markov déterministe par morceaux'

Les processus markoviens déterministes par morceaux (PMDM) ont été introduits dans la littérature par M.H.A. Davis en tant que classe générale de modèles stochastiques non-diffusifs. Les PMDM sont des processus hybrides caractérisés par des trajectoires déterministes entrecoupées de sauts aléatoires. Dans cette thèse, nous développons des méthodes numériques adaptées aux PMDM en nous basant sur la quantification d'une chaîne de Markov sous-jacente au PMDM. Nous abordons successivement trois problèmes : l'approximation d'espérances de fonctionnelles d'un PMDM, l'approximation des moments et de la distribution d'un temps de sortie et le problème de l'arrêt optimal partiellement observé. Dans cette dernière partie, nous abordons également la question du filtrage d'un PMDM et établissons l'équation de programmation dynamique du problème d'arrêt optimal. Nous prouvons la convergence de toutes nos méthodes (avec le plus souvent des bornes de la vitesse de convergence) et les illustrons par des exemples numériques.

Les processus markoviens déterministes par morceaux (PDMP) forment une vaste classe de processus stochastiques caractérisés par une évolution déterministe entre des sauts à mécanisme aléatoire. Ce sont des processus de type hybride, avec une composante discrète de mode et une composante d’état qui évolue dans un espace continu. Entre les sauts du processus, la composante continue évolue de façon déterministe, puis au moment du saut un noyau markovien sélectionne la nouvelle valeur des composantes discrète et continue. Dans cette thèse, nous construisons des PDMP évoluant dans des espaces de mesures (de dimension infinie), pour modéliser des population de cellules en tenant compte des caractéristiques individuelles de chaque cellule. Nous exposons notre construction des PDMP sur des espaces de mesure, et nous établissons leur caractère markovien. Sur ces processus à valeur mesure, nous étudions un problème d'arrêt optimal. Un problème d'arrêt optimal revient à choisir le meilleur temps d'arrêt pour optimiser l'espérance d'une certaine fonctionnelle de notre processus, ce qu'on appelle fonction valeur. On montre que cette fonction valeur est solution des équations de programmation dynamique et on construit une famille de temps d'arrêt $epsilon$-optimaux. Dans un second temps, nous nous intéressons à un PDMP en dimension finie, le TCP, pour lequel on construit un schéma d'Euler afin de l'approcher. Ce choix de modèle simple permet d'estimer différents types d'erreurs. Nous présentons des simulations numériques illustrant les résultats obtenus
Piecewise deterministic Markov processes (PDMP) form a large class of stochastic processes characterized by a deterministic evolution between random jumps. They fall into the class of hybrid processes with a discrete mode and an Euclidean component (called the state variable). Between the jumps, the continuous component evolves deterministically, then a jump occurs and a Markov kernel selects the new value of the discrete and continuous components. In this thesis, we extend the construction of PDMPs to state variables taking values in some measure spaces with infinite dimension. The aim is to model cells populations keeping track of the information about each cell. We study our measured-valued PDMP and we show their Markov property. With thoses processes, we study a optimal stopping problem. The goal of an optimal stopping problem is to find the best admissible stopping time in order to optimize some function of our process. We show that the value fonction can be recursively constructed using dynamic programming equations. We construct some $epsilon$-optimal stopping times for our optimal stopping problem. Then, we study a simple finite-dimension real-valued PDMP, the TCP process. We use Euler scheme to approximate it, and we estimate some types of errors. We illustrate the results with numerical simulations

M.H.A. Davis a introduit les processus markoviens déterministes par morceaux (PDMP) comme une classe générale de modèles stochastiques non diffusifs, donnant lieu à des trajectoires déterministes ponctuées, à des instants aléatoires, par des sauts aléatoires. Dans cette thèse, nous présentons et analysons des estimateurs non paramétriques des lois conditionnelles des deux aléas intervenant dans la dynamique de tels processus. Plus précisément, dans le cadre d'une observation en temps long de la trajectoire d'un PDMP, nous présentons des estimateurs de la densité conditionnelle des temps inter-sauts et du noyau de Markov qui gouverne la loi des sauts. Nous établissons des résultats de convergence pour nos estimateurs. Des simulations numériques pour différentes applications illustrent nos résultats. Nous proposons également un estimateur du taux de saut pour des processus de renouvellement, ainsi qu'une méthode d'approximation numérique pour un modèle de régression semi-paramétrique.

L’objectif de cette thèse est d’étudier le comportement en temps long de certains processus de Markov déterministes par morceaux (PDMP) dont le flot suivi par la composante spatiale commute aléatoirement entre plusieurs flots possédant un unique équilibre attractif (éventuellement le même pour chaque flot). Nous donnerons dans un premier temps un exemple d’étude d’un tel processus construit dans le plan à partir de flots associés à des équations différentielles linéaires stables où il est déjà possible d’observer des comportements contre-intuitifs. La deuxième partie de ce manuscrit est dédiée à l’étude et la comparaison de deux modèles de compétition pour une ressource dans un environnement hétérogène. Le premier modèle est un modèle alétoire simulant l’hétérogénéité temporelle d’un environnement sur les espèces en compétition à l’aide d’un PDMP. Son étude utilise des outils maintenant classiques sur l’étude des PDMP. Le deuxième modèle est un modèle déterministe (présentant sous forme d’un système d’équations différentielles) modélisant l’impact de l’hétérogénéité spatiale d’un environnement sur ces mêmes espèces. Nous verrons que malgré leur nature très différente, le comportement en temps long de ces deux systèmes est relativement similaire et est essentiellement déterminé par le signe des taux d’invasion de chacune des espèces qui sont des quantités dépendant exclusivement des paramètres du système et modélisant la vitesse de croissance (ou de décroissance) de ces espèces lorsqu’elles sont au bord de l’extinction
The objective of this thesis is to study the long time behaviour of some piecewise deterministic Markov processes (PDMP). The flow followed by the spatial component of these processes switches randomly between several flow converging towards an equilibrium point (not necessarily the same for each flow). We will first give an example of such a process built in the plan from two linear stable differential equations and we will see that its stability depends strongly on the switching times. The second part of this thesis is dedicated to the study and comparison of two competition models in a heterogeneous environment. The first model is a probabilistic model where we build a PDMP simulating the effect of the temporal heterogeneity of an environment over the species in competition. Its study uses classical tools in this field. The second model is a deterministic model simulating the effect of the spatial heterogeneity of an environment over the same species. Despite the fact that the nature of the two models is very different, we will see that their long time behavior is very similar. We define for both model several quantities called invasion rates modelizing the growth (or decreasing) rate speed of a species when it is near to extinction and we will see that the signs of these invasion rates fully describes the long time behavior for both systems

L'objet de cette thèse est d'étudier une certaine classe de processus de Markov, dits déterministes par morceaux, ayant de très nombreuses applications en modélisation. Plus précisément, nous nous intéresserons à leur comportement en temps long et à leur vitesse de convergence à l'équilibre lorsqu'ils admettent une mesure de probabilité stationnaire. L'un des axes principaux de ce manuscrit de thèse est l'obtention de bornes quantitatives fines sur cette vitesse, obtenues principalement à l'aide de méthodes de couplage. Le lien sera régulièrement fait avec d'autres domaines des mathématiques dans lesquels l'étude de ces processus est utile, comme les équations aux dérivées partielles. Le dernier chapitre de cette thèse est consacré à l'introduction d'une approche unifiée fournissant des théorèmes limites fonctionnels pour étudier le comportement en temps long de chaînes de Markov inhomogènes, à l'aide de la notion de pseudo-trajectoire asymptotique
The purpose of this Ph.D. thesis is the study of piecewise deterministic Markov processes, which are often used for modeling many natural phenomena. Precisely, we shall focus on their long time behavior as well as their speed of convergence to equilibrium, whenever they possess a stationary probability measure. Providing sharp quantitative bounds for this speed of convergence is one of the main orientations of this manuscript, which will usually be done through coupling methods. We shall emphasize the link between Markov processes and mathematical fields of research where they may be of interest, such as partial differential equations. The last chapter of this thesis is devoted to the introduction of a unified approach to study the long time behavior of inhomogeneous Markov chains, which can provide functional limit theorems with the help of asymptotic pseudotrajectories

On s’intéresse au problème de contrôle impulsionnel à horizon infini avec facteur d’oubli pour les processus de Markov déterministes par morceaux (PDMP). Dans un premier temps, on modélise l’évolution d’un système opto-électronique par des PDMP. Afin d’optimiser la maintenance du système, on met en place un problème de contrôle impulsionnel tenant compte à la fois du coût de maintenance et du coût lié à l’indisponibilité du matériel auprès du client.On applique ensuite une méthode d’approximation numérique de la fonction valeur associée au problème, faisant intervenir la quantification de PDMP. On discute alors de l’influence des paramètres sur le résultat obtenu. Dans un second temps, on prolonge l’étude théorique du problème de contrôle impulsionnel en construisant de manière explicite une famille de stratégies є-optimales. Cette construction se base sur l’itération d’un opérateur dit de simple-saut-ou-intervention associé au PDMP, dont l’idée repose sur le procédé utilisé par U.S. Gugerli pour la construction de temps d’arrêt є-optimaux. Néanmoins, déterminer la meilleure position après chaque intervention complique significativement la construction de telles stratégies et nécessite l’introduction d’un nouvel opérateur. L’originalité de la construction de stratégies є-optimales présentée ici est d’être explicite, au sens où elle ne nécessite pas la résolution préalable de problèmes complexes
We are interested in a discounted impulse control problem with infinite horizon forpiecewise deterministic Markov processes (PDMPs). In the first part, we model the evolutionof an optronic system by PDMPs. To optimize the maintenance of this equipment, we study animpulse control problem where both maintenance costs and the unavailability cost for the clientare considered. We next apply a numerical method for the approximation of the value function associated with the impulse control problem, which relies on quantization of PDMPs. The influence of the parameters on the numerical results is discussed. In the second part, we extendthe theoretical study of the impulse control problem by explicitly building a family of є-optimalstrategies. This approach is based on the iteration of a single-jump-or-intervention operator associatedto the PDMP and relies on the theory for optimal stopping of a piecewise-deterministic Markov process by U.S. Gugerli. In the present situation, the main difficulty consists in approximating the best position after the interventions, which is done by introducing a new operator.The originality of the proposed approach is the construction of є-optimal strategies that areexplicit, since they do not require preliminary resolutions of complex problems

Nous proposons une approche fiabiliste du pronostic pour la maintenance conditionnelle. Le pronostic consiste à calculer la durée de vie résiduelle (RUL), durée restante avant un événement redouté (défaillance, perte de performance, etc). Le contexte industriel de cette thèse (système complexe, incertitudes) justifie une approche probabiliste basée sur les modèles. Ce travail répond à trois problématiques : faire le lien entre la fiabilité et le pronostic, choisir un cadre de modélisation intégrant des modèles physiques, et proposer une méthode de calcul de la RUL intégrant les données issues de la vie du bien. Nous répondons à la première question en formalisant le problème de calcul de la RUL. Le pronostic apparaît comme une fiabilité conditionnelle et décalée dans le temps. Nous considérons une modélisation par processus de Markov déterministes par morceaux, permettant un large spectre de représentation, conformément à la deuxième question. Nous proposons deux nouvelles méthodes de calcul de fiabilité par Monte-Carlo sur ces modèles. Enfin, nous présentons une méthode de calcul de RUL sur un processus de Markov, contenant deux étapes : un calcul de loi conditionnelle et un calcul de fiabilité. Nous proposons une méthode particulaire pour approximer la première étape. Nous étudions la convergence de l'approximation successive des deux étapes : on montre une convergence presque sure, et un théorème central-limite associé. L'ensemble est illustré sur plusieurs exemples, avec notamment une application de la RUL dans la prise de décision de maintenance
We propose an approach to prognosis for condition-based maintenance using the reliability theory. Prognosis consists in computing the remaining useful life (RUL), or the time before a dread event (e. G. Failure or performance lost). The industrial context of this thesis (complex system, uncertainties) justifies a probabilistic model-based approach. This work deals with three problems : to establish a link between reliability and prognosis, to define a modeling framework which takes physical models into account and to develop a method of computation of the RUL which incorporates data from the monitoring of the item. The first question is addressed by giving a formal definition of the RUL. The prognosis appears to be a conditional and staggered reliability. We consider a modeling through piecewise deterministic Markov processes (PDMP). It allows a wide range of models, as required by the second question. We develop two new methods of computation of reliability for this process, using Monte-Carlo techniques. Then, we propose a two-steps method to compute the RUL of a Markov process. It includes a computation of a conditional distribution and a reliability. To approximate the first step, we consider an interacting particle system. We study the convergence of the joint approximation of the two steps. We proove an almost sure convergence, and a central limit theorem. This work is illustrated by several examples, especially by an example considering the use of the RUL in the maintenance decision process

L'objectif principal de cette thèse a été de développer des nouveaux outils mathématiques pour l'étude des phénomènes stochastiques en biologique moléculaire. Les modèles mathématiques pour la dynamique stochastique des réseaux de réactions biochimiques sont basés sur les processus de Markov à sauts. On propose des approximations hybrides pour les processus de Markov à sauts multi-échelles. En utilisant comme argument heuristique un développement limité du générateur du processus à sauts (procédé connu en chimie et en physique sous le nom de développement de Kramers-Moyal) nous identifions plusieurs types d'asymptotiques hybrides : processus déterministes par morceaux et diffusions hybrides. Le développement de Kramers-Moyal permet d'obtenir de manière systématique des modèles hybrides, qui sont simulés par la suite avec des algorithmes adaptés. Les approximations déterministes par morceaux sont étudiées avec des méthodes mathématiques rigoureuses. On montre la convergence faible du processus de Markov à sauts vers deux types de processus déterministes par morceaux : avec et sans sauts dans les variables continues. Les approximations hybrides peuvent être simplifiées davantage en utilisant des méthodes de moyennisation. On propose aussi quelques résultats dans cette direction.

Dans le cadre de l'optimisation de la fiabilité, Thales Optronique intègre désormais dans ses équipements, des systèmes d'observation de leur état de fonctionnement. Cette fonction est réalisée par des HUMS (Health & Usage Monitoring System). L'objectif de cette thèse est de mettre en place dans le HUMS, un programme capable d'évaluer l'état du système, de détecter les dérives de fonctionnement, d'optimiser les opérations de maintenance et d'évaluer les risques d'échec d'une mission, en combinant les procédés de traitement des données opérationnelles (collectées sur chaque appareil grâce au HUMS) et prévisionnelles (issues des analyses de fiabilité et des coûts de maintenance, de réparation et d'immobilisation). Trois algorithmes ont été développés. Le premier, basé sur un modèle de chaînes de Markov cachées, permet à partir de données opérationnelles, d'estimer à chaque instant l'état du système, et ainsi, de détecter un mode de fonctionnement dégradé de l'équipement (diagnostic). Le deuxième algorithme permet de proposer une stratégie de maintenance optimale et dynamique. Il consiste à rechercher le meilleur instant pour réaliser une maintenance, en fonction de l'état estimé de l'équipement. Cet algorithme s'appuie sur une modélisation du système, par un processus Markovien déterministe par morceaux (noté PDMP) et sur l'utilisation du principe d'arrêt optimal. La date de maintenance est déterminée à partir des données opérationnelles, prévisionnelles et de l'état estimé du système (pronostic). Quant au troisième algorithme, il consiste à déterminer un risque d'échec de mission et permet de comparer les risques encourus suivant la politique de maintenance choisie.Ce travail de recherche, développé à partir d'outils sophistiqués de probabilités théoriques et numériques, a permis de définir un protocole de maintenance conditionnelle à l'état estimé du système, afin d'améliorer la stratégie de maintenance, la disponibilité des équipements au meilleur coût, la satisfaction des clients et de réduire les coûts d'exploitation.

Les travaux présentés concernent trois thématiques connexes~: Interprétation et étude probabiliste d'équations de McKean-Vlasov - propagation du chaos, - estimation quantitative de la convergence à l'équilibre, - modèles cinétiques. Inégalités fonctionnelles - inégalités fonctionnelles et concentration de la mesure pour les schémas d'Euler, - comportement en temps long de diffusions inhomogènes, - inégalités fonctionnelles et concentration de la mesure pour un mélange. Processus de Markov déterministes par morceaux - modélisation markovienne (télécomunications, biologie, chimie), - construction de couplage explicites et convergence en temps long, - propriétés de la mesure invariante. Le fil rouge de ce travail est la recherche de bornes quantitatives pour l'étude de processus de Markov issus de la modélisation (physique, biologie, etc). Souvent, ces processus possèdent des propriétés de symétrie, de régularité ou de monotonie qu'il est possible d'exploiter pour étudier finement leurs comportements. L'idée est donc ici non pas de chercher à établir des propriétés génériques et qualitatives valables pour la classe la plus large de processus mais bien d'utiliser la dynamique spécifique des processus étudiés pour décrire leur convergence à l'équilibre.