Dissertations / Theses on the topic 'Processus de Markov déterministe par morceaux'

Les processus markoviens déterministes par morceaux (PMDM) ont été introduits dans la littérature par M.H.A. Davis en tant que classe générale de modèles stochastiques non-diffusifs. Les PMDM sont des processus hybrides caractérisés par des trajectoires déterministes entrecoupées de sauts aléatoires. Dans cette thèse, nous développons des méthodes numériques adaptées aux PMDM en nous basant sur la quantification d'une chaîne de Markov sous-jacente au PMDM. Nous abordons successivement trois problèmes : l'approximation d'espérances de fonctionnelles d'un PMDM, l'approximation des moments et de la distribution d'un temps de sortie et le problème de l'arrêt optimal partiellement observé. Dans cette dernière partie, nous abordons également la question du filtrage d'un PMDM et établissons l'équation de programmation dynamique du problème d'arrêt optimal. Nous prouvons la convergence de toutes nos méthodes (avec le plus souvent des bornes de la vitesse de convergence) et les illustrons par des exemples numériques.

Les processus markoviens déterministes par morceaux (PDMP) forment une vaste classe de processus stochastiques caractérisés par une évolution déterministe entre des sauts à mécanisme aléatoire. Ce sont des processus de type hybride, avec une composante discrète de mode et une composante d’état qui évolue dans un espace continu. Entre les sauts du processus, la composante continue évolue de façon déterministe, puis au moment du saut un noyau markovien sélectionne la nouvelle valeur des composantes discrète et continue. Dans cette thèse, nous construisons des PDMP évoluant dans des espaces de mesures (de dimension infinie), pour modéliser des population de cellules en tenant compte des caractéristiques individuelles de chaque cellule. Nous exposons notre construction des PDMP sur des espaces de mesure, et nous établissons leur caractère markovien. Sur ces processus à valeur mesure, nous étudions un problème d'arrêt optimal. Un problème d'arrêt optimal revient à choisir le meilleur temps d'arrêt pour optimiser l'espérance d'une certaine fonctionnelle de notre processus, ce qu'on appelle fonction valeur. On montre que cette fonction valeur est solution des équations de programmation dynamique et on construit une famille de temps d'arrêt $epsilon$-optimaux. Dans un second temps, nous nous intéressons à un PDMP en dimension finie, le TCP, pour lequel on construit un schéma d'Euler afin de l'approcher. Ce choix de modèle simple permet d'estimer différents types d'erreurs. Nous présentons des simulations numériques illustrant les résultats obtenus
Piecewise deterministic Markov processes (PDMP) form a large class of stochastic processes characterized by a deterministic evolution between random jumps. They fall into the class of hybrid processes with a discrete mode and an Euclidean component (called the state variable). Between the jumps, the continuous component evolves deterministically, then a jump occurs and a Markov kernel selects the new value of the discrete and continuous components. In this thesis, we extend the construction of PDMPs to state variables taking values in some measure spaces with infinite dimension. The aim is to model cells populations keeping track of the information about each cell. We study our measured-valued PDMP and we show their Markov property. With thoses processes, we study a optimal stopping problem. The goal of an optimal stopping problem is to find the best admissible stopping time in order to optimize some function of our process. We show that the value fonction can be recursively constructed using dynamic programming equations. We construct some $epsilon$-optimal stopping times for our optimal stopping problem. Then, we study a simple finite-dimension real-valued PDMP, the TCP process. We use Euler scheme to approximate it, and we estimate some types of errors. We illustrate the results with numerical simulations

M.H.A. Davis a introduit les processus markoviens déterministes par morceaux (PDMP) comme une classe générale de modèles stochastiques non diffusifs, donnant lieu à des trajectoires déterministes ponctuées, à des instants aléatoires, par des sauts aléatoires. Dans cette thèse, nous présentons et analysons des estimateurs non paramétriques des lois conditionnelles des deux aléas intervenant dans la dynamique de tels processus. Plus précisément, dans le cadre d'une observation en temps long de la trajectoire d'un PDMP, nous présentons des estimateurs de la densité conditionnelle des temps inter-sauts et du noyau de Markov qui gouverne la loi des sauts. Nous établissons des résultats de convergence pour nos estimateurs. Des simulations numériques pour différentes applications illustrent nos résultats. Nous proposons également un estimateur du taux de saut pour des processus de renouvellement, ainsi qu'une méthode d'approximation numérique pour un modèle de régression semi-paramétrique.

L’objectif de cette thèse est d’étudier le comportement en temps long de certains processus de Markov déterministes par morceaux (PDMP) dont le flot suivi par la composante spatiale commute aléatoirement entre plusieurs flots possédant un unique équilibre attractif (éventuellement le même pour chaque flot). Nous donnerons dans un premier temps un exemple d’étude d’un tel processus construit dans le plan à partir de flots associés à des équations différentielles linéaires stables où il est déjà possible d’observer des comportements contre-intuitifs. La deuxième partie de ce manuscrit est dédiée à l’étude et la comparaison de deux modèles de compétition pour une ressource dans un environnement hétérogène. Le premier modèle est un modèle alétoire simulant l’hétérogénéité temporelle d’un environnement sur les espèces en compétition à l’aide d’un PDMP. Son étude utilise des outils maintenant classiques sur l’étude des PDMP. Le deuxième modèle est un modèle déterministe (présentant sous forme d’un système d’équations différentielles) modélisant l’impact de l’hétérogénéité spatiale d’un environnement sur ces mêmes espèces. Nous verrons que malgré leur nature très différente, le comportement en temps long de ces deux systèmes est relativement similaire et est essentiellement déterminé par le signe des taux d’invasion de chacune des espèces qui sont des quantités dépendant exclusivement des paramètres du système et modélisant la vitesse de croissance (ou de décroissance) de ces espèces lorsqu’elles sont au bord de l’extinction
The objective of this thesis is to study the long time behaviour of some piecewise deterministic Markov processes (PDMP). The flow followed by the spatial component of these processes switches randomly between several flow converging towards an equilibrium point (not necessarily the same for each flow). We will first give an example of such a process built in the plan from two linear stable differential equations and we will see that its stability depends strongly on the switching times. The second part of this thesis is dedicated to the study and comparison of two competition models in a heterogeneous environment. The first model is a probabilistic model where we build a PDMP simulating the effect of the temporal heterogeneity of an environment over the species in competition. Its study uses classical tools in this field. The second model is a deterministic model simulating the effect of the spatial heterogeneity of an environment over the same species. Despite the fact that the nature of the two models is very different, we will see that their long time behavior is very similar. We define for both model several quantities called invasion rates modelizing the growth (or decreasing) rate speed of a species when it is near to extinction and we will see that the signs of these invasion rates fully describes the long time behavior for both systems

L'objet de cette thèse est d'étudier une certaine classe de processus de Markov, dits déterministes par morceaux, ayant de très nombreuses applications en modélisation. Plus précisément, nous nous intéresserons à leur comportement en temps long et à leur vitesse de convergence à l'équilibre lorsqu'ils admettent une mesure de probabilité stationnaire. L'un des axes principaux de ce manuscrit de thèse est l'obtention de bornes quantitatives fines sur cette vitesse, obtenues principalement à l'aide de méthodes de couplage. Le lien sera régulièrement fait avec d'autres domaines des mathématiques dans lesquels l'étude de ces processus est utile, comme les équations aux dérivées partielles. Le dernier chapitre de cette thèse est consacré à l'introduction d'une approche unifiée fournissant des théorèmes limites fonctionnels pour étudier le comportement en temps long de chaînes de Markov inhomogènes, à l'aide de la notion de pseudo-trajectoire asymptotique
The purpose of this Ph.D. thesis is the study of piecewise deterministic Markov processes, which are often used for modeling many natural phenomena. Precisely, we shall focus on their long time behavior as well as their speed of convergence to equilibrium, whenever they possess a stationary probability measure. Providing sharp quantitative bounds for this speed of convergence is one of the main orientations of this manuscript, which will usually be done through coupling methods. We shall emphasize the link between Markov processes and mathematical fields of research where they may be of interest, such as partial differential equations. The last chapter of this thesis is devoted to the introduction of a unified approach to study the long time behavior of inhomogeneous Markov chains, which can provide functional limit theorems with the help of asymptotic pseudotrajectories

On s’intéresse au problème de contrôle impulsionnel à horizon infini avec facteur d’oubli pour les processus de Markov déterministes par morceaux (PDMP). Dans un premier temps, on modélise l’évolution d’un système opto-électronique par des PDMP. Afin d’optimiser la maintenance du système, on met en place un problème de contrôle impulsionnel tenant compte à la fois du coût de maintenance et du coût lié à l’indisponibilité du matériel auprès du client.On applique ensuite une méthode d’approximation numérique de la fonction valeur associée au problème, faisant intervenir la quantification de PDMP. On discute alors de l’influence des paramètres sur le résultat obtenu. Dans un second temps, on prolonge l’étude théorique du problème de contrôle impulsionnel en construisant de manière explicite une famille de stratégies є-optimales. Cette construction se base sur l’itération d’un opérateur dit de simple-saut-ou-intervention associé au PDMP, dont l’idée repose sur le procédé utilisé par U.S. Gugerli pour la construction de temps d’arrêt є-optimaux. Néanmoins, déterminer la meilleure position après chaque intervention complique significativement la construction de telles stratégies et nécessite l’introduction d’un nouvel opérateur. L’originalité de la construction de stratégies є-optimales présentée ici est d’être explicite, au sens où elle ne nécessite pas la résolution préalable de problèmes complexes
We are interested in a discounted impulse control problem with infinite horizon forpiecewise deterministic Markov processes (PDMPs). In the first part, we model the evolutionof an optronic system by PDMPs. To optimize the maintenance of this equipment, we study animpulse control problem where both maintenance costs and the unavailability cost for the clientare considered. We next apply a numerical method for the approximation of the value function associated with the impulse control problem, which relies on quantization of PDMPs. The influence of the parameters on the numerical results is discussed. In the second part, we extendthe theoretical study of the impulse control problem by explicitly building a family of є-optimalstrategies. This approach is based on the iteration of a single-jump-or-intervention operator associatedto the PDMP and relies on the theory for optimal stopping of a piecewise-deterministic Markov process by U.S. Gugerli. In the present situation, the main difficulty consists in approximating the best position after the interventions, which is done by introducing a new operator.The originality of the proposed approach is the construction of є-optimal strategies that areexplicit, since they do not require preliminary resolutions of complex problems

Nous proposons une approche fiabiliste du pronostic pour la maintenance conditionnelle. Le pronostic consiste à calculer la durée de vie résiduelle (RUL), durée restante avant un événement redouté (défaillance, perte de performance, etc). Le contexte industriel de cette thèse (système complexe, incertitudes) justifie une approche probabiliste basée sur les modèles. Ce travail répond à trois problématiques : faire le lien entre la fiabilité et le pronostic, choisir un cadre de modélisation intégrant des modèles physiques, et proposer une méthode de calcul de la RUL intégrant les données issues de la vie du bien. Nous répondons à la première question en formalisant le problème de calcul de la RUL. Le pronostic apparaît comme une fiabilité conditionnelle et décalée dans le temps. Nous considérons une modélisation par processus de Markov déterministes par morceaux, permettant un large spectre de représentation, conformément à la deuxième question. Nous proposons deux nouvelles méthodes de calcul de fiabilité par Monte-Carlo sur ces modèles. Enfin, nous présentons une méthode de calcul de RUL sur un processus de Markov, contenant deux étapes : un calcul de loi conditionnelle et un calcul de fiabilité. Nous proposons une méthode particulaire pour approximer la première étape. Nous étudions la convergence de l'approximation successive des deux étapes : on montre une convergence presque sure, et un théorème central-limite associé. L'ensemble est illustré sur plusieurs exemples, avec notamment une application de la RUL dans la prise de décision de maintenance
We propose an approach to prognosis for condition-based maintenance using the reliability theory. Prognosis consists in computing the remaining useful life (RUL), or the time before a dread event (e. G. Failure or performance lost). The industrial context of this thesis (complex system, uncertainties) justifies a probabilistic model-based approach. This work deals with three problems : to establish a link between reliability and prognosis, to define a modeling framework which takes physical models into account and to develop a method of computation of the RUL which incorporates data from the monitoring of the item. The first question is addressed by giving a formal definition of the RUL. The prognosis appears to be a conditional and staggered reliability. We consider a modeling through piecewise deterministic Markov processes (PDMP). It allows a wide range of models, as required by the second question. We develop two new methods of computation of reliability for this process, using Monte-Carlo techniques. Then, we propose a two-steps method to compute the RUL of a Markov process. It includes a computation of a conditional distribution and a reliability. To approximate the first step, we consider an interacting particle system. We study the convergence of the joint approximation of the two steps. We proove an almost sure convergence, and a central limit theorem. This work is illustrated by several examples, especially by an example considering the use of the RUL in the maintenance decision process

L'objectif principal de cette thèse a été de développer des nouveaux outils mathématiques pour l'étude des phénomènes stochastiques en biologique moléculaire. Les modèles mathématiques pour la dynamique stochastique des réseaux de réactions biochimiques sont basés sur les processus de Markov à sauts. On propose des approximations hybrides pour les processus de Markov à sauts multi-échelles. En utilisant comme argument heuristique un développement limité du générateur du processus à sauts (procédé connu en chimie et en physique sous le nom de développement de Kramers-Moyal) nous identifions plusieurs types d'asymptotiques hybrides : processus déterministes par morceaux et diffusions hybrides. Le développement de Kramers-Moyal permet d'obtenir de manière systématique des modèles hybrides, qui sont simulés par la suite avec des algorithmes adaptés. Les approximations déterministes par morceaux sont étudiées avec des méthodes mathématiques rigoureuses. On montre la convergence faible du processus de Markov à sauts vers deux types de processus déterministes par morceaux : avec et sans sauts dans les variables continues. Les approximations hybrides peuvent être simplifiées davantage en utilisant des méthodes de moyennisation. On propose aussi quelques résultats dans cette direction.

Dans le cadre de l'optimisation de la fiabilité, Thales Optronique intègre désormais dans ses équipements, des systèmes d'observation de leur état de fonctionnement. Cette fonction est réalisée par des HUMS (Health & Usage Monitoring System). L'objectif de cette thèse est de mettre en place dans le HUMS, un programme capable d'évaluer l'état du système, de détecter les dérives de fonctionnement, d'optimiser les opérations de maintenance et d'évaluer les risques d'échec d'une mission, en combinant les procédés de traitement des données opérationnelles (collectées sur chaque appareil grâce au HUMS) et prévisionnelles (issues des analyses de fiabilité et des coûts de maintenance, de réparation et d'immobilisation). Trois algorithmes ont été développés. Le premier, basé sur un modèle de chaînes de Markov cachées, permet à partir de données opérationnelles, d'estimer à chaque instant l'état du système, et ainsi, de détecter un mode de fonctionnement dégradé de l'équipement (diagnostic). Le deuxième algorithme permet de proposer une stratégie de maintenance optimale et dynamique. Il consiste à rechercher le meilleur instant pour réaliser une maintenance, en fonction de l'état estimé de l'équipement. Cet algorithme s'appuie sur une modélisation du système, par un processus Markovien déterministe par morceaux (noté PDMP) et sur l'utilisation du principe d'arrêt optimal. La date de maintenance est déterminée à partir des données opérationnelles, prévisionnelles et de l'état estimé du système (pronostic). Quant au troisième algorithme, il consiste à déterminer un risque d'échec de mission et permet de comparer les risques encourus suivant la politique de maintenance choisie.Ce travail de recherche, développé à partir d'outils sophistiqués de probabilités théoriques et numériques, a permis de définir un protocole de maintenance conditionnelle à l'état estimé du système, afin d'améliorer la stratégie de maintenance, la disponibilité des équipements au meilleur coût, la satisfaction des clients et de réduire les coûts d'exploitation.

Les travaux présentés concernent trois thématiques connexes~: Interprétation et étude probabiliste d'équations de McKean-Vlasov - propagation du chaos, - estimation quantitative de la convergence à l'équilibre, - modèles cinétiques. Inégalités fonctionnelles - inégalités fonctionnelles et concentration de la mesure pour les schémas d'Euler, - comportement en temps long de diffusions inhomogènes, - inégalités fonctionnelles et concentration de la mesure pour un mélange. Processus de Markov déterministes par morceaux - modélisation markovienne (télécomunications, biologie, chimie), - construction de couplage explicites et convergence en temps long, - propriétés de la mesure invariante. Le fil rouge de ce travail est la recherche de bornes quantitatives pour l'étude de processus de Markov issus de la modélisation (physique, biologie, etc). Souvent, ces processus possèdent des propriétés de symétrie, de régularité ou de monotonie qu'il est possible d'exploiter pour étudier finement leurs comportements. L'idée est donc ici non pas de chercher à établir des propriétés génériques et qualitatives valables pour la classe la plus large de processus mais bien d'utiliser la dynamique spécifique des processus étudiés pour décrire leur convergence à l'équilibre.

Nous décrivons le niveau de dégradation caractéristique d'une structure à l'aide d'un processus stochastique appelé processus de dégradation. La dynamique de ce processus est modélisée par un système différentiel à environnement markovien.

Nous étudions la fiabilité du système en considérant la défaillance de la structure lorsque le processus de dégradation dépasse un seuil fixe. Nous obtenons la fiabilité théorique à l'aide de la théorie du renouvellement markovien.

Puis, nous proposons une procédure d'estimation des paramètres des processus aléatoires du système différentiel. Les méthodes d'estimation et les résultats théoriques de la fiabilité, ainsi que les algorithmes de calcul associés, sont validés sur des données simulés.

Notre méthode est appliquée à la modélisation d'un mécanisme réel de dégradation, la propagation des fissures, pour lequel nous disposons d'un jeu de données expérimental.

Let but de cette thèse est de proposer différents modèles mathématiques de neurones pour l'Optogénétique et d'étudier leur contrôle optimal. Nous définissons d'abord une version contrôlée des modèles déterministes de dimension finie, dits à conductances. Nous étudions un problème de temps minimal pour un système affine mono-entrée dont nous étudions les singulières. Nous appliquons une méthode numérique directe pour observer les trajectoires et contrôles optimaux. Le contrôle optogénétique apparaît comme une nouvelle façon de juger de la capacité des modèles à conductances de reproduire les caractéristiques de la dynamique du potentiel de membrane, observées expérimentalement. Nous définissons ensuite un modèle stochastique en dimension infinie pour prendre en compte le caractère aléatoire des mécanismes des canaux ioniques et la propagation des potentiels d'action. Il s'agit d'un processus de Markov déterministe par morceaux (PDMP) contrôlé, à valeurs dans un espace de Hilbert. Nous définissons une large classe de PDMPs contrôlés en dimension infinie et prouvons le caractère fortement Markovien de ces processus. Nous traitons un problème de contrôle optimal à horizon de temps fini. Nous étudions le processus de décision Markovien (MDP) inclus dans le PDMP et montrons l'équivalence des deux problèmes. Nous donnons des conditions suffisantes pour l'existence de contrôles optimaux pour le MDP, et donc le PDMP. Nous discutons des variantes pour le modèle d'Optogénétique stochastique en dimension infinie. Enfin, nous étudions l'extension du modèle à un espace de Banach réflexif, puis, dans un cas particulier, à un espace de Banach non réflexif
The aim of this thesis is to propose different mathematical neuron models that take into account Optogenetics, and study their optimal control. We first define a controlled version of finite-dimensional, deterministic, conductance based neuron models. We study a minimal time problem for a single-input affine control system and we study its singular extremals. We implement a direct method to observe the optimal trajectories and controls. The optogenetic control appears as a new way to assess the capability of conductance-based models to reproduce the characteristics of the membrane potential dynamics experimentally observed. We then define an infinite-dimensional stochastic model to take into account the stochastic nature of the ion channel mechanisms and the action potential propagation along the axon. It is a controlled piecewise deterministic Markov process (PDMP), taking values in an Hilbert space. We define a large class of infinite-dimensional controlled PDMPs and we prove that these processes are strongly Markovian. We address a finite time optimal control problem. We study the Markov decision process (MDP) embedded in the PDMP. We show the equivalence of the two control problems. We give sufficient conditions for the existence of an optimal control for the MDP, and thus, for the initial PDMP as well. The theoretical framework is large enough to consider several modifications of the infinite-dimensional stochastic optogenetic model. Finally, we study the extension of the model to a reflexive Banach space, and then, on a particular case, to a nonreflexive Banach space

Les Processus Markoviens Déterministes par Morceaux (PDMP) ont été introduits dans la littérature par M.H.A Davis comme une classe générale de modèles stochastiques. Les PDMP forment une famille de processus markoviens qui décrivent une trajectoire déterministe ponctuée par des sauts aléatoires. Dans une première partie, les PDMP sont utilisés pour calculer des probabilités d'événements redoutés pour un cas-test de la fiabilité dynamique (le réservoir chauffé) par deux méthodes numériques différentes : la première est basée sur la résolution du système différentieldécrivant l'évolution physique du réservoir et la seconde utilise le calcul de l'espérancede la fonctionnelle d'un PDMP par un système d'équations intégro-différentielles.Dans la seconde partie, nous proposons une méthode numérique pour approcher lafonction valeur du problème d'arrêt optimal pour un PDMP. Notre approche estbasée sur la quantification de la position après saut et le temps inter-sauts de lachaîne de Markov sous-jacente au PDMP, et la discréetisation en temps adaptée à latrajectoire du processus. Ceci nous permet d'obtenir une vitesse de convergence denotre schéma numérique et de calculer un temps d'arrêt ε-optimal
Piecewise Deterministic Markov Processes (PDMP's) have been introduced inthe literature by M.H.A. Davis as a general class of stochastics models. PDMP's area family of Markov processes involving deterministic motion punctuated by randomjumps. In a first part, PDMP's are used to compute probabilities of top eventsfor a case-study of dynamic reliability (the heated tank system) with two di#erentmethods : the first one is based on the resolution of the differential system giving thephysical evolution of the tank and the second uses the computation of the functionalof a PDMP by a system of integro-differential equations. In the second part, wepropose a numerical method to approximate the value function for the optimalstopping problem of a PDMP. Our approach is based on quantization of the post-jump location and inter-arrival time of the Markov chain naturally embedded in thePDMP, and path-adapted time discretization grids. It allows us to derive boundsfor the convergence rate of the algorithm and to provide a computable ε-optimalstopping time

Les algorithmes MCMC sont difficiles à mettre à l'échelle, car ils doivent balayer l'ensemble des données à chaque itération, ce qui interdit leurs applications dans de grands paramètres de données. En gros, tous les algorithmes MCMC évolutifs peuvent être divisés en deux catégories: les méthodes de partage et de conquête et les méthodes de sous-échantillonnage. Le but de ce projet est de réduire le temps de calcul induit par des fonctions complexes ou à grande efficacité
MCMC algorithms are difficult to scale, since they need to sweep over the whole data set at each iteration, which prohibits their applications in big data settings. Roughly speaking, all scalable MCMC algorithms can be divided into two categories: divide-and-conquer methods and subsampling methods. The aim of this project is to reduce the computing time induced by complex or largelikelihood functions

Nous présentons d'abord les problématiques liées à l'utilisation des processus pour la modélisation des modèles d'histoire de vie et de survie, écriture de vraisemblance, définition d'indépendance locale entre processus et interprétation causale. De manière indépendante, nous présentons ensuite des modèles de processus de bifurcation, les méthodes d'estimation associées avec application à la division cellulaire. Enfin nous regardons des problèmes liés aux PDMP : modélisation de propagation de fissures, de HUMS et estimation du taux de saut. Quelques exemples de collaborations avec des chercheurs d'autres disciplines sont donnés dans le dernier chapitre.

L'expression des gènes dans une cellule a longtemps été observable uniquement à travers des quantités moyennes mesurées sur des populations. L'arrivée des techniques «single-cell» permet aujourd'hui d'observer des niveaux d'ARN et de protéines dans des cellules individuelles : il s'avère que même dans une population de génome identique, la variabilité entre les cellules est parfois très forte. En particulier, une description moyenne est clairement insuffisante étudier la différenciation cellulaire, c'est-à-dire la façon dont les cellules souches effectuent des choix de spécialisation. Dans cette thèse, on s'intéresse à l'émergence de tels choix à partir de réseaux de régulation sous-jacents entre les gènes, que l'on souhaiterait pouvoir inférer à partir de données. Le point de départ est la construction d'un modèle stochastique de réseaux de gènes capable de reproduire les observations à partir d'arguments physiques. Les gènes sont alors décrits comme un système de particules en interaction qui se trouve être un processus de Markov déterministe par morceaux, et l'on cherche à obtenir un modèle statistique à partir de sa loi invariante. Nous présentons deux approches : la première correspond à une approximation de champ assez populaire en physique, pour laquelle nous obtenons un résultat de concentration, et la deuxième se base sur un cas particulier que l'on sait résoudre explicitement, ce qui aboutit à un champ de Markov caché aux propriétés intéressantes
Gene expression in a cell has long been only observable through averaged quantities over cell populations. The recent development of single-cell transcriptomics has enabled gene expression to be measured in individual cells: it turns out that even in an isogenic population, the molecular variability can be very important. In particular, an averaged description is not sufficient to account for cell differentiation. In this thesis, we are interested in the emergence of such cell decision-making from underlying gene regulatory networks, which we would like to infer from data. The starting point is the construction of a stochastic gene network model that is able to explain the data using physical arguments. Genes are then seen as an interacting particle system that happens to be a piecewise-deterministic Markov process, and our aim is to derive a tractable statistical model from its stationary distribution. We present two approaches: the first one is a popular field approximation, for which we obtain a concentration result, and the second one is based on an analytically tractable particular case, which provides a hidden Markov random field with interesting properties

Composants de systèmes de sûreté nucléaire sont en général très fiable, ce qui conduit à une difficulté de modéliser leurs comportements de dégradation et d'échec en raison de la quantité limitée de données disponibles. Par ailleurs, la complexité de cette tâche de modélisation est augmentée par le fait que ces systèmes sont souvent l'objet de multiples processus concurrents de dégradation et que ceux-ci peut être dépendants dans certaines circonstances, et influencé par un certain nombre de facteurs externes (par exemple la température, le stress, les chocs mécaniques, etc.).Dans ce cadre de problème compliqué, ce travail de thèse vise à développer un cadre holistique de modèles et de méthodes de calcul pour l'analyse basée sur la fiabilité et la maintenance d'optimisation des systèmes de sûreté nucléaire en tenant compte des connaissances disponibles sur les systèmes, les comportements de dégradation et de défaillance, de leurs dépendances, les facteurs influençant externes et les incertitudes associées.Les contributions scientifiques originales dans la thèse sont:(1) Pour les composants simples, nous intégrons des chocs aléatoires dans les modèles de physique multi-états pour l'analyse de la fiabilité des composants qui envisagent dépendances générales entre la dégradation et de deux types de chocs aléatoires.(2) Pour les systèmes multi-composants (avec un nombre limité de composants):(a) un cadre de modélisation de processus de Markov déterministes par morceaux est développé pour traiter la dépendance de dégradation dans un système dont les processus de dégradation sont modélisées par des modèles basés sur la physique et des modèles multi-états; (b) l'incertitude épistémique à cause de la connaissance incomplète ou imprécise est considéré et une méthode volumes finis est prolongée pour évaluer la fiabilité (floue) du système; (c) les mesures d'importance de l'écart moyen absolu sont étendues pour les composants avec multiples processus concurrents dépendants de dégradation et soumis à l'entretien; (d) la politique optimale de maintenance compte tenu de l'incertitude épistémique et la dépendance de dégradation est dérivé en combinant schéma volumes finis, évolution différentielle et non-dominée de tri évolution différentielle; (e) le cadre de la modélisation de (a) est étendu en incluant les impacts des chocs aléatoires sur les processus dépendants de dégradation.(3) Pour les systèmes multi-composants (avec un grand nombre de composants), une méthode d'évaluation de la fiabilité est proposé considérant la dépendance dégradation en combinant des diagrammes de décision binaires et simulation de Monte Carlo pour réduire le coût de calcul
Components of nuclear safety systems are in general highly reliable, which leads to a difficulty in modeling their degradation and failure behaviors due to the limited amount of data available. Besides, the complexity of such modeling task is increased by the fact that these systems are often subject to multiple competing degradation processes and that these can be dependent under certain circumstances, and influenced by a number of external factors (e.g. temperature, stress, mechanical shocks, etc.). In this complicated problem setting, this PhD work aims to develop a holistic framework of models and computational methods for the reliability-based analysis and maintenance optimization of nuclear safety systems taking into account the available knowledge on the systems, degradation and failure behaviors, their dependencies, the external influencing factors and the associated uncertainties.The original scientific contributions of the work are: (1) For single components, we integrate random shocks into multi-state physics models for component reliability analysis, considering general dependencies between the degradation and two types of random shocks. (2) For multi-component systems (with a limited number of components):(a) a piecewise-deterministic Markov process modeling framework is developed to treat degradation dependency in a system whose degradation processes are modeled by physics-based models and multi-state models; (b) epistemic uncertainty due to incomplete or imprecise knowledge is considered and a finite-volume scheme is extended to assess the (fuzzy) system reliability; (c) the mean absolute deviation importance measures are extended for components with multiple dependent competing degradation processes and subject to maintenance; (d) the optimal maintenance policy considering epistemic uncertainty and degradation dependency is derived by combining finite-volume scheme, differential evolution and non-dominated sorting differential evolution; (e) the modeling framework of (a) is extended by including the impacts of random shocks on the dependent degradation processes.(3) For multi-component systems (with a large number of components), a reliability assessment method is proposed considering degradation dependency, by combining binary decision diagrams and Monte Carlo simulation to reduce computational costs

En premier lieu, nous proposons, étudions et optimisons différentes politiques de maintenance pour des systèmes réparables à dégradation markovienne ou semi-markovienne, dont les durées de réparation suivent des lois générales.
Nous nous intéressons ensuite au remplacement préventif de composants devenus obsolescents, du fait de l'apparition de nouveaux composants plus performants. Le problème est ici de déterminer la stratégie optimale de remplacement des anciens composants par les nouveaux. Les résultats obtenus conduisent à des stratégies très différentes selon que les composants ont des taux de panne constants ou non.
Les travaux suivants sont consacrés à l'évaluation numérique de différentes quantités fiabilistes, les unes liées à des sommes de variables aléatoires indépendantes, du type fonction de renouvellement par exemple, les autres liées à des systèmes markoviens ou semi-markoviens. Pour chacune de ces quantités, nous proposons des bornes simples et aisément calculables, dont la précision peut être ajustée en fonction d'un pas de temps. La convergence des bornes est par ailleurs démontrée, et des algorithmes de calcul proposés.
Nous nous intéressons ensuite à des systèmes hybrides, issus de la fiabilité dynamique, dont l'évolution est modélisée à l'aide d'un processus de Markov déterministe par morceaux (PDMP). Pour de tels systèmes, les quantités fiabilistes usuelles ne sont généralement pas atteignables analytiquement et doivent être calculées numériquement. Ces quantités s'exprimant à l'aide des lois marginales du PDMP (les lois à t fixé), nous nous attachons plus spécifiquement à leur évaluation. Pour ce faire, nous commençons par les caractériser comme unique solution d'un système d'équations intégro-différentielles. Puis, partant de ces équations, nous proposons deux schémas de type volumes finis pour les évaluer, l'un explicite, l'autre implicite, dont nous démontrons la convergence. Nous étudions ensuite un cas-test issu de l'industrie gazière, que nous modélisons à l'aide d'un PDMP, et pour lequel nous calculons différentes quantités fiabilistes, d'une part par méthodes de volumes finis, d'autre part par simulations de Monte-Carlo. Nous nous intéressons aussi à des études de sensibilité : les caractéristiques d'un PDMP sont supposées dépendre d'une famille de paramètres et le problème est de comparer l'influence qu'ont ces différents paramètres sur un critère donné, à horizon fini ou infini. Cette étude est faite au travers des dérivées du critère d'étude par rapport aux paramètres, dont nous démontrons l'existence et que nous calculons.
Enfin, nous présentons rapidement les travaux effectués par Margot Desgrouas lors de sa thèse consacrée au comportement asymptotique des PDMP, et nous donnons un aperçu de quelques travaux en cours et autres projets.

Cette thèse traite de quatre sujets en rapport avec les dynamiques non-réversibles. Chacun fait l'objet d'un chapitre qui peut être lu indépendamment.Le premier chapitre est une introduction générale présentant les problématiques et quelques résultats majeurs de physique statistique computationnelle.Le second chapitre concerne la résolution numérique d'équations aux dérivées partielles hypoelliptiques, c'est-à-dire faisant intervenir un opérateur différentiel inversible mais non coercif. Nous prouvons la consistance de la méthode de Galerkin ainsi que des taux de convergence pour l'erreur. L'analyse est également conduite dans le cas d'une formulation point-selle, qui s'avère être la plus adaptée dans les cas qui nous intéressent. Nous démontrons que nos hypothèses sont satisfaites dans un cas simple et vérifions numériquement nos prédictions théoriques sur cet exemple.Dans le troisième chapitre nous proposons une stratégie générale permettant de construire des variables de contrôle pour des dynamiques hors-équilibre. Cette méthode permet en particulier de réduire la variance des estimateurs de coefficient de transport par moyenne ergodique. Cette réduction de variance est quantifiée dans un régime perturbatif. La variable de contrôle repose sur la solution d'une équation aux dérivées partielles. Dans le cas de l'équation de Langevin cette équation est hypoelliptique, ce qui motive le chapitre précédent. La méthode proposée est testée numériquement sur trois exemples.Le quatrième chapitre est connecté au troisième puisqu'il utilise la même idée de variable de contrôle. Il s'agit d'estimer la mobilité d'une particule dans le régime sous-amorti, où la dynamique est proche d'être Hamiltonienne. Ce travail a été effectué en collaboration avec G. Pavliotis durant un séjour à l'Imperial College London.Le dernier chapitre traite des processus de Markov déterministes par morceaux, qui permettent l'échantillonnage de mesure en grande dimension. Nous prouvons la convergence exponentielle vers l'équilibre de plusieurs dynamiques de ce type sous un formalisme général incluant le processus de Zig-Zag (ZZP), l'échantillonneur à particule rebondissante (BPS) et la dynamique de Monte Carlo hybride randomisée (RHMC). La dépendances des bornes sur le taux de convergence que nous démontrons sont explicites par rapport aux paramètres du problème. Cela permet en particulier de contrôler la taille des intervalles de confiance pour des moyennes empiriques lorsque la dimension de l'espace des phases sous-jacent est grande. Ce travail a été fait en collaboration avec C. Andrieu, A. Durmus et N. Nüsken
This thesis deals with four topics related to non-reversible dynamics. Each is the subject of a chapter which can be read independently. The first chapter is a general introduction presenting the problematics and some major results of computational statistical physics. The second chapter concerns the numerical resolution of hypoelliptic partial differential equations, i.e. involving an invertible but non-coercive differential operator. We prove the consistency of the Galerkin method as well as convergence rates for the error. The analysis is also carried out in the case of a saddle-point formulation, which is the most appropriate in the cases of interest to us. We demonstrate that our assumptions are met in a simple case and numerically check our theoretical predictions on this example. In the third chapter we propose a general strategy for constructing control variates for nonequilibrium dynamics. In particular, this method reduces the variance of transport coefficient estimators by ergodic mean. This variance reduction is quantified in a perturbative regime. The control variate is based on the solution of a partial differential equation. In the case of Langevin's equation this equation is hypoelliptic, which motivates the previous chapter. The proposed method is tested numerically on three examples. The fourth chapter is connected to the third since it uses the same idea of a control variate. The aim is to estimate the mobility of a particle in the underdamped regime, where the dynamics are close to being Hamiltonian. This work was done in collaboration with G. Pavliotis during a stay at Imperial College London. The last chapter deals with Piecewise Deterministic Markov Processes, which allow measure sampling in high-dimension. We prove the exponential convergence towards the equilibrium of several dynamics of this type under a general formalism including the Zig-Zag process (ZZP), the Bouncy Particle Sampler (BPS) and the Randomized Hybrid Monte Carlo (RHMC). The dependencies of the bounds on the convergence rate that we demonstrate are explicit with respect to the parameters of the problem. This allows in particular to control the size of the confidence intervals for empirical averages when the size of the underlying phase space is large. This work was done in collaboration with C. Andrieu, A. Durmus and N. Nüsken

Dans cette thèse, motivés par des applications en Neuroscience, nous étudions des méthodes efficaces de type Monte Carlo (MC) et Multilevel Monte Carlo (MLMC) basées sur le thinning pour des processus (de Markov) déterministe par morceaux (PDMP ou PDP) que l'on appliquent à des modèles à conductance. D'une part, lorsque la trajectoire déterministe du PDMP est connue explicitement nous aboutissons à une simulation exacte. D'autre part, lorsque la trajectoire déterministe du PDMP n'est pas explicite, nous établissons des estimées d'erreurs forte et un développement de l'erreur faible pour le schéma numérique que nous introduisons. La méthode de thinning est fondamentale dans cette thèse. Outre le fait que cette méthode est intuitive, nous l'utilisons à la fois numériquement (pour simuler les trajectoires de PDMP/PDP) et théoriquement (pour construire les instants de saut et établir des estimées d'erreurs pour les PDMP/PDP)
In this thesis, motivated by applications in Neuroscience, we study efficient Monte Carlo (MC) and Multilevel Monte Carlo (MLMC) methods based on the thinning for piecewise deterministic (Markov) processes (PDMP or PDP) that we apply to stochastic conductance-based models. On the one hand, when the deterministic motion of the PDMP is explicitly known we end up with an exact simulation. On the other hand, when the deterministic motion is not explicit, we establish strong estimates and a weak error expansion for the numerical scheme that we introduce. The thinning method is fundamental in this thesis. Beside the fact that it is intuitive, we use it both numerically (to simulate trajectories of PDMP/PDP) and theoretically (to construct the jump times and establish error estimates for PDMP/PDP)

Ce travail propose de nouvelles méthodes d’évaluation d’indicateurs de risque associés à une stratégie d’investissements, en vue d’une optimisation robuste de la maintenance d’un parc de composants. La quantification de ces indicateurs nécessite une modélisation rigoureuse de l’évolution stochastique des durées de vie des composants soumis à maintenance. Pour ce faire, nous proposons d’utiliser des processus markoviens déterministes par morceaux, qui sont généralement utilisés en Fiabilité Dynamique pour modéliser des composants en interaction avec leur environnement. Les indicateurs de comparaison des stratégies de maintenance candidates sont issus de la Valeur Actuelle Nette (VAN). La VAN représente la différence entre les flux financiers associés à une stratégie de référence et ceux associés à une stratégie de maintenance candidate. D’un point de vue probabiliste, la VAN est la différence de deux variables aléatoires dépendantes, ce qui en complique notablement l’étude. Dans cette thèse, les méthodes de Quasi Monte Carlo sont utilisées comme alternatives à la méthode de Monte Carlo pour la quantification de la loi de la VAN. Ces méthodes sont dans un premier temps appliquées sur des exemples illustratifs. Ensuite, elles ont été adaptées pour l’évaluation de stratégie de maintenance de deux systèmes de composants d’une centrale de production d’électricité. Le couplage de ces méthodes à un algorithme génétique a permis d’optimiser une stratégie d’investissements
This work proposes new assessment methods of risk indicators associated with an investments plan in view of a robust maintenance optimization of a fleet of components. The quantification of these indicators requires a rigorous modelling of the stochastic evolution of the lifetimes of components subject to maintenance. With that aim, we propose to use Piecewise Deterministic Markov Processes which are usually used in Dynamic Reliability for the modelling of components in interaction with their environment. The comparing indicators of candidate maintenance strategies are derived from the Net Present Value (NPV). The NPV stands for the difference between the cumulated discounted cash-flows of both reference and candidate maintenance strategies. From a probabilistic point of view, the NPV is the difference between two dependent random variables, which complicates its study. In this thesis, Quasi Monte Carlo methods are used as alternatives to Monte Carlo method for the quantification of the NPV probabilistic distribution. These methods are firstly applied to illustrative examples. Then, they were adapted to the assessment of maintenance strategy of two systems of components of an electric power station. The coupling of these methods with a genetic algorithm has allowed to optimize an investments plan

Dans le présent document on aborde trois divers thèmes liés au contrôle et au calcul stochastiques, qui s'appuient sur la notion d'équation différentielle stochastique rétrograde (EDSR) dirigée par une mesure aléatoire. Les trois premiers chapitres de la thèse traitent des problèmes de contrôle optimal pour différentes catégories de processus markoviens non-diffusifs, à horizon fini ou infini. Dans chaque cas, la fonction valeur, qui est l'unique solution d'une équation intégro-différentielle de Hamilton-Jacobi-Bellman (HJB), est représentée comme l'unique solution d'une EDSR appropriée. Dans le premier chapitre, nous contrôlons une classe de processus semi-markoviens à horizon fini; le deuxième chapitre est consacré au contrôle optimal de processus markoviens de saut pur, tandis qu'au troisième chapitre, nous examinons le cas de processus markoviens déterministes par morceaux (PDMPs) à horizon infini. Dans les deuxième et troisième chapitres les équations d'HJB associées au contrôle optimal sont complètement non-linéaires. Cette situation survient lorsque les lois des processus contrôlés ne sont pas absolument continues par rapport à la loi d'un processus donné. Etant donné ce caractère complètement non-linéaire, ces équations ne peuvent pas être représentées par des EDSRs classiques. Dans ce cadre, nous avons obtenu des formules de Feynman-Kac non-linéaires en généralisant la méthode de la randomisation du contrôle introduite par Kharroubi et Pham (2015) pour les diffusions. Ces techniques nous permettent de relier la fonction valeur du problème de contrôle à une EDSR dirigée par une mesure aléatoire, dont une composante de la solution subit une contrainte de signe. En plus, on démontre que la fonction valeur du problème de contrôle originel non dominé coïncide avec la fonction valeur d'un problème de contrôle dominé auxiliaire, exprimé en termes de changements de mesures équivalentes de probabilité. Dans le quatrième chapitre, nous étudions une équation différentielle stochastique rétrograde à horizon fini, dirigée par une mesure aléatoire à valeurs entières sur $R_+ times E$, o`u $E$ est un espace lusinien, avec compensateur de la forme $nu(dt, dx) = dA_t phi_t(dx)$. Le générateur de cette équation satisfait une condition de Lipschitz uniforme par rapport aux inconnues. Dans la littérature, l'existence et unicité pour des EDSRs dans ce cadre ont été établies seulement lorsque $A$ est continu ou déterministe. Nous fournissons un théorème d'existence et d'unicité même lorsque $A$ est un processus prévisible, non décroissant, continu à droite. Ce résultat s’applique par exemple, au cas du contrôle lié aux PDMPs. En effet, quand $mu$ est la mesure de saut d'un PDMP sur un domaine borné, $A$ est prévisible et discontinu. Enfin, dans les deux derniers chapitres de la thèse nous traitons le calcul stochastique pour des processus discontinus généraux. Dans le cinquième chapitre, nous développons le calcul stochastique via régularisations des processus à sauts qui ne sont pas nécessairement des semimartingales. En particulier nous poursuivons l'étude des processus dénommés de Dirichlet faibles, dans le cadre discontinu. Un tel processus $X$ est la somme d'une martingale locale et d'un processus adapté $A$ tel que $[N, A] = 0$, pour toute martingale locale continue $N$. Pour une fonction $u: [0, T] times R rightarrow R$ de classe $C^{0,1}$ (ou parfois moins), on exprime un développement de $u(t, X_t)$, dans l'esprit d'une généralisation du lemme d'Itô, lequel vaut lorsque $u$ est de classe $C^{1,2}$. Le calcul est appliqué dans le sixième chapitre à la théorie des EDSRs dirigées par des mesures aléatoires. Dans de nombreuses situations, lorsque le processus sous-jacent $X$ est une semimartingale spéciale, ou plus généralement, un processus de Dirichlet spécial faible, nous identifions les solutions des EDSRs considérées via le processus $X$ et la solution $u$ d’une EDP intégro-différentielle associée
In the present document we treat three different topics related to stochastic optimal control and stochastic calculus, pivoting on thenotion of backward stochastic differential equation (BSDE) driven by a random measure.After a general introduction, the three first chapters of the thesis deal with optimal control for different classes of non-diffusiveMarkov processes, in finite or infinite horizon. In each case, the value function, which is the unique solution to anintegro-differential Hamilton-Jacobi-Bellman (HJB) equation, is probabilistically represented as the unique solution of asuitable BSDE. In the first chapter we control a class of semi-Markov processes on finite horizon; the second chapter isdevoted to the optimal control of pure jump Markov processes, while in the third chapter we consider the case of controlled piecewisedeterministic Markov processes (PDMPs) on infinite horizon. In the second and third chapters the HJB equations associatedto the optimal control problems are fully nonlinear. Those situations arise when the laws of the controlled processes arenot absolutely continuous with respect to the law of a given, uncontrolled, process. Since the corresponding HJB equationsare fully nonlinear, they cannot be represented by classical BSDEs. In these cases we have obtained nonlinear Feynman-Kacrepresentation formulae by generalizing the control randomization method introduced in Kharroubi and Pham (2015)for classical diffusions. This approach allows us to relate the value function with a BSDE driven by a random measure,whose solution hasa sign constraint on one of its components.Moreover, the value function of the original non-dominated control problem turns out to coincide withthe value function of an auxiliary dominated control problem, expressed in terms of equivalent changes of probability measures.In the fourth chapter we study a backward stochastic differential equation on finite horizon driven by an integer-valued randommeasure $mu$ on $R_+times E$, where $E$ is a Lusin space, with compensator $nu(dt,dx)=dA_t,phi_t(dx)$. The generator of thisequation satisfies a uniform Lipschitz condition with respect to the unknown processes.In the literature, well-posedness results for BSDEs in this general setting have only been established when$A$ is continuous or deterministic. We provide an existence and uniqueness theorem for the general case, i.e.when $A$ is a right-continuous nondecreasing predictable process. Those results are relevant, for example,in the frameworkof control problems related to PDMPs. Indeed, when $mu$ is the jump measure of a PDMP on a bounded domain, then $A$ is predictable and discontinuous.Finally, in the two last chapters of the thesis we deal with stochastic calculus for general discontinuous processes.In the fifth chapter we systematically develop stochastic calculus via regularization in the case of jump processes,and we carry on the investigations of the so-called weak Dirichlet processes in the discontinuous case.Such a process $X$ is the sum of a local martingale and an adapted process $A$ such that $[N,A] = 0$, for any continuouslocal martingale $N$.Given a function $u:[0,T] times R rightarrow R$, which is of class $C^{0,1}$ (or sometimes less), we provide a chain rule typeexpansion for $u(t,X_t)$, which constitutes a generalization of It^o's lemma being valid when $u$ is of class $C^{1,2}$.This calculus is applied in the sixth chapter to the theory of BSDEs driven by random measures.In several situations, when the underlying forward process $X$ is a special semimartingale, or, even more generally,a special weak Dirichlet process,we identify the solutions $(Y,Z,U)$ of the considered BSDEs via the process $X$ and the solution $u$ to an associatedintegro PDE

L'objet de cette thèse est l'étude mathématique de modèles probabilistes pour la génération et la propagation d'un potentiel d'action dans les neurones et plus généralement de modèles aléatoires pour les systèmes excitables. En effet, nous souhaitons étudier l'influence du bruit sur certains systèmes excitables multi-échelles possédant une composante spatiale, que ce soit le bruit contenu intrinsèquement dans le système ou le bruit provenant du milieu. Ci-dessous, nous décrivons d'abord le contenu mathématique de la thèse. Nous abordons ensuite la situation physiologique décrite par les modèles que nous considérons. Pour étudier le bruit intrinsèque, nous considérons des processus de Markov déterministes par morceaux à valeurs dans des espaces de Hilbert ("Hilbert-valued PDMP"). Nous nous sommes intéressés à l'aspect multi-échelles de ces processus et à leur comportement en temps long. Dans un premier temps, nous étudions le cas où la composante rapide est une composante discrète du PDMP. Nous démontrons un théorème limite lorsque la composante rapide est infiniment accélérée. Ainsi, nous obtenons la convergence d'une classe de "Hilbert-valued PDMP" contenant plusieurs échelles de temps vers des modèles dits moyennés qui sont, dans certains cas, aussi des PDMP. Nous étudions ensuite les fluctuations du modèle multi-échelles autour du modèle moyenné en montrant que celles-ci sont gaussiennes à travers la preuve d'un théorème de type "central limit". Dans un deuxième temps, nous abordons le cas où la composante rapide est elle-même un PDMP. Cela requiert de connaître la mesure invariante d'un PDMP à valeurs dans un espace de Hilbert. Nous montrons, sous certaines conditions, qu'il existe une unique mesure invariante et la convergence exponentielle du processus vers cette mesure. Pour des PDMP dits diagonaux, la mesure invariante est explicitée. Ces résultats nous permettent d'obtenir un théorème de moyennisation pour des PDMP "rapides" couplés à des chaînes de Markov à temps continu "lentes". Pour étudier le bruit externe, nous considérons des systèmes d'équations aux dérivées partielles stochastiques (EDPS) conduites par des bruits colorés. Sur des domaines bornés de $\mathbb{R}^2$ ou $\mathbb{R}^3$, nous menons l'analyse numérique d'un schéma de type différences finies en temps et éléments finis en espace. Pour une classe d'EDPS linéaires, nous étudions l'erreur de convergence forte de notre schéma. Nous prouvons que l'ordre de convergence forte est deux fois moindre que l'ordre de convergence faible. Par des simulations, nous montrons l'émergence de phénomènes d'ondes ré-entrantes dues à la présence du bruit dans des domaines de dimension deux pour les modèles de Barkley et Mitchell-Schaeffer.

Ce travail de thèse a pour objet l'étude de modèles markoviens qui résultent de la prise en compte d'incertitudes dans des systèmes possédant une dynamique hybride : entrées bruitées, dynamique mal connue, ou évènements aléatoires par exemple. De tels modèles, parfois qualifiés de Systèmes Hybrides Stochastiques (SHS), sont utilisés principalement en automatique et en recherche opérationnelle.

Nous introduisons dans la première partie du mémoire la notion de processus diffusif par morceaux, qui fournit un cadre théorique général qui unifie les différentes classes de modèles "hybrides" connues dans la littérature. Différents aspects de ces modèles sont alors envisagés, depuis leur construction mathématique (traitée grâce au théorème de renaissance pour les processus de Markov) jusqu'à l'étude de leur générateur étendu, en passant par le phénomène de Zénon.

La deuxième partie du mémoire s'intéresse plus particulièrement à la question de la "propagation de l'incertitude", c'est-à-dire à la manière dont évolue la loi marginale de l'état au cours du temps. L'équation de Fokker-Planck-Kolmogorov (FPK) usuelle est généralisée à diverses classes de processus diffusifs par morceaux, en particulier grâce aux notions d'intensité moyenne de sauts et de courant de probabilité. Ces résultats sont illustrés par deux exemples de modèles multidimensionnels, pour lesquels une résolution numérique de l'équation de FPK généralisée a été effectuée grâce à une discrétisation en volumes finis. La comparaison avec des méthodes de type Monte-Carlo est également discutée à partir de ces deux exemples.

Dans cette thèse nous étudions un phénomène susceptible d’être responsable de notre capacité de mémoire: la plasticité synaptique. C’est le changement des liens entre les neurones au cours du temps. Ce phénomène est stochastique: c’est le résultat d’une suite de divers et nombreux mécanismes chimiques. Le but de la thèse est de proposer un modèle de plasticité pour des neurones à décharge en interaction. La principale difficulté consiste à trouver un modèle qui satisfait les conditions suivantes: ce modèle doit être à la fois cohérent avec les résultats biologiques dans le domaine et assez simple pour être étudié mathématiquement et simulé avec un grand nombre de neurones.Dans un premier temps, à partir d’un modèle assez simple de plasticité, on étudie l’apprentissage de signaux extérieurs par un réseau de neurones ainsi que le temps d’oubli de ce signal lorsque le réseau est soumis à d’autres signaux (bruit). L’analyse mathématique nous permet de contrôler la probabilité d’une mauvaise évaluation du signal. On en déduit un minorant du temps de mémoire du signal en fonction des paramètres.Ensuite, nous proposons un modèle basé sur des règles stochastiques de plasticité fonction du temps d’occurrence des décharges électriques neurales (STDP en anglais). Ce modèle est décrit par un Processus de Markov Déterministe par Morceaux (PDMP en anglais). On étudie le comportement en temps long d’un tel réseau de neurones grâce à une analyse lent-rapide. En particulier, on trouve des conditions suffisantes pour lesquelles le processus associé aux poids synaptiques est ergodique.Enfin, nous faisons le lien entre deux niveaux de modélisation: l’approche microscopique et celle macroscopique. À partir des dynamiques présentées d’un point de vu microscopique (modèle du neurone et son interaction avec les autres neurones), on détermine une dynamique limite qui représente l’évolution d’un neurone typique et de ses poids synaptiques entrant: c’est l’analyse champ moyen du modèle. On condense ainsi l’information sur la dynamique des poids et celle des neurones dans une seule équation, celle d’un neurone typique
In this thesis, we study a phenomenon that may be responsible for our memory capacity: the synaptic plasticity. It modifies the links between neurons over time. This phenomenon is stochastic: it is the result of a series of diverse and numerous chemical processes. The aim of the thesis is to propose a model of plasticity for interacting spiking neurons. The main difficulty is to find a model that satisfies the following conditions: it must be both consistent with the biological results of the field and simple enough to be studied mathematically and simulated with a large number of neurons.In a first step, from a rather simple model of plasticity, we study the learning of external signals by a neural network as well as the forgetting time of this signal when the network is subjected to other signals (noise). The mathematical analysis allows us to control the probability to misevaluate the signal. From this, we deduce explicit bounds on the time during which a given signal is kept in memory.Next, we propose a model based on stochastic rules of plasticity as a function of the occurrence time of the neural electrical discharges (Spike Timing Dependent Plasticity, STDP). This model is described by a Piecewise Deterministic Markov Process (PDMP). The long time behaviour of such a neural network is studied using a slow-fast analysis. In particular, sufficient conditions are established under which the process associated with synaptic weights is ergodic. Finally, we make the link between two levels of modelling: the microscopic and the macroscopic approaches. Starting from the dynamics presented at a microscopic level (neuron model and its interaction with other neurons), we derive an asymptotic dynamics which represents the evolution of a typical neuron and its incoming synaptic weights: this is the mean field analysis of the model. We thus condense the information on the dynamics of the weights and that of the neurons into a single equation, that of a typical neuron

Les vaccins ont été une grande réussite en matière de santé publique au cours des dernières années. Cependant, le développement de vaccins efficaces contre les maladies infectieuses telles que le VIH ou le virus Ebola reste un défi majeur. Cela peut être attribué à notre manque de connaissances approfondies en immunologie et sur le mode d'action de la mémoire immunitaire. Les modèles mathématiques peuvent aider à comprendre les mécanismes de la réponse immunitaire, à quantifier les processus biologiques sous-jacents et à développer des vaccins fondés sur un rationnel scientifique. Nous présentons un modèle mécaniste de la dynamique de la réponse immunitaire humorale après injection d'un vaccin Ebola basé sur des équations différentielles ordinaires. Les paramètres du modèle sont estimés par maximum de vraisemblance dans une approche populationnelle qui permet de quantifier le processus de la réponse immunitaire et ses facteurs de variabilité. En particulier, le schéma vaccinal n'a d'impact que sur la réponse à court terme, alors que des différences significatives entre des sujets de différentes régions géographiques sont observées à plus long terme. Cela pourrait avoir des implications dans la conception des futurs essais cliniques. Ensuite, nous développons un outil numérique basé sur la programmation dynamique pour optimiser des schémas d'injections répétées. En particulier, nous nous intéressons à des patients infectés par le VIH sous traitement mais incapables de reconstruire leur système immunitaire. Des injections répétées d'un produit immunothérapeutique (IL-7) sont envisagées pour améliorer la santé de ces patients. Le processus est modélisé par un modèle de Markov déterministe par morceaux et des résultats récents de la théorie du contrôle impulsionnel permettent de résoudre le problème numériquement à l'aide d'une suite itérative. Nous montrons dans une preuve de concept que cette méthode peut être appliquée à un certain nombre de pseudo-patients. Dans l'ensemble, ces résultats s'intègrent dans un effort de développer des méthodes sophistiquées pour analyser les données d'essais cliniques afin de répondre à des questions cliniques concrètes
Vaccines have been one of the most successful developments in public health in the last years. However, a major challenge still resides in developing effective vaccines against infectious diseases such as HIV or Ebola virus. This can be attributed to our lack of deep knowledge in immunology and the mode of action of immune memory. Mathematical models can help understanding the mechanisms of the immune response, quantifying the underlying biological processes and eventually developing vaccines based on a solid rationale. First, we present a mechanistic model for the dynamics of the humoral immune response following Ebola vaccine immunizations based on ordinary differential equations. The parameters of the model are estimated by likelihood maximization in a population approach, which allows to quantify the process of the immune response and its factors of variability. In particular, the vaccine regimen is found to impact only the response on a short term, while significant differences between subjects of different geographic locations are found at a longer term. This could have implications in the design of future clinical trials. Then, we develop a numerical tool based on dynamic programming for optimizing schedule of repeated injections. In particular, we focus on HIV-infected patients under treatment but unable to recover their immune system. Repeated injections of an immunotherapeutic product (IL-7) are considered for improving the health of these patients. The process is first by a piecewise deterministic Markov model and recent results of the impulse control theory allow to solve the problem numerically with an iterative sequence. We show in a proof-of-concept that this method can be applied to a number of pseudo-patients. All together, these results are part of an effort to develop sophisticated methods for analyzing data from clinical trials to answer concrete clinical questions

Le but de cette synthèse est de présenter mon activité de recherche couvrant la période de temps écoulée à partir de l'année terminale de ma thèse (c'est à dire, la période octobre 2008 - février 2013). Mes thèmes de recherche correspondent, en majeure partie, à trois directions principales, chacune présentée dans une section dédiée : - méthodes de programmation linéaire dans l'étude des problèmes de contrôle déterministe ou stochastique ; - méthodes de contrôle des processus Markoviens déterministes par morceaux et leurs applications dans la théorie des réseaux stochastiques de gènes. - propriétés de contrôlabilité des systèmes linéaires stochastiques et sujets connexes. Dans le premier chapitre, nous étudions plusieurs classes de problèmes de contrôle déterministe ou stochastique à coût discontinu. Dans le contexte stochastique, nous considérons le problème de type Mayer et l'arrêt optimal des diffusions contrôlées (correspondant à l'article [G10]), les principes de la programmation dynamique (correspondant à l'article [G6]), ainsi qu'une classe de problèmes de contrôle impliquant des contraintes d'état (correspondant à l'article [G2]). Nous étudions également : des problèmes de contrôle à coût escompté et en horizon infini, ainsi que la moyennisation en temps long (correspondant à [G12]), des systèmes régis par des inégalités variationnelles stochastiques (dans [G3]) et une caractérisation de type Zubov pour les domaines de stabilité asymptotique (toujours dans [G3]). Nous investiguons l'existence d'une fonction valeur limite pour une classe de problèmes de contrôle stochastique sous des hypothèses de non-expansivité, ainsi que des théorèmes Tauberiennes uniformes (correspondant à [G19]). Dans le cadre déterministe, nous considérons la linéarisation et les principes de la programmation dynamique pour des problèmes de type coût supremum (ce qui correspond à [G9]) et pour des systèmes à contraintes d'état (dans [G1]). Nous proposons une méthode de linéarisation pour des problèmes de type min-max (correspondant à [G18]). Le point commun entre ces articles réside dans la méthode employée basée sur des formulation linéaires et des techniques de viscosité. Nous présentons également des résultats de viabilité pour les perturbations singulières des systèmes contrôlés (correspondant à [G13]). Le deuxième chapitre est axé sur quelques contributions à la théorie des processus de Markov déterministes par morceaux (PDMP, acronyme anglais de "piecewise deterministic Markov process"). Nous investiguons des conditions géométriques pour la viabilité et l'invariance des ensembles fermés par rapport aux dynamiques PDMP contrôlées (correspondant à l'article [G5]). Nous proposons également des formulations linéaires pour certains problèmes de contrôle dans ce contexte (correspondant aux articles [G8] et [G4]). Ces résultats permettent d'en inférer certaines conditions d'atteignabilité (dans l'article [G5]) ainsi que de caractériser les domaines de stabilité asymptotique en généralisant la méthode de Zubov (dans l'article [G4]). Les résultats théoriques sont appliqués à une classe de systèmes associés à des réseaux stochastiques de gènes (des modèles On/Off, le modèle proposé par Cook pour l'haploinsuffisance, ainsi que le modèle de Hasty pour la bistabilité du phage lambda). Le dernier chapitre présente l'étude de différentes classes de contrôlabilité pour des systèmes linéaires de type diffusion à sauts (correspondant à l'article [G7]) ou des systèmes linéaires de contrôle à dynamique champs-moyen (correspondant à l'article [G20]). Les arguments font intervenir des techniques de viabilité ainsi que des équations différentielles de type Riccati. Une première étape dans l'étude des propriétés de contrôlabilité des systèmes ayant comme espace d'état un espace d'Hilbert est franchie dans l'article [G11]. Nous y proposons une approche de type quasi-tangence dans l'étude de la propriété de (presque)viabilité des systèmes semi-linéaires dans un cadre infini-dimensionnel. Nous avons essayé de rendre le manuscrit aussi autonome que possible. Pour en assurer la lisibilité, nous avons également essayé de garder l'indépendance des chapitres. Afin de garder une dimension raisonnable du manuscrit, nous avons fait le choix de limitation de la redondance. Pour cette raison, les problèmes de contrôle sous contraintes d'état ont été présentés uniquement dans le contexte stochastique. Aussi, les détails précis de la méthode de Zubov ont été spécifiés uniquement dans le cas des processus Markoviens déterministes par morceaux et les contributions aux diffusions Browniennes ont été seulement mentionnées.

Cette thèse porte sur la compréhension des mécanismes de différenciation cellulaire des cellules souches permettant la production des globules rouges (mécanisme appelé érythropoïèse). Nous avons élaboré différents modèles mathématiques permettant une compréhension à différents niveaux. Dans un premier temps, nous avons construit et calibré un modèle à 8 équations différentielles ordinaires pour décrire la dynamique de 6 populations de cellules en érythropoïèse de repos et de stress. L’étude de données expérimentales in vivo, recueillies par nos collaborateurs Stéphane Giraudier (hématologue) et Evelyne Lauret (INSERM), a montré la nécessité d’ajouter deux équations pour modéliser les régulations érythropoïètiques. La calibration du modèle a été effectuée à l’aide des données biologiques et d’un algorithme d’optimisation stochastique appelé CMA-ES. Ce modèle nous a permis de mettre en lumière l’importance de la capacité d’auto-renouvellement des cellules érythropoïètiques dans la production des globules rouges. L’élaboration d’un modèle probabiliste de dimension 3 nous a ensuite permis de comprendre les conséquences dynamiques de cette capacité sur la production des globules rouges. L’étude de ce modèle a nécessité des changements d’échelles en taille et en temps révélant un système dit lent/rapide. À l’aide de méthodes dites de moyennisation nous avons décrit l’approximation en grande population du nombre de cellules de chaque type. Nous avons également quantifié mathématiquement les grandes fluctuations biologiquement observées au niveau du nombre de globules rouges. Nous avons finalement construit un modèle pour comprendre l’influence des longues phases d’inactivité, connues, des cellules souches mutantes dans la production des globules rouges. Les cellules souches mutantes, en faible nombre dans l’organisme comparé aux cellules saines, basculent aléatoirement d’un état actif à un état inactif. Les différences d’échelle de taille entre les populations de cellules, nous a conduit à étudier la dynamique d’un processus de Markov déterministe par morceaux de dimension 4. Nous avons montré l’existence d’une unique probabilité invariante vers laquelle le processus converge en variation totale, et identifié cette limite
This thesis focuses on understanding the mechanisms of stem cell differentiation leading to the production of red blood cells (a mechanism called erythropoiesis). To this end, we have developed different mathematical modelling leading to an understanding at different levels. Firstly, we have built and calibrated a model with 8 ordinary differential equations to describe the dynamics of 6 populations of cells in steady-state and stress erythropoiesis. The study of in vivo experimental data, realized by our collaborators St´ephane Giraudier (hematologist) and Evelyne Lauret (INSERM), showed the need of two equations to model erythropoiesis regulations. Modeling calibration was performed using biological data and a stochastic optimization algorithm called CMA-ES. This model highlighted the importance of the self-renewal capacity of the erythropoietic cells in the production of red blood cells. The development of a 3-dimensional probabilistic model then allowed us to understand the dynamic consequences of this capacity on the production of red blood cells. The study of this model required changes of scale in size and time revealing a so-called slow/fast system. Using averaging methods, we described the large population approximation of the number of each cell type. We have also mathematically quantified the large fluctuations in the number of red blood cells, biologically observed. Finally, we constructed a model to understand the influence of long periods of inactivity of mutant stem cells in the production of red blood cells. Mutant stem cells, which are in low numbers in the organism compared to healthy cells, randomly switch between an active and an inactive state. The different size scale between the cell populations led us to study the dynamics of a 4-dimensional piecewise deterministic Markov process. We showed the existence of a unique invariant probability measure towards which the process converges in total variation, and we identified this limits

De nombreux travaux récents ont démontré l'importance de la stochasticité dans l'expression des gènes à différentes échelles. On passera tout d'abord en revue les principaux résultats expérimentaux pour motiver l'étude de modèles mathématiques prenant en compte des effets aléatoires. On étudiera ensuite deux modèles particuliers où les effets aléatoires induisent des comportements intéressants, en lien avec des résultats expérimentaux: une dynamique intermittente dans un modèle d'auto-régulation de l'expression d'un gène; et l'émergence d'hétérogénéité à partir d'une population homogène de protéines par modification post-traductionnelle.\\ Dans le Chapitre I, nous avons étudié le modèle standard d'expression des gènes à trois variables: ADN, ARN messager et protéine. L'ADN peut être dans deux états, respectivement ''ON'' et ''OFF''. La transcription (production d'ARN messagers) peut avoir lieu uniquement dans l'état ''ON''. La traduction (production de protéines) est proportionnelle à la quantité d'ARN messager. Enfin la quantité de protéines peut réguler de manière non-linéaire les taux de production précédent. Nous avons utilisé des théorèmes de convergence de processus stochastique pour mettre en évidence différents régimes de ce modèle. Nous avons ainsi prouvé rigoureusement le phénomène de production intermittente d'ARN messagers et/ou de protéines. Les modèles limites obtenues sont alors des modèles hybrides, déterministes par morceaux avec sauts Markoviens. Nous avons étudié le comportement en temps long de ces modèles et prouvé la convergence vers des solutions stationnaires. Enfin, nous avons étudié en détail un modèle réduit, calculé explicitement la solution stationnaire, et étudié le diagramme de bifurcation des densités stationnaires. Ceci a permis 1) de mettre en évidence l'influence de la stochasticité en comparant aux modèles déterministes; 2) de donner en retour un moyen théorique d'estimer la fonction de régulation par un problème inverse. \\ Dans le Chapitre II, nous avons étudié une version probabiliste du modèle d'agrégation-fragmentation. Cette version permet une définition de la nucléation en accord avec les modèles biologistes pour les maladies à Prion. Pour étudier la nucléation, nous avons utilisé une version stochastique du modèle de Becker-Döring. Dans ce modèle, l'agrégation est réversible et se fait uniquement par attachement/détachement d'un monomère. Le temps de nucléation est définit comme le premier temps où un noyau (c'est-à-dire un agrégat de taille fixé, cette taille est un paramètre du modèle) est formé. Nous avons alors caractérisé la loi du temps de nucléation dans ce modèle. La distribution de probabilité du temps de nucléation peut prendre différente forme selon les valeurs de paramètres: exponentielle, bimodale, ou de type Weibull. Concernant le temps moyen de nucléation, nous avons mis en évidence deux phénomènes importants. D'une part, le temps moyen de nucléation est une fonction non-monotone du paramètre cinétique d'agrégation. D'autre part, selon la valeur des autres paramètres, le temps moyen de nucléation peut dépendre fortement ou très faiblement de la quantité initiale de monomère . Ces caractérisations sont importantes pour 1) expliquer des dépendances très faible en les conditions initiales, observées expérimentalement; 2) déduire la valeur de certains paramètres d'observations expérimentales. Cette étude peut donc être appliqué à des données biologiques. Enfin, concernant un modèle de polymérisation-fragmentation, nous avons montré un théorème limite d'un modèle purement discret vers un modèle hybride, qui peut-être plus utile pour des simulations numériques, ainsi que pour une étude théorique.

Nous y introduisons une nouvelle classe de distributions bivariées de type Marshall-Olkin, la distribution Erlang bivariée. La transformée de Laplace, les moments et les densités conditionnelles y sont obtenus. Les applications potentielles en assurance-vie et en finance sont prises en considération. Les estimateurs du maximum de vraisemblance des paramètres sont calculés par l'algorithme Espérance-Maximisation. Ensuite, notre projet de recherche est consacré à l'étude des processus de risque multivariés, qui peuvent être utiles dans l'étude des problèmes de la ruine des compagnies d'assurance avec des classes dépendantes. Nous appliquons les résultats de la théorie des processus de Markov déterministes par morceaux afin d'obtenir les martingales exponentielles, nécessaires pour établir des bornes supérieures calculables pour la probabilité de ruine, dont les expressions sont intraitables.
In this contribution, we introduce a new class of bivariate distributions of Marshall-Olkin type, called bivariate Erlang distributions. The Laplace transform, product moments and conditional densities are derived. Potential applications of bivariate Erlang distributions in life insurance and finance are considered. Further, our research project is devoted to the study of multivariate risk processes, which may be useful in analyzing ruin problems for insurance companies with a portfolio of dependent classes of business. We apply results from the theory of piecewise deterministic Markov processes in order to derive exponential martingales needed to establish computable upper bounds of the ruin probabilities, as their exact expressions are intractable.