Academic literature on the topic 'HAMILTON–JACOBI–ISAACS EQUATION'

O objetivo desta tese é investigar aspectos práticos que facilitem a aplicação da teoria de controle H1 não linear em projetos de sistemas de controle. A primeira contribuição deste trabalho é a proposta do uso de funções ponderação com dinâmica no projeto de controladores H1 não lineares. Essas funções são usadas no projeto de controladores H1 lineares para rejeição de perturbações, ruídos, atenuação de erro de rastreamento, dentre outras especificações. O maior obstáculo para aplicação prática da teoria de controle H1 não linear é a dificuldade para resolver simultaneamente as duas equações de Hamilton-Jacobi-Isaacs relacionadas ao problema de realimentação de estados e injeção da saída. Não há métodos sistematicos para resolver essas duas equações diferenciais parciais não lineares, equivalentes µas equações de Riccati da teoria de controle H1 linear. A segunda contribuição desta tese é um método para obter a injeção da saída transformando a equação de Hamilton-Jacobi-Isaacs em uma sequencia de equações diferenciais parciais lineares, que são resolvidas usando o método de Galerkin. Controladores H1 não lineares para um sistema de levitação magnética são obtidos usando o método clássico de expansão em série de Taylor e o método de proposto para comparação.<br>The purpose of this thesis is to investigate practical aspects to facilitate the ap- plication of nonlinear H1 theory in control systems design. Firstly, it is shown that dynamic weighting functions can be used to improve the performance and robustness of the nonlinear H1 controller such as in the design of H1 controllers for linear plants. The biggest bottleneck to the practical applications of nonlinear H1 control theory has been the di±culty in solving the Hamilton-Jacobi-Isaacs equations associated with the design of a state feedback and an output injection gain. There is no systematic numerical approach for solving this ¯rst order, nonlinear partial di®erential equations, which reduces to Riccati equations in the linear context. In this work, successive ap- proximation and Galerkin approximation methods are combined to derive an algorithm that produces an output injection gain. Design of nonlinear H1 controllers obtained by the well established Taylor approximation and by the proposed Galerkin approxi- mation method applied to a magnetic levitation system are presented for comparison purposes.

Dans cette thèse, nous proposons des algorithmes et présentons des résultats numériques pour la résolution de jeux répétés stochastiques, à deux joueurs et somme nulle dont l'espace d'état est de grande taille. En particulier, nous considérons la classe de jeux en information complète et en horizon infini. Dans cette classe, nous distinguons d'une part le cas des jeux avec gain actualisé et d'autre part le cas des jeux avec gain moyen. Nos algorithmes, implémentés en C, sont principalement basés sur des algorithmes de type itérations sur les politiques et des méthodes multigrilles. Ces algorithmes sont appliqués soit à des équations de la programmation dynamique provenant de problèmes de jeux à deux joueurs à espace d'états fini, soit à des discrétisations d'équations de type Isaacs associées à des jeux stochastiques différentiels. Dans la première partie de cette thèse, nous proposons un algorithme qui combine l'algorithme des itérations sur les politiques pour les jeux avec gain actualisé à des méthodes de multigrilles algébriques utilisées pour la résolution des systèmes linéaires. Nous présentons des résultats numériques pour des équations d'Isaacs et des inéquations variationnelles. Nous présentons également un algorithme d'itérations sur les politiques avec raffinement de grilles dans le style de la méthode FMG. Des exemples sur des inéquations variationnelles montrent que cet algorithme améliore de façon non négligeable le temps de résolution de ces inéquations. Pour le cas des jeux avec gain moyen, nous proposons un algorithme d'itération sur les politiques pour les jeux à deux joueurs avec espaces d'états et d'actions finis, dans le cas général multichaine (c'est-à-dire sans hypothèse d'irréductibilité sur les chaînes de Markov associées aux stratégies des deux joueurs). Cet algorithme utilise une idée développée dans Cochet-Terrasson et Gaubert (2006). Cet algorithme est basé sur la notion de projecteur spectral non-linéaire d'opérateurs de la programmation dynamique de jeux à un joueur (lequel est monotone et convexe). Nous montrons que la suite des valeurs et valeurs relatives satisfont une propriété de monotonie lexicographique qui implique que l'algorithme termine en temps fini. Nous présentons des résultats numériques pour des jeux discrets provenant d'une variante des jeux de Richman et sur des problèmes de jeux de poursuite. Finalement, nous présentons de nouveaux algorithmes de multigrilles algébriques pour la résolution de systèmes linéaires singuliers particuliers. Ceux-ci apparaissent, par exemple, dans l'algorithme d'itérations sur les politiques pour les jeux stochastiques à deux joueurs et somme nulle avec gain moyen, décrit ci-dessus. Nous introduisons également une nouvelle méthode pour la recherche de mesures invariantes de chaînes de Markov irréductibles basée sur une approche de contrôle stochastique. Nous présentons un algorithme qui combine les itérations sur les politiques d'Howard et des itérations de multigrilles algébriques pour les systèmes linéaires singuliers<br>In this thesis, we present some algorithms and numerical results for the solution of large scale zero-sum two player repeated stochastic games. In particular, we consider the class of games with perfect information and infinite horizon. In this class, we consider the games with discounted payoff and the games with mean payoff. Our algorithms are mainly based on policy iteration type algorithms and multigrid methods, and are implemented in C. These algorithms are applied either to the dynamic programming equation of a true finite state space zero-sum two player game or to the discretization of an Isaacs PDE of a zero-sum stochastic differential game. In a first part, we propose an algorithm which combines policy iterations for discounted games and algebraic multigrid methods to solve the linear systems involved in the policy iterations. We present numerical tests on discretizations of Isaacs equations or variational inequalities. We also present a full multilevel policy iteration, similar to FMG, which allows one to improve substantially the computation time for solving some variational inequalities. For the games with mean payoff, we develop a policy iteration algorithm to solve zero-sum stochastic games with finite state and action spaces, perfect information and in the general multichain case (i. E. Without irreducibility assumption on the Markov chains determined by the strategies of the players), following an idea of Cochet-Terrasson and Gaubert (2006). This algorithm relies on a notion of nonlinear spectral projection of dynamic programming operators of a one player games (which are monotone and convex). We show that the sequence of values and relative values satisfies a lexicographical monotonicity property, which implies that the algorithm does terminate. We present numerical results on a variant of Richman games and on pursuit-evasion games. We propose new algebraic multigrid algorithms to solve particular singular linear systems that arise for instance in the above policy iteration algorithm for zero-sum two player stochastic games with mean payoff. Furthermore, we introduce a new method to find the stationary probability of an irreducible Markov chain using a stochastic control approach and present an algorithm which combines the Howard policy iterations and algebraic multigrid iterations for singular systems

Cette thèse est composée de trois parties. Dans la première nous montrons l'existence et l'unicité de la solution continue et à croissance polynomiale, au sensviscosité, du système non linéaire de m équations variationnelles de type intégro-différentiel à obstacles unilatéraux interconnectés. Ce système est lié au problème du switching optimal stochastique lorsque le bruit est dirigé par un processus de Lévy. Un cas particulier du système correspond en effet à l’équation d’Hamilton-Jacobi-Bellman associé au problème du switching et la solution de ce système n’est rien d’autre que la fonction valeur du problème. Ensuite, nous étudions un système d’équations intégro-différentielles à obstacles bilatéraux interconnectés. Nous montrons l’existence et l’unicité des solutions continus à croissance polynomiale, au sens viscosité, des systèmes min-max et max-min. La démarche conjugue les systèmes d’EDSR réfléchies ainsi que la méthode de Perron. Dans la dernière partie nous montrons l’égalité des solutions des systèmes max-min et min-max d’EDP lorsque le bruit est uniquement de type diffusion. Nous montrons que si les coûts de switching sont assez réguliers alors ces solutions coïncident. De plus elles sont caractérisées comme fonction valeur du jeu de switching de somme nulle<br>There are three main results in this thesis. The first is existence and uniqueness of the solution in viscosity sense for a system of nonlinear m variational integral-partial differential equations with interconnected obstacles. From the probabilistic point of view, this system is related to optimal stochastic switching problem when the noise is driven by a Lévy process. As a by-product we obtain that the value function of the switching problem is continuous and unique solution of its associated Hamilton-Jacobi-Bellman system of equations. Next, we study a general class of min-max and max-min nonlinear second-order integral-partial variational inequalities with interconnected bilateralobstacles, related to a multiple modes zero-sum switching game with jumps. Using Perron’s method and by the help of systems of penalized unilateral reflected backward SDEs with jumps, we construct a continuous with polynomial growth viscosity solution, and a comparison result yields the uniqueness of the solution. At last, we deal with the solutions of systems of PDEs with bilateral inter-connected obstacles of min-max and max-min types in the Brownian framework. These systems arise naturally in stochastic switching zero-sum game problems. We show that when the switching costs of one side are smooth, the solutions of the min-max and max-min systems coincide. Furthermore, this solution is identified as the value function of the zero-sum switching game

Les problèmes abordés et les résultats obtenus dans cette thèse se divisent en deux parties. La première concerne l'étude de la valeur asymptotique de jeux dépendant de la fréquence (jeux-FD). Nous introduisons un jeu différentiel associé au jeu-FD dont la valeur se ramène à une équation de Hamilton-Jacobi-Bellman-lsaacs. En affrontant un problème d'irrégularité à l'origine, nous prouvons l’existence de la valeur du jeu différentiel sur [0.1 ] et ceci nous permet de prouver que la valeur du jeu FD converge vers la valeur du jeu continu qui débute à l'état initial 0. Dans la deuxième partie, l'objectif fondamental est la décomposition de l'espace des jeux finis en sous espaces des jeux adéquats et plus faciles à étudier vu que leurs équilibres sont distingués. Cette partie est divisée en deux chapitres. Dans le premier chapitre, nous établissons une décomposition canonique de tout jeu arbitraire fini en trois composantes et nous caractérisons les équilibres approximatifs d'un jeu donné par les équilibres uniformément mixtes et en stratégies dominantes lesquels apparaissent sur ses composantes. Dans le deuxième chapitre, nous introduisons sur l'espace des jeux finis une famille de produits scalaires et nous définissons la classe des jeux harmoniques relativement au produit scalaire choisi dans cette famille. Inspiré par la décomposition de Helmholtz-Hodge appliquée aux jeux par Candogan et al. (2011), nous établissons une décomposition orthogonale de l'espace des jeux finis, par rapport au produit scalaire choisi, en les sous espaces des jeux potentiels, des jeux harmoniques et des jeux non­stratégiques c nous généralisons les résultats de Candogan et al. (2011)<br>The problems addressed and results obtained in this thesis are divided in two parts. The first part concerns the study of the asymptotic value of frequency-dependent games (FD-games). We introduce a differential game associated to the FD-game whose value leads to a Hamilton-Jacob-Bellman-lsaacs equation. Although an irregularity occurs at the origin, we prove existence of the value in the differential game played over [0.1 ], which allows to prove that the value of the FD-game, as the number of stages tend to infinity, converges to the value of the continuous-time game with initial state 0. ln the second part, the objective is the decomposition of the space of finite games in subspaces of suitable games which admit disguised equilibria and more tractable analysis. This part is divided in two chapters. In the first chapter, we establish a canonical decomposition of an arbitrary game into three components and we characterize the approximate equilibria of a given game in terms of the uniform equilibrium and the equilibrium in dominant strategies that appear in its components. In the second part, we introduce a family of inner products in the space of finite games and we define the class of harmonic games relatively to the chosen inner product. Inspired of the Helmholtz-Hodge decomposition applied to games by Candogan et al (2011 ), we establish an orthogonal decomposition of the space of finite games with respect to the chosen inner product, in the subspaces of potential harmonic and non-strategic games and we further generalize several results of Candogan et al (2011)

Dans cette thèse, nous proposons des algorithmes et présentons des résultats numériques pour la résolution de jeux répétés stochastiques, à deux joueurs et somme nulle dont l'espace d'état est de grande taille. En particulier, nous considérons la classe de jeux en information complète et en horizon infini. Dans cette classe, nous distinguons d'une part le cas des jeux avec gain actualisé et d'autre part le cas des jeux avec gain moyen. Nos algorithmes, implémentés en C, sont principalement basés sur des algorithmes de type itérations sur les politiques et des méthodes multigrilles. Ces algorithmes sont appliqués soit à des équations de la programmation dynamique provenant de problèmes de jeux à deux joueurs à espace d'états fini, soit à des discrétisations d'équations de type Isaacs associées à des jeux stochastiques différentiels. Dans la première partie de cette thèse, nous proposons un algorithme qui combine l'algorithme des itérations sur les politiques pour les jeux avec gain actualisé à des méthodes de multigrilles algébriques utilisées pour la résolution des systèmes linéaires. Nous présentons des résultats numériques pour des équations d'Isaacs et des inéquations variationnelles. Nous présentons également un algorithme d'itérations sur les politiques avec raffinement de grilles dans le style de la méthode FMG. Des exemples sur des inéquations variationnelles montrent que cet algorithme améliore de façon non négligeable le temps de résolution de ces inéquations. Pour le cas des jeux avec gain moyen, nous proposons un algorithme d'itération sur les politiques pour les jeux à deux joueurs avec espaces d'états et d'actions finis, dans le cas général multichaine (c'est-à-dire sans hypothèse d'irréductibilité sur les chaînes de Markov associées aux stratégies des deux joueurs). Cet algorithme utilise une idée développée dans Cochet-Terrasson et Gaubert (2006). Cet algorithme est basé sur la notion de projecteur spectral non-linéaire d'opérateurs de la programmation dynamique de jeux à un joueur (lequel est monotone et convexe). Nous montrons que la suite des valeurs et valeurs relatives satisfont une propriété de monotonie lexicographique qui implique que l'algorithme termine en temps fini. Nous présentons des résultats numériques pour des jeux discrets provenant d'une variante des jeux de Richman et sur des problèmes de jeux de poursuite. Finalement, nous présentons de nouveaux algorithmes de multigrilles algébriques pour la résolution de systèmes linéaires singuliers particuliers. Ceux-ci apparaissent, par exemple, dans l'algorithme d'itérations sur les politiques pour les jeux stochastiques à deux joueurs et somme nulle avec gain moyen, décrit ci-dessus. Nous introduisons également une nouvelle méthode pour la recherche de mesures invariantes de chaînes de Markov irréductibles basée sur une approche de contrôle stochastique. Nous présentons un algorithme qui combine les itérations sur les politiques d'Howard et des itérations de multigrilles algébriques pour les systèmes linéaires singuliers.

Inthis degree project, a solution on a coarse grid is recovered by fitting apartial differential equation to a few known data points. The PDE to consideris the heat equation and the Dupire’s equation with their synthetic data,including synthetic data from the Black-Scholes formula. The approach to fit aPDE is by optimal control to derive discrete approximations to regularized Hamiltoncharacteristic equations to which discrete stepping schemes, and parameters forsmoothness, are examined. By non-parametric numerical implementation thedervied method is tested and then a few suggestions on possible improvementsare given<br>I detta examensarbete återskapas en lösning på ett glest rutnät genom att anpassa en partiell differentialekvation till några givna datapunkter. De partiella differentialekvationer med deras motsvarande syntetiska data som betraktas är värmeledningsekvationen och Dupires ekvation inklusive syntetiska data från Black-Scholes formel. Tillvägagångssättet att anpassa en PDE är att med hjälp av optimal styrning härleda diskreta approximationer på ett system av regulariserade Hamilton karakteristiska ekvationer till vilka olika diskreta stegmetoder och parametrar för släthet undersöks. Med en icke-parametrisk numerisk implementation prövas den härledda metoden och slutligen föreslås möjliga förbättringar till metoden.

On étudie la convergence d'un schéma anti-dissipatif, l'UltraBee, pour les équations Hamilton Jacobi Bellman en dimension 1. Deux méthodes de résolution utilisant ce schéma sont proposées. La première combine l'UltraBee à une adaptation de grille, la deuxième utilise un stockage creux. Cette dernière est appliquée au problème de la rentrée atmosphérique. Enfin, quelques extensions théoriques sont données.