Literatura académica sobre el tema "Commande Prédictive Basée sur l’Apprentissage"

Les impératifs environnementaux suscitent un regain d’intérêt pour la recherche sur le contrôle de l’écoulement des fluides afin de réduire la consommation d’énergie et les émissions dans diverses applications telles que l’aéronautique et l’automobile. Les stratégies de contrôle des fluides peuvent optimiser le système en temps réel, en tirant parti des mesures des capteurs et des modèles physiques. Ces stratégies visent à manipuler le comportement d’un système pour atteindre un état souhaité (stabilité, performance, consommation d’énergie). Dans le même temps, le développement d’approches de contrôle pilotées par les données dans des domaines concurrents tels que les jeux et la robotique a ouvert de nouvelles perspectives pour le contrôle des fluides. Cependant, l’intégration du contrôle basé sur l’apprentissage en dynamique des fluides présente de nombreux défis, notamment en ce qui concerne la robustesse de la stratégie de contrôle, l’efficacité de l’échantillon de l’algorithme d’apprentissage, et la présence de retards de toute nature dans le système. Ainsi, cette thèse vise à étudier et à développer des stratégies de contrôle basées sur l’apprentissage en tenant compte de ces défis, dans lesquels deux classes principales de stratégies de contrôle basées sur les données sont considérées : l’apprentissage par renforcement (RL) et la commande prédictive basée sur l’apprentissage (LB-MPC). De multiples contributions sont apportées dans ce contexte. Tout d’abord, un développement étendu sur la connexion entre les domaines du contrôle stochastique (temps continu) et du processus de décision de Markov (temps discret) est fourni pour unifier les deux approches. Deuxièmement, des preuves empiriques sur les propriétés de régularisation de l’algorithme d’apprentissage par renforcement par maximum d’entropie sont présentées à travers des concepts d’apprentissage statistique pour mieux comprendre la caractéristique de robustesse de l’approche par maximum d’entropie. Troisièmement, la notion d’abstraction temporelle est utilisée pour améliorer l’efficacité de l’échantillonnage d’un algorithme de commande prédictive par modèle basé sur l’apprentissage et piloté par une règle d’échantillonnage de la théorie de l’information. Enfin, les modèles différentiels neuronaux sont introduits à travers le concept d’équations différentielles neuronales à retard pour modéliser des systèmes à temps continu avec des retards pour des applications en commande prédictive. Les différentes études sont développées à l’aide de simulations numériques appliquées à des systèmes minimalistes issus des théories des systèmes dynamiques et du contrôle afin d’illustrer les résultats théoriques. Les expériences de la dernière partie sont également menées sur des simulations d’écoulement de fluides en 2D
Environmental needs are driving renewed research interest in fluid flow control to reduce energy consumption and emissions in various applications such as aeronautics and automotive industries. Flow control strategies can optimise the system in real time, taking advantage of sensor measurements and physical models. These strategies aim at manipulating the behaviour of a system to reach a desired state (textit{e.g.}, stability, performance, energy consumption). Meanwhile, the development of data-driven control approaches in concurrent areas such as games and robotics has opened new perspectives for flow control. However, the integration of learning-based control in fluid dynamics comes with multiple challenges, including the robustness of the control strategy, the sample efficiency of the learning algorithm, and the presence of delays of any nature in the system. Thus, this thesis aims to study and develop learning-based control strategies with respect to these challenges where two main classes of data-driven control strategies are considered: Reinforcement Learning (RL) and Learning-based Model Predictive Control (LB-MPC). Multiple contributions are made in this context. First, an extended development on the connection between the fields of (continuous-time) Stochastic Control and (discrete-time) Markov Decision Process is provided to bridge the gap between the two approaches. Second, empirical evidence on the regularisation properties of the Maximum Entropy Reinforcement Learning algorithm is presented through statistical learning concepts to further understand the robustness feature of the Maximum Entropy approach. Third, the notion of temporal abstraction is used to improve the sample efficiency of a Learning-based Model Predictive Control algorithm driven by an Information Theoretic sampling rule. Lastly, neural differential models are introduced through the concept of Neural Delay Differential Equations to model continuous-time systems with delays for Model Predictive Control applications. The different studies are developed with numerical simulations applied on minimalistic systems from Dynamical Systems and Control theories to illustrate the theoretical results. The training experiments of the last part are also conducted on 2D fluid flow simulations

Cette thèse traite de la trajectographie exo-atmosphérique d'un lanceur. Cette probl ématique repose sur la résolution d'un problème d'optimisation contraint : le problème aux deux bouts. Ce dernier consiste à trouver les actions à prendre afin d'atteindre la position et la vitesse désirées en consommant le moins d'énergie possible. Ces actions doivent respecter les contraintes imposées par la dynamique et la structure du véhicule. En plus, dans le cas d'un lanceur, le contrôle s'effectue uniquement en modifiant l'orientation de la poussée. Pour résoudre ce problème, le projet de doctorat est divisé en trois parties distinctes : la modélisation de la dynamique, l'obtention d'une trajectoire de référence et la fonction de guidage. La première partie, la modélisation, consiste à obtenir un modèle précis et réaliste de la dynamique de translation d'un lanceur. Elle passe donc par l'application de la seconde loi de Newton sur le centre de masse du lanceur. Dans cette thèse, ceci est effectué en utilisant trois représentations différentes, dont une nouvelle utilisant un quaternion qui permet de combler le vide entre les deux représentations existantes. À la suite de l'obtention d'un modèle du véhicule à guider, il devient possible de définir une trajectoire de référence régie par cette dynamique. Pour y parvenir, ce projet propose une optimisation directe où l'orientation de la poussée est discrétisée et correspond aux inconnues du problème d'optimisation. Le critère de ce problème d'optimisation inclut des termes utilisant des connaissances a priori de la trajectoire pour améliorer les propriétés de convergence. Le problème d'optimisation inclut également des contraintes, relaxées par des variables d'écart, sur l'orbite d'injection. La trajectoire résultante est utilisée comme consigne dans une fonction de guidage par suivi de trajectoire. Le suivi de trajectoire est une façon contournée de traiter le problème aux deux bouts et d'accélérer la résolution du problème de guidage afinn de s'insérer dans les capacités de calcul embarqué. Les algorithmes développés dans cette thèse sont basés sur la commande prédictive où les sorties du modèle prédictif sont les paramètres orbitaux instantanés de la trajectoire. Le premier algorithme utilise un modèle non-linéaire de prédiction alors que les deux autres sont basés sur une représentation linéaire variante dans le temps et sur une représentation linéaire fractionnelle. Ces trois algorithmes sont comparés à une solution classique en guidage de lanceur qui résout directement le problème aux deux bouts. Bien que les algorithmes développés produisent une orbite plus près de celle désirée et y parviennent en consommant moins de carburant, le temps de calcul nécessaire à leur résolution et leur piètre robustesse font en sorte qu'ils ne constitue pas une alternative intéressante à la solution de référence.
This thesis deals with the exo-atmospheric trajectory of a space launcher. The solution is obtained by solving a constrained optimization problem : the two-point boundary value problem. The solution is the required actions to reach the desired position and velocity while consuming the least energy as possible. These actions must comply with the constraints imposed by the dynamics and the structure of the vehicle. Also, for a space launcher, the control is limited to the thrust orientation. To solve this problem, this project is divided into three distinct parts : modeling the dynamics, obtaining a reference trajectory and the guidance function. The first part, the modeling, is the definition of an accurate and realistic model of the space launcher translational dynamics. Therefore, it requires the application of Newton's second law on the launcher center of mass. In this thesis, this is carried out using three different representations. The representation using a full quaternion is new to this field of application and fills the hole between the two others. With the model of the vehicle to be guided, it becomes possible to define a reference trajectory governed by this model. To do it, this project proposes a direct optimization where the thrust orientation is discretized and becomes the unknown of the optimization problem. The criterion of this optimization problem includes terms for a priori knowledge of the trajectory improving the convergence properties of the optimization. The optimization problem also includes constraints, relaxed by slack variables, on the injection orbit. The resulting trajectory is used as reference in a trajectory tracking guidance function. The trajectory tracking is a way to circumvent the resolution of the two-point boundary value problem, which accelerates the resolution to fit in on-board computing capabilities. The algorithms developed in this thesis are based on predictive control in which the outputs of predictive model are the instantaneous orbital parameters of the trajectory. A first algorithm uses a non-linear model for prediction while two others are rather based on a linear time-varying representation and a linear fractional representation. These three algorithms are compared to a conventional space launcher guidance solution, which directly solves the two-point boundary value problem. Even if the developped algorithms give a more accurate orbit and a less consuming trajectory, their computationnal time and poor robustness properties do not make them a viable alternative to the comparison solution.

Les structures de commande prédictive (MPC) utilisant des simulateurs dynamiques comme modèles de procédé ne font pas légion. Cette rareté s'explique en grande partie par la difficulté de résolution des problèmes d'optimisation résultants. En effet, les algorithmes de programmation non linéaire ne sont pas toujours adaptés pour atteindre efficacement l'optimum des fonctions basées sur des modèles physiques, à plus forte raison encore si les équations utilisées sont inconnues (modèles de type boîte noire). C'est en s'appuyant sur ce constat qu'une nouvelle approche pour la MPC est proposée. Le principe consiste à substituer la minimisation explicite de la fonction objectif par une simulation du système en boucle fermée pour solutionner de façon généralement sous-optimale le problème de contrôle en boucle ouverte. Cette nouvelle méthode permet d'exploiter plusieurs des avantages de la commande prédictive sans être limitée par la complexité des modèles. Deux algorithmes sont présentés: décentralisé et découplé. Bien qu'avantageuse sur le plan du réglage, la structure découplée ne permet pas la même liberté que la structure décentralisée pour le choix de l'horizon de prédiction qui doit généralement être du même ordre de grandeur que le temps de réponse en boucle ouverte. Le développement d'une structure de simulation du comportement dynamique de la flottation en colonne, un procédé de séparation des minéraux, représente la seconde contribution de cette thèse. Une grande lacune des simulateurs proposés à ce jour demeure que même lorsque les équations différentielles de conservation sont utilisées, les variations dynamiques du niveau de pulpe ne sont jamais considérées. La structure présentée ici s'intéresse à la simulation des mouvements des phases présentes et de leurs effets sur le niveau de pulpe et sur les débits de sortie. Par ailleurs, comme bien d'autres procédés minéralurgiques, la flottation en colonne a peu bénéficié des avancées en contrôle de procédés. C'est donc sur ce terrain que les deux thèmes étudiés se rencontrent lors d'une mise à l'épreuve conjointe. L'étude de cas proposée s'intéresse à l'asservissement de trois variables d'opération critiques pour le bon fonctionnement du procédé à savoir, la concentration d'air dans la zone de pulpe, le flux net d'eau à l'interface et le niveau de pulpe à l'aide d'un contrôleur prédictif basé sur la simulation.
Applications of dynamic simulators for model predictive controllers design are rather scarce in the litterature. The complexity of solving the resulting optimization problems may explain this lack of popularity. In fact, nonlinear programming algorithms are not always well suited to efficiently reach the optimum of a fundamentaly-based cost function. The situation is even worse when the equations used in the model are unknown by the control designers (black box models). The simulation-based model predictive controller is an alternative formulation to perform model predictive control (MPC) without making use of any explicit optimization solver, but rather based on an easy-to-compute closed-loop simulation. The resulting scheme generally provides a sub-optimal solution and benefits from many interesting features of conventional MPC without being restricted by the model complexity. Two algorithms are proposed: decentralized and decoupled. The decentralized simulation structure allows a flexible setting of the prediction horizon (Hp) that is not possible in the decoupled case, easier to tune, but where Hp must generally be in the same order of magnitude that the system settling time. A second contribution of this thesis is the development of a framework for the dynamic simulation of a mineral separation process: column flotation. Until now, most of the proposed models or simulators were restricted to the steady-state behavior. When dynamic mass-balance equations were considered, a constant pulp level during the simulation was always assumed. The presented framework aims to simulate water, solids and gas motion and their effect on the pulp level and output flow rates. As it often happens in mineral processing, the column flotation process has not benefited from advanced control techniques. This is where the two previous subjects merge. The proposed simulation framework is used to design a simulation-based model predictive controller for process variables having a strong influence on metallurgical results (grade and recovery). A case study is presented where the pulp level, bias and air hold-up in the pulp zone are kept within an acceptable operating region.

Ce travail de thèse a permis de développer une approche originale de commande pour les systèmes de télé-opération bilatérale maître-esclave. Cette stratégie de commande bilatérale est basée sur une combinaison judicieuse de l’ingénierie de la commande prédictive et du concept de platitude. Une telle approche est principalement caractérisée par sa capacité de prendre en compte explicitement le retour d’effort pour garantir un meilleur compromis entre la stabilité du système de commande et sa transparence. Deux problèmes de commande ont été traités pour mieux appréhender les performances en poursuite de la commande prédictive bilatérale proposée et sa capacité de recouvrir les bonnes propriétés de robustesse de la régulation prédictive. Le premier problème concerne le cas des systèmes linéaires. Des résultats fondamentaux de robustesse par rapport aux retards de transmission ont été obtenus et une attention particulière est réservée à la spécification des paramètres de synthèse, en l’occurrence les dynamiques de prédiction, et à l’étude du dilemme stabilité-transparence du système de commande global. Le second problème concerne le cas d’un système esclave opérant dans un environnement non linéaire. La conception du système de commande est faite en deux étapes. La première étape est une synthèse d’un système de commande en boucle ouverte effectuée conformément au concept de platitude. Ce système de commande en boucle ouverte permet au système esclave de suivre la trajectoire du système maître en réalisant une compensation adéquate des forces de contact entre le robot esclave et son environnement extérieur. La seconde étape est une synthèse d’un système de commande prédictive bilatérale dans le but de réaliser une stabilisation robuste du système esclave autour de sa trajectoire désirée. Ceci requiert une extension adéquate de la commande prédictive via une sortie plate au cas où la trajectoire de référence n’est pas connue a priori. En effet, la trajectoire de référence est affectée par la présence du retour d’effort. Quant au problème de minimisation, il est résolu par une prise en compte explicite de l’aspect bilatérale dans la loi de commande. Des validations expérimentales de l’approche de commande prédictive bilatérale ont été réalisées sur des plates-formes de télé-opération bilatérale avec un réseau de communication local d’une part, et un réseau de communication entre deux stations maître et esclave respectivement situées à Bourges et Vicenza d’autre part. L’utilisation de l’Internet comme réseau de communication a particulièrement permis de mettre en évidence la problématique des retards variables et aléatoires. Les résultats de robustesse en stabilité, de performances en poursuite et de transparence obtenus en simulation ont été validés en temps réel aussi bien dans le cas linéaire que dans le cas d’un environnement extérieur non linéaire. Plusieurs configurations de facteurs d’échelle ont été considérées pour montrer que les conditions de stabilité dépendent fortement de l’environnement extérieur et que la stabilité du système de commande et sa transparence constituent des propriétés antagonistes. Les résultats d’une méthode commande PID ont été données pour mieux apprécier ses limitations pour la télé-opération bilatérale.

Dans cette thèse une contribution a été faite sur l’étude et l’amélioration des performances de la génératrice synchrone (GS). C’est ainsi qu’une nouvelle structure d’excitation de la GS, basée sur l’utilisation d’une machine à aimants permanents combinée avec un pont redresseur à thyristors, a été proposée en vue d’alimenter directement l’inducteur de celle-ci. Afin de tirer un grand avantage de cette structure d’excitation dont la dynamique est par nature plus rapide que celle des structures classiques, deux lois de commande ont été mise en place : la commande prédictive et la commande H∞ et elles ont fourni des résultats assez similaires et très satisfaisants en simulation. Pour la validation expérimentale, une implantation en temps réel via une interface Dspace, nous a permis de conclure quant à la validité de notre approche. Une comparaison avec une structure d’excitation industrielle a été faite afin d’évaluer aussi bien quantitativement que qualitativement l’apport effectif de ce travail. Ainsi en termes de chutes/dépassement de tension, de temps de réponse et de taux de distorsion des signaux de sortie, la nouvelle approche combinée à une loi de commande moderne apporte une meilleure réponse par rapport aux structures classiques
The works presented in this dissertation are focussed on the study and the performances improvement of the synchronous generator. Then, a new excitation structure is proposed to directly feed the SG’s main armature. This exciter is based on a permanent magnet generator and thyristors bridge. In order to take real advantage of the new excitation structure, two modern and efficient control laws have been used: the predictive control and H∞ control. Both provide similar and very satisfactory results in simulation. Thanks to the real time implementation using the Dspace 1104, the effectiveness and the high performances of the new excitation approach have been proved. At the same time, an already used industrial excitation structure has been involved in the comparative study in order to quantify and qualify the real advantage of the new approach. Then, as regards voltage overshoots and drops, the time response and the output signal total harmonic distortion, the new excitation approach combined with modern control law gives better satisfaction than classical one

Dans un objectif conjoint d'identification paramétrique en ligne, les méthodes développées dans cette thèse permettent de concevoir en ligne et en boucle fermée les entrées optimales qui enrichissent les informations contenues dans l'expérience en cours. Ces méthodes reposent sur des mesures en temps réel du procédé, sur un modèle dynamique non linéaire (ou linéaire) multi-variable choisi du procédé, sur un modèle de sensibilité des mesures par rapport aux paramètres à estimer et sur un observateur non linéaire. L'analyse de l'observabilité et des techniques de commande prédictive permettent de définir la commande optimale qui est déterminée en ligne par optimisation sous contraintes. Des aspects de stabilisation sont également étudiés (via un apport de contraintes fictives ou via une technique de Lyapunov). Enfin, une loi de commande explicite pour le cas particulier du système d'ordre un est développée. Des exemples illustratifs sont traités via le logiciel ODOE4OPE : un bioréacteur, un réacteur continu parfaitement agité et une aile delta. Ces exemples permettent de voir que l'estimation des paramètres peut être réalisée avec une bonne précision, et à moindre coût expérimental en une expérience
For online parameter identification, the developed methods here allow to design online and in closed loop optimal inputs that enrich the information in the current experience. These methods are based on real-time measurements of the process, on a dynamic nonlinear (or linear) multi-variable model, on a sensitivity model of measurements with respect to the parameters to be estimated and a nonlinear observer. Analysis of observability and predictive control techniques are used to define the optimal control which is determined online by constrained optimization. Stabilization aspects are also studied (by adding fictitious constraints or by a Lyapunov technique). Finally, for the particular case of a first order linear system, the explicit control law is developed. Illustrative examples are processed via the ODOE4OPE software : a bio-reactor, a continuous stirred tank reactor and a delta wing. These examples help to see that the parameter estimation can be performed with good accuracy in a single and less costly experiment

L'objectif de ces travaux est de définir une méthodologie générique de conception des lois de commandes des climatiseurs automobiles. Une meilleure prise en compte du confort ressenti par les occupants du véhicule est également attendue. La modélisation des systèmes thermiques que sont l'habitacle et les passagers ont permis d'appréhender le problème par une approche système. Une première modélisation macroscopique des échanges thermiques, basée sur une représentation zonale de l'habitacle, décrit finement les phénomènes aérauliques. Pour les besoins de la synthèse des lois de commande, des modèles réduits ont été développés, fondés sur une approche physique des phénomenes thermiques. Des relevés expérimentaux ont permis l'identification et la validation de ces modèles. Une démarche de simplification d'un modèle de thermorégulation humaine a permis d'intégrer la notion de confort thermique au problème de la commande. La conception de différentes lois de commande de la température d'air (pid, predictive) ont permis d'améliorer la précision de la stratégie implantée industriellement. Le développement d'une commande originale, basée sur le ressenti thermique, permet d'intégrer toutes les composantes du confort thermique à la logique de régulation. Enfin, une validation expérimentale sur un véhicule a permis de confirmer les résultats de simulation sur l'intérêt d'une stratégie de commande prédictive vis-à-vis d'une régulation plus classique (pid).

Les centaines de millions de véhicules du parc automobile mondial nous rappellent à quel point notre société dépend du moteur à combustion interne. Malgré des progrès significatifs en termes d'émissions polluantes et de consommation, les moteurs à essence et diesel demeurent l'une des principales sources de pollution de l'air des centres urbains modernes. Ce constat motive les autorités à renforcer les normes anti-pollution, qui tendent à complexifier la définition technique des moteurs. En particulier, un nombre croissant d'actionneurs fait aujourd'hui, du contrôle de la chaîne d'air, un challenge majeur. Dans un marché de plus en plus mondialisé et où le temps de développement de moteurs se doit d'être de plus en plus court, ces travaux entendent proposer une solution aux problèmes liés à cette augmentation de la complexité. La proposition repose sur une approche en trois étapes et combine : modélisation physique du moteur, contrôle prédictif non linéaire et programmation multiparamétrique. Le cas du contrôle de la chaîne d'air d'un moteur à essence suralimenté sert de fil conducteur au document. Dans son ensemble, les développements présentés ici fournissent une approche quasi-systématique pour la synthèse du contrôle de la chaîne des moteurs à essence suralimentés. Intuitivement, le raisonnement doit pouvoir être étendu à d'autres boucles de contrôle et au cas des moteurs diesel.

Les centaines de millions de véhicules du parc automobile mondial nous rappellent à quel point notre société dépend du moteur à combustion interne. Malgré des progrès significatifs en termes d’émissions polluantes et de consommation, les moteurs à essence et diesel demeurent l’une des principales sources de pollution de l’air des centres urbains modernes. Ce constat motive les autorités à renforcer les normes anti-pollution, qui tendent à complexifier la définition technique des moteurs. En particulier, un nombre croissant d’actionneurs fait aujourd’hui, du contrôle de la chaîne d’air, un challenge majeur. Dans un marché de plus en plus mondialisé et où le temps de développement de moteurs se doit d’être de plus en plus court, ces travaux entendent proposer une solution aux problèmes liés à cette augmentation de la complexité. La proposition repose sur une approche en trois étapes et combine : modélisation physique du moteur, contrôle prédictif non linéaire et programmation multiparamétrique. Le cas du contrôle de la chaîne d’air d’un moteur à essence suralimenté sert de fil conducteur au document. Dans son ensemble, les développements présentés ici fournissent une approche quasi-systématique pour la synthèse du contrôle de la chaîne des moteurs à essence suralimentés. Intuitivement, le raisonnement doit pouvoir être étendu à d’autres boucles de contrôle et au cas des moteurs diesel
The hundreds of millions of passenger cars and other vehicles on our roads emphasize our society’s reliance on internal combustion engines. Despite striking progress in terms of pollutant emissions and fuel consumption, gasoline and diesel engines remain one of the most important sources of air pollution in modern urban areas. This leads the authorities to lay down increasingly drastic pollutant emission standards, which entail ever more complex engine technical definitions. In particular, due to an increasing number of actuators in the past few years, the air path of internal combustion engines represents one of the biggest challenges of engine control design. The present thesis addresses this issue of increasing engine complexity with respect to the continuous reduction in development time, dictated by a more and more competitive globalized market. The proposal consists in a three-step approach that combines physics-based engine modeling, nonlinear model predictive control and multi-parametric nonlinear programming. The latter leads to an explicit piecewise affine feedback control law, compatible with a real-time implementation. The proposed approach is applied to the particular case of the control of the air path of a turbocharged gasoline engine. Overall, the developments presented in this thesis provide a quasi-systematic approach for the synthesis of the control of the air path of turbocharged gasoline engines. Intuitively, this approach can be extended to other control loops in both gasoline and diesel engines

Saccharomyces cerevisiae est une levure largement utilisée pour la panification et la fermentation alcoolique. Elle suscite, aujourd'hui, de nouveaux champs d'application tels que la production de molécules à haute valeur ajoutée. Dans le but d'une meilleure connaissance et d'une mise en œuvre optimale, une souche commerciale de cette levure a été étudiée. Dans un premier temps, une méthode de traitement et de validation de données brutes a été mise au point. Ensuite, la cinétique d'entrainement de l'acétaldéhyde, molécule volatile produite au cours de la croissance de la levure, a été quantifiée et modélisée. Grâce à ses deux outils, l'étude des cultures discontinues sur glucose et sur éthanol a été abordée par des bilans de matière et d'énergie cellulaire. Ceci a permis de quantifier, avec précision, l'activité des voies métaboliques impliquées ainsi que les phénomènes de maintenance. Des lors, une synthèse et une étude de l'aspect régulation du métabolisme ont pu être réalisées. L’ensemble des résultats a servi à concevoir un modèle mathématique basé sur la connaissance du métabolisme, de l'énergétique cellulaire et de la physiologie de la levure. La dernière partie du travail a été consacrée à la mise au point, par simulation, de trois techniques de commande d'un réacteur semi-continu en vue de la production de biomasse (commande PID, commande prédictive généralisée et commande floue)