Dissertations / Theses on the topic 'Dissipative Scheme'

Ces dernières années, l’intelligence artificielle (IA) est confrontée à deux défis majeurs (parmi d’autres), à savoir l’explicabilité et la frugalité, dans un contexte d’intégration de l’IA dans des systèmes critiques ou embarqués et de raréfaction des ressources. Le défi est d’autant plus conséquent que les modèles proposés apparaissent commes des boîtes noires étant donné le nombre faramineux d’hyperparamètres à régler (véritable savoir-faire) pour les faire fonctionner. Parmi ces paramètres, l’optimiseur ainsi que les réglages qui lui sont associés ont un rôle critique dans la bonne mise en oeuvre de ces outils [196]. Dans cette thèse, nous nous focalisons sur l’analyse des algorithmes d’apprentissage/optimiseurs dans le contexte des réseaux de neurones, en identifiant des propriétés mathématiques faisant écho aux deux défis évoqués et nécessaires à la robustesse du processus d’apprentissage. Dans un premier temps, nous identifions des comportements indésirables lors du processus d’apprentissage qui vont à l’encontre d’une IA explicable et frugale. Ces comportements sont alors expliqués au travers de deux outils: la stabilité de Lyapunov et les intégrateurs géométriques. Empiriquement, la stabilisation du processus d’apprentissage améliore les performances, autorisant la construction de modèles plus économes. Théoriquement, le point de vue développé permet d’établir des garanties de convergence pour les optimiseurs classiquement utilisés dans l’entraînement des réseaux. La même démarche est suivie concernant l’optimisation mini-batch où les comportements indésirables sont légions: la notion de splitting équilibré est alors centrale afin d’expliquer et d’améliorer les performances. Cette étude ouvre la voie au développement de nouveaux optimiseurs adaptatifs, issus de la relation profonde entre optimisation robuste et schémas numériques préservant les invariants des systèmes dynamiques<br>Over the last few years, developping an explainable and frugal artificial intelligence (AI) became a fundamental challenge, especially when AI is used in safety-critical systems and demands ever more energy. This issue is even more serious regarding the huge number of hyperparameters to tune to make the models work. Among these parameters, the optimizer as well as its associated tunings appear as the most important leverages to improve these models [196]. This thesis focuses on the analysis of learning process/optimizer for neural networks, by identifying mathematical properties closely related to these two challenges. First, undesirable behaviors preventing the design of explainable and frugal networks are identified. Then, these behaviors are explained using two tools: Lyapunov stability and geometrical integrators. Through numerical experiments, the learning process stabilization improves the overall performances and allows the design of shallow networks. Theoretically, the suggested point of view enables to derive convergence guarantees for classical Deep Learning optimizers. The same approach is valuable for mini-batch optimization where unwelcome phenomenons proliferate: the concept of balanced splitting scheme becomes essential to enhance the learning process understanding and improve its robustness. This study paves the way to the design of new adaptive optimizers, by exploiting the deep relation between robust optimization and invariant preserving scheme for dynamical systems

Les tourbillons sont des structures importantes pour une large gamme d'écoulements de fluides, notamment les sillages, l'interaction fluide-structure, les décollements de couche limite et la turbulence. Cependant, les méthodes numériques classiques n'arrivent généralement pas à donner une représentation précise des tourbillons. Ceci est principalement lié à la dissipation numérique des schémas qui, si elle n'est pas spécifiquement calibrée pour le calcul des écoulements tourbillonnaires, conduit à une diffusion artificielle très rapide des tourbillons dans les calculs. Parmi d'autres approches, la méthode "Vorticity Confinement" (VC) de J. Steinhoff permet de compenser la dissipation des schémas au sein des tourbillons en introduisant une anti-dissipation non-linéaire, mais elle n’est précise qu’au premier ordre. D’autre part, des progrès significatifs ont récemment été accomplis dans le développement de méthodes numériques d’ordre élevé. Celles-ci permettent de réduire ce problème de dissipation excessive, mais la diffusion des tourbillons reste importante pour de nombreuses applications. La présente étude vise à développer des extensions d’ordre élevé de la méthode VC pour réduire cette dissipation excessive des tourbillons, tout en préservant la précision d'ordre élevé des schémas. Tout d'abord, les schémas de confinement sont analysés dans le cas de l'équation de transport linéaire, à partir de discrétisations couplées et découplées en espace et en temps. Une analyse spectrale de ces schémas est effectuée analytiquement et numériquement en raison de leur caractère non linéaire. Elle montre des propriétés dispersives et dissipatives améliorées par rapport aux schémas linéaires de base à tous les ordres de précision. Dans un second temps, des schémas VC précis au troisième et cinquième ordre sont développés pour les équations de Navier-Stokes compressibles. Les termes correctifs restent conservatifs, invariants par rotation et indépendants du schéma de base, comme la formulation originale VC2. Les tests numériques valident l'ordre de précision et la capacité des extensions VC d’ordre élevé à réduire la dissipation dans les tourbillons. Enfin, les schémas avec VC sont appliqués au calcul des écoulements turbulents, dans une approche de simulation de grandes échelles implicite (ILES). Les schémas numériques avec VC présentent une résolvabilité améliorée par rapport à leur version linéaire de base, et montrent leur capacité à décrire de façon cohérente ces écoulements tourbillonnaires complexes<br>Vortices are flow structures of primary interest in a wide range of fluid dynamics applications including wakes, fluid-structure interaction, flow separation and turbulence. Albeit their importance, standard Computational Fluid Dynamics (CFD) methods very often fail to provide an accurate representation of vortices. This is primarily related to the schemes’ numerical dissipation which, if inadequately tuned for the calculation of vortical flows, results in the artificial spreading and diffusion of vortices in numerical simulations. Among other approaches, the Vorticity Confinement (VC) method of J. Steinhoff allows balancing the baseline dissipation within vortices by introducing non-linear anti-dissipation in the discretization of the flow equations, but remains at most first-order accurate. At the same time, remarkable progress has recently been made on the development of high-order numerical methods. These allow reducing the problem of excess dissipation, but the diffusion of vortices remains important for many applications. The present study aims at developing high-order extensions of the VC method to reduce the excess dissipation of vortices, while preserving the accuracy of high-order methods. First, the schemes are analyzed in the case of the linear transport equation, based on time-space coupled and uncoupled formulations. A spectral analysis of nonlinear schemes with VC is performed analytically and numerically, due to their nonlinear character. These schemes exhibit improved dispersive and dissipative properties compared to their linear counterparts at all orders of accuracy. In a second step, third- and fifth-order accurate VC schemes are developed for the compressible Navier-Stokes equations. These remain conservative, rotationally invariant and independent of the baseline scheme, as the original VC2 formulation. Numerical tests validate the increased order of accuracy and the capability of high-order VC extensions to balance dissipation within vortices. Finally, schemes with VC are applied to the calculation of turbulent flows, in an implicit Large Eddy Simulation (ILES) approach. In these applications, numerical schemes with VC exhibit improved resolvability compared to their baseline linear version, while they are capable of producing consistent results even in complex vortical flows

Thesis (Ph. D.) -- University of Maryland, College Park, 2006.<br>Thesis research directed by: Applied Mathematics and Scientific Computation Program. Title from t.p. of PDF. Includes bibliographical references. Published by UMI Dissertation Services, Ann Arbor, Mich. Also available in paper.