Academic literature on the topic 'Stochastic accelerations'

Stochastic differential equations are becoming a popular tool for modeling the transport and acceleration of cosmic rays in the heliosphere. In diffusive shock acceleration, cosmic rays diffuse across a region of discontinuity where the up- stream diffusion coefficient abruptly changes to the downstream value. Because the method of stochastic integration has not yet been developed to handle these types of discontinuities, I utilize methods and ideas from probability theory to develop a conceptual framework for the treatment of such discontinuities. Using this framework, I then produce some simple numerical algorithms that allow one to incorporate and simulate a variety of discontinuities (or boundary conditions) using stochastic integration. These algorithms were then modified to create a new algorithm which incorporates the discontinuous change in diffusion coefficient found in shock acceleration (known as Skew Brownian Motion). The originality of this algorithm lies in the fact that it is the first of its kind to be statistically exact, so that one obtains accuracy without the use of approximations (other than the machine precision error). I then apply this algorithm to model the problem of diffusive shock acceleration, modifying it to incorporate the additional effect of the discontinuous flow speed profile found at the shock. A steady-state solution is obtained that accurately simulates this phenomenon. This result represents a significant improvement over previous approximation algorithms, and will be useful for the simulation of discontinuous diffusion processes in other fields, such as biology and finance.

The finite state projection algorithm provides modelers a new way of directly solving the chemical master equation. The algorithm utilizes the matrix exponential function, and so the algorithm’s performance suffers when it is applied to large problems. Other work has been done to reduce the size of the exponentiation through mathematical simplifications, but efficiently exponentiating a large matrix has not been explored. This work explores implementing the finite state projection algorithm on several different high-performance computing platforms as a means of efficiently calculating the matrix exponential function for large systems. This work finds that general purpose graphics processing can accelerate the finite state projection algorithm by several orders of magnitude. Specific biological models and modeling techniques are discussed as a demonstration of the algorithm implemented on a general purpose graphics processor. The results of this work show that general purpose graphics processing will be a key factor in modeling more complex biological systems.

First we consider implicit finite difference schemes on uniform grids in time and space for second order linear stochastic partial differential equations of parabolic type. Under sufficient regularity conditions, we prove the existence of an appropriate asymptotic expansion in powers of the the spatial mesh and hence we apply Richardson's method to accelerate the convergence with respect to the spatial approximation to an arbitrarily high order. Then we extend these results to equations where the parabolicity condition is allowed to degenerate. Finally, we consider implicit finite difference approximations for deterministic linear second order partial differential equations of parabolic type and give sufficient conditions under which the approximations in space and time can be simultaneously accelerated to an arbitrarily high order.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO<br>INSTITUTO MILITAR DE ENGENHARIA<br>CENTRO TECNOLÓGICO DO EXÉRCITO<br>Este trabalho apresenta uma proposta de aceleração da decomposição de Benders aplicada a uma versão mais geral e compacta (menos restrições e variáveis) do modelo de gestão de estoques, otimizado via programação estocástica de dois estágios que considera uma camada, um item, demanda incerta e política de controle (R, S). De maneira a ser possível considerar problemas de grande porte, foram aplicados os métodos L-Shaped tradicional com corte único e a sua forma estendida com múltiplos cortes. Resultados computacionais preliminares mostraram um substancial melhor desempenho computacional do método L-Shaped tradicional em relação à sua forma multi-cut L-Shaped, mesmo o primeiro necessitando de mais iterações para convergir na solução ótima. Tal observação motivou o desenvolvimento de uma nova técnica de aceleração da decomposição de Benders e de um conjunto de desigualdades válidas. Experimentos numéricos mostram que a abordagem proposta de combinar a técnica de aceleração elaborada com as desigualdades válidas desenvolvidas provê significativa redução do tempo computacional necessário para a solução de instâncias de grande porte.<br>This dissertation presents a speed up proposal for the Benders decomposition applied to a more general and compact version (less constraints and variables) of inventory management model, optimized via two-stage stochastic programming, which considers one layer, one item, uncertain demand and control policy (R, S). In order to be possible to consider large scale problems, the L-Shaped traditional method with single cuts and its extended form with multiple cuts were applied. Preliminary computational results showed a substantially better computational performance of the traditional L-Shaped method in comparison to the multi-cut L-Shaped method, even with the first requiring more iterations to converge on optimum solutions. This observation led to the development of a new technique to accelerate the decomposition of Benders and a set of valid inequalities. Numerical experiments show that the proposed approach of combining the elaborate acceleration technique with the developed valid inequalities, provide significant reduction in the computational time required to solve large scale instances.

De multiples problèmes en apprentissage automatique consistent à minimiser une fonction lisse sur un espace euclidien. Pour l’apprentissage supervisé, cela inclut les régressions par moindres carrés et logistique. Si les problèmes de petite taille sont résolus efficacement avec de nombreux algorithmes d’optimisation, les problèmes de grande échelle nécessitent en revanche des méthodes du premier ordre issues de la descente de gradient. Dans ce manuscrit, nous considérons le cas particulier de la perte quadratique. Dans une première partie, nous nous proposons de la minimiser grâce à un oracle stochastique. Dans une seconde partie, nous considérons deux de ses applications à l’apprentissage automatique : au partitionnement de données et à l’estimation sous contrainte de forme. La première contribution est un cadre unifié pour l’optimisation de fonctions quadratiques non-fortement convexes. Celui-ci comprend la descente de gradient accélérée et la descente de gradient moyennée. Ce nouveau cadre suggère un algorithme alternatif qui combine les aspects positifs du moyennage et de l’accélération. La deuxième contribution est d’obtenir le taux optimal d’erreur de prédiction pour la régression par moindres carrés en fonction de la dépendance au bruit du problème et à l’oubli des conditions initiales. Notre nouvel algorithme est issu de la descente de gradient accélérée et moyennée. La troisième contribution traite de la minimisation de fonctions composites, somme de l’espérance de fonctions quadratiques et d’une régularisation convexe. Nous étendons les résultats existants pour les moindres carrés à toute régularisation et aux différentes géométries induites par une divergence de Bregman. Dans une quatrième contribution, nous considérons le problème du partitionnement discriminatif. Nous proposons sa première analyse théorique, une extension parcimonieuse, son extension au cas multi-labels et un nouvel algorithme ayant une meilleure complexité que les méthodes existantes. La dernière contribution de cette thèse considère le problème de la sériation. Nous adoptons une approche statistique où la matrice est observée avec du bruit et nous étudions les taux d’estimation minimax. Nous proposons aussi un estimateur computationellement efficace<br>Many problems in machine learning are naturally cast as the minimization of a smooth function defined on a Euclidean space. For supervised learning, this includes least-squares regression and logistic regression. While small problems are efficiently solved by classical optimization algorithms, large-scale problems are typically solved with first-order techniques based on gradient descent. In this manuscript, we consider the particular case of the quadratic loss. In the first part, we are interestedin its minimization when its gradients are only accessible through a stochastic oracle. In the second part, we consider two applications of the quadratic loss in machine learning: clustering and estimation with shape constraints. In the first main contribution, we provided a unified framework for optimizing non-strongly convex quadratic functions, which encompasses accelerated gradient descent and averaged gradient descent. This new framework suggests an alternative algorithm that exhibits the positive behavior of both averaging and acceleration. The second main contribution aims at obtaining the optimal prediction error rates for least-squares regression, both in terms of dependence on the noise of the problem and of forgetting the initial conditions. Our new algorithm rests upon averaged accelerated gradient descent. The third main contribution deals with minimization of composite objective functions composed of the expectation of quadratic functions and a convex function. Weextend earlier results on least-squares regression to any regularizer and any geometry represented by a Bregman divergence. As a fourth contribution, we consider the the discriminative clustering framework. We propose its first theoretical analysis, a novel sparse extension, a natural extension for the multi-label scenario and an efficient iterative algorithm with better running-time complexity than existing methods. The fifth main contribution deals with the seriation problem. We propose a statistical approach to this problem where the matrix is observed with noise and study the corresponding minimax rate of estimation. We also suggest a computationally efficient estimator whose performance is studied both theoretically and experimentally

Cette thèse vise à explorer divers sujets liés à l'analyse des méthodes de premier ordre appliquées à des problèmes stochastiques de grande dimension. Notre première contribution porte sur divers algorithmes incrémentaux, tels que SVRG, SAGA, MISO, SDCA, qui ont été analysés de manière approfondie pour les problèmes avec des informations de gradient exactes. Nous proposons une nouvelle technique, qui permet de traiter ces méthodes de manière unifiée et de démontrer leur robustesse à des perturbations stochastiques lors de l'observation des gradients. Notre approche est basée sur une extension du concept de suite d'estimation introduite par Yurii Nesterov pour l'analyse d'algorithmes déterministes accélérés.Cette approche permet de concevoir de façon naturelle de nouveaux algorithmes incrémentaux offrant les mêmes garanties que les méthodes existantes tout en étant robustes aux perturbations stochastiques.Enfin, nous proposons un nouvel algorithme de descente de gradient stochastique accéléré et un nouvel algorithme SVRG accéléré robuste au bruit stochastique. Dans le dernier cas il s'agit essentiellement de l'accélération déterministe au sens de Nesterov, qui préserve la convergence optimale des erreurs stochastiques.Finalement, nous abordons le problème de l'accélération générique. Pour cela, nous étendons l'approche multi-étapes de Catalyst, qui visait à l'origine l'accélération de méthodes déterministes. Afin de l'appliquer aux problèmes stochastiques, nous le modifions pour le rendre plus flexible par rapport au choix des fonctions auxiliaires minimisées à chaque étape de l'algorithme. Finalement, à partir d'une méthode d'optimisation pour les problèmes fortement convexes, avec des garanties standard de convergence, notre procédure commence par accélérer la convergence vers une région dominée par le bruit, pour converger avec une vitesse quasi-optimale ensuite. Cette approche nous permet d'accélérer diverses méthodes stochastiques, y compris les algorithmes à variance réduite. Là encore, le cadre développé présente des similitudes avec l'analyse d'algorithmes accélérés à l'aide des suites d'estimation. En ce sens, nous essayons de combler l'écart entre l'optimisation déterministe et stochastique en termes d'accélération de Nesterov. Une autre contribution est une analyse unifiée d'algorithmes proximaux stochastiques lorsque l'opérateur proximal ne peut pas être calculé de façon exacte.Ensuite, nous étudions des propriétés d'algorithmes stochastique non-Euclidiens appliqués au problème d'estimation parcimonieuse. La structure de parcimonie permet de réduire de façon significative les effets du bruit dans les observation du gradient. Nous proposons un nouvel algorithme stochastique, appelé SMD-SR, permettant de faire meilleur usage de cette structure. Là encore, la méthode en question est une routine multi-étapes qui utilise l'algorithme stochastique de descente en miroir comme élément constitutif de ses étapes. Cette procédure comporte deux phases de convergence, dont la convergence linéaire de l'erreur pendant la phase préliminaire, et la convergence à la vitesse asymptotique optimale pendant la phase asymptotique. Par rapport aux solutions existantes les plus efficaces aux problèmes d’optimisation stochastique parcimonieux, nous proposons une amélioration sur plusieurs aspects. Tout d'abord, nous montrons que l'algorithme proposé réduit l'erreur initiale avec une vitesse linéaire (comme un algorithme déterministe de descente de gradient, utilisant l'observation complète du gradient), avec un taux de convergence optimal par rapport aux caractéristiques du bruit. Deuxièmement, nous obtenons ce taux pour une grande classe de modèles de bruit, y compris les distributions sous-gaussiennes, de Rademacher, de Student multivariées, etc. Enfin, ces résultats sont obtenus sous la condition optimale sur le niveau de parcimonie qui peut approcher le nombre total d'iterations de l'algorithme (à un facteur logarithmique près)<br>A goal of this thesis is to explore several topics in optimization for high-dimensional stochastic problems. The first task is related to various incremental approaches, which rely on exact gradient information, such as SVRG, SAGA, MISO, SDCA. While the minimization of large limit sums of functions was thoroughly analyzed, we suggest in Chapter 2 a new technique, which allows to consider all these methods in a generic fashion and demonstrate their robustness to possible stochastic perturbations in the gradient information.Our technique is based on extending the concept of estimate sequence introduced originally by Yu. Nesterov in order to accelerate deterministic algorithms.Using the finite-sum structure of the problems, we are able to modify the aforementioned algorithms to take into account stochastic perturbations. At the same time, the framework allows to derive naturally new algorithms with the same guarantees as existing incremental methods. Finally, we propose a new accelerated stochastic gradient descent algorithm and a new accelerated SVRG algorithm that is robust to stochastic noise. This acceleration essentially performs the typical deterministic acceleration in the sense of Nesterov, while preserving the optimal variance convergence.Next, we address the problem of generic acceleration in stochastic optimization. For this task, we generalize in Chapter 3 the multi-stage approach called Catalyst, which was originally aimed to accelerate deterministic methods. In order to apply it to stochastic problems, we improve its flexibility on the choice of surrogate functions minimized at each stage. Finally, given an optimization method with mild convergence guarantees for strongly convex problems, our developed multi-stage procedure, accelerates convergence to a noise-dominated region, and then achieves the optimal (up to a logarithmic factor) worst-case convergence depending on the noise variance of the gradients. Thus, we successfully address the acceleration of various stochastic methods, including the variance-reduced approaches considered and generalized in Chapter 2. Again, the developed framework bears similarities with the acceleration performed by Yu. Nesterov using the estimate sequences. In this sense, we try to fill the gap between deterministic and stochastic optimization in terms of Nesterov's acceleration. A side contribution of this chapter is a generic analysis that can handle inexact proximal operators, providing new insights about the robustness of stochastic algorithms when the proximal operator cannot be exactly computed.In Chapter 4, we study properties of non-Euclidean stochastic algorithms applied to the problem of sparse signal recovery. A sparse structure significantly reduces the effects of noise in gradient observations. We propose a new stochastic algorithm, called SMD-SR, allowing to make better use of this structure. This method is a multi-step procedure which uses the stochastic mirror descent algorithm as a building block over its stages. Essentially, SMD-SR has two phases of convergence with the linear bias convergence during the preliminary phase and the optimal asymptotic rate during the asymptotic phase.Comparing to the most effective existing solution to the sparse stochastic optimization problems, we offer an improvement in several aspects. First, we establish the linear bias convergence (similar to the one of the deterministic gradient descent algorithm, when the full gradient observation is available), while showing the optimal robustness to noise. Second, we achieve this rate for a large class of noise models, including sub-Gaussian, Rademacher, multivariate Student distributions and scale mixtures. Finally, these results are obtained under the optimal condition on the level of sparsity which can approach the total number of iterations of the algorithm (up to a logarithmic factor)

Une impulsion laser intense se propageant dans un plasma sous-dense (ne&lt; 10¹⁸ W.cm⁻²) et de durée très courte (τ₀&lt; 100 fs), , on atteint le régime de la bulle. Les champs électriques dans ces bulles, de l’ordre de 100 GV/m, peuvent accélérer un faisceau d’électrons jusqu’au GeV sur des distances de l’ordre du centimètre. Dans ce régime, les électrons expulsés par la force pondéromotrice du laser forment une fine et dense couche à la surface d'une cavité d'ions restés immobiles. Les propriétés de ce régime sont examinées par l’intermédiaire d’un modèle analytique, que nous avons développé en nous inspirant du travail de W. Lu et S. Yi. En nous plaçant dans ce régime prometteur, nous avons étudié les mécanismes d’injection et de piégeage dans l'onde de sillage. Dans l’injection optique, les polarisations parallèles ou circulaires positives conduisent respectivement à une injection mettant en jeu du chauffage stochastique, ou à l’injection froide. Un paramètre de similarité est introduit, celui-ci permet de déterminer la méthode d’injection la plus appropriée pour maximiser la charge injectée. Enfin, le modèle analytique présenté en première partie est étendu afin d’étudier l’onde de sillage dans le régime de la bulle lorsqu’un champ magnétique longitudinal initial est appliqué au plasma. Lorsque le plasma est magnétisé deux phénomènes remarquables se manifestent, d'une part une ouverture apparaît à l'arrière de la bulle et d'autre part un mécanisme d'amplification du champ magnétique longitudinale est induit par la variation du flux magnétique. Les prédictions de notre modèle analytique sont confrontées aux résultats de simulations PIC 3D issues du code CALDER-Circ. La conséquence immédiate de la déformation de l'onde de sillage est la réduction, voire la suppression de l'auto-injection. L’application d’un champ magnétique longitudinal, combinée à un choix judicieux des paramètres laser-plasma, permet de réduire la dispersion en énergie des faisceaux d’électrons produits après injection optique<br>An intense laser pulse propagating in an under dense plasma (ne&lt; 10¹⁸ W.cm⁻²) and short(τ₀&lt; 100 fs), the bubble regime is reached. Within the bubble the electric field can exceed 100 GV/m and a trapped electron beam is accelerated to GeV energy with few centimetres of plasma.In this regime, the electrons expelled by the laser ponderomotive force are brought back and form a dense sheath layer. First, an analytic model was derived using W. Lu and S. Yi formalisms in order to investigate the properties of the wakefield in the blowout regime. In a second part, the trapping and injection mechanisms into the wakefield were studied. When the optical injection scheme is used, electrons may undergo stochastic heating or cold injection depending on the lasers’ polarisations. A similarity parameter was introduced to find out the most appropriate method to maximise the trapped charge. In a third part, our analytic model is extended to investigate the influence of an initially applied longitudinal magnetic field on the laser wakefield in the bubble regime. When the plasma is magnetized two remarkable phenomena occur. Firstly the bubble is opened at its rear, and secondly the longitudinal magnetic field is amplified - at the rear of the bubble - due to the azimuthal current induced by the variation of the magnetic flux. The predictions of our analytic model were shown to be in agreement with 3D PIC simulation results obtained with Calder-Circ. In most situations the wake shape is altered and self-injection can be reduced or even cancelled by the applied magnetic field. However, the application of a longitudinal magnetic field, combined with a careful choice of laser-plasma parameters, reduces the energy spread of the electron beam produced after optical injection