Academic literature on the topic 'Ottimizzazione stocastica'

Nel contesto del Deep Learning, la fase computazionalmente più costosa è l’addestramento completo dell'algoritmo di apprendimento. Infatti, la progettazione di un nuovo algoritmo di apprendimento richiede un'estesa indagine numerica con l'esecuzione di un numero significativo di prove sperimentali. Un aspetto fondamentale nella progettazione di un adeguato algoritmo di apprendimento è la selezione degli iperparametri (parametri che non vengono addestrati durante il processo di apprendimento), in modo statico o adattivo. Lo scopo di questa tesi è quello di indagare le strategie di selezione degli iperparametri, sui quali sono basati gli algoritmi standard di machine learning. In particolare, ci interessano le diverse tecniche di selezione dei parametri dei metodi del gradiente stocastico utilizzati per l'addestramento delle metodologie di machine learning. Gli scopi principali che motivano questo studio sono l’incremento dell’accuratezza (o altre metriche adatte a valutare la metodologia analizzata) e l'accelerazione della velocità di convergenza degli schemi iterativi di ottimizzazione. Per raggiungere questi scopi, l'analisi si è concentrata principalmente sulla scelta dei parametri fondamentali (iperparametri) nei metodi del gradiente stocastico: la lunghezza del passo, la dimensione del minibatch e il potenziale impiego di tecniche di riduzione della varianza. In un primo approccio abbiamo considerato separatamente la scelta della lunghezza di passo e della dimensione del minibatch; in seguito, si è presentata una tecnica che combina le due scelte. Per quel che riguarda la selezione della lunghezza di passo, si propone di adattare ai metodi stocastici la selezione della lunghezza di passo adottata nel metodo del gradiente noto come metodo Limited Memory Steepest Descent. Questa strategia, basata sui valori di Ritz di una opportuna matrice, permette di dare una stima locale dell'inverso del parametro di Lipschitz. Per quanto riguarda la dimensione del minibatch, l'idea è quella di aumentarla dinamicamente, in modo adattativo (tramite l’utilizzo di test di validazione). Gli esperimenti dimostrano che questa strategia adattativa è più efficiente (in termini di tempo e costi) rispetto agli approcci disponibili in letteratura. Come ulteriore sviluppo, le due scelte dei parametri (lunghezza di passo e dimensione del minibatch) sono state combinate in uno schema adattativo, senza introdurre tecniche di ricerca in linea ma utilizzando l’eventuale incremento della dimensione del minibatch usato nel calcolo del gradiente stocastico, per controllare la varianza della direzione di discesa. Nella seconda parte della tesi si è introdotta una tecnica di Automatic Machine Learning (AutoML) per fissare questi parametri. In particolare, si propone una strategia a basso costo per predire l'accuratezza dell'algoritmo di apprendimento, basata solo sul suo comportamento iniziale. Le accuraratezze iniziali e finali osservate durante questo processo preliminare vengono memorizzate in un database ed utilizzate come training set di un algoritmo di apprendimento Support Vector Machines. L'obiettivo è quello di predire l'accuratezza di una metodologia, considerandone solo i valori nelle iterate iniziali. In altre parole, attraverso un'esplorazione probabilistica dello spazio degli iperparametri, si è in grado di trovare la configurazione degli iperparametri che fornisce una precisione ottimale con un basso costo computazionale. Viene presentata un'ampia sperimentazione numerica che ha coinvolto funzioni convesse e non convesse (in particolare le Reti Neurali Convolutive). Per gli esperimenti numerici sono stati utilizzati diversi dataset ben noti in letteratura, per diversi problemi quali: classificazione, segmentazione e regressione. Infine, è stata condotta un’ulteriore sperimentazione finalizzata ad estendere gli approcci proposti ad altri metodi, come ad esempio Momentum, ADAM e SVRG.
In the context of deep learning, the computational more expensive phase is the full training of the learning algorithm. Indeed the design of a new learning algorithm requires an extensive numerical investigation with the execution of a significant number of experimental trials. A fundamental aspect in designing a suitable learning algorithm is the selection of the hyperparameters (parameters that are not trained during the learning process), in a static or adaptive way. The aim of this thesis is to investigate the hyperparameters selection strategies on which standard machine learning algorithms are designed. In particular, we are interested in the different techniques to select the parameters related to the stochastic gradient methods used for training the machine learning methodologies. The main purposes that motivate this study are the improvement of the accuracy (or other metrics suitable for evaluating the inspected methodology) and the acceleration of the convergence rate of the iterative optimization schemes. To achieve these purposes, the analysis has mainly focused on the choice of the fundamental parameters (hyperparameters) in the stochastic gradient methods: the steplength, the minibatch size and the potential adoption of variance reduction techniques. In a first approach we considered separately the choice of steplength and minibatch size; then, we presented a technique that combines the two choices. About the steplength selection, we propose to tailor for the stochastic gradient iteration the steplength selection adopted in the full-gradient method known as Limited Memory Steepest Descent method. This strategy, based on the Ritz-like values of a suitable matrix, enables to give a local estimate of the inverse of the local Lipschitz parameter. Regarding the minibatch size the idea is to increasing dynamically, in an adaptive manner (based on suitable validation tests), this size. The experiments show that this training strategy is more efficient (in terms of time and costs) compared with the approaches available in literature. We combine the two parameter choices (steplength and minibatch size) in an adaptive scheme without introducing line search techniques, while the possible increase of the size of the subsample used to compute the stochastic gradient enables to control the variance of this direction. In the second part of the thesis, we introduce an Automatic Machine Learning (AutoML) technique to set these parameters. In particular, we propose a low-cost strategy to predict the accuracy of the learning algorithm, based only on its initial behavior. The initial and final accuracies observed during this beforehand process are stored in a database and used as training set of a Support Vector Machines learning algorithm. The aim is to predict the accuracy of a learning methodology, given its accuracy on the initial iterations of its learning process. In other word, by a probabilistic exploration of the hyperparameter space, we are able to find the setting providing optimal accuracies at a quite low cost. An extensive numerical experimentation was carried out involving convex and non-convex functions (in particular Convolutional Neural Networks). For the numerical experiments several datasets well known in literature have been used, for different problems such as: classification, segmentation, regression. Finally, a computational study is carried out to extend the proposed approaches to other methods, such as: Momentum, ADAM, SVRG. In conclusion, the contribution of the thesis consists in providing useful ideas about an effective and inexpensive selection of the hyperparameters in the class of the stochastic gradient methods.

La presente tesi ha come obiettivo quello di sviluppare un modello per la gestione ottimizzata delle unità di generazione e di accumulo di una microrete elettrica. La tesi analizza, come caso studio di riferimento, una microrete contenente impianti di generazione da fonti rinnovabili, sistemi di accumulo a batteria (BES:Battery Energy System) e stazioni di ricarica per veicoli elettrici. In particolare le stazioni di ricarica sono a flusso bidirezionale, in grado di fornire servizi di tipo "grid-to-vehicle"(G2V) e "vehicle-to-grid" (V2G). Il modello consente di definire, come sistema di dispacciamento centrale, le potenze che le varie risorse distribuite devono erogare o assorbire nella rete nelle 24 ore successive. Il dispacciamento avviene mediante risoluzione di un problema di minimizzazione dei costi operativi e dell'energia prelevata dalla rete esterna. Il problema è stato formulato tramite l'approccio di programmazione stocastica lineare dove i parametri incerti del modello sono modellizzati tramite processi stocastici. L'implementazione del modello è stata effettuata tramite il software AIMMS, un programma di ottimizzazione che prevede al suo interno delle funzionalità specifiche per la programmazione stocastica

Nell'ambito dell'analisi numerica la tomografia si traduce in problemi di ottimizzazione dalle dimensioni molto elevate (dell'ordine di diversi terabyte) da risolvere nel minor tempo possibile. Si è pensato di testare l'approccio stocastico già presente nel machine learning (ulteriore ambito in cui sono presenti problemi con insiemi di dati molto grandi), per conoscerne l'eventuale compatibilità coi problemi di imaging sparsi e di grandi dimensione. Viene utilizzato il metodo del gradiente stocastico con diversi mini-batch e confrontato con il metodo deterministico del gradiente proiettato, implementato con accelerazione del passo e senza scaling. Dopo una contestualizzazione storica, si procede con la formalizzazione analitica, deducendo dalla legge di Lambert Beer nel caso mono-materiale quella nel caso reale. Si introduce il metodo analitico della retro proiezione filtrata (FBP) e si giunge all'approccio numerico con la descrizione del sistema lineare ottenuto dalla discretizzazione della trasformata della legge sopracitata. Il secondo capitolo della tesi è dedicato alla descrizione degli algoritmi dei metodi numerici di ottimizzazione classici e stocastici. Vengono infine allegati i dettagli e i risultati dello studio svolto implementando al calcolatore quanto riportato nei capitoli precedenti, variando diversi parametri al fine di cercare di comprendere l'effettiva efficacia di un metodo stocastico in alternativa ad uno deterministico. Si vedrà che la natura aleatoria del metodo si riscontra nel repentino cambio dell'andamento dell'errore, che varia di un ordine di grandezza in corrispondenza di un lieve cambio del mini-batch. Nelle prove discusse, risulta ancora essere più prestante il metodo deterministico del gradiente proiettato sia per i tempi di esecuzione sia per la precisione del risultato, sebbene queste esperienze abbiano aperto molti spunti di riflessione e suggerito un'indagine più approfondita di diverse casistiche.

Il bilancio idrologico sul bacino idrografico talvolta non si chiude in pareggio; questo è dovuto alla presenza di incertezze nei dati o nella modellazione dei processi. Una delle possibili cause può essere individuata nell'area contribuente del bacino idrografico la quale viene determinata su base strettamente topografica tramite l'identificazione delle linee di spartiacque. Però, la sua definizione potrebbe non essere corretta in quanto l'area contribuente risulta influenzata anche dalla presenza di spartiacque sotterranei i quali potrebbero non essere rilevati. Tale problematica è stata affrontata considerando un numero rilevante di bacini idrografici distribuiti sia sul territorio nazionale che europeo. La base dati a disposizione è costituita da serie temporali di precipitazione, evapotraspirazione e portata rilevate alle diverse stazioni di chiusura. Il modello idrologico utilizzato è un modello afflussi-deflussi, concentrato di tipo concettuale, a cinque parametri, denominato HyMOD. La struttura di tale modello è stata modificata andando a considerare l'area contribuente come una variabile casuale, rendendo così il modello a sei parametri. Si è proceduto alla calibrazione del modello attraverso tre diversi algoritmi di ottimizzazione andando a confrontare il valore dell'area contribuente, stimata dal modello, con l'area reale di partenza. Nel primo capitolo vengono illustrati i concetti fondamentali dell'idrologia e del ciclo idrologico, della modellistica idrologica e della calibrazione dei modelli idrologici. Nel secondo capitolo viene presentato il modello afflussi-deflussi utilizzato e la sua relativa modifica. Inoltre, viene descritta la calibrazione del modello e i diversi algoritmi utilizzati. Nel terzo capitolo vengono presentati i bacini idrografici considerati, le loro caratteristiche e i dati a disposizione. Nel quarto capitolo si analizza il lavoro svolto presentando e discutendo i risultati ottenuti.

Lo sviluppo dell’informatica e l’implementazione dei progetti di Smart City hanno permesso in pochi anni di disporre di un’enorme quantità di dati. Come mettere a frutto queste informazioni è l’obiettivo del presente lavoro. Il campo dell’Intelligent Transportation Systems (ITS) è uno dei settori nel quale la ricerca sui nuovi dati, combinata con l’Artificial Intelligent (AI), ha iniziato a mostrare risultati interessanti. L’ITS permette di fornire servizi innovativi e avanzati relativi alle modalità di trasporto e gestione del traffico e consente agli utenti di fare scelte più intelligenti quando utilizzano le reti di trasporto. Questo ha effetto diretto sull'efficacia dell'infrastruttura nelle città intelligenti urbane. La ricerca scientifica nel settore del traffico e dei trasporti ha messo a disposizione big data sul traffico in modo diretto con la necessità di studiare modelli di analisi e di rappresentazione dei dati che vanno oltre alla classica modellistica (c.d. simulation agent model based). Grazie ai big data sul traffico e le tecniche di IA e Machine Learning (ML) è oggi possibile studiare nuovi modelli di previsione dei comportanti degli utenti della strada (c.d. data-driven models). Questo lavoro vuole essere un concreto esempio dell’utilizzo di differenti sistemi innovativi di monitoraggio dei dati di traffico, di modelli di traffico e di ottimizzazione applicati in un caso reale. Le intersezioni semaforizzate analizzate sono state oggetto di una campagna di monitoraggio di video aereo con innovativa strumentazione, dell’applicazione di software di computer vision ed elaborazione dei dati di traffico, di elaborazione di dati FCD, e, infine, di risoluzione di un problema di programmazione stocastica per il coordinamento ottimale. Nella stesura dell’elaborato, trattandosi di uno studio misto di ricerca applicata e di un caso reale, è stata orientata più possibile al mantenimento di un forte contatto con il campo professionale e di reale applicabilità dei risultati.
The development of information technology and the implementation of smart city projects have made it possible in a few years to have an enormous amount of data. How to put this information to good use is the goal of this work. The field of Intelligent Transportation Systems (ITS) is one of the areas in which research on new data, combined with Artificial Intelligent (AI), has begun to show interesting results. ITS allows for the provision of innovative and advanced services relating to modes of transport and traffic management and allows users to make smarter choices when using transport networks. This has a direct effect on the effectiveness of the infrastructure in urban smart cities. Scientific research in the traffic and transport sector has made big data on traffic available directly with the need to study models of analysis and representation of data that go beyond the classic modeling (so-called simulation agent model based). Thanks to big data on traffic and AI and Machine Learning (ML) techniques, it is now possible to study new models for predicting the behavior of road users (so-called data-driven models). This work is intended to be a concrete example of the use of different innovative systems for monitoring traffic data, traffic models and optimization applied in a real case. The traffic light intersections analyzed were the subject of an aerial video monitoring campaign with innovative instrumentation, the application of computer vision software and traffic data processing, FCD data processing, and, finally, the resolution of a problem of stochastic programming for optimal coordination. In drafting the paper, since it was a mixed study of applied research and a real case, it was oriented as much as possible to maintaining a strong contact with the professional field and real applicability of the results.

The main focus of this thesis is to provide efficient modelling and optimization strategies for a certain electro-magnetic device known as magnetic gear. In particular, magnetic, thermal and mechanical models are discussed and the non-linear material models are examined, including permanent magnets demagnetization algorithms and hysteresis models in laminated sheets. From the magnetic modelling point of view, an analytic approach for the initial simplified gear design is presented. A special focus is given to the computational burden of the method that is especially tailored for stochastic optimization procedures. For the detailed analysis of magnetic gears, an algorithm based on Finite Element / Boundary Element coupling is proposed, including ferromagnetic non-linearities, mechanical ordinary differential equations, eddy currents and circuit equations. Detailed models are introduced and discussed to analyze the effects of soft material hysteresis and permanent magnets magnetization, demagnetization and recoil. Loss mechanisms in magnetic gears are also investigated, and the transmission losses at varying rotational speeds and load angles are analyzed. A simplified mechanical model of the magnetic gear is presented and formulated as a set of inequality constraints, thus giving a direct link to optimization strategies. The mechanical constraints include the iron poles displacements and stresses and the limitations on the rotational speed due to excessive stresses, resonances and vibrations. A simplified analysis based on an equivalent thermal network is also presented, where the axial cooling flux is also considered. Stochastic optimization techniques are discussed for a multi-physic optimized machine design, and the analytic model is embedded in a Differential Evolution scheme. Finally, the optimized results are discussed and compared to commercial mechanical gearboxes. A solution based on the stiffness rods connection is also proposed and analyzed to provide a damping effect when the gear operation becomes asynchronous. During the PhD, there has been a constant effort aimed at building a prototype for the validation of the numerical models but, for different reasons, none of the manufacturers finalized the project. Thus, all the algorithms have been validated by comparing their output with commercial codes or, when possible, with data from experiments retrieved from literature. Because of this reasons and since the major objective of this thesis regards the numerical techniques for magnetic gears simulation, different magnetic transmissions have been adopted as numerical test cases for the validation of the algorithms.
L'obiettivo principale di questa tesi è quello di fornire strategie di modellazione e ottimizzazione efficienti per un dispositivo elettromagnetico noto come ingranaggio magnetico. In particolare modelli magnetici, termici e meccanici sono esaminati includendo materiali non lineari, algoritmi di smagnetizzazione magneti permanenti e modelli di isteresi in nuclei laminati. Dal punto di vista della modellazione magnetica, un approccio analitico per la progettazione semplificata dell'ingranaggio è presentata. Particolare attenzione viene data all'onere computazionale del metodo che è particolarmente adatto alle procedure di ottimizzazione stocastica. Per l'analisi dettagliata degli ingranaggi magnetici, un algoritmo basato sull'accoppiamento Finite Element / Boundary Element viene proposto, comprese le non linearità ferromagnetiche, le equazioni differenziali meccaniche, correnti parassite ed equazioni circuitali. Modelli dettagliati sono introdotti e discussi per analizzare gli effetti dell'isteresi dei materiali dolci e magnetizzazione, smagnetizzazione e recoil di magneti permanenti. Vengono anche investigati i meccanismi di perdita negli ingranaggi magnetici e le perdite di trasmissione al variare delle velocità di rotazione e gli angoli di carico. Un modello meccanico semplificato dell'ingranaggio magnetico è presentato e formulato come un insieme dei vincoli di disuguaglianza, fornendo così un collegamento diretto alle strategie di ottimizzazione. I vincoli meccanici includono gli spostamenti e le sollecitazioni dei poli ferromagnetici e le limitazioni sulla velocità di rotazione dovuta a sforzi eccessivi, risonanze e vibrazioni. Un'analisi semplificata basata su una rete termica equivalente è presentato, nella quale si considera anche il flusso di raffreddamento assiale. Le tecniche di ottimizzazione stocastica sono discusse per una progettazione multi-fisica della macchina ottimizzata e il modello analitico è incorporato in uno schema di evoluzione differenziale. Infine, i risultati ottimizzati sono discussi e confrontati con le soluzioni meccaniche commerciali. Viene inoltre proposta e analizzata una soluzione basata sulla connessione delle barre assiali che garantiscono un effetto di smorzamento quando la marcia dell'ingranaggio diventa asincrona. Tutti gli algoritmi sono stati convalidati tramite confronto con codici commerciali o, quando possibile, con i dati di esperimenti recuperati dalla letteratura.

L'obiettivo della tesi è l'implementazione tramite l’utilizzo del software AIMMS di un modello stocastico multistage che permetta di simulare il comportamento di una microrete situata in un ambiente industriale. Il fine dell’algoritmo è quello di risolvere, nel rispetto dei vincoli tecnici, il problema del dispacciamento. Nella microrete considerata sono presenti un parcheggio con tecnologia vehicle-to-grid, un sistema grid-to-vehicle, dei carichi industriali e un impianto di generazione fotovoltaica. Per tenere conto delle incertezze del modello si è creata una procedura in grado di costruire un albero degli scenari, dove ogni scenario rappresenta una possibile realizzazione dei parametri e delle variabili del modello. Per lo studio del problema si è utilizzato un approccio di ottimizzazione stocastica lineare.

Gli ultimi decenni testimoniano un importante cambiamento nella risoluzione di una vasta classe di problemi in differenti discipline. Dalle Scienzeesatte e naturali all’Economia, dall’Ingegneria alla Statistica, numerosi problemi complessi vengono oggi risolti con metodi di ottimizzazione. A partire dagli anni 50 in particolare, i metodi di ottimizzazione sono esplosi nel campo dell’apprendimento automatico meglio conosciuto come machine learning, portando ad un’evoluzione dei metodi stessi. I metodi di ottimizzazione utilizzati per risolvere problemi di apprendimento sono quelli che coinvolgono l’utilizzo del gradiente. Questi metodi tradizionali purtroppo, non riescono ad essere efficienti quando le dimensioni dell’input non sono limitate. Nell’apprendimento automatico, l’ottimizzazione numerica ha lo scopo di determinare nella fase di addestramento i valori ottimali dei parametri; questi parametri definiscono la funzione di predizione richiesta dalla metodologia di apprendimento. Nel contesto dell’apprendimento automatico universalmente noto come largescale machine learning vengono utilizzati principalmente approcci di tipo Gradiente Stocastico. Gli approcci basati sul gradiente stocastico sono relativamente recenti nel panorama dell’ottimizzazione numerica. Per questo motivo necessitano di un’importante analisi teorica e algoritmica per l’adattamento di tecniche efficienti sviluppate nel contesto dei metodi del gradiente tradizionali. Questo lavoro di tesi si colloca esattamente in questo contesto, facendo un’analisi della differenza tra il metodo del gradiente classico e il metodo del gradiente stocastico mini-batch. I metodi del Gradiente Stocastico affrontati in questa tesi fanno rifermento ai metodi studiati e implementati da Robbins e Monro.

L'obiettivo di questo elaborato è quello di presentare un modello dinamico di ottimizzazione di portafoglio per robo-advisors, gestori di investimenti automatizzati. Nella prima parte viene esposta la struttura del modello, quindi il modello di mercato, l'interazione con il robo-advisor per la comunicazione dell'avversione al rischio, essenziale per elaborare la strategia di investimento. Il criterio di investimento utilizzato è un criterio di investimento mean-variance a più periodi con un orizzonte di investimento finito, in cui l'avversione al rischio è un processo stocastico. Nella seconda parte si ricerca una strategia di investimento utilizzando il criterio prima citato, il quale si colloca nell’ambito dei problemi di controllo stocastico temporalmente incoerenti. Per approcciare il problema, viene usata la teoria dei giochi, più precisamente la visione dell'intero problema come un gioco non cooperativo dove l’ennesimo "giocatore" è l’incarnazione dell’investitore al tempo ennesimo; come definizione di strategia ottimale viene usato l'equilibrio perfetto di Nash di un sottogioco.