Academic literature on the topic 'Neural time series'

Cette thèse s'intéresse à la modélisation non-supervisée de séries temporelles univariées. Nous abordons tout d'abord le problème de prédiction linéaire des valeurs futures séries temporelles gaussiennes sous hypothèse de longues dépendances, qui nécessitent de tenir compte d'un large passé. Nous introduisons une famille d'ondelettes fovéales et causales qui projettent les valeurs passées sur un sous-espace adapté au problème, réduisant ainsi la variance des estimateurs associés. Dans un deuxième temps, nous cherchons sous quelles conditions les prédicteurs non-linéaires sont plus performants que les méthodes linéaires. Les séries temporelles admettant une représentation parcimonieuse en temps-fréquence, comme celles issues de l'audio, réunissent ces conditions, et nous proposons un algorithme de prédiction utilisant une telle représentation. Le dernier problème que nous étudions est la synthèse de signaux audios. Nous proposons une nouvelle méthode de génération reposant sur un réseau de neurones convolutionnel profond, avec une architecture encodeur-décodeur, qui permet de synthétiser de nouveaux signaux réalistes. Contrairement à l'état de l'art, nous exploitons explicitement les propriétés temps-fréquence des sons pour définir un encodeur avec la transformée en scattering, tandis que le décodeur est entraîné pour résoudre un problème inverse dans une métrique adaptée<br>This dissertation studies unsupervised time-series modelling. We first focus on the problem of linearly predicting future values of a time-series under the assumption of long-range dependencies, which requires to take into account a large past. We introduce a family of causal and foveal wavelets which project past values on a subspace which is adapted to the problem, thereby reducing the variance of the associated estimators. We then investigate under which conditions non-linear predictors exhibit better performances than linear ones. Time-series which admit a sparse time-frequency representation, such as audio ones, satisfy those requirements, and we propose a prediction algorithm using such a representation. The last problem we tackle is audio time-series synthesis. We propose a new generation method relying on a deep convolutional neural network, with an encoder-decoder architecture, which allows to synthesize new realistic signals. Contrary to state-of-the-art methods, we explicitly use time-frequency properties of sounds to define an encoder with the scattering transform, while the decoder is trained to solve an inverse problem in an adapted metric

L'obiettivo principale di questa tesi è studiare come gli algoritmi di apprendimento automatico (machine learning in inglese) e in particolare le reti neurali LSTM (Long Short Term Memory) possano essere utilizzati per prevedere i valori futuri di una serie storica regolare come, per esempio, le funzioni seno e coseno. Una serie storica è definita come una sequenza di osservazioni s_t ordinate nel tempo. Inoltre cercheremo di applicare gli stessi principi per prevedere i valori di una serie storica prodotta utilizzando i dati di vendita di un prodotto cosmetico durante un periodo di tre anni. Prima di arrivare alla parte pratica di questa tesi è necessario introdurre alcuni concetti fondamentali che saranno necessari per sviluppare l'architettura e il codice del nostro modello. Sia nell'introduzione teorica che nella parte pratica l'attenzione sarà focalizzata sull'uso di RNN (Recurrent Neural Network o Rete Neurale Ricorrente) poiché sono le reti neurali più adatte a questo tipo di problema. Un particolare tipo di RNN, chiamato Long Short Term Memory (LSTM), sarà soggetto dello studio principale di questa tesi e verrà presentata e utilizzata anche una delle sue varianti chiamata Gated Recurrent Unit (GRU). Questa tesi, in conclusione, conferma che LSTM e GRU sono il miglior tipo di rete neurale per le previsioni di serie temporali. Nell'ultima parte analizzeremo le differenze tra l'utilizzo di una CPU e una GPU durante la fase di training della rete neurale.

<p>Recurrent neural networks have been used for time-series prediction with good results. In this dissertation recurrent neural networks are compared with time-delayed feed forward networks, feed forward networks and linear regression models on a prediction task. The data used in all experiments is real-world sales data containing two kinds of segments: campaign segments and non-campaign segments. The task is to make predictions of sales under campaigns. It is evaluated if more accurate predictions can be made when only using the campaign segments of the data.</p><p>Throughout the entire project a knowledge discovery process, identified in the literature has been used to give a structured work-process. The results show that the recurrent network is not better than the other evaluated algorithms, in fact, the time-delayed feed forward neural network showed to give the best predictions. The results also show that more accurate predictions could be made when only using information from campaign segments.</p>

COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR<br>Esta dissertação investiga a utilização de Redes Neurais Artificiais (RNAs) na previsão de séries temporais, em particular de séries financeiras, consideradas uma classe especial de séries temporais, caracteristicamente ruídos e sem periodicidade aparente. O trabalho envolve quatro partes principais: um estudo sobre redes neurais artificiais e séries temporais; a modelagem das RNAs para previsão de séries temporais; o desenvolvimento de um ambiente de simulação; e o estudo de caso. No estudo sobre Redes Neurais Artificiais e séries temporais fez-se um levantamento preliminar das aplicações de RNAs na previsão de séries. Constatou-se a predominância do uso do algoritmos de retropropagação do erro para o treinamento das redes, bem como dos modelos estatísticos de regressão, de médias móveis e de alisamento exponencial nas comparações com os resultados da rede. Na modelagem das RNAs de retropropagação do erro considerou-se três fatores determinantes no desempenho da rede: convergência, generalização e escalabilidade. Para o controle destes fatores usou-se mecanismos como; escolha da função de ativação dos neurônios - sigmóide ou tangente hiperbólica; escolha da função erro - MSE (Mean Square Error) ou MAD (Mean Absolutd Deviation); e escolha dos parâmetros de controle do gradiente descendente e do temapo de treinamento - taxa de aprendizado e termo de momento. Por fim, definiu-se a arquitetura da rede em função da técnica utilizada para a identificação de regularidades na série (windowing) e da otimização dos fatores indicadores de desempenho da rede. O ambiente de simulação foi desenvolvido em linguagem C e contém 3.600 linhas de códigos divididas em três módulos principais: interface com o usuário, simulação e funções secundárias. O módulo de interface com o usuário é responsável pela configuração e parametrização da rede, como também pela visualização gráfica dos resultados; módulo de simulação executa as fases de treinamento e testes das RNAs; o módulo de funções secundárias cuida do pré/pós-processamento dos dados, da manipulação de arquivos e dos cálculos dos métodos de avaliação empregados. No estudo de caso, as RNAs foram modeladas para fazer previsões da série do preço do ouro no mercado internacional. Foram feitas previsões univariadas single e multi-step e previsões multivariadas utilizando taxas de câmbio de moedas estrangeiras. Os métodos utilizandos para a avaliação do desempenho da rede foram: coeficiente U de Theil, MSE (Mean Square Error), NRMSE (Normalized Root Mean Square Error), POCID (Percentage Of Change In Direction), scattergram e comparação gráfica. Os resultados obtidos, além de avaliados com os métodos acima, foram comparados com o modelo de Box-Jenkins e comprovaram a superioridade das RNAs no tratamento de dados não-lineares e altamente ruidosos.<br>This dissertation investigates the use of Artificial Neural Nerworks (ANNs) in time series forecastig, especially financial time series, which are typically noisy and with no apparent periodicity. The dissertation covers four major parts: the study of Artificial Neural Networks and time series; the desing of ANNs applied to time series forecasting; the development of a simulation enironment; and a case study. The first part of this dissertation involved the study of Artficial Neural Netwrks and time series theory, resulting in an overview of ANNs utilization in time series forecasting. This overview confirmed the predominance of Backpropagations as the training algorithm, as well as the employment of statistical models, such as regression and moving average, for the Neural Network evaluation. In the design of ANNS, three performance measures were considered: covergence, generalization and scalability. To control these parameters, the following methods were applied: choice of activation function - sigmoid or hiperbolic tangent; choice of cost function - MSE (Mean Square Error) or MAD (Mean Absolute Deviation); choise of parameteres for controlling the gradiente descendent and learning times - the learning rate and momentum term; and network architecture. The simulation environment was developed in C language, with 3,600 lines of code distributed in three main modules: the user interface, the simulaton and the support functions modules. The user interface module is responsaible for the network configuration and for the graphical visualization. The simulation module performs the training and testing of ANNs. The support functions module takes care of the pre and pos processin, the files management and the metrics calculation. The case study concerned with the designing of an ANN to forescast the gold price in the international market. Two kinds of prediction were used: univariate - single and multi-step, and multivariate. The metrics used to evaluate the ANN performance were: U of Theil`s coeficient, MSE (Mean Square Error), NRMSE (Normalized Mean Saquare Error), POCID (Percentage Of Cnage In Direction), scattergram and graphical comparison. The results were also comapred with the Box-Jenkins model, confirming the superiority of ANN in handling non-linear and noisy data.

COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR<br>Este trabalho associa previsão de Séries Temporais a uma nova metodologia de processamento de informação: REDE NEURAL. Usaremos o modelo de Retropropagação, que consiste em uma Rede Neural multicamada com as unidades conectadas apenas com a unidades conectadas apenas com as unidades da camada subseqüente e com a informação passando em uma única direção. Aplicaremos o modelo de retropropagação na análise de quatro séries temporais: uma série ruidosa. Uma série com tendência, uma série sazonal e uma série de Consumo de Energia Elétrica da cidade de Uruguaiana, RS. Os resultados obtidos serão comparados com os modelos ARIMA de Box e Jenkins e um modelo com intervenção<br>This work join the Times-Séries Forecasting to a new information processing metodoligy: NEURAL NETWORK. We will use the Back-Propagation model, that consist in an arquitecture of a feed-forward network with hidden layers. We will apply the Back-Propagation model in an analysis to four times series: a noisy series, a series with trend, a seasonal series and an electrical energy consuption series of Uruguaiana, RS. The results will be compare with the Box and jenkins´ ARIMA models and a model with intervention.

COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR<br>Este trabalho apresenta um modelo linear por partes chamado de modelo ARN. Trata-se de uma estrutura híbrida que envolve modelos autoregressivos e redes neurais. Este modelo é comparado com o modelo AR de coeficientes fixos e com a rede neural estática aplicada à previsão. Os resultados mostram que o ARN consegue identificar a estrutura não-linear dos dados simulados e que na maioria dos casos ele possui melhor habilidade preditiva do que os modelos supracitados.<br>In this thesis we develop a piece-wise linear model named ARN model. Our model has a hybrid structure which combines autoregressive models and neural networks. We compare our model to the fixed-coefficient AR model and to the prediction static neural network. Our results show that ARN is able to find the non-linear structure of simulated data and in most cases it performs better than the methods mentioned above.

Reliable operations and economical utilization of power systems require electricity load forecasting at a wide range of forecasting horizons. The objective of this thesis is two-fold: developing accurate prediction models for electricity load forecasting, and quantifying the load forecasting uncertainty. At first, we consider the task of feature selection for electricity load forecasting. We propose a two-step approach - identifying a set of candidate features based on the data characteristics and then selecting a subset of them using four different methods. We evaluate the performance of these methods using state-of-the-art prediction algorithms. The results show that all feature selection methods are able to identify small subsets of highly relevant features for electricity load forecasting. We then present a generic approach for very short term electricity load forecasting. It combines multilevel wavelet packet transform, a non-linear feature selection method based on mutual information, and machine learning prediction algorithms. The evaluation shows that the proposed approach is robust and outperforms several non-wavelet based approaches. We also propose a novel approach for forecasting the daily load profile. The proposed approach uses mutual information for feature selection and an ensemble of neural networks for building a prediction model. The evaluation using two years of electricity load data for Australia, Portugal and Spain shows that it provides accurate predictions. Finally, we present LUBEX, a neural networks based approach for forecasting prediction intervals to quantify the uncertainty associated with electricity load prediction. LUBEX extends an existing method (LUBE) by including an advanced feature selection method and using an ensemble of neural networks. A comprehensive evaluation using 24 different case studies shows that LUBEX is able to generate high quality prediction intervals.

COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR<br>As RNA Temporais, em função de sua estrutura, consideram o tempo na sua operação, incorporando memória de curto prazo distribuída na rede em todos os neurônios escondidos e em alguns dos casos nos neurônios de saída. Esta classe de redes é utilizada para representar melhor a natureza temporal dos sistemas dinâmicos. Em contraste, a RNA estática tem uma estrutura apropriada para tarefas de reconhecimento de padrões, classificação e outras de natureza estática ou estacionária tendo sido utilizada com sucesso em diversas aplicações. O objetivo desta tese, portanto foi estudar a teoria e avaliar o desempenho das Redes Neurais Temporais em comparação com as Redes Neurais Estáticas, em aplicações de sistemas dinâmicos. O desenvolvimento desta pesquisa envolveu 3 etapas principais: pesquisa bibliográfica das metodologias desenvolvidas para RNA Temporais; seleção e implementação de modelos para a avaliação destas redes; e estudo de casos. A pesquisa bibliográfica permitiu compila e classificar os principais trabalhos sobre RNA Temporais. Tipicamente, estas redes podem ser classificadas em dois grupos: Redes com Atraso no Tempo e Redes Recorrentes. Para a análise de desempenho, selecionou-se uma redee de cada grupo para implementação. Do primeiro grupo foi selecionada a Rede FIR, onde as sinapses são filtros FIR (Finite-duration Impulse Response) que representam a natureza temporal do problema. A rede FIR foi selecionada por englobar praticamente, todos os outros métodos de sua classe e apresentar um modelo matemático mais formal. Do segundo grupo, considerou-se a rede recorrente de Elman que apresenta realimentação global de cada um dos neurônios escondidos para todos eles. No estudo de casos testou-se o desempenho das redes selecionadas em duas linhas de aplicação: previsão de séries temporais e processamento digital de sinais. No caso de previsão de séries temporais, foram utilizadas séries de consumo de energia elétrica, comparando-se os resultados com os encontrados na literatura a partir de métodos de Holt-Winters, Box & Jenkins e RNA estáticas. No caso da aplicação das RNA em processamento digital de sinais, utilizou-se a filtragem de ruído em sinais de voz onde foram feitas comparações com os resultados apresentados pelo filtro neural convencional, que é uma rede feed-forward multicamada com o algoritmo de retropropagação para o aprendizado. Este trabalho demonstrou na prática que as RNA temporais conseguem capturar as características dos processos temporais de forma mais eficiente que as RNA Estatísticas e outros métodos tradicionais, podendo aprender diretamente o comportamento não estacionário das séries temporais. Os resultados demonstraram que a rede neural FIR e a rede Elman aprendem melhor a complexidade dos sinais de voz.<br>This dissertation investigates the development of Artificial Neural Network (ANN) in the solution of problems where the patterns presented to the network have a temporary relationship to each other, such as time series forecast and voice processing. Temporary ANN considers the time in its operation, incorporating memory of short period distributed in the network in all the hidden neurons and in the output neurons in some cases. This class of network in better used to represent the temporary nature of the dynamic systems. In contrast, Static ANN has a structure adapted for tasks of pattern recognition, classification and another static or stationary problems, achieving great success in several applications. Considered an universal approximator, Static ANN has also been used in applications of dynamic systems, through some artifices in the input of the network and through statistical data pre- processings. The objective of this work is, therefore to study the theory and evaluate the performance of Temporal ANN, in comparison with Static ANN, in applications of dynamics systems. The development of this research involved 3 main stages: bibliographical research of the methodologies developed for Temporal ANN; selection and implementation of the models for the evaluation of these networks; and case studies. The bibliographical research allowed to compile and to classify the main on Temporal ANN, Typically, these network was selected, where the synapses are filters FIR (Finite-duration Impulse Response) that represent the temporary nature of the problem. The FIR network has been selected since it includes practically all other methods of its class, presenting a more formal mathematical model. On the second group, the Elman recurrent network was considered, that presents global feedback of each neuron in the hidden layer to all other neurons in this layer. In the case studies the network selected have been tested in two application: forecast of time series and digital signal processing. In the case of forecast, result of electric energy consumption time series prediction were compared with the result found in the literature such as Holt-Winters, Box & Jenkins and Static ANN methods. In the case of the application of processing where the comparisons were made with the results presented by the standard neural filter, made of a multilayer feed-forward network with the back propagation learning algorithm. This work showed in practice that Temporal ANN captures the characteristics of the temporary processes in a more efficient way that Static ANN and other methods, being able to learn the non stationary behavior of the temporary series directly. The results showed that the FIR neural network and de Elman network learned better the complexity of the voice signals.