Academic literature on the topic 'Réseau LSTM'

Le changement climatique a pour conséquence l’apparition de forts événements pluvieux de plus en plus fréquents, occasionnant de fortes variations de débit et de concentrations à l’influent des stations d’épuration. La connaissance des risques d’orage et des débits potentiels plusieurs heures ou plusieurs jours en avance permettrait d’anticiper les adaptations opérationnelles pour préparer la station et protéger les différents ouvrages des risques de défaillance. Dans cette étude, les données météorologiques (pluies, température, vents, humidités, précipitations…) et l’historique des données d’influent de la station sont utilisés pour entraîner un algorithme d’intelligence artificielle, d’apprentissage automatique et d’apprentissage profond pour prédire les débits entrants sur la station jusqu’à une semaine en avance. Trois jeux de données journalières et horaires, de 1 à 3 ans, sont utilisés pour entraîner un modèle de Forêt aléatoire à 30 arbres, un modèle LSTM (long short-term memory) et un modèle GRU (gate recurrent unit) à trois couches de 100 neurones suivis chacun d’un dropout de 20 % et une couche de sortie entièrement connectée. Les données sont préalablement nettoyées pour supprimer les valeurs aberrantes et sont réparties à 80 % pour les données pour l’apprentissage et 20 % pour les données de test afin d’obtenir des modèles avec les meilleures prédictions. Les algorithmes utilisés dans cette étude sont simples et détectent bien les pics. La durée de l’entraînement sur les données de trois ans se fait en moins de deux minutes pour la Forêt aléatoire et en moins d’une demi-heure pour les réseaux de neurones LSTM et GRU. Les résultats montrent que les données horaires et la prise en compte de l’effet de l’historique par l’utilisation des réseaux de neurones récurrents LSTM et GRU permettent d’obtenir une meilleure prédiction des débits d’influent. Les séries de données plus longues permettent également un meilleur apprentissage des algorithmes et une meilleure prédiction du modèle.

L’objectif de cet article est de réaliser des prédictions d’une série chronologique en se basant sur un échantillon composé de 127 observations journalières de rendements de l’indice MASI de la bourse de Casablanca durant le premier semestre de l’an 2020, et ce, en utilisant deux approches complétement différentes : une approche statistique (méthode de Box et Jenkins) représentée par un processus ARMA, et une approche connexionniste basée sur l’autoapprentissage par un réseau LSTM (Long Short Term Memory) dans le but d’évaluer la qualité des prédictions en les comparant avec les valeurs réelles observées. Les résultats obtenus nous ont permis de conclure que le réseau LSTM est plus performant en matière de prédiction de valeurs futurs d’une série temporelle.

Le bitcoin est la crypto-monnaie la plus populaire au monde. Selon le site coinmarketcap, son prix a augmenté de 1000% entre 2020 et 2021 allant de 6 000 à 60 000 dollars américains. Une croissance qui en a fait un actif très intéressant dans le portefeuille des investisseurs. Cet article a pour objectif de résumer les résultats d’un projet destiné à prédire le cours du bitcoin en utilisant des algorithmes d’intelligence artificielle. Cette étude a démontré l’intérêt d’ajouter un composant sentimental au réseau neuronale LSTM afin de prédire le cours BTC/USDT.

<strong>R&eacute;sum&eacute; </strong> Ces derni&egrave;res ann&eacute;es, les chercheurs se sont int&eacute;ress&eacute;s &agrave; l&rsquo;utilisation de techniques avanc&eacute;es telles que l&rsquo;apprentissage automatique pour pr&eacute;dire les cours des actions. L'informatique joue un r&ocirc;le essentiel dans cette exploration, permettant aux analystes d'explorer des mod&egrave;les non lin&eacute;aires et complexes pour pr&eacute;dire les fluctuations du march&eacute;. En raison des d&eacute;veloppements technologiques, les outils bas&eacute;s sur l'intelligence artificielle tels que les&nbsp;r&eacute;seaux de neurones artificiels (ANN), les&nbsp;r&eacute;seaux de neurones convolutifs (CNN) et les&nbsp;r&eacute;seaux de neurones r&eacute;currents (RNN) ont prouv&eacute; leur capacit&eacute; &agrave; pr&eacute;dire les cours des actions. Ces algorithmes aident les traders et les investisseurs &agrave; prendre des d&eacute;cisions &eacute;clair&eacute;es sur les march&eacute;s financiers. Dans cet article, nous visons &agrave; &eacute;valuer la pr&eacute;visibilit&eacute; de 10 actions des deux indices suivants (S&amp;P 500, MADEX Maroc). Pour ce faire, nous utiliserons deux mod&egrave;les diff&eacute;rents. Le premier mod&egrave;le concerne les r&eacute;seaux de neurones LSTM (Long Short-Term Memory), tandis que le deuxi&egrave;me mod&egrave;le sera un LSTM optimis&eacute; par les param&egrave;tres des algorithmes g&eacute;n&eacute;tiques. L&rsquo;objectif est de comparer la pr&eacute;visibilit&eacute; des deux mod&egrave;les. Cette pr&eacute;diction rev&ecirc;t une importance cruciale pour de nombreuses d&eacute;cisions li&eacute;es au financement et &agrave; l&rsquo;investissement. Les r&eacute;sultats exp&eacute;rimentaux montrent que l&rsquo;int&eacute;gration des algorithmes g&eacute;n&eacute;tiques dans le mod&egrave;le LSTM donne de bons r&eacute;sultats sur les indices&nbsp; MADEX et S&amp;P500. <strong>Mots cl&eacute;s&nbsp;: Pr&eacute;visions, Cours boursiers, March&eacute; boursier, Apprentissage Automatique, Les algorithmes g&eacute;n&eacute;tiques, LSTM.</strong> <strong>&nbsp;</strong> <strong>&nbsp;</strong> <strong>Abstract </strong> In recent years, researchers have been interested in using advanced techniques such as machine learning to predict share prices. Computer science plays a key role in this exploration, allowing analysts to explore complex, non-linear models to predict market movements. As a result of technological developments, artificial intelligence-based tools such as artificial neural networks (ANNs), convolutional neural networks (CNNs) and recurrent neural networks (RNNs) have proven their ability to predict share prices. These algorithms help traders and investors to make informed decisions on the financial markets. In this paper, we aim to evaluate the predictability of 10 stocks from the following two indices (S&amp;P 500, MADEX Morocco). To do this, we will use two different models. The first model involves LSTM (Long Short-Term Memory) neural networks, while the second model will be an LSTM optimised by the parameters of genetic algorithms. The aim is to compare the predictability of the two models. This prediction is of crucial importance for many financing and investment decisions. The experimental results show that integrating the genetic algorithms into the LSTM model gives good results on the MADEX and S&amp;P500 indices. <strong>Keywords&nbsp;: Forecasting, Stock prices, Stock market, Machine learning, Genetic algorithms, LSTM.</strong>

L'estimation de l'état de charge (SOC) est un point crucial pour la sécurité des performances et la durée de vie des batteries lithium-ion (Li-ion) utilisées pour alimenter les VE.Dans cette thèse, la précision de l'estimation de l'état de charge est étudiée à l'aide d'algorithmes de réseaux neuronaux récurrents profonds (DRNN). Pour ce faire, pour une cellule d’une batterie Li-ion, trois nouvelles méthodes sont proposées : une mémoire bidirectionnelle à long et court terme (BiLSTM), une mémoire robuste à long et court terme (RoLSTM) et une technique d'unités récurrentes à grille (GRU).En utilisant ces techniques, on ne dépend pas de modèles précis de la batterie et on peut éviter les méthodes mathématiques complexes, en particulier dans un bloc de batterie. En outre, ces modèles sont capables d'estimer précisément le SOC à des températures variables. En outre, contrairement au réseau de neurones récursif traditionnel dont le contenu est réécrit à chaque fois, ces réseaux peuvent décider de préserver la mémoire actuelle grâce aux passerelles proposées. Dans ce cas, il peut facilement transférer l'information sur de longs chemins pour recevoir et maintenir des dépendances à long terme.La comparaison des résultats indique que le réseau BiLSTM a de meilleures performances que les deux autres méthodes. De plus, le modèle BiLSTM peut travailler avec des séquences plus longues provenant de deux directions, le passé et le futur, sans problème de disparition du gradient. Cette caractéristique permet de sélectionner une longueur de séquence équivalente à une période de décharge dans un cycle de conduite, et d'obtenir une plus grande précision dans l'estimation. En outre, ce modèle s'est bien comporté face à une valeur initiale incorrecte du SOC.Enfin, une nouvelle méthode BiLSTM a été introduite pour estimer le SOC d'un pack de batteries dans un EV. Le logiciel IPG Carmaker a été utilisé pour collecter les données et tester le modèle en simulation. Les résultats ont montré que l'algorithme proposé peut fournir une bonne estimation du SOC sans utilisation de filtre dans le système de gestion de la batterie (BMS)<br>The State Of Charge (SOC) estimation is a significant issue for safe performance and the lifespan of Lithium-ion (Li-ion) batteries, which is used to power the Electric Vehicles (EVs). In this thesis, the accuracy of SOC estimation is investigated using Deep Recurrent Neural Network (DRNN) algorithms. To do this, for a one cell Li-ion battery, three new SOC estimator based on different DRNN algorithms are proposed: a Bidirectional LSTM (BiLSTM) method, Robust Long-Short Term Memory (RoLSTM) algorithm, and a Gated Recurrent Units (GRUs) technique. Using these, one is not dependent on precise battery models and can avoid complicated mathematical methods especially in a battery pack. In addition, these models are able to precisely estimate the SOC at varying temperature. Also, unlike the traditional recursive neural network where content is re-written at each time, these networks can decide on preserving the current memory through the proposed gateways. In such case, it can easily transfer the information over long paths to receive and maintain long-term dependencies. Comparing the results indicates the BiLSTM network has a better performance than the other two. Moreover, the BiLSTM model can work with longer sequences from two direction, the past and the future, without gradient vanishing problem. This feature helps to select a sequence length as much as a discharge period in one drive cycle, and to have more accuracy in the estimation. Also, this model well behaved against the incorrect initial value of SOC. Finally, a new BiLSTM method introduced to estimate the SOC of a pack of batteries in an Ev. IPG Carmaker software was used to collect data and test the model in the simulation. The results showed that the suggested algorithm can provide a good SOC estimation without using any filter in the Battery Management System (BMS)

Le rôle clé que l’IA pourrait jouer dans l’amélioration des activités commerciales est connu depuis longtemps, mais le processus de pénétration de cette nouvelle technologie a rencontré certains freins au sein des entreprises, en particulier, les coûts de mise œuvre. En moyenne, 2.8 ans sont nécessaires depuis la sélection du fournisseur jusqu’au déploiement complet d’une nouvelle solution. Trois points fondamentaux doivent être pris en compte lors du développement d’un nouveau modèle. Le désalignement des attentes, le besoin de compréhension et d’explications et les problèmes de performance et de fiabilité. Dans le cas de modèles traitant des données de la supply chain, cinq questions spécifiques viennent s’ajouter aux précédentes : - La gestion des incertitudes. Les décideurs cherchent un moyen de minimiser le risque associé à chaque décision qu’ils doivent prendre en présence d’incertitude. Obtenir une prévision exacte est un rêve ; obtenir une prévision assez précise et en calculer les limites est réaliste et judicieux. - Le traitement des données entières et positives. La plupart des articles ne peuvent pas être vendus en sous-unités. Cet aspect simple de la vente se traduit par une contrainte qui doit être satisfaite : le résultat doit être un entier positif. - L’observabilité. La demande du client ne peut pas être mesurée directement, seules les ventes peuvent être enregistrées et servir de proxy. - La rareté et la parcimonie. Les ventes sont une quantité discontinue. En enregistrant les ventes par jour, une année entière est condensée en seulement 365 points. De plus, une grande partie d’entre elles sera à zéro. - L’optimisation juste-à-temps. La prévision est une fonction clé, mais elle n’est qu’un élément d’une chaîne de traitements soutenant la prise de décision. Le temps est une ressource précieuse qui ne peut pas être consacrée entièrement à une seule fonction. Le processus de décision et les adaptations associées doivent donc être effectuées dans un temps limité et d’une manière suffisamment flexible pour pouvoir être interrompu et relancé en cas de besoin afin d’incorporer des événements inattendus ou des ajustements nécessaires. Cette thèse s’insère dans ce contexte et est le résultat du travail effectué au cœur de Lokad. La recherche doctorale a été financée par Lokad en collaboration avec l’ANRT dans le cadre d’un contrat CIFRE. Le travail proposé a l’ambition d’être un bon compromis entre les nouvelles technologies et les attentes des entreprises, en abordant les divers aspects précédemment présentés. Nous avons commencé à effectuer des prévisions en utilisant la famille des lissages exponentiels, qui sont faciles à mettre en œuvre et extrêmement rapides à exécuter. Largement utilisés dans l’industrie, elles ont déjà gagné la confiance des utilisateurs. De plus, elles sont faciles à comprendre et à expliquer à un public non averti. En exploitant des techniques plus avancées relevant du domaine de l’IA, certaines des limites des modèles utilisés peuvent être surmontées. L’apprentissage par transfert s’est avéré être une approche pertinente pour extrapoler des informations utiles dans le cas où le nombre de données disponibles était très limité. Nous avons proposé d’utiliser un modèle associé à une loi de Poisson, une binomiale négative qui correspond mieux à la nature des phénomènes que nous cherchons à modéliser et à prévoir. Nous avons aussi proposé de traiter l’incertitude par des simulations de Monte Carlo. Un certain nombre de scénarios sont générés, échantillonnés et modélisés par dans une distribution. À partir de cette dernière, des intervalles de confiance de taille différentes et adaptés peuvent être déduits. Sur des données réelles de l’entreprise, nous avons comparé notre approche avec les méthodes de l’état de l’art comme DeepAR, DeepSSMs et N-Beats. Nous en avons déduit un nouveau modèle conçu à partir de la méthode Holt-Winter [...]<br>The key role that AI could play in improving business operations has been known for a long time, but the penetration process of this new technology has encountered certain obstacles within companies, in particular, implementation costs. On average, it takes 2.8 years from supplier selection to full deployment of a new solution. There are three fundamental points to consider when developing a new model. Misalignment of expectations, the need for understanding and explanation, and performance and reliability issues. In the case of models dealing with supply chain data, there are five additionally specific issues: - Managing uncertainty. Precision is not everything. Decision-makers are looking for a way to minimise the risk associated with each decision they have to make in the presence of uncertainty. Obtaining an exact forecast is a advantageous; obtaining a fairly accurate forecast and calculating its limits is realistic and appropriate. - Handling integer and positive data. Most items sold in retail cannot be sold in subunits. This simple aspect of selling, results in a constraint that must be satisfied by the result of any given method or model: the result must be a positive integer. - Observability. Customer demand cannot be measured directly, only sales can be recorded and used as a proxy. - Scarcity and parsimony. Sales are a discontinuous quantity. By recording sales by day, an entire year is condensed into just 365 points. What’s more, a large proportion of them will be zero. - Just-in-time optimisation. Forecasting is a key function, but it is only one element in a chain of processes supporting decision-making. Time is a precious resource that cannot be devoted entirely to a single function. The decision-making process and associated adaptations must therefore be carried out within a limited time frame, and in a sufficiently flexible manner to be able to be interrupted and restarted if necessary in order to incorporate unexpected events or necessary adjustments. This thesis fits into this context and is the result of the work carried out at the heart of Lokad, a Paris-based software company aiming to bridge the gap between technology and the supply chain. The doctoral research was funded by Lokad in collaborationwith the ANRT under a CIFRE contract. The proposed work aims to be a good compromise between new technologies and business expectations, addressing the various aspects presented above. We have started forecasting using the exponential smoothing family which are easy to implement and extremely fast to run. As they are widely used in the industry, they have already won the confidence of users. What’s more, they are easy to understand and explain to an unlettered audience. By exploiting more advanced AI techniques, some of the limitations of the models used can be overcome. Cross-learning proved to be a relevant approach for extrapolating useful information when the number of available data was very limited. Since the common Gaussian assumption is not suitable for discrete sales data, we proposed using a model associatedwith either a Poisson distribution or a Negative Binomial one, which better corresponds to the nature of the phenomena we are seeking to model and predict. We also proposed using Monte Carlo simulations to deal with uncertainty. A number of scenarios are generated, sampled and modelled using a distribution. From this distribution, confidence intervals of different and adapted sizes can be deduced. Using real company data, we compared our approach with state-of-the-art methods such as DeepAR model, DeepSSMs and N-Beats. We deduced a new model based on the Holt-Winter method. These models were implemented in Lokad’s work flow

Le domaine du traitement automatique de la parole regroupe un très grand nombre de tâches parmi lesquelles on trouve la reconnaissance de la parole, l'identification de la langue ou l'identification du locuteur. Ce domaine de recherche fait l'objet d'études depuis le milieu du vingtième siècle mais la dernière rupture technologique marquante est relativement récente et date du début des années 2010. C'est en effet à ce moment qu'apparaissent des systèmes hybrides utilisant des réseaux de neurones profonds (DNN) qui améliorent très notablement l'état de l'art. Inspirés par le gain de performance apporté par les DNN et par les travaux d'Alex Graves sur les réseaux de neurones récurrents (RNN), nous souhaitions explorer les capacités de ces derniers. En effet, les RNN nous semblaient plus adaptés que les DNN pour traiter au mieux les séquences temporelles du signal de parole. Dans cette thèse, nous nous intéressons tout particulièrement aux RNN à mémoire court-terme persistante (Long Short Term Memory (LSTM) qui permettent de s'affranchir d'un certain nombre de difficultés rencontrées avec des RNN standards. Nous augmentons ce modèle et nous proposons des processus d'optimisation permettant d'améliorer les performances obtenues en segmentation parole/non-parole et en identification de la langue. En particulier, nous introduisons des fonctions de coût dédiées à chacune des deux tâches: un simili-WER pour la segmentation parole/non-parole dans le but de diminuer le taux d'erreur d'un système de reconnaissance de la parole et une fonction de coût dite de proximité angulaire pour les problèmes de classification multi-classes tels que l'identification de la langue parlée<br>Automatic speech processing is an active field of research since the 1950s. Within this field the main area of research is automatic speech recognition but simpler tasks such as speech activity detection, language identification or speaker identification are also of great interest to the community. The most recent breakthrough in speech processing appeared around 2010 when speech recognition systems using deep neural networks drastically improved the state-of-the-art. Inspired by this gains and the work of Alex Graves on recurrent neural networks (RNN), we decided to explore the possibilities brought by these models on realistic data for two different tasks: speech activity detection and spoken language identification. In this work, we closely look at a specific model for the RNNs: the Long Short Term Memory (LSTM) which mitigates a lot of the difficulties that can arise when training an RNN. We augment this model and introduce optimization methods that lead to significant performance gains for speech activity detection and language identification. More specifically, we introduce a WER-like loss function to train a speech activity detection system so as to minimize the word error rate of a downstream speech recognition system. We also introduce two different methods to successfully train a multiclass classifier based on neural networks for tasks such as LID. The first one is based on a divide-and-conquer approach and the second one is based on an angular proximity loss function. Both yield performance gains but also speed up the training process

Deux aspects importants de la connaissance qu'un individu a pu acquérir par ses expériences correspondent à la mémoire sémantique (celle des connaissances explicites, comme par exemple l'apprentissage de concepts et de catégories décrivant les objets du monde) et la mémoire procédurale (connaissances relatives à l'apprentissage de règles ou de la syntaxe). Cette "mémoire syntaxique" se construit à partir de l'expérience et notamment de l'observation de séquences, suites d'objets dont l'organisation séquentielle obéit à des règles syntaxiques. Elle doit pouvoir être utilisée ultérieurement pour générer des séquences valides, c'est-à-dire respectant ces règles. Cette production de séquences valides peut se faire de façon explicite, c'est-à-dire en évoquant les règles sous-jacentes, ou de façon implicite, quand l'apprentissage a permis de capturer le principe d'organisation des séquences sans recours explicite aux règles. Bien que plus rapide, plus robuste et moins couteux en termes de charge cognitive que le raisonnement explicite, le processus implicite a pour inconvénient de ne pas donner accès aux règles et de ce fait, de devenir moins flexible et moins explicable. Ces mécanismes mnésiques s'appliquent aussi à l'expertise métier : la capitalisation des connaissances pour toute entreprise est un enjeu majeur et concerne aussi bien celles explicites que celles implicites. Au début, l'expert réalise un choix pour suivre explicitement les règles du métier. Mais ensuite, à force de répétition, le choix se fait automatiquement, sans évocation explicite des règles sous-jacentes. Ce changement d'encodage des règles chez un individu en général et particulièrement chez un expert métier peut se révéler problématique lorsqu'il faut expliquer ou transmettre ses connaissances. Si les concepts métiers peuvent être formalisés, il en va en général de tout autre façon pour l'expertise. Dans nos travaux, nous avons souhaité nous pencher sur les séquences de composants électriques et notamment la problématique d’extraction des règles cachées dans ces séquences, aspect important de l’extraction de l’expertise métier à partir des schémas techniques. Nous nous plaçons dans le domaine connexionniste, et nous avons en particulier considéré des modèles neuronaux capables de traiter des séquences. Nous avons implémenté deux réseaux de neurones récurrents : le modèle de Elman et un modèle doté d’unités LSTM (Long Short Term Memory). Nous avons évalué ces deux modèles sur différentes grammaires artificielles (grammaire de Reber et ses variations) au niveau de l’apprentissage, de leurs capacités de généralisation de celui-ci et leur gestion de dépendances séquentielles. Finalement, nous avons aussi montré qu’il était possible d’extraire les règles encodées (issues des séquences) dans le réseau récurrent doté de LSTM, sous la forme d’automate. Le domaine électrique est particulièrement pertinent pour cette problématique car il est plus contraint avec une combinatoire plus réduite que la planification de tâches dans des cas plus généraux comme la navigation par exemple, qui pourrait constituer une perspective de ce travail<br>There are two important aspects of the knowledge that an individual acquires through experience. One corresponds to the semantic memory (explicit knowledge, such as the learning of concepts and categories describing the objects of the world) and the other, the procedural or syntactic memory (knowledge relating to the learning of rules or syntax). This "syntactic memory" is built from experience and particularly from the observation of sequences of objects whose organization obeys syntactic rules.It must have the capability to aid recognizing as well as generating valid sequences in the future, i.e., sequences respecting the learnt rules. This production of valid sequences can be done either in an explicit way, that is, by evoking the underlying rules, or implicitly, when the learning phase has made it possible to capture the principle of organization of the sequences without explicit recourse to the rules. Although the latter is faster, more robust and less expensive in terms of cognitive load as compared to explicit reasoning, the implicit process has the disadvantage of not giving access to the rules and thus becoming less flexible and less explicable. These mnemonic mechanisms can also be applied to business expertise. The capitalization of information and knowledge in general, for any company is a major issue and concerns both the explicit and implicit knowledge. At first, the expert makes a choice to explicitly follow the rules of the trade. But then, by dint of repetition, the choice is made automatically, without explicit evocation of the underlying rules. This change in encoding rules in an individual in general and particularly in a business expert can be problematic when it is necessary to explain or transmit his or her knowledge. Indeed, if the business concepts can be formalized, it is usually in any other way for the expertise which is more difficult to extract and transmit.In our work, we endeavor to observe sequences of electrical components and in particular the problem of extracting rules hidden in these sequences, which are an important aspect of the extraction of business expertise from technical drawings. We place ourselves in the connectionist domain, and we have particularly considered neuronal models capable of processing sequences. We implemented two recurrent neural networks: the Elman model and a model with LSTM (Long Short Term Memory) units. We have evaluated these two models on different artificial grammars (Reber's grammar and its variations) in terms of learning, their generalization abilities and their management of sequential dependencies. Finally, we have also shown that it is possible to extract the encoded rules (from the sequences) in the recurrent network with LSTM units, in the form of an automaton. The electrical domain is particularly relevant for this problem. It is more constrained with a limited combinatorics than the planning of tasks in general cases like navigation for example, which could constitute a perspective of this work

Les flux de contenus audiovisuels peuvent être représentés sous forme de séquences d’événements (par exemple, des suites d’émissions, de scènes, etc.). Ces données séquentielles se caractérisent par des relations chronologiques pouvant exister entre les événements successifs. Dans le contexte d’une chaîne TV, la programmation des émissions suit une cohérence définie par cette même chaîne, mais peut également être influencée par les programmations des chaînes concurrentes. Dans de telles conditions,les séquences d’événements des flux parallèles pourraient ainsi fournir des connaissances supplémentaires sur les événements d’un flux considéré.La modélisation de séquences est un sujet classique qui a été largement étudié, notamment dans le domaine de l’apprentissage automatique. Les réseaux de neurones récurrents de type Long Short-Term Memory (LSTM) ont notamment fait leur preuve dans de nombreuses applications incluant le traitement de ce type de données. Néanmoins,ces approches sont conçues pour traiter uniquement une seule séquence d’entrée à la fois. Notre contribution dans le cadre de cette thèse consiste à élaborer des approches capables d’intégrer conjointement des données séquentielles provenant de plusieurs flux parallèles.Le contexte applicatif de ce travail de thèse, réalisé en collaboration avec le Laboratoire Informatique d’Avignon et l’entreprise EDD, consiste en une tâche de prédiction du genre d’une émission télévisée. Cette prédiction peut s’appuyer sur les historiques de genres des émissions précédentes de la même chaîne mais également sur les historiques appartenant à des chaînes parallèles. Nous proposons une taxonomie de genres adaptée à de tels traitements automatiques ainsi qu’un corpus de données contenant les historiques parallèles pour 4 chaînes françaises.Deux méthodes originales sont proposées dans ce manuscrit, permettant d’intégrer les séquences des flux parallèles. La première, à savoir, l’architecture des LSTM parallèles(PLSTM) consiste en une extension du modèle LSTM. Les PLSTM traitent simultanément chaque séquence dans une couche récurrente indépendante et somment les sorties de chacune de ces couches pour produire la sortie finale. Pour ce qui est de la seconde proposition, dénommée MSE-SVM, elle permet de tirer profit des avantages des méthodes LSTM et SVM. D’abord, des vecteurs de caractéristiques latentes sont générés indépendamment, pour chaque flux en entrée, en prenant en sortie l’événement à prédire dans le flux principal. Ces nouvelles représentations sont ensuite fusionnées et données en entrée à un algorithme SVM. Les approches PLSTM et MSE-SVM ont prouvé leur efficacité dans l’intégration des séquences parallèles en surpassant respectivement les modèles LSTM et SVM prenant uniquement en compte les séquences du flux principal. Les deux approches proposées parviennent bien à tirer profit des informations contenues dans les longues séquences. En revanche, elles ont des difficultés à traiter des séquences courtes.L’approche MSE-SVM atteint globalement de meilleures performances que celles obtenues par l’approche PLSTM. Cependant, le problème rencontré avec les séquences courtes est plus prononcé pour le cas de l’approche MSE-SVM. Nous proposons enfin d’étendre cette approche en permettant d’intégrer des informations supplémentaires sur les événements des séquences en entrée (par exemple, le jour de la semaine des émissions de l’historique). Cette extension, dénommée AMSE-SVM améliore remarquablement la performance pour les séquences courtes sans les baisser lorsque des séquences longues sont présentées<br>In the same way as TV channels, data streams are represented as a sequence of successive events that can exhibit chronological relations (e.g. a series of programs, scenes, etc.). For a targeted channel, broadcast programming follows the rules defined by the channel itself, but can also be affected by the programming of competing ones. In such conditions, event sequences of parallel streams could provide additional knowledge about the events of a particular stream. In the sphere of machine learning, various methods that are suited for processing sequential data have been proposed. Long Short-Term Memory (LSTM) Recurrent Neural Networks have proven its worth in many applications dealing with this type of data. Nevertheless, these approaches are designed to handle only a single input sequence at a time. The main contribution of this thesis is about developing approaches that jointly process sequential data derived from multiple parallel streams. The application task of our work, carried out in collaboration with the computer science laboratory of Avignon (LIA) and the EDD company, seeks to predict the genre of a telecast. This prediction can be based on the histories of previous telecast genres in the same channel but also on those belonging to other parallel channels. We propose a telecast genre taxonomy adapted to such automatic processes as well as a dataset containing the parallel history sequences of 4 French TV channels. Two original methods are proposed in this work in order to take into account parallel stream sequences. The first one, namely the Parallel LSTM (PLSTM) architecture, is an extension of the LSTM model. PLSTM simultaneously processes each sequence in a separate recurrent layer and sums the outputs of each of these layers to produce the final output. The second approach, called MSE-SVM, takes advantage of both LSTM and Support Vector Machines (SVM) methods. Firstly, latent feature vectors are independently generated for each input stream, using the output event of the main one. These new representations are then merged and fed to an SVM algorithm. The PLSTM and MSE-SVM approaches proved their ability to integrate parallel sequences by outperforming, respectively, the LSTM and SVM models that only take into account the sequences of the main stream. The two proposed approaches take profit of the information contained in long sequences. However, they have difficulties to deal with short ones. Though MSE-SVM generally outperforms the PLSTM approach, the problem experienced with short sequences is more pronounced for MSE-SVM. Finally, we propose to extend this approach by feeding additional information related to each event in the input sequences (e.g. the weekday of a telecast). This extension, named AMSE-SVM, has a remarkably better behavior with short sequences without affecting the performance when processing long ones

Dans cette thèse, nous étudions l’application des réseaux de neurones récurrents (RNN) par LSTM pour la prédiction des phases de sommeil chez des résidents âgés d’un établissement de soin à travers l’analyse des données actimétriques enregistrées. Ce travail est au croisement des domaines médical et de l’informatique dans un contexte d’évolution de l’espérance de vie et du vieillissement de la population. L’objectif principal était d’anticiper le sommeil afin de proposer aux médecins la possibilité d’adapter les prises de traitements et la prise en charge du patient en leur proposant une alternative à la médication. Nous explorons l’application des algorithmes d’apprentissage profond utilisés pour résoudre les problèmes de la prévision des séries temporelles à long et à court terme dans les données séquentielles. Nous avons réalisé une revue systématique afin de construire l’orientation de l’étude. Puis, après l’analyse des enregistrements d’actimétries nous avons utilisé l’architecture LSTM avec une couche cachée avec dropout, puis ajoutée vers une couche entièrement connectée. Cette étape améliore les performances du modèle. Nous avons également traité l’abandon comme une sous-couche du réseau et enfin, la fonction de transfert sigmoïd à tangente hyperbolique appliquée comme fonction d’activation a été utilisée pour calculer la sortie.Nous avons réussi lors de cette étape de recherche à prédire le nombre de phases de sommeil pour un patient âgé institutionnalisé avec les données des enregistrements des 9 nuits précédentes. Nous proposons de poursuivre les recherches avec un échantillon plus grand afin de valider nos résultats<br>In this thesis, we study the application of recurrent neural networks (RNN) by LSTM for the prediction of sleep phases in elderly residents of a care facility through the analysis of recorded actimetric data. This work is at the crossroads of the medical and IT fields, in the context of increasing life expectancy and an aging population. The main objective was to anticipate sleep in order to offer doctors the possibility of adapting treatment and patient management by proposing an alternative to medication. We explore the application of deep learning algorithms used to solve the problems of long- and short-term time series prediction in sequential data. We carried out a systematic review in order to construct the orientation of the study. Then, after analyzing the actimeter records, we used the LSTM architecture with a hidden layer with dropout, then added towards a fully connected layer. This step improves model performance. We also treated the dropout as a sub-layer of the network and finally, the hyperbolic tangent sigmoid transfer function applied as the activation function was used to calculate the output.In this stage of the research, we were able to predict the number of sleep phases for an elderly institutionalized patient using data from recordings of the previous 9 nights. We propose to continue the research with a larger sample in order to validate our results

Les méthodes à l’état de l’art de la reconnaissance de l’écriture sont fondées sur des réseaux de neurones récurrents (RNN) à cellules LSTM ayant des performances remarquables. Dans cette thèse, nous proposons deux nouveaux principes la vérification lexicale et la génération de cohorte afin d’attaquer les problèmes de la reconnaissance de l’écriture : i) le problème des grands lexiques et des décodages dirigés par le lexique ii) la problématique de combinaison de modèles optiques pour une meilleure reconnaissance iii) la nécessité de constituer de très grands ensembles de données étiquetées dans un contexte d’apprentissage profond. La vérification lexicale est une alternative aux décodages dirigés par le lexique peu étudiée à cause des faibles performances des modèles optiques historiques (HMM). Nous montrons dans cette thèse qu’elle constitue une alternative intéressante aux approches dirigées par le lexique lorsqu’elles s’appuient sur des modèles optiques très performants comme les RNN LSTM. La génération de cohorte permet de générer facilement et rapidement un grand nombre de réseaux récurrents complémentaires en un seul apprentissage. De ces deux techniques nous construisons et proposons un nouveau schéma de cascade pour la reconnaissance de mots isolés, une nouvelle combinaison au niveau ligne LV-ROVER et une nouvelle stratégie d’auto-apprentissage de RNN LSTM pour la reconnaissance de mots isolés. La cascade proposée permet de combiner avec la vérification lexicale des milliers de réseaux et atteint des résultats à l’état de l’art pour les bases Rimes et IAM. LV-ROVER a une complexité réduite par rapport à l’algorithme original ROVER et permet de combiner des centaines de réseaux sans modèle de langage tout en dépassant l’état de l’art pour la reconnaissance de lignes sur le jeu de donnéesRimes. Notre stratégie d’auto-apprentissage permet d’apprendre à partir d’un seul réseau BLSTM et sans paramètres grâce à la cohorte et la vérification lexicale, elle montre d’excellents résultats sur les bases Rimes et IAM<br>State-of-the-art methods for handwriting recognition are based on LSTM recurrent neural networks (RNN) which achieve high performance recognition. In this thesis, we propose the lexicon verification and the cohort generation as two new building blocs to tackle the problem of handwriting recognition which are : i) the large vocabulary problem and the use of lexicon driven methods ii) the combination of multiple optical models iii) the need for large labeled dataset for training RNN. The lexicon verification is an alternative to the lexicon driven decoding process and can deal with lexicons of 3 millions words. The cohort generation is a method to get easily and quickly a large number of complementary recurrent neural networks extracted from a single training. From these two new techniques we build and propose a new cascade scheme for isolated word recognition, a new line level combination LV-ROVER and a new self-training strategy to train LSTM RNN for isolated handwritten words recognition. The proposed cascade combines thousands of LSTM RNN with lexicon verification and achieves state-of-the art word recognition performance on the Rimes and IAM datasets. The Lexicon Verified ROVER : LV-ROVER, has a reduce complexity compare to the original ROVER algorithm and combine hundreds of recognizers without language models while achieving state of the art for handwritten line text on the RIMES dataset. Our self-training strategy use both labeled and unlabeled data with the unlabeled data being self-labeled by its own lexicon verified predictions. The strategy enables self-training with a single BLSTM and show excellent results on the Rimes and Iam datasets

Les radiologues utilisent au quotidien des solutions d'imagerie médicale pour le diagnostic. L'amélioration de l'expérience utilisateur est toujours un axe majeur de l'effort continu visant à améliorer la qualité globale et l'ergonomie des produits logiciels. Les applications de monitoring permettent en particulier d'enregistrer les actions successives effectuées par les utilisateurs dans l'interface du logiciel. Ces interactions peuvent être représentées sous forme de séquences d'actions. Sur la base de ces données, ce travail traite de deux sujets industriels : les pannes logicielles et l'ergonomie des logiciels. Ces deux thèmes impliquent d'une part la compréhension des modes d'utilisation, et d'autre part le développement d'outils de prédiction permettant soit d'anticiper les pannes, soit d'adapter dynamiquement l'interface logicielle en fonction des besoins des utilisateurs. Tout d'abord, nous visons à identifier les origines des crashes du logiciel qui sont essentielles afin de pouvoir les corriger. Pour ce faire, nous proposons d'utiliser un test binomial afin de déterminer quel type de pattern est le plus approprié pour représenter les signatures de crash. L'amélioration de l'expérience utilisateur par la personnalisation et l'adaptation des systèmes aux besoins spécifiques de l'utilisateur exige une très bonne connaissance de la façon dont les utilisateurs utilisent le logiciel. Afin de mettre en évidence les tendances d'utilisation, nous proposons de regrouper les sessions similaires. Nous comparons trois types de représentation de session dans différents algorithmes de clustering. La deuxième contribution de cette thèse concerne le suivi dynamique de l'utilisation du logiciel. Nous proposons deux méthodes -- basées sur des représentations différentes des actions d'entrée -- pour répondre à deux problématiques industrielles distinctes : la prédiction de la prochaine action et la détection du risque de crash logiciel. Les deux méthodologies tirent parti de la structure récurrente des réseaux LSTM pour capturer les dépendances entre nos données séquentielles ainsi que leur capacité à traiter potentiellement différents types de représentations d'entrée pour les mêmes données<br>Radiologists use medical imaging solutions on a daily basis for diagnosis. Improving user experience is a major line of the continuous effort to enhance the global quality and usability of software products. Monitoring applications enable to record the evolution of various software and system parameters during their use and in particular the successive actions performed by the users in the software interface. These interactions may be represented as sequences of actions. Based on this data, this work deals with two industrial topics: software crashes and software usability. Both topics imply on one hand understanding the patterns of use, and on the other developing prediction tools either to anticipate crashes or to dynamically adapt software interface according to users' needs. First, we aim at identifying crash root causes. It is essential in order to fix the original defects. For this purpose, we propose to use a binomial test to determine which type of patterns is the most appropriate to represent crash signatures. The improvement of software usability through customization and adaptation of systems to each user's specific needs requires a very good knowledge of how users use the software. In order to highlight the trends of use, we propose to group similar sessions into clusters. We compare 3 session representations as inputs of different clustering algorithms. The second contribution of our thesis concerns the dynamical monitoring of software use. We propose two methods -- based on different representations of input actions -- to address two distinct industrial issues: next action prediction and software crash risk detection. Both methodologies take advantage of the recurrent structure of LSTM neural networks to capture dependencies among our sequential data as well as their capacity to potentially handle different types of input representations for the same data

Des simulations précises du niveau des eaux souterraines (GWL) sont indispensables pour générer les reconstructions et les projections servant à analyser les tendances et la variabilité historiques et futures des eaux souterraines à long terme. Dans cette thèse, nous étudions l'utilisation d'approches d'apprentissage profond (DL) pour les simulations, reconstructions et projections du niveau des eaux souterraines, en mettant l'accent sur les questions liées à la représentation de la variabilité à basse fréquence interannuelle à décennale, et en utilisant divers produits de réanalyses climatiques et sorties de GCM. Une approche de pré-traitement par ondelettes assistant les modèles DL a été développée, en particulier à partir de transformée en ondelettes discrète à chevauchement maximal (MODWT) en une étape de décomposition les signaux d'entrée. Les modèles récurrents à mémoire long- et court- terme (LSTM) et leurs développements plus récents (unité récurrente à porte GRU et LSTM bidirectionnels BiLSTM) ont été plus spécifiquement utilisés et évalués, pour développer des approches d’apprentissage à station unique et à stations multiples. Les résultats de l'approche à station unique ont indiqué que les modèles GRU assistés par MODWT permettaient d'extraire des informations à basse fréquence et surpassaient considérablement les modèles « simples » (i.e. sans pré-traitement) dans la simulation des GWL, en particulier pour les GWL de type inertiel. La méthode SHAP a été utilisée pour appréhender l’interprétabilité des résultats des modèles et le fonctionnement des modèles eux-mêmes, mettant ainsi notamment en évidence les caractéristiques d'entrée les plus importantes. Pour les reconstructions GWL à long terme, les modèles DL ont été construits en utilisant les ensembles de données de réanalyse climatique ERA5 et ERA20C du centre européen de prévisions météorologiques à moyen terme (ECMWF), permettant des reconstructions jusqu'en 1940 et 1900, respectivement. Ces modèles basés ont pu capturer avec succès la variabilité multidécennale dans tous les niveaux de nappe reconstruits, un enjeu important en contexte de changement climatique dans la mesure où la variabilité multidécennale peut fortement interférer avec les effets du changement climatique. Plusieurs approches d’apprentissage multi-stations et de clustering ont été utilisées pour les simulations GWL à grande échelle, intégrant des variables climatiques dynamiques et des caractéristiques statiques des aquifères. Les modèles spécifiquement entraînés sur différents types de GWL, regroupés sur la base de leurs propriétés spectrales, ont obtenu des résultats significativement meilleurs que ceux entraînés sur l'ensemble des données. Enfin, un modèle GRU multi-stations entraîné pour chaque type de GWL avec un prétraitement MODWT avec correction des effets de bord (BC-MODWT) a été utilisé pour générer des projections jusqu'en 2100. Les changements futurs indiquent des tendances à la baisse des niveaux et de la variabilité des eaux souterraines, s'intensifiant de SSP2-4.5 à SSP5-8.5, malgré des niveaux des eaux souterraines projetés plus élevés en moyenne par rapport à la période historique dans tous les scénarios. Nous expliquons ce résultat apparemment contre-intuitif par le fait que les niveaux projetés sont systématiquement bien plus élevés en début de période future (jusqu’à ~2050) par rapport à la période historique. Nos résultats indiquent enfin que la variabilité des aquifères de type annuel a augmenté pour tous les scénarios d’émission<br>Accurate groundwater level (GWL) simulations facilitate reconstructions and projections for analysing historical and future groundwater trends and variability at the decadal scale. In this thesis, we investigate the use of deep learning (DL) approaches for GWL simulations, reconstructions, and projections, with a focus on capturing low-frequency variability and leveraging climate reanalysis and GCM model outputs. A wavelet-assisted DL framework was developed, using the Maximal Overlap Discrete Wavelet Transform (MODWT) as a pre-processing step to decompose input signals. We specifically evaluated advanced DL models, including Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), and Bidirectional LSTM (BiLSTM), for single-station and multi-station approaches. The single station approach results indicated that MODWT-assisted GRU models allowed for extracting low-frequency information and significantly outperformed standalone models in simulating GWLs, particularly for inertial-type GWL. The Shapley Additive Explanations (SHAP) technique was used to interpret model outputs and highlight important input features. For long-term GWL reconstructions, DL models were trained on ERA5 and ERA20C climate reanalysis datasets, enabling reconstructions up to 1900 and 1940, respectively. These DL-based models were able to capture multi-decadal variability in all reconstructed GWLs. Several multi-station training approaches and clustering were used for large-scale GWL simulations, incorporating dynamic climatic variables and static aquifer characteristics. Models specifically trained on different GWL types, clustered by spectral properties, performed significantly better than those trained on the whole dataset. Finally, A multi-station GRU model trained for each GWL type with boundary-corrected MODWT (BC-MODWT) pre-processing was used to generate projections until 2100. Future changes show decreasing trends in groundwater levels and variability, intensifying from SSP2-4.5 to SSP5-8.5, despite projected groundwater levels being higher on average compared to the historical period in all scenarios. We explain this seemingly counter-intuitive result by the fact that projected levels are systematically much higher at the beginning of the future period (up to ~2050) compared to the historical period. Finally, our results indicate that the variability of annual-type aquifers has increased for all emission scenarios

Les travaux de cette thèse de doctorat s’inscrivent dans le contexte d’évolution desnormes de dépollution des moteurs thermiquescouplée aux exigences de baisse de la consommation des véhicules. La méthodologie développée tente de répondre avec un processus industriel efficace aux exigences d’émissions en roulage réel, dites RDE (Real Driving Emissions). La méthode proposée est basée sur la technique des plans d’expériences dynamiques utilisant les suites à faible discrépance : les résultats d’essais sont utilisés afin d’entraîner un modèle de réseau de neurones type LSTM capable de prédire l’historique des sorties (les masses de polluants CO, HC, NOx) pour chaque combinaison donnée en entrée. Le modèle est utilisé ensuite pour nourrir une boucle d’optimisation basée sur un algorithme génétique afin de mettre au point les cartographies moteur optimales.Les travaux se focalisent sur la phase de mise en action du moteur, qui est comprise entre l’instant de démarrage et l’instant où le système de post-traitement est amorcé, c’est-à-dire lorsque le catalyseur a atteint la température lui permettant d’être efficace. Cette phase est capitale car elle concentre l’essentiel des émissions lors d’un cycle d’homologation : la mise en action doit donc sans cesse être optimisée pour répondre aux nouvelles contraintes réglementaires. Elle constitue donc un champ d’application de la méthodologie à la fois cohérent et pertinent. Les résultats montrent des améliorations notables concernant les CO, HC et Nox en comparaison de la méthode classique (essais en régime permanent)<br>The work of this thesis responds to the context of the evolution of engine depollution norms together with the increase of the clientrequirements. It proposes a complete methodology of engine calibration considering dynamic effects with the aim of an efficient control in terms of emissions and performances. The method is divided into four steps: the dynamic design of experiments generating a set of RDE (Real Driving Emissions) cycles and dynamic variations of engine parameters using low discrepancy sequences: test results are used to train a dynamical model using LSTM neural network to predict output dynamic variations(CO, HC, NOx, Exhaust flow and temperature). The trained model is used in an optimization loop to calibrate the engine parameters using a genetic algorithm. The catalyst warm-up phase is the chosen phase for the development of the method. It is the phase occuring from engine start until the catalyst is the most efficient. It is indeed the phase with the most important emissions which is coherent with the aim of the engine calibration. The results showed noticeable improvements of CO, HC and Nox reduction compared to the steady state (baseline) method