Academic literature on the topic 'Recherche Automatique d'Architecture Neuronale'

L'intelligence artificielle (IA) a gagné en popularité ces dernières années, principalement en raison de ses applications réussies dans divers domaines tels que l'analyse de données textuelles, la vision par ordinateur et le traitement audio. La résurgence des techniques d'apprentissage profond a joué un rôle central dans ce succès. L'article révolutionnaire de Krizhevsky et al., AlexNet, a réduit l'écart entre les performances humaines et celles des machines dans les tâches de classification d'images. Des articles ultérieurs tels que Xception et ResNet ont encore renforcé l'apprentissage profond en tant que technique de pointe, ouvrant de nouveaux horizons pour la communauté de l'IA. Le succès de l'apprentissage profond réside dans son architecture, conçue manuellement avec des connaissances d'experts et une validation empirique. Cependant, ces architectures n'ont pas la certitude d'être la solution optimale. Pour résoudre ce problème, des articles récents ont introduit le concept de Recherche d'Architecture Neuronale ( extit{NAS}), permettant l'automatisation de la conception des architectures profondes. Cependant, la majorités des approches initiales se sont concentrées sur de grandes architectures avec des objectifs spécifiques (par exemple, l'apprentissage supervisé) et ont utilisé des techniques d'optimisation coûteuses en calcul telles que l'apprentissage par renforcement et les algorithmes génétiques. Dans cette thèse, nous approfondissons cette idée en explorant la conception automatique d'architectures profondes, avec une emphase particulière sur les méthodes extit{NAS} différentiables ( extit{DNAS}), qui représentent la tendance actuelle en raison de leur efficacité computationnelle. Bien que notre principal objectif soit les réseaux convolutifs ( extit{CNNs}), nous explorons également les Vision Transformers (ViTs) dans le but de concevoir des architectures rentables adaptées aux applications en temps réel<br>Artificial Intelligence (AI) has gained significant popularity in recent years, primarily due to its successful applications in various domains, including textual data analysis, computer vision, and audio processing. The resurgence of deep learning techniques has played a central role in this success. The groundbreaking paper by Krizhevsky et al., AlexNet, narrowed the gap between human and machine performance in image classification tasks. Subsequent papers such as Xception and ResNet have further solidified deep learning as a leading technique, opening new horizons for the AI community. The success of deep learning lies in its architecture, which is manually designed with expert knowledge and empirical validation. However, these architectures lack the certainty of an optimal solution. To address this issue, recent papers introduced the concept of Neural Architecture Search (NAS), enabling the learning of deep architectures. However, most initial approaches focused on large architectures with specific targets (e.g., supervised learning) and relied on computationally expensive optimization techniques such as reinforcement learning and evolutionary algorithms. In this thesis, we further investigate this idea by exploring automatic deep architecture design, with a particular emphasis on differentiable NAS (DNAS), which represents the current trend in NAS due to its computational efficiency. While our primary focus is on Convolutional Neural Networks (CNNs), we also explore Vision Transformers (ViTs) with the goal of designing cost-effective architectures suitable for real-time applications

L'augmentation de la puissance de calcul et de la quantité de données disponible ont permis la montée en popularité de l'apprentissage profond. Cependant, l'expertise et les ressources nécessaires pour construire de tels algorithmes ainsi que l'empreinte mémoire et le temps d'inférence lors de l'utilisation sont autant d'obstacles à l'utilisation de ces méthodes. Dans cette thèse, nous proposons de construire des modèles d'apprentissage profond de manière plus efficace et automatisée. Tout d'abord, nous nous concentrons sur l'apprentissage d'une architecture efficace pour les problèmes de traitement d'images. Nous proposons un modèle dans lequel nous pouvons guider la procédure d'apprentissage d'architecture en spécifiant un budget et une fonction de coût fixes. Ensuite, nous considérons le problème de la classification de séquences, où un modèle peut être encore plus efficace en adaptant dynamiquement sa taille à la complexité du signal à venir. Enfin, nous abordons le problème de l'efficacité sous l'angle de l'apprentissage par transfert, une procédure d'apprentissage pouvant être rendue encore plus efficace si elle s'appuie sur des connaissances acquises lors d'expériences précédentes. Nous explorons les architectures modulaires dans le scénario de l'apprentissage continuel et présentons un nouveau benchmark permettant une évaluation fine des différents types de transfert<br>The recent increase in computation power and the ever-growing amount of data available ignited the rise in popularity of deep learning. However, the expertise, the amount of data, and the computing power necessary to build such algorithms as well as the memory footprint and the inference latency of the resulting system are all obstacles preventing the widespread use of these methods. In this thesis, we propose several methods allowing to make a step towards a more efficient and automated procedure to build deep learning models. First, we focus on learning an efficient architecture for image processing problems. We propose a new model in which we can guide the architecture learning procedure by specifying a fixed budget and cost function. Then, we consider the problem of sequence classification, where a model can be even more efficient by dynamically adapting its size to the complexity of the signal to come. We show that both approaches result in significant budget savings. Finally, we tackle the efficiency problem through the lens of transfer learning. Arguing that a learning procedure can be made even more efficient if, instead of starting tabula rasa, it builds on knowledge acquired during previous experiences. We explore modular architectures in the continual learning scenario and present a new benchmark allowing a fine-grained evaluation of different kinds of transfer

Les technologies actuelles ne permettant le stockage que par des moyens coûteux et peu efficaces, l'électricité reste difficile à stocker à grande échelle. Pour le bon fonctionnement du réseau, il est ainsi important qu'à tout instant, l'électricité injectée dans le réseau soit égale à l'électricité consommée. Historiquement et encore aujourd'hui, pour maintenir cet équilibre, les moyens de production sont planifiés par anticipation de la demande; d'où l'importance de prévoir aussi précisément que possible la consommation électrique. Avec l'intégration massive des énergies renouvelables dont la production est intermittente et dépendante des conditions météorologiques, la production devient de plus en plus instable et la gestion de l'équilibre se complexifie : des prévisions des productions éolienne et photovoltaïque sont désormais indispensables.Les prévisions de consommation et de production sont réalisées à l'aide de modèles d'apprentissage statistique, qui modélisent le signal en se basant sur ses valeurs passées et des données de variables dites explicatives. Pour construire un modèle performant, il est nécessaire de choisir les variables explicatives considérées, le type de modèle ainsi que sa paramétrisation. Au vu du très grand nombre de signaux à prévoir, il pourrait être intéressant d'automatiser ces choix pour créer automatiquement des modèles compétitifs. Le textit{Machine Learning} automatisé, également appelé AutoML pour textit{Automated Machine Learning}, est le processus d'automatisation de la génération de modèles d'apprentissage optimisés en fonction du cas d'usage. De nombreux outils d'AutoML ont été développés depuis une dizaine d'années, mais la plupart se concentrent sur l'optimisation de modèles de classification ou de régression sur des données tabulaires, ou sur l'optimisation d'architectures de réseaux de neurones pour le traitement d'images ou de textes. Ils ne sont donc pas forcément adaptés à la prévision de séries temporelles telles que la consommation ou production électrique.Cette thèse est un premier pas vers l'automatisation de la génération de modèles pour les prévisions des séries temporelles nécessaires à la gestion du système électrique. Les travaux de recherche se sont concentrés sur le développement du textit{package} Python DRAGON, qui propose divers outils pour optimiser des modèles bien particuliers, mais largement utilisés: les réseaux de neurones. Le textit{package} rend possible la création d'espaces de recherche plus ou moins flexibles, englobant une grande diversité d'architectures et qui permettent d'optimiser à la fois l'architecture et les hyperparamètres. Ces espaces de recherche sont encodés par des graphes acycliques dirigés, où les nœuds sont des opérations, paramétrées par divers hyperparamètres, et les arêtes sont les connexions entre ces nœuds. Afin de naviguer dans ces espaces de recherche à base de graphes et d'en optimiser les structures, divers algorithmes de recherche à base de métaheuristiques et de bandits sont proposés dans le textit{package}. Après une présentation de DRAGON, cette thèse détaille comment ce textit{package} est utilisé pour les prévisions de consommation et de production électrique et permet de générer des modèles à l'état de l'art dans ces deux cas d'usage industriels<br>Current technologies only allow storage by expensive and inefficient means, which makes it difficult to store electricity on a large scale. For the grid to function properly, electricity fed into the grid must match electricity used at all times. Historically, and still today, production resources are planned in advance of demand to maintain this balance. It is therefore crucial to forecast electricity consumption as accurately as possible. The integration of renewable energies, whose production is intermittent and dependent on weather conditions, is making the balance increasingly unstable. Managing this is becoming more complex, making forecasting wind and photovoltaic production now essential.Statistical learning models are used to make consumption and production forecasts. These models take past values and data from explanatory variables and use them to model the signal. To build efficient models, one must choose the input variables, the type of model, and its parameters. Given the vast number of signals to be forecasted, it would be beneficial to automate these choices to create competitive models. Automated Machine Learning (AutoML) is the process of automating the generation of learning models optimized according to the use case. Over the last ten years, numerous AutoML tools have been developed. However, most of them focus on optimizing classification or regression models on tabular data, or on optimizing neural network architectures for image or text processing. These tools are not appropriate for optimizing electricity consumption and production forecasting models.This thesis is a progress towards automating the generation of time series forecasting models required for power system management. The research work focused on developing the DRAGON Python package, which offers a range of tools for specific yet widely used models: neural networks. DRAGON can be used to create flexible search spaces encompassing a wide variety of neural networks by simultaneity optimizing the architecture and the hyperparameters. They are encoded by Directed Acyclic Graphs (DAGs), where the nodes are operations, parameterised by various hyperparameters, and the edges are the connections between these nodes. To navigate these graph-based search spaces and optimize their structures, the package proposes various search algorithms based on meta-heuristics and bandits-approaches. This thesis details how DRAGON is used for electricity consumption and production forecasts, enabling state-of-the-art models to be generated for these two industrial use cases

Dans le domaine de l'apprentissage profond, la conception et l'optimisation des architectures neuronales sont essentielles pour obtenir des modèles performants. Ce processus, basé sur des essais et erreurs, a été effectué manuellement pendant des décennies et consomment beaucoup de temps et de ressources. Ce travail se penche sur le domaine de la recherche d'architecture neurale, ou Neural Architecture Search (NAS), une technique prometteuse qui vise à automatiser ce processus. Ce travail explore les complexités des NAS, mettant en évidence les défis à naviguer dans l'immense espace de recherche des architectures potentielles. Il étudie des méthodes basées sur la recherche locale et propose deux algorithmes efficaces centrés autour de celle-ci, à savoir LS-Weight et LS-PON. Chaque méthode offre une approche distinctive pour intégrer des connaissances pendant la recherche afin de proposer des stratégies plus efficientes et frugale. De plus, étant donné que les modèles d'apprentissage profond sont souvent régis par plusieurs objectifs concurrents tels que la précision, la complexité, et l'efficacité de calcul, notre recherche s'intéresse également à l'optimisation multi-objectifs au sein des NAS. Cela garantit que les architectures résultantes sont non seulement performantes pour la tâche pour laquelle elles sont conçues, mais également alignées sur plusieurs critères essentiels pour les applications réelles. À cet effet, ce travail propose une nouvelle approche au NAS multi-objectif qui aborde certains problèmes trouvés dans la littérature. De plus, il analyse la complexité du passage des benchmarks aux données réelles, en proposant un protocole qui guide les praticiens dans leur utilisation des NAS pour leurs problèmes. Enfin, reconnaissant l'importance des applications du domaine, ce travail présente des expérimentations basées sur l'imagerie médicale pour valider ces contributions. Il présente également une étude détaillée sur l'utilisation des NAS dans le domaine de la santé, en analysant plus de 40 contributions dans la littérature et en offrant un point de départ pour de futurs travaux du domaine<br>In the realm of deep learning, the design and optimization of neural architectures are crucial for achieving high-performance models. This process, based on trial and error, has been done manually for decades and is both time and resource-consuming. This thesis delves into the domain of Neural Architecture Search (NAS), a promising technique that seeks to automate this process. The research explores the complexities inherent in NAS, highlighting the challenges of navigating the vast search space of potential architectures. It investigates methods based on Local Search and proposes two efficient algorithms built around it, namely LS-Weight and LS-PON. Each method offers a distinctive approach to integrate knowledge during the search to offer efficient and more frugal strategies to NAS. Furthermore, as deep learning models are often governed by multiple competing objectives such as accuracy, complexity, and computational efficiency, this research also delves into multi-objective optimization within NAS. This ensures that the resulting architectures are not only performant for the task they are designed for but also aligned with multiple criteria essential for real-world applications. For this purpose, this research offers an alternative approach to multi-objective NAS that addresses certain issues found in strategies from the literature. On top of that, it also analyzes the complexity of moving from benchmarks to real data, offering a protocol that guides practitioners in their usage of NAS for their applications. Lastly, by recognizing the importance of domain applications, this work focuses on healthcare images to validate these contributions. It also presents a detailed survey on the use of NAS for healthcare, by analyzing more than 40 contributions in the literature and laying the ground for future works in the field

Au cours de la dernière décennie, l'apprentissage automatique a connu une croissance exponentielle, portée par l'abondance de jeux de données, les avancées algorithmiques et l'augmentation de la puissance de calcul.Simultanément, le calcul haute performance (HPC) a évolué pour répondre à la demande croissante en calculs, offrant des ressources pour relever des défis scientifiques complexes. Cependant, les processus d'apprentissage machines sont souvent séquentiels, ce qui rend difficile leur mise à l'échelle sur les systèmes HPC qui sont eux parallèles par nature. Les processus d'apprentissage machines sont construits à partir de modules qui offrent de nombreux paramètres configurables, des politiques d'augmentation des données, aux procédures d'entraînement et aux architectures de modèles. Cette thèse se concentre sur l'optimisation des hyperparamètres des processus d'apprentissage sur des systèmes HPC, tels que Polaris à Argonne National Laboratory. Les principales contributions comprennent (1) l'optimisation Bayésienne parallèle décentralisée et asynchrone, (2) son extension à plusieurs objectifs, (3) l'intégration de méthodes de rejet précoce et (4) la quantification de l'incertitude des réseaux de neurones profonds. De plus, un logiciel en libre accès, DeepHyper, est fourni, encapsulant les algorithmes proposés pour faciliter la recherche et l'application. La thèse met en évidence l'importance des méthodes d'optimisation Bayésienne des hyperparamètres pour les processus d'apprentissage, cruciales pour exploiter efficacement les vastes ressources de calcul des systèmes HPC modernes<br>In the past decade, machine learning has experienced exponential growth, propelled by abundant datasets, algorithmic advancements, and increased computational power. Simultaneously, high-performance computing (HPC) has evolved to meet rising computational demands, offering resources to tackle complex scientific challenges.However, machine learning is often a sequential process, making it difficult to scale on HPC systems. Machine learning workflows are built from modules offering numerous configurable parameters, from data augmentation policies to training procedures and model architectures. This thesis focuses on the hyperparameter optimization of learning workflows on large-scale HPC systems, such as the Polaris at the Argonne Leadership Computing Facility.Key contributions include (1) asynchronous decentralized parallel Bayesian optimization, (2) extension to multi-objective, (3) integration of early discarding, and (4) uncertainty quantification of deep neural networks. Furthermore, an open-source software, DeepHyper, is provided, encapsulating the proposed algorithms to facilitate research and application. The thesis highlights the importance of scalable Bayesian optimization methods for the hyperparameter optimization of learning workflows, which is crucial for effectively harnessing the vast computational resources of modern HPC systems

Cette thèse porte sur la reconnaissance d'actions humaines dans des séquences vidéo RGB-D monoculaires. La question principale est, à partir d'une vidéo ou d'une séquence d'images donnée, de savoir comment reconnaître des actions particulières qui se produisent. Cette tâche est importante et est un défi majeur à cause d'un certain nombre de verrous scientifiques induits par la variabilité des conditions d'acquisition, comme l'éclairage, la position, l'orientation et le champ de vue de la caméra, ainsi que par la variabilité de la réalisation des actions, notamment de leur vitesse d'exécution. Pour surmonter certaines de ces difficultés, dans un premier temps, nous examinons et évaluons les techniques les plus récentes pour la reconnaissance d'actions dans des vidéos. Nous proposons ensuite une nouvelle approche basée sur des réseaux de neurones profonds pour la reconnaissance d'actions humaines à partir de séquences de squelettes 3D. Deux questions clés ont été traitées. Tout d'abord, comment représenter la dynamique spatio-temporelle d'une séquence de squelettes pour exploiter efficacement la capacité d'apprentissage des représentations de haut niveau des réseaux de neurones convolutifs (CNNs ou ConvNets). Ensuite, comment concevoir une architecture de CNN capable d'apprendre des caractéristiques spatio-temporelles discriminantes à partir de la représentation proposée dans un objectif de classification. Pour cela, nous introduisons deux nouvelles représentations du mouvement 3D basées sur des squelettes, appelées SPMF (Skeleton Posture-Motion Feature) et Enhanced-SPMF, qui encodent les postures et les mouvements humains extraits des séquences de squelettes sous la forme d'images couleur RGB. Pour les tâches d'apprentissage et de classification, nous proposons différentes architectures de CNNs, qui sont basées sur les modèles Residual Network (ResNet), Inception-ResNet-v2, Densely Connected Convolutional Network (DenseNet) et Efficient Neural Architecture Search (ENAS), pour extraire des caractéristiques robustes de la représentation sous forme d'image que nous proposons et pour les classer. Les résultats expérimentaux sur des bases de données publiques (MSR Action3D, Kinect Activity Recognition Dataset, SBU Kinect Interaction, et NTU-RGB+D) montrent que notre approche surpasse les méthodes de l'état de l'art. Nous proposons également une nouvelle technique pour l'estimation de postures humaines à partir d'une vidéo RGB. Pour cela, le modèle d'apprentissage profond appelé OpenPose est utilisé pour détecter les personnes et extraire leur posture en 2D. Un réseau de neurones profond est ensuite proposé pour apprendre la transformation permettant de reconstruire ces postures en trois dimensions. Les résultats expérimentaux sur la base de données Human3.6M montrent l'efficacité de la méthode proposée. Ces résultats ouvrent des perspectives pour une approche de la reconnaissance d'actions humaines à partir des séquences de squelettes 3D sans utiliser des capteurs de profondeur comme la Kinect. Nous avons également constitué la base CEMEST, une nouvelle base de données RGB-D illustrant des comportements de passagers dans les transports publics. Elle contient 203 vidéos de surveillance collectées dans une station du métro incluant des événements "normaux" et "anormaux". Nous avons obtenu des résultats prometteurs sur cette base en utilisant des techniques d'augmentation de données et de transfert d'apprentissage. Notre approche permet de concevoir des applications basées sur des techniques de l'apprentissage profond pour renforcer la qualité des services de transport en commun<br>This thesis is dealing with automatic recognition of human actions from monocular RGB-D video sequences. Our main goal is to recognize which human actions occur in unknown videos. This problem is a challenging task due to a number of obstacles caused by the variability of the acquisition conditions, including the lighting, the position, the orientation and the field of view of the camera, as well as the variability of actions which can be performed differently, notably in terms of speed. To tackle these problems, we first review and evaluate the most prominent state-of-the-art techniques to identify the current state of human action recognition in videos. We then propose a new approach for skeleton-based action recognition using Deep Neural Networks (DNNs). Two key questions have been addressed. First, how to efficiently represent the spatio-temporal patterns of skeletal data for fully exploiting the capacity in learning high-level representations of Deep Convolutional Neural Networks (D-CNNs). Second, how to design a powerful D-CNN architecture that is able to learn discriminative features from the proposed representation for classification task. As a result, we introduce two new 3D motion representations called SPMF (Skeleton Posture-Motion Feature) and Enhanced-SPMF that encode skeleton poses and their motions into color images. For learning and classification tasks, we design and train different D-CNN architectures based on the Residual Network (ResNet), Inception-ResNet-v2, Densely Connected Convolutional Network (DenseNet) and Efficient Neural Architecture Search (ENAS) to extract robust features from color-coded images and classify them. Experimental results on various public and challenging human action recognition datasets (MSR Action3D, Kinect Activity Recognition Dataset, SBU Kinect Interaction, and NTU-RGB+D) show that the proposed approach outperforms current state-of-the-art. We also conducted research on the problem of 3D human pose estimation from monocular RGB video sequences and exploited the estimated 3D poses for recognition task. Specifically, a deep learning-based model called OpenPose is deployed to detect 2D human poses. A DNN is then proposed and trained for learning a 2D-to-3D mapping in order to map the detected 2D keypoints into 3D poses. Our experiments on the Human3.6M dataset verified the effectiveness of the proposed method. These obtained results allow opening a new research direction for human action recognition from 3D skeletal data, when the depth cameras are failing. In addition, we collect and introduce in this thesis, CEMEST database, a new RGB-D dataset depicting passengers' behaviors in public transport. It consists of 203 untrimmed real-world surveillance videos of realistic "normal" and "abnormal" events. We achieve promising results on CEMEST with the support of data augmentation and transfer learning techniques. This enables the construction of real-world applications based on deep learning for enhancing public transportation management services