To see the other types of publications on this topic, follow the link: Compression de réseaux de neurones.
Dissertations / Theses on the topic 'Compression de réseaux de neurones'
Create a spot-on reference in APA, MLA, Chicago, Harvard, and other styles
Consult the top 50 dissertations / theses for your research on the topic 'Compression de réseaux de neurones.'
Next to every source in the list of references, there is an 'Add to bibliography' button. Press on it, and we will generate automatically the bibliographic reference to the chosen work in the citation style you need: APA, MLA, Harvard, Chicago, Vancouver, etc.
You can also download the full text of the academic publication as pdf and read online its abstract whenever available in the metadata.
Browse dissertations / theses on a wide variety of disciplines and organise your bibliography correctly.
1
Fernandez, Brillet Lucas. "Réseaux de neurones CNN pour la vision embarquée." Thesis, Université Grenoble Alpes, 2020. http://www.theses.fr/2020GRALM043.
Full textAbstract:
Pour obtenir des hauts taux de détection, les CNNs requièrent d'un grand nombre de paramètres à stocker, et en fonction de l'application, aussi un grand nombre d'opérations. Cela complique gravement le déploiement de ce type de solutions dans les systèmes embarqués. Ce manuscrit propose plusieurs solutions à ce problème en visant une coadaptation entre l'algorithme, l'application et le matériel.Dans ce manuscrit, les principaux leviers permettant de fixer la complexité computationnelle d'un détecteur d'objets basé sur les CNNs sont identifiés et étudies. Lorsqu'un CNN est employé pour détecter des objets dans une scène, celui-ci doit être appliqué à travers toutes les positions et échelles possibles. Cela devient très coûteux lorsque des petits objets doivent être trouvés dans des images en haute résolution. Pour rendre la solution efficiente et ajustable, le processus est divisé en deux étapes. Un premier CNN s'especialise à trouver des régions d'intérêt de manière efficiente, ce qui permet d'obtenir des compromis flexibles entre le taux de détection et le nombre d’opérations. La deuxième étape comporte un CNN qui classifie l’ensemble des propositions, ce qui réduit la complexité de la tâche, et par conséquent la complexité computationnelle.De plus, les CNN exhibent plusieurs propriétés qui confirment leur surdimensionnement. Ce surdimensionnement est une des raisons du succès des CNN, puisque cela facilite le processus d’optimisation en permettant un ample nombre de solutions équivalentes. Cependant, cela complique leur implémentation dans des systèmes avec fortes contraintes computationnelles. Dans ce sens, une méthode de compression de CNN basé sur une Analyse en Composantes Principales (ACP) est proposé. L’ACP permet de trouver, pour chaque couche du réseau, une nouvelle représentation de l’ensemble de filtres appris par le réseau en les exprimant à travers d’une base ACP plus adéquate. Cette base ACP est hiérarchique, ce qui veut dire que les termes de la base sont ordonnés par importance, et en supprimant les termes moins importants, il est possible de trouver des compromis optimales entre l’erreur d’approximation et le nombre de paramètres. À travers de cette méthode il es possible d’obtenir, par exemple, une réduction x2 sur le nombre de paramètres et opérations d’un réseau du type ResNet-32, avec une perte en accuracy <2%. Il est aussi démontré que cette méthode est compatible avec d’autres méthodes connues de l’état de l’art, notamment le pruning, winograd et la quantification. En les combinant toutes, il est possible de réduire la taille d’un ResNet-110 de 6.88 Mbytes à 370kBytes (gain mémoire x19) avec une dégradation d’accuracy de 3.9%.Toutes ces techniques sont ensuite misses en pratique dans un cadre applicatif de détection de vissages. La solution obtenue comporte une taille de modèle de 29.3kBytes, ce qui représente une réduction x65 par rapport à l’état de l’art, à égal taux de détection. La solution est aussi comparé a une méthode classique telle que Viola-Jones, ce qui confirme autour d’un ordre de magnitude moins de calculs, au même temps que l’habilité d’obtenir des taux de détection plus hauts, sans des hauts surcoûts computationnels Les deux réseaux sont en suite évalues sur un multiprocesseur embarqué, ce qui permet de vérifier que les taux de compression théoriques obtenues restent cohérents avec les chiffres mesurées. Dans le cas de la détection de vissages, la parallélisation du réseau comprimé par ACP sûr 8 processeurs incrémente la vitesse de calcul d’un facteur x11.68 par rapport au réseau original sûr un seul processeur<br>Recently, Convolutional Neural Networks have become the state-of-the-art soluion(SOA) to most computer vision problems. In order to achieve high accuracy rates, CNNs require a high parameter count, as well as a high number of operations. This greatly complicates the deployment of such solutions in embedded systems, which strive to reduce memory size. Indeed, while most embedded systems are typically in the range of a few KBytes of memory, CNN models from the SOA usually account for multiple MBytes, or even GBytes in model size. Throughout this thesis, multiple novel ideas allowing to ease this issue are proposed. This requires to jointly design the solution across three main axes: Application, Algorithm and Hardware.In this manuscript, the main levers allowing to tailor computational complexity of a generic CNN-based object detector are identified and studied. Since object detection requires scanning every possible location and scale across an image through a fixed-input CNN classifier, the number of operations quickly grows for high-resolution images. In order to perform object detection in an efficient way, the detection process is divided into two stages. The first stage involves a region proposal network which allows to trade-off recall for the number of operations required to perform the search, as well as the number of regions passed on to the next stage. Techniques such as bounding box regression also greatly help reduce the dimension of the search space. This in turn simplifies the second stage, since it allows to reduce the task’s complexity to the set of possible proposals. Therefore, parameter counts can greatly be reduced.Furthermore, CNNs also exhibit properties that confirm their over-dimensionment. This over-dimensionement is one of the key success factors of CNNs in practice, since it eases the optimization process by allowing a large set of equivalent solutions. However, this also greatly increases computational complexity, and therefore complicates deploying the inference stage of these algorithms on embedded systems. In order to ease this problem, we propose a CNN compression method which is based on Principal Component Analysis (PCA). PCA allows to find, for each layer of the network independently, a new representation of the set of learned filters by expressing them in a more appropriate PCA basis. This PCA basis is hierarchical, meaning that basis terms are ordered by importance, and by removing the least important basis terms, it is possible to optimally trade-off approximation error for parameter count. Through this method, it is possible to compress, for example, a ResNet-32 network by a factor of ×2 both in the number of parameters and operations with a loss of accuracy <2%. It is also shown that the proposed method is compatible with other SOA methods which exploit other CNN properties in order to reduce computational complexity, mainly pruning, winograd and quantization. Through this method, we have been able to reduce the size of a ResNet-110 from 6.88Mbytes to 370kbytes, i.e. a x19 memory gain with a 3.9 % accuracy loss.All this knowledge, is applied in order to achieve an efficient CNN-based solution for a consumer face detection scenario. The proposed solution consists of just 29.3kBytes model size. This is x65 smaller than other SOA CNN face detectors, while providing equal detection performance and lower number of operations. Our face detector is also compared to a more traditional Viola-Jones face detector, exhibiting approximately an order of magnitude faster computation, as well as the ability to scale to higher detection rates by slightly increasing computational complexity.Both networks are finally implemented in a custom embedded multiprocessor, verifying that theorical and measured gains from PCA are consistent. Furthermore, parallelizing the PCA compressed network over 8 PEs achieves a x11.68 speed-up with respect to the original network running on a single PE
2
Hubens, Nathan. "Towards lighter and faster deep neural networks with parameter pruning." Electronic Thesis or Diss., Institut polytechnique de Paris, 2022. http://www.theses.fr/2022IPPAS025.
Full textAbstract:
Depuis leur résurgence en 2012, les réseaux de neurones profonds sont devenus omniprésents dans la plupart des disciplines de l'intelligence artificielle, comme la reconnaissance d'images, le traitement de la parole et le traitement du langage naturel. Cependant, au cours des dernières années, les réseaux de neurones sont devenus exponentiellement profonds, faisant intervenir de plus en plus de paramètres. Aujourd'hui, il n'est pas rare de rencontrer des architectures impliquant plusieurs milliards de paramètres, alors qu'elles en contenaient le plus souvent des milliers il y a moins de dix ans.Cette augmentation généralisée du nombre de paramètres rend ces grands modèles gourmands en ressources informatiques et essentiellement inefficaces sur le plan énergétique. Cela rend les modèles déployés coûteux à maintenir, mais aussi leur utilisation dans des environnements limités en ressources très difficile.Pour ces raisons, de nombreuses recherches ont été menées pour proposer des techniques permettant de réduire la quantité de stockage et de calcul requise par les réseaux neuronaux. Parmi ces techniques, l'élagage synaptique, consistant à créer des modèles réduits, a récemment été mis en évidence. Cependant, bien que l'élagage soit une technique de compression courante, il n'existe actuellement aucune méthode standard pour mettre en œuvre ou évaluer les nouvelles méthodes, rendant la comparaison avec les recherches précédentes difficile.Notre première contribution concerne donc une description inédite des techniques d'élagage, développée selon quatre axes, et permettant de définir de manière univoque et complète les méthodes existantes. Ces composantes sont : la granularité, le contexte, les critères et le programme. Cette nouvelle définition du problème de l'élagage nous permet de le subdiviser en quatre sous-problèmes indépendants et de mieux déterminer les axes de recherche potentiels.De plus, les méthodes d'élagage en sont encore à un stade de développement précoce et principalement destinées aux chercheurs, rendant difficile pour les novices d'appliquer ces techniques. Pour combler cette lacune, nous avons proposé l'outil FasterAI, destiné aux chercheurs, désireux de créer et d'expérimenter différentes techniques de compression, mais aussi aux nouveaux venus, souhaitant compresser leurs modèles pour des applications concrètes. Cet outil a de plus été construit selon les quatre composantes précédemment définis, permettant une correspondance aisée entre les idées de recherche et leur mise en œuvre.Nous proposons ensuite quatre contributions théoriques, chacune visant à fournir de nouvelles perspectives et à améliorer les méthodes actuelles dans chacun des quatre axes de description identifiés. De plus, ces contributions ont été réalisées en utilisant l'outil précédemment développé, validant ainsi son utilité scientifique.Enfin, afin de démontrer que l'outil développé, ainsi que les différentes contributions scientifiques proposées, peuvent être applicables à un problème complexe et réel, nous avons sélectionné un cas d'utilisation : la détection de la manipulation faciale, également appelée détection de DeepFakes. Cette dernière contribution est accompagnée d'une application de preuve de concept, permettant à quiconque de réaliser la détection sur une image ou une vidéo de son choix.L'ère actuelle du Deep Learning a émergé grâce aux améliorations considérables des puissances de calcul et à l'accès à une grande quantité de données. Cependant, depuis le déclin de la loi de Moore, les experts suggèrent que nous pourrions observer un changement dans la façon dont nous concevons les ressources de calcul, conduisant ainsi à une nouvelle ère de collaboration entre les communautés du logiciel, du matériel et de l'apprentissage automatique. Cette nouvelle quête de plus d'efficacité passera donc indéniablement par les différentes techniques de compression des réseaux neuronaux, et notamment les techniques d'élagage<br>Since their resurgence in 2012, Deep Neural Networks have become ubiquitous in most disciplines of Artificial Intelligence, such as image recognition, speech processing, and Natural Language Processing. However, over the last few years, neural networks have grown exponentially deeper, involving more and more parameters. Nowadays, it is not unusual to encounter architectures involving several billions of parameters, while they mostly contained thousands less than ten years ago.This generalized increase in the number of parameters makes such large models compute-intensive and essentially energy inefficient. This makes deployed models costly to maintain but also their use in resource-constrained environments very challenging.For these reasons, much research has been conducted to provide techniques reducing the amount of storage and computing required by neural networks. Among those techniques, neural network pruning, consisting in creating sparsely connected models, has been recently at the forefront of research. However, although pruning is a prevalent compression technique, there is currently no standard way of implementing or evaluating novel pruning techniques, making the comparison with previous research challenging.Our first contribution thus concerns a novel description of pruning techniques, developed according to four axes, and allowing us to unequivocally and completely define currently existing pruning techniques. Those components are: the granularity, the context, the criteria, and the schedule. Defining the pruning problem according to those components allows us to subdivide the problem into four mostly independent subproblems and also to better determine potential research lines.Moreover, pruning methods are still in an early development stage, and primarily designed for the research community. Indeed, most pruning works are usually implemented in a self-contained and sophisticated way, making it troublesome for non-researchers to apply such techniques without having to learn all the intricacies of the field. To fill this gap, we proposed FasterAI toolbox, intended to be helpful to researchers, eager to create and experiment with different compression techniques, but also to newcomers, that desire to compress their neural network for concrete applications. In particular, the sparsification capabilities of FasterAI have been built according to the previously defined pruning components, allowing for a seamless mapping between research ideas and their implementation.We then propose four theoretical contributions, each one aiming at providing new insights and improving on state-of-the-art methods in each of the four identified description axes. Also, those contributions have been realized by using the previously developed toolbox, thus validating its scientific utility.Finally, to validate the applicative character of the pruning technique, we have selected a use case: the detection of facial manipulation, also called DeepFakes Detection. The goal is to demonstrate that the developed tool, as well as the different proposed scientific contributions, can be applicable to a complex and actual problem. This last contribution is accompanied by a proof-of-concept application, providing DeepFake detection capabilities in a web-based environment, thus allowing anyone to perform detection on an image or video of their choice.This Deep Learning era has emerged thanks to the considerable improvements in high-performance hardware and access to a large amount of data. However, since the decline of Moore's Law, experts are suggesting that we might observe a shift in how we conceptualize the hardware, by going from task-agnostic to domain-specialized computations, thus leading to a new era of collaboration between software, hardware, and machine learning communities. This new quest for more efficiency will thus undeniably go through neural network compression techniques, and particularly sparse computations
3
Metz, Clément. "Codages optimisés pour la conception d'accélérateurs matériels de réseaux de neurones profonds." Electronic Thesis or Diss., université Paris-Saclay, 2023. http://www.theses.fr/2023UPAST190.
Full textAbstract:
Par leurs domaines d'application très divers (santé, énergie, défense, finance, navigation autonome...), les réseaux de neurones constituent une composante importante des outils d'apprentissage automatique. Les performances des réseaux de neurones sont grandement influencées par la complexité de leur architecture en nombre de couches, de neurones et de connexions. Mais l'entraînement et l'inférence de réseaux de plus en plus grands implique une sollicitation croissante de ressources matérielles et des temps de calcul plus longs. A l'inverse, leur portabilité se retrouve bridée sur des systèmes embarqués aux faibles capacités mémoire et/ou calculatoire.L'objectif de cette thèse est d'étudier et de concevoir des méthodes permettant de réduire l'empreinte matérielle des réseaux de neurones tout en préservant au mieux leurs performances. Nous nous restreignons aux réseaux de convolution dédiés à la vision par ordinateur en étudiant les possibilités offertes par la quantification. La quantification vise à réduire l'empreinte matérielle des réseaux en mémoire, en bande passante et en opérateurs de calculs par la réduction du nombre de bits des paramètres et des activations.Les contributions de cette thèse consistent en une nouvelle méthode de quantification post-entraînement reposant sur l'exploitation des corrélations spatiales des paramètres du réseau, une approche facilitant l'apprentissage des réseaux très fortement quantifiés, ainsi qu'une méthode visant à combiner la quantification en précision mixte et le codage entropique sans perte.Cette thèse se limite essentiellement aux aspects algorithmiques, mais les orientations de recherche ont été fortement influencées par la contrainte de faisabilité matérielle des propositions apportées<br>Neural networks are an important component of machine learning tools because of their wide range of applications (health, energy, defence, finance, autonomous navigation, etc.). The performance of neural networks is greatly influenced by the complexity of their architecture in terms of the number of layers, neurons and connections. But the training and inference of ever-larger networks translates to greater demands on hardware resources and longer computing times. Conversely, their portability is limited on embedded systems with low memory and/or computing capacity.The aim of this thesis is to study and design methods for reducing the hardware footprint of neural networks while preserving their performance as much as possible. We restrict ourselves to convolution networks dedicated to computer vision by studying the possibilities offered by quantization. Quantization aims to reduce the hardware footprint, in terms of memory, bandwidth and computation operators, by reducing the number of bits in the network parameters and activations.The contributions of this thesis consist of a new post-training quantization method based on the exploitation of spatial correlations of network parameters, an approach facilitating the learning of very highly quantized networks, and a method aiming to combine mixed precision quantization and lossless entropy coding.The contents of this thesis are essentially limited to algorithmic aspects, but the research orientations were strongly influenced by the requirement for hardware feasibility of our solutions
4
Borba, Pinheiro Rodrigo. "Learning Based Point Cloud Attribute Compression." Electronic Thesis or Diss., université Paris-Saclay, 2025. http://www.theses.fr/2025UPASG005.
Full textAbstract:
Au cours des dernières années, la consommation de contenu vidéo s'est orientée vers des formats immersifs tels que les rediffusions 3D dans le sport et les jeux VR, visant une immersion 6DoF permettant aux utilisateurs de se déplacer librement dans l'environnement 3D. Cette technologie trouve des applications au-delà du divertissement, notamment la téléprésence pour améliorer les réunions en ligne et la documentation 3D des sites du patrimoine culturel à des fins de préservation. Les nuages de points (NdP), bien qu'offrant des représentations 3D détaillées, nécessitent un stockage et une bande passante importants en raison de leur taille considérable. Pour permettre une adoption généralisée du contenu 3D, des techniques de compression efficaces pour les nuages de points sont cruciales.Cette thèse étudie l'application des techniques d'apprentissage profond à la compression d'attributs de nuages de points (PCAC). Plus précisément, nous explorons plusieurs domaines: la compression d'attributs à l'aide d'architectures Normalizing Flow (NF), la réduction de la complexité des approches NF, l'utilisation d'approches de bout en bout scalables pour la compression d'attributs, l'utilisation d'architectures inversibles basées sur des schémas de compression plus traditionnels et l'utilisation d'un type de convolution différent. Les approches d'apprentissage profond n'ont pas été explorées auparavant pour la compression d'attributs dans la littérature, car la plupart des travaux se concentrent sur l'apprentissage basé sur la compression de géométrie.Tout d'abord, nous proposons des alternatives à l'Auto-encodeur Variationnel largement utilisé. Nous créons une nouvelle couche pour la compression d'attributs afin de permettre aux architectures d'augmenter le champ réceptif des convolutions de manière inversible. Ce bloc nous permet d'augmenter le nombre de canaux dans les convolutions, tout en maintenant l'inversibilité, ce qui peut être un facteur intéressant lorsque la reconstruction de haute qualité est nécessaire. Nous étudions également différentes méthodes pour réduire la complexité des architectures basées sur NF en échantillonnant les informations de canal à l'aide de blocs de construction issus de méthodes de super-résolution. En explorant encore plus en profondeur la recherche de réduction du nombre de coefficients, nous concevons une convolution masquée par canal, qui nous permet de gérer la sparsité des nuages de points et d'obtenir un réseau inversible.Nous explorons également la viabilité de l'unification de deux approches d'apprentissage différentes dans une première méthode de bout en bout scalable, qui peut tirer parti de la corrélation restante dans les informations résiduelles du nuage de points encodé. En outre, nous explorons d'autres architectures inversibles, basées sur des techniques de compression d'images plus traditionnelles, en créant la première architecture basée sur le lifting pour la compression d'attributs de nuages de points. Nous concevons un bloc de lifting masqué par décalage, qui nous permet d'effectuer une opération de lifting sur les nuages de points sparses et irréguliers tout en tirant parti des méthodes de convolution sparse. En outre, nous proposons également une nouvelle approche de projection pour les nuages de points, qui vise à réduire la perte de géométrie inhérente aux approches de projection plus conventionnelles en effectuant des micro-projections pour correspondre à la taille du noyau où les convolutions seront calculées.Enfin, nous concluons le travail en abordant les questions de recherche ouvertes en matière de compression de nuages de points, en examinant les solutions existantes et les orientations futures. Nous soulignons les perspectives sur la compression conjointe de la géométrie et des attributs et sur les méthodes basées sur la projection, ainsi que l'importance de réduire la complexité et d'assurer la reproductibilité des approches basées sur l'apprentissage<br>In recent years, video content consumption has shifted towards immersive formats like 3D replays in sports and VR gaming, aiming for 6DoF immersion that allows users to move freely within the 3D environment. This technology has applications beyond entertainment, including telepresence for improved online meetings and 3D documentation of cultural heritage sites for preservation purposes. Point clouds, while offering high-detail 3D representations, require significant storage and bandwidth due to their massive size. To enable widespread adoption of 3D content, efficient compression techniques for point clouds are crucial, especially as capture technologies continue to generate even higher resolution data.This thesis investigates the application of deep learning techniques to Point Cloud Attribute Compression (PCAC). More specifically, we explore some key areas: lossy attribute compression using Normalizing Flow architectures, the reduction of complexity on Normalizing Flow approaches, the use of scalable end-to-end approaches for attribuete compression, the use of invertible architectures based on more traditional compression schemes and the use of a different convolution type. Deep learning approaches were not previously explored for attribute compression in literature, since most literature focus on learning based for geometry compression.First, we show how different architectures can be used to achieve the compression of the attributes of point clouds, especially by proposing alternatives to the widely used and popular Variational Auto-Encoder. We create a novel layer for attribute compression to allow the architectures to increase the receptive field of the convolutions in an invertible way. This block allows us to increase the number of channels in the convolutions, while maintaining invertibility, which can be an interesting factor when high quality reconstruction is needed. We also investigate different methods to reduce the complexity of Normalizing Flow based architectures by sampling the channel information using building blocks from super resolution methods. By exploring even deeper in the search of reducing the number of coefficients we design a channel masked convolution, which allows us to deal with the sparsity of the point clouds and to achieve an invertible network.We explore as well the viability of unifying two different learning based approaches in a first scalable end-to-end method, which can leverage the remaining correlation in the residual information of the encoded point cloud. Besides, we explore other invertible architectures, based on more traditional image compression techniques by creating the first lifting based architecture for point cloud attribute compression. We design a shift masked lifting block, which allow us to perform lifting operation on the sparse and irregular point clouds while leveraging the sparse convolution methods. In addition, we also propose a novel projection approach for point clouds, which searches to reduce the inherent geometry loss of more conventional projection approaches by performing micro projections to match the size of the kernel where convolutions will be calculated.Finally, we conclude the work by addressing open research questions in point cloud compression, examining existing solutions and future directions. We emphasize the perspectives on joint compression of geometry and attributes and on projection based methods, as well as the importance of reducing the complexity and ensuring reproducibility on learning based approaches
5
Dupont, Robin. "Deep Neural Network Compression for Visual Recognition." Electronic Thesis or Diss., Sorbonne université, 2023. http://www.theses.fr/2023SORUS565.
Full textAbstract:
Grâce à la miniaturisation de l'électronique, les dispositifs embarqués sont devenus omniprésents depuis les années 2010, réalisant diverses tâches autour de nous. À mesure que leur utilisation augmente, la demande pour des dispositifs traitant les données et prenant des décisions complexes de manière efficace s'intensifie. Les réseaux de neurones profonds sont puissants pour cet objectif, mais souvent trop lourds pour les appareils embarqués. Il est donc impératif de compresser ces réseaux sans compromettre leur performance. Cette thèse introduit deux méthodes innovantes centrées sur l'élagage, pour compresser les réseaux sans impacter leur précision. Elle introduit d'abord une méthode qui considère un budget pour la compression de grands réseaux via la reparamétrisation des poids et une fonction de coût budgétaire, sans nécessité de fine-tuning. Les méthodes d'élagage traditionnelles reposent sur des indicateurs post-entraînement pour éliminer les poids, négligeant le taux d'élagage visé. Notre approche intègre une fonction de coût, guidant l'élagage vers une parcimonie précise pendant l'entraînement, optimisant la topologie et les poids. En simulant l'élagage des petits poids pendant l'entraînement via reparamétrisation, notre méthode limite la perte de précision par rapport aux méthodes traditionnelles. Nous démontrons son efficacité sur divers ensembles de données et architectures. La thèse se penche ensuite sur l'extraction de sous-réseaux efficaces sans entraîner les poids. L'objectif est de trouver la meilleure topologie d'un sous-réseau dans un grand réseau sans optimiser les poids, tout en offrant de bonnes performances. Ceci est fait grâce à notre méthode, l'Arbitrarily Shifted Log-Parametrisation, qui échantillonne des topologies de manière différentiable, permettant de former des masques indiquant la probabilité de sélection des poids. En parallèle, un mécanisme de recalibrage des poids, le Smart Rescale, est introduit, améliorant la performance des sous-réseaux et accélérant leur formation. Notre méthode trouve également le taux d'élagage optimal après un entraînement unique, évitant la recherche d'hyperparamètres et un entraînement pour chaque taux. Nous prouvons que notre méthode dépasse les techniques de pointe et permet de créer des réseaux légers avec haute parcimonie sans perdre en précision<br>Thanks to the miniaturisation of electronics, embedded devices have become ubiquitous since the 2010s, performing various tasks around us. As their usage expands, there's an increasing demand for efficient data processing and decision-making. Deep neural networks are apt tools for this, but they are often too large and intricate for embedded systems. Therefore, methods to compress these networks without affecting their performance are crucial. This PhD thesis introduces two methods focused on pruning to compress networks, maintaining accuracy. The thesis first details a budget-aware method for compressing large neural networks using weight reparametrisation and a budget loss, eliminating the need for fine-tuning. Traditional pruning methods often use post-training indicators to cut weights, ignoring desired pruning rates. Our method incorporates a budget loss, directing pruning during training, enabling simultaneous topology and weight optimisation. By soft-pruning smaller weights via reparametrisation, we reduce accuracy loss compared to standard pruning. We validate our method on several datasets and architectures. Later, the thesis examines extracting efficient subnetworks without weight training. We aim to discern the optimal subnetwork topology within a large network, bypassing weight optimisation yet ensuring strong performance. This is realized with our Arbitrarily Shifted Log Parametrisation, a differentiable method for discrete topology sampling, facilitating masks' training to denote weight selection probability. Additionally, a weight recalibration technique, Smart Rescale, is presented. It boosts extracted subnetworks' performance and hastens their training. Our method identifies the best pruning rate in a single training cycle, averting exhaustive hyperparameter searches and various rate training. Through extensive tests, our technique consistently surpasses similar state-of-the-art methods, creating streamlined networks that achieve high sparsity without notable accuracy drops
6
Leconte, Louis. "Compression and federated learning : an approach to frugal machine learning." Electronic Thesis or Diss., Sorbonne université, 2024. http://www.theses.fr/2024SORUS107.
Full textAbstract:
Les appareils et outils “intelligents” deviennent progressivement la norme, la mise en œuvre d'algorithmes basés sur des réseaux neuronaux artificiels se développant largement. Les réseaux neuronaux sont des modèles non linéaires d'apprentissage automatique avec de nombreux paramètres qui manipulent des objets de haute dimension et obtiennent des performances de pointe dans divers domaines, tels que la reconnaissance d'images, la reconnaissance vocale, le traitement du langage naturel et les systèmes de recommandation.Toutefois, l'entraînement d'un réseau neuronal sur un appareil à faible capacité de calcul est difficile en raison de problèmes de mémoire, de temps de calcul ou d'alimentation. Une approche naturelle pour simplifier cet entraînement consiste à utiliser des réseaux neuronaux quantifiés, dont les paramètres et les opérations utilisent des primitives efficaces à faible bit. Cependant, l'optimisation d'une fonction sur un ensemble discret en haute dimension est complexe et peut encore s'avérer prohibitive en termes de puissance de calcul. C'est pourquoi de nombreuses applications modernes utilisent un réseau d'appareils pour stocker des données individuelles et partager la charge de calcul. Une nouvelle approche a été proposée, l'apprentissage fédéré, qui prend en compte un environnement distribué : les données sont stockées sur des appareils différents et un serveur central orchestre le processus d'apprentissage sur les divers appareils.Dans cette thèse, nous étudions différents aspects de l'optimisation (stochastique) dans le but de réduire les coûts énergétiques pour des appareils potentiellement très hétérogènes. Les deux premières contributions de ce travail sont consacrées au cas des réseaux neuronaux quantifiés. Notre première idée est basée sur une stratégie de recuit : nous formulons le problème d'optimisation discret comme un problème d'optimisation sous contraintes (où la taille de la contrainte est réduite au fil des itérations). Nous nous sommes ensuite concentrés sur une heuristique pour la formation de réseaux neuronaux profonds binaires. Dans ce cadre particulier, les paramètres des réseaux neuronaux ne peuvent avoir que deux valeurs. Le reste de la thèse s'est concentré sur l'apprentissage fédéré efficace. Suite à nos contributions développées pour l'apprentissage de réseaux neuronaux quantifiés, nous les avons intégrées dans un environnement fédéré. Ensuite, nous avons proposé une nouvelle technique de compression sans biais qui peut être utilisée dans n'importe quel cadre d'optimisation distribuée basé sur le gradient. Nos dernières contributions abordent le cas particulier de l'apprentissage fédéré asynchrone, où les appareils ont des vitesses de calcul et/ou un accès à la bande passante différents. Nous avons d'abord proposé une contribution qui repondère les contributions des dispositifs distribués. Dans notre travail final, à travers une analyse détaillée de la dynamique des files d'attente, nous proposons une amélioration significative des bornes de complexité fournies dans la littérature sur l'apprentissage fédéré asynchrone.En résumé, cette thèse présente de nouvelles contributions au domaine des réseaux neuronaux quantifiés et de l'apprentissage fédéré en abordant des défis critiques et en fournissant des solutions innovantes pour un apprentissage efficace et durable dans un environnement distribué et hétérogène. Bien que les avantages potentiels soient prometteurs, notamment en termes d'économies d'énergie, il convient d'être prudent car un effet rebond pourrait se produire<br>“Intelligent” devices and tools are gradually becoming the standard, as the implementation of algorithms based on artificial neural networks is experiencing widespread development. Neural networks consist of non-linear machine learning models that manipulate high-dimensional objects and obtain state-of-the-art performances in various areas, such as image recognition, speech recognition, natural language processing, and recommendation systems.However, training a neural network on a device with lower computing capacity can be challenging, as it can imply cutting back on memory, computing time or power. A natural approach to simplify this training is to use quantized neural networks, whose parameters and operations use efficient low-bit primitives. However, optimizing a function over a discrete set in high dimension is complex, and can still be prohibitively expensive in terms of computational power. For this reason, many modern applications use a network of devices to store individual data and share the computational load. A new approach, federated learning, considers a distributed environment: Data is stored on devices and a centralized server orchestrates the training process across multiple devices.In this thesis, we investigate different aspects of (stochastic) optimization with the goal of reducing energy costs for potentially very heterogeneous devices. The first two contributions of this work are dedicated to the case of quantized neural networks. Our first idea is based on an annealing strategy: we formulate the discrete optimization problem as a constrained optimization problem (where the size of the constraint is reduced over iterations). We then focus on a heuristic for training binary deep neural networks. In this particular framework, the parameters of the neural networks can only have two values. The rest of the thesis is about efficient federated learning. Following our contributions developed for training quantized neural network, we integrate them into a federated environment. Then, we propose a novel unbiased compression technique that can be used in any gradient based distributed optimization framework. Our final contributions address the particular case of asynchronous federated learning, where devices have different computational speeds and/or access to bandwidth. We first propose a contribution that reweights the contributions of distributed devices. Then, in our final work, through a detailed queuing dynamics analysis, we propose a significant improvement to the complexity bounds provided in the literature onasynchronous federated learning.In summary, this thesis presents novel contributions to the field of quantized neural networks and federated learning by addressing critical challenges and providing innovative solutions for efficient and sustainable learning in a distributed and heterogeneous environment. Although the potential benefits are promising, especially in terms of energy savings, caution is needed as a rebound effect could occur
7
Yvinec, Edouard. "Efficient Neural Networks : Post Training Pruning and Quantization." Electronic Thesis or Diss., Sorbonne université, 2023. http://www.theses.fr/2023SORUS581.
Full textAbstract:
Les réseaux de neurones profonds sont devenus les modèles les plus utilisés, que ce soit en vision par ordinateur ou en traitement du langage. Depuis le sursaut provoqué par l'utilisation des ordinateurs modernes, en 2012, la taille de ces modèles n'a fait qu'augmenter, aussi bien en matière de taille mémoire qu'en matière de coût de calcul. Ce phénomène a grandement limité le déploiement industriel de ces modèles. Spécifiquement, le cas de l'IA générative, et plus particulièrement des modèles de langue tels que GPT, a fait atteindre une toute nouvelle dimension à ce problème. En effet, ces réseaux sont définis par des milliards de paramètres et nécessitent plusieurs gpu en parallèle pour effectuer des inférences en temps réel. En réponse, la communauté scientifique et les spécialistes de l'apprentissage profond ont développé des solutions afin de compresser et d'accélérer ces modèles. Ces solutions sont : l'utilisation d'architecture efficiente par design, la décomposition tensorielle, l'élagage (ou pruning) et la quantification. Dans ce manuscrit de thèse, je propose de dépeindre une vue d'ensemble du domaine de la compression des réseaux de neurones artificiels ainsi que de mes contributions. Dans le premier chapitre, je présente une introduction générale au fonctionnement de chaque méthode de compression précédemment citée. De plus, j'y ajoute les intuitions relatives à leurs limitations ainsi que des exemples pratiques, issus des cours que j'ai donnés. Dans le second chapitre, je présente mes contributions au sujet du pruning. Ces dernières ont mené à la publications de trois articles: RED, RED++ et SInGE. Dans RED et RED++, j'ai proposé une nouvelle approche pour le pruning et la décomposition tensorielle, sans données. L'idée centrale était de réduire la redundance au sein des opérations effectuées par le modèle. 'A l'opposé, dans SInGE, j'ai défini un nouveau critère de pruning par importance. Pour ce faire, j'ai puisé de l'inspiration dans le domaine de l'attribution. En effet, afin d'expliquer les règles de décisions des réseaux de neurones profonds, les chercheurs et les chercheuses ont introduit des techniques visant à estimer l'importance relative des entrées du modèle par rapport aux sorties. Dans SInGE, j'ai adapté l'une de ces méthodes les plus efficaces, au pruning afin d'estimer l'importance des poids et donc des calculs du modèle. Dans le troisième chapitre, j'aborde mes contributions relatives à la quantification de réseaux de neurones. Celles-ci ont donné lieu à plusieurs publications dont les principales: SPIQ, PowerQuant, REx, NUPES et une publication sur les meilleurs pratiques à adopter. Dans SPIQ, PowerQuant et REx, j'adresse des limites spécifiques à la quantification sans données. En particulier, la granularité, dans SPIQ, la quantification non-uniform par automorphismes dans PowerQuant et l'utilisation d'une bit-width spécifique dans REx. Par ailleurs, dans les deux autres articles, je me suis attelé à la quantification post-training avec optimisation par descente de gradient. N'ayant pas eu le temps de toucher à tous les aspects de la compression de réseau de neurones, je conclue ce manuscrit par un chapitre sur ce qui me semble être les enjeux de demain ainsi que des pistes de solutions<br>Deep neural networks have grown to be the most widely adopted models to solve most computer vision and natural language processing tasks. Since the renewed interest, sparked in 2012, for these architectures, in machine learning, their size in terms of memory footprint and computational costs have increased tremendously, which has hindered their deployment. In particular, with the rising interest for generative ai such as large language models and diffusion models, this phenomenon has recently reached new heights, as these models can weight several billions of parameters and require multiple high-end gpus in order to infer in real-time. In response, the deep learning community has researched for methods to compress and accelerate these models. These methods are: efficient architecture design, tensor decomposition, pruning and quantization. In this manuscript, I paint a landscape of the current state-of-the art in deep neural networks compression and acceleration as well as my contributions to the field. First, I propose a general introduction to the aforementioned techniques and highlight their shortcomings and current challenges. Second, I provide a detailed discussion regarding my contributions to the field of deep neural networks pruning. These contributions led to the publication of three articles: RED, RED++ and SInGE. In RED and RED++, I introduced a novel way to perform data-free pruning and tensor decomposition based on redundancy reduction. On the flip side, in SInGE, I proposed a new importance-based criterion for data-driven pruning. This criterion was inspired by attribution techniques which consist in ranking inputs by their relative importance with respect to the final prediction. In SInGE, I adapted one of the most effective attribution technique to weight importance ranking for pruning. In the third chapter, I layout my contributions to the field of deep quantization: SPIQ, PowerQuant, REx, NUPES, and a best practice paper. Each of these methods address one of the previous limitations of post-training quantization. In SPIQ, PowerQuant and REx, I provide a solution to the granularity limitations of quantization, a novel non-uniform format which is particularly effective on transformer architectures and a technique for quantization decomposition which eliminates the need for unsupported bit-widths, respectively. In the two remaining articles, I provide significant improvements over existing gradient-based post-training quantization techniques, bridging the gap between such techniques and non-uniform quantization. In the last chapter, I propose a set of leads for future work which I believe to be the, current, most important unanswered questions in the field
8
Lerogeron, Hugo. "Approximation de Dynamic Time Warping par réseaux de neurones pour la compression de signaux EEG et l'analyse de l'insomnie induite par le COVID long." Electronic Thesis or Diss., Normandie, 2023. http://www.theses.fr/2023NORMR098.
Full textAbstract:
Ce manuscrit présente les travaux effectués dans le cadre d'une thèse CIFRE réalisée en collaboration entre le LITIS et Saagie, et qui s'inscrit dans le projet PANDORE-IA en partenariat avec le centre du sommeil VIFASOM.Les signaux électroencéphalographiques (EEG) sont très utiles pour aider les experts à identifier diverses anomalies comme les troubles du sommeil. En particulier dernièrement, la communauté s'est beaucoup intéressée au COVID long et à ses divers impacts sur le sommeil. Ces signaux sont cependant volumineux : la compression permet de réduire les coûts de stockage et de transfert. Les approches récentes de compression se basent sur des autoencodeurs qui utilisent une fonction de coût pour apprendre. Celle-ci est usuellement la MSE, mais il existe des métriques plus adaptées aux séries temporelles, en particulier DTW. DTW n'est toutefois pas différentiable et ne peut donc être utilisée pour un apprentissage de bout-en-bout.Pour résoudre ce problème, nous proposons dans cette thèse deux approches d'approximation de DTW basées sur des réseaux de neurones. La première approche utilise un réseau siamois pour projeter les signaux de sorte que la distance euclidienne des signaux projetés soit la plus proche possible de la DTW des signaux originaux. La deuxième approche tente de directement prédire la valeur de DTW. Nous montrons que ces approches sont plus rapides que les autres approximations différentiables de DTW tout en obtenant des résultats similaires à l'utilisation de DTW dans des tâches de requêtage ou de classification de signaux du sommeil.Nous montrons ensuite que l'approximation siamoise peut être utilisée comme fonction de coût pour apprendre un système de compression des signaux de sommeil basé sur un autoencodeur. Nous justifions du choix de l'architecture du réseau par le fait qu'elle nous permet de faire varier le taux de compression. Nous évaluons ce système de compression par la classification sur les signaux compressés puis reconstruits, et montrons que les mesures usuelles de qualité de compression ne permettent pas de correctement évaluer la capacité d'un système de compression à conserver l'information discriminante. Nous montrons que nos approximations de DTW permettent d'obtenir de meilleures performances sur les données reconstruites que des algorithmes de compression usuels et que d'autres fonctions de coût de reconstruction.Enfin, pour étudier l'impact du COVID long sur l'insomnie, nous collectons et mettons à disposition de la communauté un jeu de données nommé COVISLEEP, constitué de polysomnographies de personnes ayant développé une insomnie chronique après infection du COVID, et de personnes souffrant d'insomnie chronique mais n'ayant pas été infectées par le virus. Nous comparons diverses approches à l'état de l'art pour classifier les états du sommeil, et utilisons la meilleure pour apprendre la détection de COVID long. Nous montrons la difficulté de la tâche, notamment due à la forte variabilité entre les patients. Ceci offre à la communauté un jeu complexe qui laisse place au développement de méthodes plus performantes<br>This manuscript presents the work carried out within the framework of the CIFRE thesis conducted in partnership between LITIS and Saagie and which is part of the PANDORE-IA project in association with the VIFASOM sleep center.Electroencephalographic (EEG) signals are very useful in helping experts identify various abnormalities like sleep disorders. Recently, the community has shown great interest in long COVID and its various impacts on sleep. However, these signals are voluminous: compression allows reducing storage and transfer costs. Recent compression approaches are based on autoencoders that use a cost function to learn. It is usually the Mean Squared Error (MSE), but there are metrics more suited to time series, particularly Dynamic Time Warping (DTW). However, DTW is not differentiable and thus can not be used as a loss for end-to-end learning.To solve this problem, we propose in this thesis two approaches to approximate DTW based on neural networks. The first approach uses a Siamese network to project the signals so that the Euclidean distance of the projected signals is as close as possible to the DTW of the original signals. The second approach attempts to predict directly the DTW value. We show that these approaches are faster than other differentiable approximations of DTW while obtaining results similar to DTW in query or classification on sleep data.We then demonstrate that the Siamese approximation can be used as a cost function for learning a sleep signal compression system based on an autoencoder. We justify the choice of the network architecture by the fact that it allows us to vary the compression rate. We evaluate this compression system by classification on the compressed and then reconstructed signals, and show that the usual measures of compression quality do not allow for a proper assessment of a compression system's ability to retain discriminative information. We show that our DTW approximations yield better performance on the reconstructed data than conventional compression algorithms and other reconstruction losses.Finally, to study the impact of long COVID on insomnia, we collect and provide the community with a dataset named COVISLEEP, containing polysomnographies of individuals who developed chronic insomnia after COVID infection, and of those suffering from chronic insomnia but who have not been infected by the virus. We compare various state-of-the-art approaches for sleep staging, and use the best one for learning the detection of long COVID. We highlight the difficulty of the task, especially due to the high variability among patients. This offers a complex dataset to the community that allows for the development of more effective methods
9
Louis, Thomas. "Conventionnel ou bio-inspiré ? Stratégies d'optimisation de l'efficacité énergétique des réseaux de neurones pour environnements à ressources limitées." Electronic Thesis or Diss., Université Côte d'Azur, 2025. http://www.theses.fr/2025COAZ4001.
Full textAbstract:
Intégrer des algorithmes d'intelligence artificielle (IA) directement dans des satellites présente de nombreux défis. Ces systèmes embarqués, fortement limités en consommation d'énergie et en empreinte mémoire, doivent également résister aux interférences. Cela nécessite systématiquement l'utilisation de systèmes sur puce (SoC) afin de combiner deux systèmes dits « hétérogènes » : un microcontrôleur polyvalent et un accélérateur de calcul économe en énergie (comme un FPGA ou un ASIC). Pour relever les défis liés au portage de telles architectures, cette thèse se concentre sur l'optimisation et le déploiement de réseaux de neurones sur des architectures embarquées hétérogènes, dans le but de trouver un compromis entre la consommation d'énergie et la performance de l'IA. Dans le chapitre 2 de cette thèse, une étude approfondie des techniques de compression récentes pour des réseaux de neurones formels (FNN) tels que les MLP ou CNN a tout d'abord été effectuée. Ces techniques, qui permettent de réduire la complexité calculatoire et l'empreinte mémoire de ces modèles, sont essentielles pour leur déploiement dans des environnements aux ressources limitées. Les réseaux de neurones impulsionnels (SNN) ont également été explorés. Ces réseaux bio-inspirés peuvent en effet offrir une plus grande efficacité énergétique par rapport aux FNN. Dans le chapitre 3, nous avons ainsi adapté et élaboré des méthodes de quantification innovantes afin de réduire le nombre de bits utilisés pour représenter les valeurs d'un réseau impulsionnel. Nous avons ainsi pu confronter la quantification des SNN et des FNN, afin d'en comparer et comprendre les pertes et gains respectifs. Néanmoins, réduire l'activité d'un SNN (e.g. le nombre d'impulsions générées lors de l'inférence) améliore directement l'efficacité énergétique des SNN. Dans ce but, nous avons exploité dans le chapitre 4 des techniques de distillation de connaissances et de régularisation. Ces méthodes permettent de réduire l'activité impulsionnelle du réseau tout en préservant son accuracy, ce qui garantit un fonctionnement efficace des SNN sur du matériel à ressources limitées. Dans la dernière partie de cette thèse, nous nous sommes intéressés à l'hybridation des SNN et FNN. Ces réseaux hybrides (HNN) visent à optimiser encore davantage l'efficacité énergétique tout en améliorant les performances. Nous avons également proposé des réseaux multi-timesteps innovants, qui traitent l'information à des latences différentes à travers les couches d'un même SNN. Les résultats expérimentaux montrent que cette approche permet une réduction de la consommation d'énergie globale tout en maintenant les performances sur un ensemble de tâches. Ce travail de thèse constitue une base pour déployer les futures applications des réseaux de neurones dans l'espace. Pour valider nos méthodes, nous fournissons une analyse comparative sur différents jeux de données publics (CIFAR-10, CIFAR-100, MNIST, Google Speech Commands) et sur un jeu de données privé pour la segmentation des nuages. Nos approches sont évaluées sur la base de métriques telles que l'accuracy, la consommation d'énergie ou l'activité du SNN. Ce travail de recherche ne se limite pas aux applications aérospatiales. Nous avons en effet mis en évidence le potentiel des SNN quantifiés, des réseaux de neurones hybrides et des réseaux multi-timesteps pour une variété de scénarios réels où l'efficacité énergétique est cruciale. Ce travail offre ainsi des perspectives intéressantes pour des domaines tels que les dispositifs IoT, les véhicules autonomes et d'autres systèmes nécessitant un déploiement efficace de l'IA<br>Integrating artificial intelligence (AI) algorithms directly into satellites presents numerous challenges. These embedded systems, which are heavily limited in energy consumption and memory footprint, must also withstand interference. This systematically requires the use of system-on-chip (SoC) solutions to combine two so-called “heterogeneous” systems: a versatile microcontroller and an energy-efficient computing accelerator (such as an FPGA or ASIC). To address the challenges related to deploying such architectures, this thesis focuses on optimizing and deploying neural networks on heterogeneous embedded architectures, aiming to balance energy consumption and AI performance.In Chapter 2 of this thesis, an in-depth study of recent compression techniques for feedforward neural networks (FNN) like MLPs or CNNs was conducted. These techniques, which reduce the computational complexity and memory footprint of these models, are essential for deployment in resource-constrained environments. Spiking neural networks (SNN) were also explored. These bio-inspired networks can indeed offer greater energy efficiency compared to FNNs.In Chapter 3, we adapted and developed innovative quantization methods to reduce the number of bits used to represent the values in a spiking network. This allowed us to compare the quantization of SNNs and FNNs, to understand and assess their respective trade-offs in terms of losses and gains. Reducing the activity of an SNN (e.g., the number of spikes generated during inference) directly improves the energy efficiency of SNNs. To this end, in Chapter 4, we leveraged knowledge distillation and regularization techniques. These methods reduce the spiking activity of the network while preserving its accuracy, ensuring effective operation of SNNs on resource-limited hardware.In the final part of this thesis, we explored the hybridization of SNNs and FNNs. These hybrid networks (HNN) aim to further optimize energy efficiency while enhancing performance. We also proposed innovative multi-timestep networks, which process information with different latencies across layers within the same SNN. Experimental results show that this approach enables a reduction in overall energy consumption while maintaining performance across a range of tasks.This thesis serves as a foundation for deploying future neural network applications in space. To validate our methods, we provide a comparative analysis on various public datasets (CIFAR-10, CIFAR-100, MNIST, Google Speech Commands) as well as on a private dataset for cloud segmentation. Our approaches are evaluated based on metrics such as accuracy, energy consumption, or SNN activity. This research extends beyond aerospace applications. We have demonstrated the potential of quantized SNNs, hybrid neural networks, and multi-timestep networks for a variety of real-world scenarios where energy efficiency is critical. This work offers promising prospects for fields such as IoT devices, autonomous vehicles, and other systems requiring efficient AI deployment
10
Resmerita, Diana. "Compression pour l'apprentissage en profondeur." Thesis, Université Côte d'Azur, 2022. http://www.theses.fr/2022COAZ4043.
Full textAbstract:
Les voitures autonomes sont des applications complexes qui nécessitent des machines puissantes pour pouvoir fonctionner correctement. Des tâches telles que rester entre les lignes blanches, lire les panneaux ou éviter les obstacles sont résolues en utilisant plusieurs réseaux neuronaux convolutifs (CNN) pour classer ou détecter les objets. Il est très important que tous les réseaux fonctionnent en parallèle afin de transmettre toutes les informations nécessaires et de prendre une décision commune. Aujourd'hui, à force de s'améliorer, les réseaux sont devenus plus gros et plus coûteux en termes de calcul. Le déploiement d'un seul réseau devient un défi. La compression des réseaux peut résoudre ce problème. Par conséquent, le premier objectif de cette thèse est de trouver des méthodes de compression profonde afin de faire face aux limitations de mémoire et de puissance de calcul présentes sur les systèmes embarqués. Les méthodes de compression doivent être adaptées à un processeur spécifique, le MPPA de Kalray, pour des implémentations à court terme. Nos contributions se concentrent principalement sur la compression du réseau après l'entraînement pour le stockage, ce qui signifie compresser des paramètres du réseau sans réentraîner ou changer l'architecture originale et le type de calculs. Dans le contexte de notre travail, nous avons décidé de nous concentrer sur la quantification. Notre première contribution consiste à comparer les performances de la quantification uniforme et de la quantification non-uniforme, afin d'identifier laquelle des deux présente un meilleur compromis taux-distorsion et pourrait être rapidement prise en charge par l'entreprise. L'intérêt de l'entreprise est également orienté vers la recherche de nouvelles méthodes innovantes pour les futures générations de MPPA. Par conséquent, notre deuxième contribution se concentre sur la comparaison des représentations en virgule flottante (FP32, FP16) aux représentations arithmétiques alternatives telles que BFloat16, msfp8, Posit8. Les résultats de cette analyse étaient en faveur de Posit8. Ceci a motivé la société Kalray à concevoir un décompresseur de FP16 vers Posit8. Enfin, de nombreuses méthodes de compression existent déjà, nous avons décidé de passer à un sujet adjacent qui vise à quantifier théoriquement les effets de l'erreur de quantification sur la précision du réseau. Il s'agit du deuxième objectif de la thèse. Nous remarquons que les mesures de distorsion bien connues ne sont pas adaptées pour prédire la dégradation de la précision dans le cas de l'inférence pour les réseaux de neurones compressés. Nous définissons une nouvelle mesure de distorsion avec une expression analytique qui s’apparente à un rapport signal/bruit. Un ensemble d'expériences a été réalisé en utilisant des données simulées et de petits réseaux qui montrent le potentiel de cette mesure de distorsion<br>Autonomous cars are complex applications that need powerful hardware machines to be able to function properly. Tasks such as staying between the white lines, reading signs, or avoiding obstacles are solved by using convolutional neural networks (CNNs) to classify or detect objects. It is highly important that all the networks work in parallel in order to transmit all the necessary information and take a common decision. Nowadays, as the networks improve, they also have become bigger and more computational expensive. Deploying even one network becomes challenging. Compressing the networks can solve this issue. Therefore, the first objective of this thesis is to find deep compression methods in order to cope with the memory and computational power limitations present on embedded systems. The compression methods need to be adapted to a specific processor, Kalray's MPPA, for short term implementations. Our contributions mainly focus on compressing the network post-training for storage purposes, which means compressing the parameters of the network without retraining or changing the original architecture and the type of the computations. In the context of our work, we decided to focus on quantization. Our first contribution consists in comparing the performances of uniform quantization and non-uniform quantization, in order to identify which of the two has a better rate-distortion trade-off and could be quickly supported in the company. The company's interest is also directed towards finding new innovative methods for future MPPA generations. Therefore, our second contribution focuses on comparing standard floating-point representations (FP32, FP16) to recently proposed alternative arithmetical representations such as BFloat16, msfp8, Posit8. The results of this analysis were in favor for Posit8. This motivated the company Kalray to conceive a decompressor from FP16 to Posit8. Finally, since many compression methods already exist, we decided to move to an adjacent topic which aims to quantify theoretically the effects of quantization error on the network's accuracy. This is the second objective of the thesis. We notice that well-known distortion measures are not adapted to predict accuracy degradation in the case of inference for compressed neural networks. We define a new distortion measure with a closed form which looks like a signal-to-noise ratio. A set of experiments were done using simulated data and small networks, which show the potential of this distortion measure
11
Cherkashyn, Valeriy. "Représentation adaptative d'images de télédétection à très haute résolution spatiale une nouvelle approche hybride (la décomposition pyramidale avec des réseaux de neurones)." Thèse, Université de Sherbrooke, 2011. http://hdl.handle.net/11143/5831.
Full textAbstract:
Résumé: De nos jours l’observation de la terre à l’aide d’images satellitaires de très haute résolution spatiale (Ikonos, Quickbird, World View-2) donne de nombreuses possibilités pour gérer de l’information à l’échelle mondiale. Les technologies actuelles d’acquisition d’information sont à l’origine de l’augmentation importante du volume des données. L’objectif général de cette thèse consiste à développer une nouvelle méthode hybride de représentation d’image numérique de très haute résolution spatiale qui améliore la qualité visuelle d’images compressée avec un haut niveau de compression (100 fois et plus). La nouvelle méthode hybride exploite la transformation pyramidale inverse d’image numérique en utilisant des réseaux de neurones artificiels. Elle combine le traitement spatial et la transformation abstraite de l’image. L’emploi de l’approche de la transformation pyramidale inverse a démontré l’efficacité du traitement de l’information à une ou à des échelles spécifiques, sans interférer ou ajouter un temps de calcul inutile. Cette approche est essentielle pour réaliser une transformation progressive d’image. Les résultats montrent une amélioration du rapport signal pur bruit de 4 dB pour chaque couche additionnelle de la transformation progressive.
Nous avons réussi à garder une qualité visuelle d’images compressées comparable, jusqu’au niveau de la compression de 107 fois. De plus, pour le niveau de la compression de 274 fois, nous avons obtenu une amélioration de la qualité visuelle en comparaison des méthodes de compression courantes (JPEG, JPEG2000). Les résultats du travail confirment l’hypothèse que les images de télédétection possèdent un haut degré de redondance et que l’utilisation d’un réseau de neurones est un bon moyen pour trouver l’opérateur efficace du regroupement de pixels. Cette nouvelle méthode de représentation d’images à très haute résolution spatiale permet de réduire le volume des données sans détérioration majeure de la qualité visuelle, comparé aux méthodes existantes. Enfin, nous recommandons de poursuivre l’exploration du domaine des calculs distribués tels que les réseaux des neurones artificiels, considérant l’augmentation de la performance des outils informatiques (nanotechnologies et calculs parallèles). ||
Abstract: Earth observations using very high-resolution satellite imagery, such as from Ikonos, QuickBird or WorldView-2, provide many possibilities for addressing issues on a global scale. However, the acquisition of high-resolution imagery using these technologies also significantly increases the volume of data that must be managed. With the passing of each day, the number of collected satellite images continues to increase. The overall objective of this work is to develop new hybrid methods for numerical data representation that improve the visual quality of compressed satellite visible imagery for compression levels of 100 times and more. Our new method exploits the inverse pyramid transform using artificial neural networks, and thus addresses the trend in the field of remote sensing and image compression towards combining the spatial processing and abstract transformation of an image. Our implementation of the pyramidal inverse transformation demonstrates the effectiveness of information processing for specific levels, without interfering or adding unnecessary computation time. This approach is essential in order to achieve a gradual transformation of an image. The results showed an improvement in the signal to noise ratio of 4dB for each additional layer in the pyramidal image transformation. We managed to keep a similar level of visual quality for the compressed images up to a compression level of 107 times. In addition, for a compression level of 274, we improved the visual quality as compared to standard compression methods (JPEG, JPEG2000). The results of this study confirm the hypothesis that remote sensing images have a high degree of redundancy and that the use of neural networks is a good way to find the effective operator of the pixel combination. This new method for image representation reduces the volume of data without major deterioration in the visual quality of the compressed images, as compared to existing methods. Finally, we recommend further exploration in the field of distributed computing, such as artificial neural networks, considering the rapidly increasing performance of computers in the near future (parallel computing technology and nanotechnology).
12
Mitrica, Iulia. "Video compression of airplane cockpit screens content." Electronic Thesis or Diss., Institut polytechnique de Paris, 2021. http://www.theses.fr/2021IPPAT042.
Full textAbstract:
Cette thèse aborde le problème de l'encodage de la vidéo des cockpits d'avion. Le cockpit des avions de ligne modernes consiste en un ou plusieurs écrans affichant l'état des instruments de l'avion (par exemple, la position de l'avion telle que rapportée par le GPS, le niveau de carburant tel que lu par les capteurs dans les réservoirs, etc.,) souvent superposés au naturel images (par exemple, cartes de navigation, caméras extérieures, etc.). Les capteurs d'avion sont généralement inaccessibles pour des raisons de sécurité, de sorte que l'enregistrement du cockpit est souvent le seul moyen de consigner les données vitales de l'avion en cas, par exemple, d'un accident. Les contraintes sur la mémoire d'enregistrement disponible à bord nécessitent que la vidéo du cockpit soit codée à des débits faibles à très faibles, alors que pour des raisons de sécurité, les informations textuelles doivent rester intelligibles après le décodage. De plus, les contraintes sur l'enveloppe de puissance des dispositifs avioniques limitent la complexité du sous-système d'enregistrement du poste de pilotage. Au fil des ans, un certain nombre de schémas de codage d'images ou de vidéos avec des contenus mixtes générés par ordinateur et naturels ont été proposés. Le texte et d'autres graphiques générés par ordinateur produisent des composants haute fréquence dans le domaine transformé. Par conséquent, la perte due à la compression peut nuire à la lisibilité de la vidéo et donc à son utilité. Par exemple, l'extension récemment normalisée SCC (Screen Content Coding) de la norme H.265/HEVC comprend des outils conçus explicitement pour la compression du contenu de l'écran. Nos expériences montrent cependant que les artefacts persistent aux bas débits ciblés par notre application, incitant à des schémas où la vidéo n'est pas encodée dans le domaine des pixels. Cette thèse propose des méthodes de codage d'écran de faible complexité où le texte et les primitives graphiques sont codés en fonction de leur sémantique plutôt que sous forme de blocs de pixels. Du côté du codeur, les caractères sont détectés et lus à l'aide d'un réseau neuronal convolutif. Les caractères détectés sont ensuite supprimés de l'écran via le pixel inpainting, ce qui donne une vidéo résiduelle plus fluide avec moins de hautes fréquences. La vidéo résiduelle est codée avec un codec vidéo standard et est transmise du côté récepteur avec une sémantique textuelle et graphique en tant qu'informations secondaires. Du côté du décodeur, le texte et les graphiques sont synthétisés à l'aide de la sémantique décodée et superposés à la vidéo résiduelle, récupérant finalement l'image d'origine. Nos expériences montrent qu'un encodeur AVC/H.264 équipé de notre méthode a de meilleures performances de distorsion-débit que H.265/HEVC et se rapproche de celle de son extension SCC. Si les contraintes de complexité permettent la prédiction inter-trame, nous exploitons également le fait que les caractères co-localisés dans les trames voisines sont fortement corrélés. À savoir, les symboles mal classés sont récupérés à l'aide d'une méthode proposée basée sur un modèle de faible complexité des probabilités de transition pour les caractères et les graphiques. Concernant la reconnaissance de caractères, le taux d'erreur chute jusqu'à 18 fois dans les cas les plus faciles et au moins 1,5 fois dans les séquences les plus difficiles malgré des occlusions complexes.En exploitant la redondance temporelle, notre schéma s'améliore encore en termes de distorsion de débit et permet un décodage de caractères quasi sans erreur. Des expériences avec de vraies séquences vidéo de cockpit montrent des gains de distorsion de débit importants pour la méthode proposée par rapport aux normes de compression vidéo<br>This thesis addresses the problem of encoding the video of airplane cockpits.The cockpit of modern airliners consists in one or more screens displaying the status of the plane instruments (e.g., the plane location as reported by the GPS, the fuel level as read by the sensors in the tanks, etc.,) often superimposed over natural images (e.g., navigation maps, outdoor cameras, etc.).Plane sensors are usually inaccessible due to security reasons, so recording the cockpit is often the only way to log vital plane data in the event of, e.g., an accident.Constraints on the recording storage available on-board require the cockpit video to be coded at low to very low bitrates, whereas safety reasons require the textual information to remain intelligible after decoding. In addition, constraints on the power envelope of avionic devices limit the cockpit recording subsystem complexity.Over the years, a number of schemes for coding images or videos with mixed computer-generated and natural contents have been proposed. Text and other computer generated graphics yield high-frequency components in the transformed domain. Therefore, the loss due to compression may hinder the readability of the video and thus its usefulness. For example, the recently standardized Screen Content Coding (SCC) extension of the H.265/HEVC standard includes tools designed explicitly for screen contents compression. Our experiments show however that artifacts persist at the low bitrates targeted by our application, prompting for schemes where the video is not encoded in the pixel domain.This thesis proposes methods for low complexity screen coding where text and graphical primitives are encoded in terms of their semantics rather than as blocks of pixels.At the encoder side, characters are detected and read using a convolutional neural network.Detected characters are then removed from screen via pixel inpainting, yielding a smoother residual video with fewer high frequencies. The residual video is encoded with a standard video codec and is transmitted to the receiver side together with text and graphics semantics as side information.At the decoder side, text and graphics are synthesized using the decoded semantics and superimposed over the residual video, eventually recovering the original frame. Our experiments show that an AVC/H.264 encoder retrofitted with our method has better rate-distortion performance than H.265/HEVC and approaches that of its SCC extension.If the complexity constraints allow inter-frame prediction, we also exploit the fact that co-located characters in neighbor frames are strongly correlated.Namely, the misclassified symbols are recovered using a proposed method based on low-complexity model of transitional probabilities for characters and graphics. Concerning character recognition, the error rate drops up to 18 times in the easiest cases and at least 1.5 times in the most difficult sequences despite complex occlusions.By exploiting temporal redundancy, our scheme further improves in rate-distortion terms and enables quasi-errorless character decoding. Experiments with real cockpit video footage show large rate-distortion gains for the proposed method with respect to video compression standards
13
Verma, Sagar. "Deep Neural Network Modeling of Electric Motors." Electronic Thesis or Diss., université Paris-Saclay, 2023. http://www.theses.fr/2023UPAST088.
Full textAbstract:
Cette thèse traite de l’application des réseaux de neurones dans la résolution de problèmes liés aux moteurs électriques. Le chapitre 2 contribue à identifier une structure de réseau de neurones capable d’apprendre la relation multi-variée entre différents signaux d’un moteur électrique. La structure identifiée est ensuite utilisée pour l’estimation vitesse- couple à partir des courants et des tensions.Le chapitre 3 se concentre sur la détection et la correction de défauts de mesure. Notre méthode prend en compte les défauts de capteurs électriques, les défauts mécaniques et l’estimation de température.Le chapitre 4 traite ensuite de la fiabilité de l’estimateur vitesse-couple en cas de courants et de tensions bruités. Nous présentons uneméthode de débruitage permettant de rendre notre estimateur vitesse-couple applicable dans un contexte réaliste. Ensuite, une rapide analyse de la robustesse face à une attaque adverse est menée pour les réseaux neuronaux utilisés dans des applications des moteurs électriques. La capacité de généralisation de l’estimateur vitesse-couple est également brièvement analysée. Dans le chapitre 5, nous nous concentrons sur le dernier obstacle à la mise en œuvre des réseaux de neurones: le coût de calcul. Nous présentons la méthode de sparsification par inclusion sous-différentielle (SIS) permettant de trouver le meilleur réseau parcimonieux à partir de poids pré-calculés, tout en conservant la précision d’origine<br>This thesis deals with the application of neural networks in solving electrical motor problems. Chapter 2 contributes to identifying a neural network that can learn the multivariate relationship between different electrical motor signals.The identified network is then used for speed-torque estimation from currents and voltages. Chapter 3 focuses on detecting and recovering from faulty measurements. Our method encompasses electrical sensor faults, mechanical faults, and temperature estimation.Chapter 4 then discusses the reliability of the speed-torque estimator in case of noisy currents and voltages. We presenta denoising method which allows our speed- torque estimator to be applicable in a realistic context. This is followed by an analysis of the adversarial robustness of the neural networks used in electrical motor tasks. The generalization capability of the speed-torque estimator is also briefly considered. In Chapter 5, we focus on the final roadblock in achieving real-world application of neural networks: computational requirements. We present the Subdifferential Inclusion for Sparsity (SIS) method to find the best sparse network from pretrained weights while maintaining original accuracy
14
Burel, Gilles. "RESEAUX DE NEURONES EN TRAITEMENT D'IMAGES - Des Modèles théoriques aux Applications Industrielles -." Phd thesis, Université de Bretagne occidentale - Brest, 1991. http://tel.archives-ouvertes.fr/tel-00101699.
Full textAbstract:
Les travaux présentés portent sur les réseaux de neurones appliqués au<br />traitement du signal et de l'image. On se place d'emblée du point de vue de<br />l'industriel impliqué dans la recherche, c'est à dire que l'on s'intéresse à<br />des problèmes réalistes, sans pour autant négliger la recherche<br />théorique.<br /><br />Dans une première partie, nous montrons<br />l'intérêt des réseaux de neurones comme source d'inspiration pour la<br />conception de nouveaux algorithmes. Nous proposons en particulier une<br />structure originale pour la prédiction, ainsi que de nouveaux algorithmes de<br />Quantification Vectorielle. Les propriétés des algorithmes existants sont<br />également éclaircies du point de vue théorique, et des méthodes de réglage<br />automatique de leurs paramètres sont proposées.<br /><br />On montre ensuite les capacités des réseaux de neurones à traiter un vaste champ<br />d'applications d'intérêt industriel. Pour divers problèmes de traitement de<br />l'image et du signal (de la segmentation à la séparation de sources, en<br />passant par la reconnaissance de formes et la compression de données), on<br />montre qu'il est possible de développer à moindre coût une solution neuronale<br />efficace.
15
Boukli, Hacene Ghouthi. "Processing and learning deep neural networks on chip." Thesis, Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire, 2019. http://www.theses.fr/2019IMTA0153/document.
Full textAbstract:
Dans le domaine de l'apprentissage machine, les réseaux de neurones profonds sont devenus la référence incontournable pour un très grand nombre de problèmes. Ces systèmes sont constitués par un assemblage de couches, lesquelles réalisent des traitements élémentaires, paramétrés par un grand nombre de variables. À l'aide de données disponibles pendant une phase d'apprentissage, ces variables sont ajustées de façon à ce que le réseau de neurones réponde à la tâche donnée. Il est ensuite possible de traiter de nouvelles données. Si ces méthodes atteignent les performances à l'état de l'art dans bien des cas, ils reposent pour cela sur un très grand nombre de paramètres, et donc des complexités en mémoire et en calculs importantes. De fait, ils sont souvent peu adaptés à l'implémentation matérielle sur des systèmes contraints en ressources. Par ailleurs, l'apprentissage requiert de repasser sur les données d'entraînement plusieurs fois, et s'adapte donc difficilement à des scénarios où de nouvelles informations apparaissent au fil de l'eau. Dans cette thèse, nous nous intéressons dans un premier temps aux méthodes permettant de réduire l'impact en calculs et en mémoire des réseaux de neurones profonds. Nous proposons dans un second temps des techniques permettant d'effectuer l'apprentissage au fil de l'eau, dans un contexte embarqué<br>In the field of machine learning, deep neural networks have become the inescapablereference for a very large number of problems. These systems are made of an assembly of layers,performing elementary operations, and using a large number of tunable variables. Using dataavailable during a learning phase, these variables are adjusted such that the neural networkaddresses the given task. It is then possible to process new data.To achieve state-of-the-art performance, in many cases these methods rely on a very largenumber of parameters, and thus large memory and computational costs. Therefore, they are oftennot very adapted to a hardware implementation on constrained resources systems. Moreover, thelearning process requires to reuse the training data several times, making it difficult to adapt toscenarios where new information appears on the fly.In this thesis, we are first interested in methods allowing to reduce the impact of computations andmemory required by deep neural networks. Secondly, we propose techniques for learning on thefly, in an embedded context
16
Carvalho, Micael. "Deep representation spaces." Electronic Thesis or Diss., Sorbonne université, 2018. http://www.theses.fr/2018SORUS292.
Full textAbstract:
Ces dernières années, les techniques d’apprentissage profond ont fondamentalement transformé l'état de l'art de nombreuses applications de l'apprentissage automatique, devenant la nouvelle approche standard pour plusieurs d’entre elles. Les architectures provenant de ces techniques ont été utilisées pour l'apprentissage par transfert, ce qui a élargi la puissance des modèles profonds à des tâches qui ne disposaient pas de suffisamment de données pour les entraîner à partir de zéro. Le sujet d'étude de cette thèse couvre les espaces de représentation créés par les architectures profondes. Dans un premier temps, nous étudions les propriétés de leurs espaces, en prêtant un intérêt particulier à la redondance des dimensions et la précision numérique de leurs représentations. Nos résultats démontrent un fort degré de robustesse, pointant vers des schémas de compression simples et puissants. Ensuite, nous nous concentrons sur le l'affinement de ces représentations. Nous choisissons d'adopter un problème multi-tâches intermodal et de concevoir une fonction de coût capable de tirer parti des données de plusieurs modalités, tout en tenant compte des différentes tâches associées au même ensemble de données. Afin d'équilibrer correctement ces coûts, nous développons également un nouveau processus d'échantillonnage qui ne prend en compte que des exemples contribuant à la phase d'apprentissage, c'est-à-dire ceux ayant un coût positif. Enfin, nous testons notre approche sur un ensemble de données à grande échelle de recettes de cuisine et d'images associées. Notre méthode améliore de 5 fois l'état de l'art sur cette tâche, et nous montrons que l'aspect multitâche de notre approche favorise l'organisation sémantique de l'espace de représentation, lui permettant d'effectuer des sous-tâches jamais vues pendant l'entraînement, comme l'exclusion et la sélection d’ingrédients. Les résultats que nous présentons dans cette thèse ouvrent de nombreuses possibilités, y compris la compression de caractéristiques pour les applications distantes, l'apprentissage multi-modal et multitâche robuste et l'affinement de l'espace des caractéristiques. Pour l'application dans le contexte de la cuisine, beaucoup de nos résultats sont directement applicables dans une situation réelle, en particulier pour la détection d'allergènes, la recherche de recettes alternatives en raison de restrictions alimentaires et la planification de menus<br>In recent years, Deep Learning techniques have swept the state-of-the-art of many applications of Machine Learning, becoming the new standard approach for them. The architectures issued from these techniques have been used for transfer learning, which extended the power of deep models to tasks that did not have enough data to fully train them from scratch. This thesis' subject of study is the representation spaces created by deep architectures. First, we study properties inherent to them, with particular interest in dimensionality redundancy and precision of their features. Our findings reveal a strong degree of robustness, pointing the path to simple and powerful compression schemes. Then, we focus on refining these representations. We choose to adopt a cross-modal multi-task problem, and design a loss function capable of taking advantage of data coming from multiple modalities, while also taking into account different tasks associated to the same dataset. In order to correctly balance these losses, we also we develop a new sampling scheme that only takes into account examples contributing to the learning phase, i.e. those having a positive loss. Finally, we test our approach in a large-scale dataset of cooking recipes and associated pictures. Our method achieves a 5-fold improvement over the state-of-the-art, and we show that the multi-task aspect of our approach promotes a semantically meaningful organization of the representation space, allowing it to perform subtasks never seen during training, like ingredient exclusion and selection. The results we present in this thesis open many possibilities, including feature compression for remote applications, robust multi-modal and multi-task learning, and feature space refinement. For the cooking application, in particular, many of our findings are directly applicable in a real-world context, especially for the detection of allergens, finding alternative recipes due to dietary restrictions, and menu planning
17
Siebert, Antoine. "Contribution à l’implémentation d’algorithmes d’Intelligence artificielle pour applications de radiocommunications dans un contexte embarqué durci." Electronic Thesis or Diss., Bordeaux, 2025. http://www.theses.fr/2025BORD0048.
Full textAbstract:
L'émergence de nouvelles exigences opérationnelles dans le domaine des radiocommunications militaires conduit à une complexification croissante des systèmes de transmission sans fil. Les perturbations engendrées par le multitrajet sur les signaux imposent des contraintes sur la conception des récepteurs radio impliquant une égalisation du signal précise et robuste. Ce processus d'égalisation nécessite une estimation du canal de propagation performante et fiable. Face à ces défis, l'adoption de solutions basées sur l'intelligence artificielle (IA) repousse les limites des méthodes algorithmiques traditionnelles. L'intégration de l'IA représente un levier d'innovation stratégique pour des entreprises telles que Thales. Cependant, dans un contexte embarqué soumis à des contraintes sévères (consommation énergétique, coût calculatoire), l'implantation directe de ces algorithmes d'IA est souvent irréalisable. Il devient alors impératif d'amender et compresser les modèles pour permettre leur intégration dans des produits de radiocommunication. L'objectif de ces travaux de thèse est double : d'une part, d'améliorer les performances d'un algorithme de traitement du signal usuel à l'aide de l'IA. D'autre part, optimiser le modèle afin de l'adapter aux exigences et aux contraintes associées à une exécution sur une plateforme embarquée, tout en limitant les dégradations de performances<br>The emergence of new operational requirements in the field of military radio communications is leading to increasing complexity in wireless transmission systems. The disturbances caused to signals by multipath impose constraints on the design of radio receivers, requiring precise and robust signal equalization. This equalization process requires high-performance, reliable propagation channel estimation .Faced with these challenges, the adoption of solutions based on artificial intelligence (AI) is pushing back the limits of traditional algorithmic methods. The integration of AI represents a strategic innovation lever for companies such as Thales. However, in an embedded context subject to severe constraints (energy consumption, computing costs), direct implementation of these AI algorithms is often unfeasible. It then becomes imperative to amend and compress the models to enable their integration into radiocommunication products.The aim of this thesis work is twofold: firstly, to improve the performance of a conventional signal processing algorithm using AI. Secondly, to optimize the model in order to adapt it to the requirements and constraints associated with execution on an embedded platform, while limiting performance degradations
18
Dugas, Alexandre. "Architecture de transformée de cosinus discrète sur deux dimensions sans multiplication et mémoire de transposition." Mémoire, Université de Sherbrooke, 2012. http://hdl.handle.net/11143/6174.
Full textAbstract:
Au cours des dix dernières années, les capacités technologiques de transmission vidéo rendent possible une panoplie d'applications de télésanté. Ce média permet en effet la participation de médecins spécialisés à des interventions médicales ayant lieu à des endroits distants. Cependant, lorsque ces dernières se déroulent loin des grands centres, les infrastructures de télécommunication n'offrnt pas un débit assez important pour permettre à la fois une transmission d'images fluides et de bonne qualité. Un des moyens entrepris pour pallier ce problème est l'utilisation d'encodeur et décodeur vidéo (CODEC) permettant de compresser les images avant leur transmission et de les décompresser à la réception. Il existe un bon nombre de CODEC vidéo offrant différent compromis entre la qualité d'image, la rapidité de compression, la latence initiale de traitement et la robustesse du protocole de transmission. Malheureusement, aucun n'est en mesure de rencontrer simultanément toutes les exigences définies en télésanté. Un des problèmes majeurs réside dans le délai de traitement initial causé par la compression avec perte du CODEC. L'objet de la recherche s'intéresse donc à deux CODEC qui répondent aux exigences de délais de traitement et de qualité d'image en télésanté, et plus particulièrement pour une application de téléassistance en salle d'urgence. L'emphase est mise sur les modules de quantification des CODEC qui utilisent la transformée en cosinus discrète. Cette transformée limite la transmission des images vidéo fluide et quasi sans délais en raison des délais de traitement initiaux issus des nombreuses manipulations arithmétiques qu'elle requiert. À l'issu de la recherche, une structure efficace de la transformée en cosinus est proposée afin de présenter une solution au temps de latence des CODEC et ainsi de répondre aux exigences de télécommunication en télésanté. Cette solution est implémentée dans un CODEC JPEG développé en VHDL afin de simuler un contexte d'application réelle.
19
Morozkin, Pavel. "Design and implementation of image processing and compression algorithms for a miniature embedded eye tracking system." Electronic Thesis or Diss., Sorbonne université, 2018. https://accesdistant.sorbonne-universite.fr/login?url=https://theses-intra.sorbonne-universite.fr/2018SORUS435.pdf.
Full textAbstract:
Les interactions Homme-machines (IHM) deviennent progressivement une partie intégrante de notre futur. Parmi eux, les systèmes embarqués d’oculométrie permettent à l'utilisateur d’interagir avec les objets placés dans un environnement connu, par l'utilisation les mouvements naturels des yeux. La solution mobile d’oculométrie EyeDee™ (développée par SuriCog) est un exemple précis de produit basé sur l’IHM. Elle inclut un système portable filaire ou sans fil Weetsy™ composé d’une monture Weetsy™ et d’une carte électronique Weetsy™, d’un capteur intelligent à distance π-Box™ et d’une unité de traitement basé sur un PC exécutant le logiciel SuriDev (analyse des mouvements des yeux, détection de la position de la tête et estimation du regard) qui délivre les résultats en temps réel à une application du client via SuriSDK™ (Software Development Kit, Kit de Développement Logiciel). En raison du caractère portable du système d’oculométrie développé il faut se conformer à certaines contraintes. Les plus importantes sont : une faible consommation d'énergie, un faible dégagement de chaleur, un faible rayonnement électromagnétique, un nombre limité d’instructions par seconde (MIPS – Million Instructions Per Second), ainsi qu’un support de transmission sans fil de données de l’œil. Par rapport à l'état-de-l'art des systèmes de compression d'images employés généralement, il est possible de construire de toutes nouvelles méthodes, approches et algorithmes de traitement d’images et de compression spécialisées à l’application de l’analyse des mouvements des yeux. Développement et implémentation de ces méthodes, approches et algorithmes sont les objectifs de la thèse<br>Human-Machine Interaction (HMI) progressively becomes a part of coming future. Being an example of HMI, embedded eye tracking systems allow user to interact with objects placed in a known environment by using natural eye movements. The EyeDee™ portable eye tracking solution (developed by SuriCog) is an example of an HMI-based product, which includes Weetsy™ portable wire/wireless system (including Weetsy™ frame and Weetsy™ board), π-Box™ remote smart sensor and PC-based processing unit running SuriDev eye/head tracking and gaze estimation software, delivering its result in real time to a client’s application through SuriSDK (Software Development Kit). Due to wearable form factor developed eye-tracking system must conform to certain constraints, where the most important are low power consumption, low heat generation low electromagnetic radiation, low MIPS (Million Instructions per Second), as well as support wireless eye data transmission and be space efficient in general. Eye image acquisition, finding of the eye pupil ROI (Region Of Interest), compression of ROI and its wireless transmission in compressed form over a medium are very beginning steps of the entire eye tracking algorithm targeted on finding coordinates of human eye pupil. Therefore, it is necessary to reach the highest performance possible at each step in the entire chain. In contrast with state-of-the-art general-purpose image compression systems, it is possible to construct an entire new eye tracking application-specific image processing and compression methods, approaches and algorithms, design and implementation of which are the goal of this thesis
20
Piana, Thibault. "Étude et développement de techniques de compression pour les signaux de télécommunications en bande de base." Electronic Thesis or Diss., Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire, 2024. http://www.theses.fr/2024IMTA0424.
Full textAbstract:
Cette thèse examine la compression de signaux pour améliorer l’efficacité de la bande passante dans les communications satellitaires, en se concentrant sur les architectures Cloud Radio Access Networks (C-RAN) pour le segment sol. Réalisée sous contrat CIFRE avec Safran Data Systems et encadrée par le Lab-STICC, cette recherche explore les techniques de compression des signaux RF en bande de base, essentielles pour maintenir une haute fidélité des données transmises entre les stations terrestres et les satellites. L’étude s’appuie sur des avancées comme le Ground Station as a Service (GSaaS), qui permet une gestion optimisée des ressources. Elle aborde spécifiquement les défis liés à la compression efficace des larges bandes passantes utilisées, nécessitant des techniques innovantes pour réduire la charge sur les réseaux terrestres sans compromettre la qualité des signaux. Les méthodes de compression sans perte et avec perte sont évaluées, avec une attention particulière aux techniques de compression basée sur des dictionnaires pour leur efficacité en termes de parcimonie et aux méthodes prédictives pour leur capacité à minimiser les écarts entre prédictions et valeurs réelles. Cette recherche illustre un potentiel significatif pour améliorer la gestion des données dans les communications satellitaires, offrant des solutions viables pour les défis actuels et futurs de la compression de données<br>This thesis investigates signal compression to enhance bandwidth efficiency in satellite communications, focusing on Cloud Radio Access Network (C-RAN) architectures for the ground segment. Conducted under a CIFRE contract with Safran Data Systems and supervised by Lab-STICC, this research explores the techniques of RF baseband signal compression, crucial for maintaining high fidelity of data transmitted between terrestrial stations and satellites. The study leverages advances such as Ground Station as a Service (GSaaS), which facilitates optimized resource management. It specifically addresses the challenges associated with efficiently compressing the wide bandwidths used, which requires innovative techniques to reduce the load on terrestrial networks without compromising signal quality. Lossless and lossy compression methods are evaluated, with particular emphasis on dictionary-based compression techniques for their efficiency in sparsity, and predictive methods for their ability to minimize discrepancies between predicted and actual values. This research demonstrates significant potential to improve data management in satellite communications, offering viable solutions for current and future data compression challenges
21
Mahé, Pierre. "Codage ambisonique pour les communications immersives." Thesis, La Rochelle, 2022. http://www.theses.fr/2022LAROS011.
Full textAbstract:
Cette thèse s’inscrit dans le contexte de l’essor des contenus immersifs. Depuis quelques années, les technologies de captation et de restitution sonore immersive se sont développées de manière importante. Ce nouveau contenu a fait naître le besoin de créer de nouvelles méthodes dédiées à la compression audio spatialisée, notamment dans le domaine de la téléphonie et des services conversationnels. Il existe plusieurs manières de représenter l’audio spatialisé, dans cette thèse nous sommes intéressés à l’ambisonie d’ordre 1. Dans un premier temps, nos travaux ont porté sur la recherche d’une solution pour améliorer le codage multimono. Cette solution consiste en un traitement en amont du codec multimono pour décorréler les signaux des composantes ambisoniques. Une attention particulière a été portée à la garantie de continuité du signal entre les trames et à la quantification des métadonnées spatiales. Dans un second temps, nous avons étudié comment utiliser la connaissance de la répartition de l’énergie du signal dans l’espace, aussi appelée image spatiale, pour créer de nouvelles méthodes de codage. L’utilisation de cette image spatiale a permis d’élaborer deux méthodes de compression. La première approche proposée est basée sur la correction spatiale du signal décodé. Cette correction se base sur la différence entre les images spatiales du signal d’origine et du signal décodés pour atténuer les altérations spatiales. Ce principe a été étendu dans une seconde approche à une méthode de codage paramétrique. Dans une dernière partie de cette thèse, plus exploratoire, nous avons étudié une approche de compression par réseaux de neurones en nous inspirant de modèles de compression d’images par auto-encodeur variationnel<br>This thesis takes place in the context of the spread of immersive content. For the last couple of years, immersive audio recording and playback technologies have gained momentum and have become more and more popular. New codecs are needed to handle those spatial audio formats, especially for communication applications. There are several ways to represent spatial audio scenes. In this thesis, we focused on First Order Ambisonic. The first part of our research focused on improving multi-monocoding by decorrelated each ambisonic signal component before the multi-mono coding. To guarantee signal continuity between frames, efficient quantization new mechanisms are proposed. In the second part of this thesis, we proposed a new coding concept using a power map to recreate the original spatial image. With this concept, we proposed two compressing methods. The first one is a post-processing focused on limiting the spatial distortion of the decoded signal. The spatial correction is based on the difference between the original and the decoded spatial image. This post-processing is later extended to a parametric coding method. The last part of this thesis presents a more exploratory method. This method studied audio signal compression by neural networks inspired by image compression models using variational autoencoders
22
Wenzek, Didier. "Construction de réseaux de neurones." Phd thesis, Grenoble INPG, 1993. http://tel.archives-ouvertes.fr/tel-00343569.
Full textAbstract:
La dénomination de réseaux de neurones recouvre tout un ensemble de méthodes de calcul dont le point commun est de décrire le calcul d'une solution a un probleme comme la recherche d'un état d'équilibre par un ensemble de cellules simples inter-agissant entre elles via un réseau de connections paramétrées. L'approche usuelle, pour obtenir un réseau de neurones ayant un comportement souhaite, consiste a tester sur des exemples un réseau choisi a priori et a modifier ses paramètres de contrôle jusqu'à ce que l'on obtienne un comportement satisfaisant. La difficulté de ces méthodes est que leur succès ou leur échec reposent sur le choix d'un premier réseau et que l'on ne dispose pas de règles permettant de déduire ce choix de la structure du probleme. La motivation de cette thèse a donc été de décrire des méthodes de synthèse permettant une construction modulaire de réseaux de neurones. Aussi, cette thèse propose une classe de réseaux de neurones parmi lesquels toute spécification de la forme chercher un élément de e (fini) vérifiant la propriété p admet au moins une réalisation. En outre, les réseaux de cette classe peuvent être combines pour obtenir un réseau réalisant une combinaison des spécifications des réseaux combines
23
Tsopze, Norbert. "Treillis de Galois et réseaux de neurones : une approche constructive d'architecture des réseaux de neurones." Thesis, Artois, 2010. http://www.theses.fr/2010ARTO0407/document.
Full textAbstract:
Les réseaux de neurones artificiels connaissent des succès dans plusieurs domaines. Maisles utilisateurs des réseaux de neurones sont souvent confrontés aux problèmes de définitionde son architecture et d’interprétabilité de ses résultats. Plusieurs travaux ont essayé d’apporterune solution à ces problèmes. Pour les problèmes d’architecture, certains auteurs proposentde déduire cette architecture à partir d’un ensemble de connaissances décrivant le domaine duproblème et d’autres proposent d’ajouter de manière incrémentale les neurones à un réseauayant une taille initiale minimale. Les solutions proposées pour le problème d’interprétabilitédes résultats consistent à extraire un ensemble de règles décrivant le fonctionnement du réseau.Cette thèse contribue à la résolution de ces deux problèmes. Nous nous limitons à l’utilisationdes réseaux de neurones dans la résolution des problèmes de classification.Nous présentons dans cette thèse un état de l’art des méthodes existantes de recherche d’architecturede réseaux de neurones : une étude théorique et expérimentale est aussi faite. Decette étude, nous observons comme limites de ces méthodes la disponibilité absolue des connaissancespour construire un réseau interprétable et la construction des réseaux difficiles à interpréteren absence de connaissances. En alternative, nous proposons une méthode appelée CLANN(Concept Lattice-based Artificial Neural network) basée les treillis de Galois qui construit undemi-treillis à partir des données et déduire de ce demi-treillis l’architacture du réseau. CLANNétant limitée à la résolution des problèmes à deux classes, nous proposons MCLANN permettantd’étendre cette méthodes de recherche d’architecture des réseaux de neurones aux problèmes àplusieurs classes.Nous proposons aussi une méthode appelée ’Approche des MaxSubsets’ pour l’extractiondes règles à partir d’un réseau de neurones. La particularité de cette méthode est la possibilitéd’extraire les deux formats de règles (’si alors’ et ’m parmi N’) à partir d’une structure quenous construisons. Nous proposons aussi une façon d’expliquer le résultat calculé par le réseauconstruit par la méthode MCLANN au sujet d’un exemple<br>The artificial neural networks are successfully applied in many applications. But theusers are confronted with two problems : defining the architecture of the neural network able tosolve their problems and interpreting the network result. Many research works propose some solutionsabout these problems : to find out the architecture of the network, some authors proposeto use the problem domain theory and deduct the network architecture and some others proposeto dynamically add neurons in the existing networks until satisfaction. For the interpretabilityproblem, solutions consist to extract rules which describe the network behaviour after training.The contributions of this thesis concern these problems. The thesis are limited to the use of theartificial neural networks in solving the classification problem.In this thesis, we present a state of art of the existing methods of finding the neural networkarchitecture : we present a theoritical and experimental study of these methods. From this study,we observe some limits : difficulty to use some method when the knowledges are not available ;and the network is seem as ’black box’ when using other methods. We a new method calledCLANN (Concept Lattice-based Artificial Neural Network) which builds from the training dataa semi concepts lattice and translates this semi lattice into the network architecture. As CLANNis limited to the two classes problems, we propose MCLANN which extends CLANN to manyclasses problems.A new method of rules extraction called ’MaxSubsets Approach’ is also presented in thisthesis. Its particularity is the possibility of extracting the two kind of rules (If then and M-of-N)from an internal structure.We describe how to explain the MCLANN built network result aboutsome inputs
24
Voegtlin, Thomas. "Réseaux de neurones et auto-référence." Lyon 2, 2002. http://theses.univ-lyon2.fr/documents/lyon2/2002/voegtlin_t.
Full textAbstract:
Le sujet de cette thèse est l'étude d'une classe d'algorithmes d'apprentissage non supervisés pour réseaux de neurones récurrents. Dans la 1ere partie (chap. 1 à 4), je présente plusieurs algorithmes, basés sur un même principe d'apprentissage : l'auto-référence. L'apprentissage auto-référent n'implique pas l'optimisation d'un critère objectif (comme une fonction d'erreur), mais il fait intervenir une fonction subjective, qui dépend de ce que le réseau a déjà appris. Un exemple de réseau supervisé basé sur ce principe est le Simple Recurrent Netword d'Elman (1990). Dans ce cas, l'auto-référence est appliquée à l'algorithme de rétro-propagation du gradient. Sur ce point, le réseau d'Elman diffère des autres méthodes de rétro-propagation pour réseaux récurrents, qui font intervenir un gradient objectif (Back-propagation Through Time, Real-Time Recurrent learning). Je montr que l'auto-référence peut être utilisée avec les principales techniques d'apprentissage non supervisé : Cartes de Kohonen, Analyse en composantes principales, Analyse en composantes indépendantes. Ces techniques sont classiquement utilisées pour représenter des données statiques. L'auto-référence permet de les généraliser à des séries temporelles, et de définir des algorithmes d'apprentissage nouveaux<br>The purpose of this thesis is to present a class of unsupervised learning algorithms for recurrent networks. In the first part (chapters 1 to 4), I propose a new approach to this question, based on a simple principle: self-reference. A self-referent algorithm is not based on the minimization of an objective criterion, such as an error function, but on a subjective function, that depends on what the network has previously learned. An example of a supervised recurrent network where learning is self-referent is the Simple Recurrent Network (SRN) by Elman (1990). In the SRN, self-reference is applied to the supervised error back-propagation algorithm. In this aspect, the SRN differs from other generalizations of back-propagation to recurrent networks, that use an objective criterion, such as Back-Propagation Through Time, or Real-Time Recurrent Learning. In this thesis, I show that self-reference can be combined with several well-known unsupervised learning methods: the Self-Organizing Map (SOM), Principal Components Analysis (PCA), and Independent Components Analysis (ICA). These techniques are classically used to represent static data. Self-reference allows one to generalize these techniques to time series, and to define unsupervised learning algorithms for recurrent networks
25
Teytaud, Olivier. "Apprentissage, réseaux de neurones et applications." Lyon 2, 2001. http://theses.univ-lyon2.fr/documents/lyon2/2001/teytaud_o.
Full textAbstract:
Les fondements théoriques de l'apprentissage sont en grande partie posés. Comme la calculabilité est venue à maturité en s'orientant vers la complexité, l'apprentissage mûrit face à des résultats négatifs forts qui rendent sans espoir la quête d'algorithmes universels, efficaces pour toute donnée. Vraisemblablement les grandes avancées à venir seront (a) soit dans des domaines connexes où l'étude théorique a moins été poussée, (b) soit moins philosophiques et plus concrètes (théorique à préoccupations algorithmiques, représentation de données structurées, implémentation physique, modularité), soit enfin (c) dans la modélisation biologique. Cette thèse résume (et essaie modestement de compléter) les avancées théoriques statistiques, des points de vue successifs des cas où l'apprentissage est difficile (i. E. , où l'on sort du cadre iid sans bruit avec a priori de VC-dimension finie), des utilisations non-standards de la VC-théorie (non-supervisé, extraction de règles : c'est le (a) ci-dessus), puis du passage au concret avec le passage aux préoccupations algorithmiques (validité des approximations dans les Supports Vector Machines, efficacité des algorithmes de Gibbs quoique l'étude soit très incomplète, plus proches voisins rapides d'un point de vue expérimental représentation de données structurées images ou textes - tout cela est le (b)) et la modélisation biologique (c)
26
Côté, Marc-Alexandre. "Réseaux de neurones génératifs avec structure." Thèse, Université de Sherbrooke, 2017. http://hdl.handle.net/11143/10489.
Full textAbstract:
Cette thèse porte sur les modèles génératifs en apprentissage automatique. Deux nouveaux modèles basés sur les réseaux de neurones y sont proposés. Le premier modèle possède une représentation interne où une certaine structure a été imposée afin d’ordonner les caractéristiques apprises. Le deuxième modèle parvient à exploiter la structure topologique des données observées, et d’en tenir compte lors de la phase générative.
Cette thèse présente également une des premières applications de l’apprentissage automatique au problème de la tractographie du cerveau. Pour ce faire, un réseau de neurones récurrent est appliqué à des données de diffusion afin d’obtenir une représentation des fibres de la matière blanche sous forme de séquences de points en trois dimensions.
27
Jodouin, Jean-François. "Réseaux de neurones et traitement du langage naturel : étude des réseaux de neurones récurrents et de leurs représentations." Paris 11, 1993. http://www.theses.fr/1993PA112079.
Full textAbstract:
Le but de ce travail a été d'évaluer les possibilités d'application des réseaux connexionnistes aux taches de haut niveau comme le traitement du langage naturel (tln). Un travail de réflexion a permis de cerner les types de réseaux et les techniques de représentation propices à ce domaine d'application. Deux réseaux de la classe des réseaux récurrents à couches ont été sélectionnés pour des études approfondies: le simple récurrent network et le time-unfolding network (tun). Le perceptron multicouches a servi d'étalon. Un domaine d'application mettant à l'épreuve la mémoire et les capacités de représentation des réseaux a aussi été choisi: la prédiction de séquences non déterministes. Un outil de simulation graphique, Baptise Simon, a été crée pour l'étude. Le travail empirique a consisté en trois séries d'expériences qui ont pour but d'étudier les capacités de réseaux dans des conditions se rapprochant progressivement du traitement d'énoncés réels. Cette étude a été approfondie par l'analyse des représentations développées par les réseaux durant leur traitement. Cette recherche semble montrer que les réseaux récurrents ont le potentiel de développer des représentations complexes, ce qui leur permet de traiter de façon efficace les taches qui leur ont été données. En particulier, les performances des tuns dépassent, dans le meilleur des cas, celles de nos meilleurs outils de comparaison. En conclusion, les réseaux récurrents à couches ont une utilité immédiate à la frontière entre la parole (ou l'information est généralement bruitée et incomplète) et le langage (ou les représentations symboliques pures supportent mal ce type d'imprécision). De plus, si un important travail de recherche reste encore à faire, les résultats obtenus permettent d'espérer l'application future de ces réseaux à des taches plus évoluées du tln
28
Brette, Romain. "Modèles Impulsionnels de Réseaux de Neurones Biologiques." Phd thesis, Université Pierre et Marie Curie - Paris VI, 2003. http://tel.archives-ouvertes.fr/tel-00005340.
Full textAbstract:
Les neurosciences computationnelles sont traditionnellement dominées par la conception selon laquelle les neurones codent l'information à travers leur fréquence de décharge. Récemment, les observations expérimentales de synchronisation neuronale ont motivé un renouveau du point de vue impulsionnel, selon lequel la structure temporelle des décharges est pertinente. Les modèles impulsionnels étant moins bien compris que leurs homologues fréquentiels, nous commençons par établir des résultats théoriques généraux, qui nous permettent en particulier de montrer que les modèles impulsionnels répondent de manière reproductible aux stimulations variables apériodiques. Cette propriété nous permet de construire un modèle de sélectivité à l'orientation dans le cortex visuel, le perceptron impulsionnel, qui, en détectant une propriété géométrique de l'image plutôt que l'adéquation entre l'image et un patron, permet d'obtenir avec une architecture feedforward une invariance naturelle au contraste.
29
Tardif, Patrice. "Autostructuration des réseaux de neurones avec retards." Thesis, Université Laval, 2007. http://www.theses.ulaval.ca/2007/24240/24240.pdf.
Full text
30
Maktoobi, Sheler. "Couplage diffractif pour réseaux de neurones optiques." Thesis, Bourgogne Franche-Comté, 2020. http://www.theses.fr/2020UBFCD019.
Full textAbstract:
Les réseaux photoniques à haute performance peuvent être considérés comme des supports pour les futurs systèmes de calcul. Contrairement à l'électronique, les systèmes photoniques offrent des avantages intéressants, par exemple la possibilité de réaliser des réseaux complètement parallèles. Récemment, les réseaux de neurones ont attiré l'attention de la communauté photonique. L'une des difficultés les plus importantes, en matière de réseaux photoniques parallèles à grande échelle, est la réalisation des connexions. La diffraction est exploitée ici comme méthode pour traiter les connexions entre les nœuds (couplage) dans les réseaux de neurones optiques. Dans cette thèse, nous étudions l'extensibilité d'un couplage diffractif en détails de la façon suivante :Tout d'abord, nous commençons par une introduction générale à propos de l'intelligence artificielle, de l'apprentissage machine, des réseaux de neurones artificiels et des réseaux de neurones photoniques. Lors de la conception d'un réseau neuronal fonctionnel, les règles de l'apprentissage machine sont des éléments essentiels pour optimiser une configuration et ainsi obtenir une faible erreur du système, donc les règles de l'apprentissage sont introduites (chapitre 1). Nous étudions les concepts fondamentaux du couplage diffractif dans notre réservoir spatio-temporel. Dans ce cas, la théorie de la diffraction est expliquée. Nous utilisons un schéma analytique pour fournir les limites en termes de taille des réseaux diffractifs, qui font partie intégrante de notre réseau neuronal photonique (chapitre 2). Les concepts du couplage diffractif sont étudiés expérimentalement dans deux expériences différentes afin de confirmer les limites obtenues analytiquement, et pour déterminer le nombre maximum de nœuds pouvant être couplés dans le réseau photonique (Chapitre 3). Les simulations numériques d'une telle expérience sont basées sur deux schémas différents pour calculer numériquement la taille maximale du réseau, qui approche une surface de 100 mm2 (chapitre 4). Enfin, l'ensemble du réseau neuronal photonique est démontré. Nous concevons un réservoir spatialement étendu sur 900 nœuds. En conséquence, notre système généralise la prédiction pour la séquence chaotique de Mackey-Glass (chapitre 5)<br>Photonic networks with high performance can be considered as substrates for future computing systems. In comparison with electronics, photonic systems have substantial privileges, for instance the possibility of a fully parallel implementation of networks. Recently, neural networks have moved into the center of attention of the photonic community. One of the most important requirements for parallel large-scale photonic networks is to realize the connectivities. Diffraction is considered as a method to process the connections between the nodes (coupling) in optical neural networks. In the current thesis, we evaluate the scalability of a diffractive coupling in more details as follow:First, we begin with a general introductions for artificial intelligence, machine learning, artificial neural network and photonic neural networks. To establish a working neural network, learning rules are an essential part to optimize a configuration for obtaining a low error from the system, hence learning rules are introduced (Chapter 1). We investigate the fundamental concepts of diffractive coupling in our spatio-temporal reservoir. In that case, theory of diffraction is explained. We use an analytical scheme to provide the limits for the size of diffractive networks which is a part of our photonic neural network (Chapter 2). The concepts of diffractive coupling are investigated experimentally by two different experiments to confirm the analytical limits and to obtain maximum number of nodes which can be coupled in the photonic network (Chapter 3). Numerical simulations for such an experimental setup is modeled in two different schemes to obtain the maximum size of network numerically, which approaches a surface of 100 mm2 (Chapter 4). Finally, the complete photonic neural network is demonstrated. We design a spatially extended reservoir for 900 nodes. Consequently, our system generalizes the prediction for the chaotic Mackey–Glass sequence (Chapter 5)
31
Ouali, Jamel. "Architecture intégrée flexible pour réseaux de neurones." Grenoble INPG, 1991. http://www.theses.fr/1991INPG0035.
Full textAbstract:
Ayant rappelé brièvement quelques réalisations matérielles de réseaux de neurones artificiels dans un premier chapitre cette thèse propose une architecture distribuée, synchrone fondée sur l'existence d'un processeur neurone autonome. Ce processeur pourra être personnalise suivant les caractéristiques du réseaux de neurones a implanter et pourra être connecte a d'autres neurones pour former un réseau de structure et de dimension fixées. Ce neurone se présente comme un circuit dédié fabrique dans un temps court dans un environnement du type compilateur de silicium. Un tel neurone a été conçu et fabrique et s'est avéré complètement opérationnel. Il implémenté sous sa version fabrique uniquement la phase de relaxation. Dans un troisième chapitre, on montre que sans modification de l'architecture, on peut inclure des possibilités d'apprentissage. Pour ceci un algorithme d'apprentissage par la rétropropagation du gradient a été propose et étudié et on montre son implantation sur le réseau de neurones propose en précisant l'adjonction dans la partie de contrôle du neurone a implanter. Enfin, dans un dernier chapitre, nous explorons la possibilité de réaliser de très grands circuits ce qui serait très judicieux pour faire face a la taille des réseaux de neurones requise pour les applications. Pour ceci, nous explorons les possibilités d'intégration tranche entière. En effet, il existe une tolérance aux fautes intrinsèques au calcul neuronal et de plus l'implantation physique régulière doit permettre d'isoler et d'exclure les neurones défaillants. Les possibilités d'implantation physique d'une architecture tranche entière sont donc présentées dans ce chapitre
32
Bigot, Pascal. "Utilisation des réseaux de neurones pour la télégestion des réseaux techniques urbains." Lyon 1, 1995. http://www.theses.fr/1995LYO10036.
Full textAbstract:
La telegestion des reseaux techniques urbains fait appel a des techniques de reconnaissance de formes: etant donnee une image de l'etat du reseau, determiner si il fonctionne correctement ou non. Une methode employee pour resoudre ce type de probleme fait appel aux reseaux de neurones. Nous definissons une methodologie de construction de l'architecture employee afin d'obtenir des capacites de generalisation satisfaisantes. On s'oriente vers un reseau multicouches et l'algorithme de retropropagation du gradient. Nous precisons aussi une methodologie d'elaboration des bases d'apprentissage qui tienne compte de la nature numerique des donnees utilisees et, en particulier, des sources d'incertitudes qui les caracterisent. Celles-ci sont d'ordre physique (erreurs dues a l'imprecision des mesures et a la presence de bruit) et d'ordre statistique (erreurs dues a des previsions de grandeurs non mesurables). La methode utilisee suppose que l'on peut mesurer tous les parametres necessaires a sa mise en uvre. Ce qui n'est pas le cas dans la pratique. C'est pourquoi nous explorons differentes techniques de selection des parametres mesures et nous etudions les degradations eventuelles des capacites de detection. Nous etudions ensuite un systeme de localisation geographique des anomalies qui utilise les reseaux de neurones. On en montre les limitations. Cette approche est experimentee sur un reseau de distribution d'eau potable. Nous developpons d'autre part une etude theorique sur les relations qui existent entre les fonctions calculables par un reseau de neurones et celles qui sont calculables par un arbre binaire de decision. Ceci nous conduit a des algorithmes d'apprentissage pour des reseaux de neurones dont l'architecture (le nombre de neurones par couches) est variable
33
Koiran, Pascal. "Puissance de calcul des réseaux de neurones artificiels." Lyon 1, 1993. http://www.theses.fr/1993LYO19003.
Full textAbstract:
Depuis quelques annees on s'est beaucoup interesse a la resolution de problemes d'ingenierie avec des reseaux de neurones artificiels (par exemple en reconnaissance de formes, robotique, prediction de series temporelles, optimisation. . . ). La plupart de ces travaux sont de nature empirique, et ne comportent que peu ou pas du tout d'analyse mathematique rigoureuse. Cette these se situe dans une perspective tout-a-fait differente: il s'agit d'etudier les relations entre les reseaux de neurones et les modeles de calculs classiques ou moins classiques de l'informatique theorique (automates finis, machines de turing, circuits booleens, machines de turing reelles de blum, shub et smale). Les principaux resultats sont les suivants: 1) simulation d'une machine de turing universelle par des reseaux recurrents; 2) etude generale de la puissance de calcul des systemes dynamiques definis par des iterations de fonctions, notamment en petites dimensions; 3) etude de modeles de calculs sur les nombres reels, avec application aux reseaux recurrents et acycliques. On montre que la classe des fonctions (discretes) calculables en temps polynomial est p/poly
34
Graïne, Slimane. "Inférence grammaticale régulière par les réseaux de neurones." Paris 13, 1994. http://www.theses.fr/1994PA132020.
Full textAbstract:
Dans cette thèse, nous proposons: - une méthode pour la simulation des automates finis par les réseaux de neurones (chapitre 4), - une méthode pour la reconnaissance des grammaires hors contexte et des grammaires stochastiques hors contexte par les réseaux de neurones (chapitre (5), - deux méthodes pour l'apprentissage des langages réguliers par les réseaux de neurones (chapitre 6). Les chapitres 2 et 3 présentent respectivement les réseaux de neurones et le problème de l'inférence grammaticale. Les chapitres 1 et 7 respectivement consacrés à l'introduction et à la conclusion.
35
Le, Fablec Yann. "Prévision de trajectoires d'avions par réseaux de neurones." Toulouse, INPT, 1999. http://www.theses.fr/1999INPT034H.
Full textAbstract:
La prévision de trajectoires d'avions est un problème crucial pour les systèmes de gestion du traffic aérien. Des méthodes de prévision utilisant des modélisations d'avion existent déjà mais nécessitent beaucoup de paramètres en n'offrant qu'une précision moyenne. C'est pourquoi nous développons une nouvelle approche nútilisant que peu d'informations initiales. La méthode choisie est basée sur l'utilisation de réseaux de neurones auxquels on fait apprendre un ensemble de trajectoires avant de les utiliser pour en prédire de nouvelles. Nous développons trois méthodes différentes qui permettent une prédiction à long terme dans le plan vertical et à court et moyen terme dans le plan horizontal. L'une d'elles est capable d'intégrer de nouvelles données au fur et à mesure que l'avion vole, ce qui lui permet de réagir aux éventuels changements de trajectoire et ainsi de parfaire la prévision. Les deux autres réalisent la prédiction même lorsque l'avion ne vole pas. Nous introduisons aussi une structure de type mélange hiérarchique d'experts qui permet de regrouper le savoir emmagaziné dans plusieurs réseaux, ainsi, il est possible de se passer de la connaissance du type d'avion étudié. Les méthodes utilisant des réseaux de neurones sont ensuite comparées aux méthodes à base de modèles avion. Nous montrons alors que les réseaux de neurones donnent de bien meilleurs résultats tout en permettant une prédiction très rapide. De plus, ne nécessitant que très peu de paramètres au départ, ils sont applicables sur un plus grand nombre de cas.
36
Corne, Christophe. "Parallélisation de réseaux de neurones sur architecture distribuée." Mulhouse, 1999. http://www.theses.fr/1999MULH0583.
Full textAbstract:
Notre étude a pour objectif d'établir le rôle prépondérant que peuvent avoir les techniques parallèles dans la résolution de calculs complexes utilisant des réseaux de neurones. Nous présentons les différents modèles de réseaux de neurones afin d'évaluer leur adaptabilité au parallélisme et de retenir la meilleure méthode de parallélisation. La structure choisie est basée sur l'algorithme neuromimétique Self-Organizing Map (SOM). Nous parallélisons cet algorithme sur différents types de plate-formes à architecture distribuée, l'une d'entre elles étant un réseau de stations de travail. Nous présentons un réseau grossissant, auto-organisé dans sa généralité et détaillons la forme séquentielle de son algorithme fondateur. La parallélisation de ce dernier algorithme sur une architecture utilisant la norme SCI (Scalable Coherent Interface) comme moyen de communication nous permet de montrer l'intérêt à la fois d'un réseau d'ordinateurs comme ressources de calcul et de ce nouveau protocole à 1 Gigabit/s. Pour évaluer les performances de nos algorithmes et les faire fonctionner, nous avons dû soutirer la puissance optimale des matériels dont nous disposions. Nous avons constaté à cette occasion, que les ressources informatiques, prises dans leur ensemble, avaient un potentiel et une disponibilité en puissance de calcul largement inexploitée. Ces circonstances nous ont conduit à une réflexion sur l'optimisation des ressources informatiques et à la conception d'un logiciel de répartition des tâches, sur systèmes distribués. Nous détaillons le fonctionnement de ce logiciel nommé «ReTrop» et présentons succinctement ses débouchés industriels. Comme exemple d'utilisation de ce principe, nous présentons les résultats obtenus pour améliorer le choix des paramètres d'un réseau grossissant, auto-organisé.
37
He, Bing. "Estimation paramétrique du signal par réseaux de neurones." Lille 1, 2002. https://pepite-depot.univ-lille.fr/RESTREINT/Th_Num/2002/50376-2002-75.pdf.
Full text
38
Pompougnac, Hugo. "Spécification et compilation de réseaux de neurones embarqués." Electronic Thesis or Diss., Sorbonne université, 2022. http://www.theses.fr/2022SORUS436.
Full textAbstract:
Dans cette thèse, nous proposons une approche pour spécifier et compiler conjointement les aspects Calcul Haute Performance (HPC) et Temps-Réel Embarqué (RTE) d’un même système. Notre approche est fondée sur une intégration formelle, algorithmique et outillée entre deux formalismes sous-tendant une bonne partie des travaux en HPC et en RTE : le formalisme SSA et le langage flot de données synchrone Lustre. Le formalisme SSA est au cœur de bon nombre de compilateurs HPC, dont ceux employés par les frameworks d'apprentissage machine tels TensorFlow ou PyTorch. Le langage Lustre est au cœur des processus de mise en œuvre de systèmes embarqués critiques dans l’avionique, ou encore le rail<br>In this thesis, we propose an approach for the joint specification and compilation of both High-Performance Computing (HPC) and Real-Time Embedded (RTE) aspects of a system. Our approach is based on a formal, algorithmic and tooled integration between two formalisms underlying a large part of works in HPC and RTE fields: the SSA formalism and the synchronous dataflow language Lustre. The SSA formalism is a key component of many HPC compilers, including those used by Machine Learning frameworks such as TensorFlow or PyTorch. The Lustre language is a key component of implementation processes of critical embedded systems in avionics or rail transportation
39
Bénédic, Yohann. "Approche analytique pour l'optimisation de réseaux de neurones artificiels." Phd thesis, Université de Haute Alsace - Mulhouse, 2007. http://tel.archives-ouvertes.fr/tel-00605216.
Full textAbstract:
Les réseaux de neurones artificiels sont nés, il y a presque cinquante ans, de la volonté de modéliser les capacités de mémorisation et de traitement du cerveau biologique. Aujourd'hui encore, les nombreux modèles obtenus brillent par leur simplicité de mise en œuvre, leur puissance de traitement, leur polyvalence, mais aussi par la complexité des méthodes de programmation disponibles. En réalité, très peu d'entre-elles sont capables d'aboutir analytiquement à un réseau de neurones correctement configuré. Bien au contraire, la plupart se " contentent " d'ajuster, petit à petit, une ébauche de réseau de neurones, jusqu'à ce qu'il fonctionne avec suffisamment d'exemples de la tâche à accomplir. Au travers de ces méthodes, dites " d'apprentissages ", les réseaux de neurones sont devenus des boîtes noires, que seuls quelques experts sont effectivement capables de programmer. Chaque traitement demande en effet de choisir convenablement une configuration initiale, la nature des exemples, leur nombre, l'ordre d'utilisation, ... Pourtant, la tâche finalement apprise n'en reste pas moins le résultat d'une stratégie algorithmique implémentée par le réseau de neurones. Une stratégie qui peut donc être identifiée par le biais de l'analyse, et surtout réutilisée lors de la conception d'un réseau de neurones réalisant une tâche similaire, court-circuitant ainsi les nombreux aléas liés à ces méthodes d'apprentissage. Les bénéfices de l'analyse sont encore plus évidents dans le cas de réseaux de neurones à sortie binaire. En effet, le caractère discret des signaux traités simplifie grandement l'identification des mécanismes mis en jeu, ainsi que leur contribution au traitement global. De ce type d'analyse systématique naît un formalisme original, qui décrit la stratégie implémentée par les réseaux de neurones à sortie binaire de façon particulièrement efficace. Schématiquement, ce formalisme tient lieu d'" état intermédiaire " entre la forme boîte noire d'un réseau de neurones et sa description mathématique brute. En étant plus proche des modèles de réseaux de neurones que ne l'est cette dernière, il permet de retrouver, par synthèse analytique, un réseau de neurones effectuant la même opération que celui de départ, mais de façon optimisée selon un ou plusieurs critères : nombre de neurones, nombre de connexions, dynamique de calcul, etc. Cette approche analyse-formalisation-synthèse constitue la contribution de ces travaux de thèse.
40
Gatet, Laurent. "Intégration de Réseaux de Neurones pour la Télémétrie Laser." Phd thesis, Toulouse, INPT, 2007. http://oatao.univ-toulouse.fr/7595/1/gatet.pdf.
Full textAbstract:
Grandes lignes : Un réseau de neurones est une architecture paramétrable composée de plusieurs modules appelés neurones. Ils peuvent être utilisés pour compenser des variations non souhaitées de certains phénomènes physiques ou pour effectuer des tâches de discrimination. Un réseau de neurones a été intégré en technologie CMOS basse tension pour être implanté au sein d'un télémètre laser par déphasage. Deux études ont été menées en parallèle. La première consiste à lever l'indétermination sur la mesure de distance déduite de la mesure de déphasage. La seconde étude permet la classification de différents types de surfaces à partir de deux signaux issus du télémètre. Résumé détaillé : Un réseau de neurones a la faculté de pouvoir être entraîné afin d'accomplir une tâche d'approximation de fonction ou de classification à partir d'un nombre limité de données sur un intervalle bien défini. L'objectif de cette thèse est de montrer l'intérêt d'adapter les réseaux de neurones à un type de système optoélectronique de mesure de distance, la télémétrie laser par déphasage. La première partie de ce manuscrit développe de manière succincte leurs diverses propriétés et aptitudes, en particulier leur reconfigurabilité par l'intermédiaire de leurs paramètres et leur capacité à être intégré directement au sein de l'application. La technique de mesure par télémétrie laser par déphasage est développée dans le deuxième chapitre et comparée à d'autres techniques télémétriques. Le troisième chapitre montre qu'un réseau de neurones permet d'améliorer nettement le fonctionnement du télémètre. Une première étude met en valeur sa capacité à accroître la plage de mesure de distance sans modifier la résolution. Elle est réalisée à partir de mesures expérimentales afin de prouver le réel intérêt de la méthode comportementale développée. La deuxième étude ouvre une nouvelle perspective relative à l'utilisation d'un télémètre laser par déphasage, celle d'effectuer la classification de différents types de surfaces sur des plages de distances et d'angles d'incidence variables. Pour valider expérimentalement ces deux études, les cellules de base du neurone de type perceptron multi-couches ont été simulées puis implantées de manière analogique. Les phases de simulation, de conception et de test du neurone analogique sont détaillées dans le quatrième chapitre. Un démonstrateur du réseau de neurones global a été réalisé à partir de neurones élémentaires intégrés mis en parallèle. Une étude de la conception des mêmes cellules en numérique est détaillée succinctement dans le cinquième chapitre afin de justifier les avantages associés à chaque type d'intégration. Le dernier chapitre présente les phases d'entraînement et de validation expérimentales du réseau intégré pour les deux applications souhaitées. Ces phases de calibrage sont effectuées extérieurement à l'ASIC, par l'intermédiaire de l'équation de transfert déterminée après caractérisation expérimentale et qualification du réseau de neurones global. Les résultats expérimentaux issus de la première étude montrent qu'il est possible d'obtenir à partir des signaux de sorties du télémètre et du réseau de neurones, une mesure de distance de précision (50µm) sur un intervalle de mesure 3 fois plus important que celui limité à la mesure du déphasage. Concernant l'application de discrimination de surfaces, le réseau de neurones analogique implanté est capable de classer quatre types de cibles sur l'intervalle [0.5m ; 1.25m] pour un angle d'incidence pouvant varier de - π /6 à + π /6.
41
Robitaille, Benoît. "Contrôle adaptatif par entraînement spécialisé de réseaux de neurones." Thesis, National Library of Canada = Bibliothèque nationale du Canada, 1997. http://www.collectionscanada.ca/obj/s4/f2/dsk2/ftp02/NQ35778.pdf.
Full text
42
Ducom, Jean-Christophe. "Codage temporel et apprentissage dans les réseaux de neurones." Aix-Marseille 1, 1996. http://www.theses.fr/1996AIX11041.
Full textAbstract:
Nous rappelons dans un premier temps quelques bases de neurobiologie sur les caracteristiques et les proprietes du neurone, ainsi que sur l'organisation generale des neurones dans le cerveau. Ceci nous amene par la suite a reconsiderer les modeles classiques de reseaux de neurones formels, a cause de leur manque de realisme et de leur incapacite a resoudre certains problemes, tels que la segmentation et le liage d'attributs visuels. Or, de recentes experiences sur le traitement de stimuli par le cortex visuel exhibent un nouveau type de codage de l'information, base sur les relations temporelles entre les differents potentiels d'action (en particulier la synchronisation de leurs temps d'emission), et non plus sur la frequence de decharge des neurones. A partir de la variante de codage temporel de s. Thorpe, nous proposons un modele de presynchronisation d'activite neuronale reposant sur un couplage diffusif entre neurones et sur un signal inhibiteur. Nous etudions les proprietes d'un tel reseau de neurones realistes, de type integrateur a seuil avec fuite, suivant differents types de signal d'entree et de bruit. Dans une seconde partie, nous etudions les consequences de l'introduction du temps pour l'apprentissage: les temps de transmission du signal entre neurones sont pris en compte. Apres avoir rappele les principaux resultats experimentaux sur l'apprentissage, ceux-ci permettant de degager certaines contraintes biologiques, nous proposons une loi de modification des efficacites synaptiques. Elle permet au reseau de conserver et de recuperer une suite de configurations d'activite spatio-temporelle. Enfin, nous etudions ses proprietes lorsque certaines contraintes de normalisation lui sont imposees au niveau des variations des poids synaptiques ; on montre alors que le comportement du reseau est different selon la maniere utilisee pour realiser ces contraintes
43
Benaïm, Michel. "Dynamiques d'activation et dynamiques d'apprentissage des réseaux de neurones." Toulouse, ENSAE, 1992. http://www.theses.fr/1992ESAE0001.
Full textAbstract:
L'objet principal de cette these est d'etudier de facon rigoureuse un modele temps-reel de reseau de neurones. La description mathematique complete d'un modele temps-reel requiert la donnee de trois dynamiques: la dynamique d'activation ou dynamique des memoires a court terme qui determine l'evolution des etats d'activation des unites. La dynamique des poids ou dynamique des memoires a long terme qui determine l'evolution des vecteurs poids selon une regle d'apprentissage ou un mecanisme d'auto-organisation. Une dynamique exogene qui decrit l'evolution des stimuli exterieurs au reseau et que nous representerons par un processus aleatoire. Aussi l'evolution du reseau est donnee par un systeme dynamique non autonome couple, dans le produit cartesien de l'espace d'activation par l'espace des poids. Avec ce formalisme, nous etudions un modele de reseau qui peut etre vu comme une version temps-reel des cartes auto-organisatrices de kohonen et plus generalement d'une classe de reseaux utilises comme modules elementaires dans des architectures evoluees (art, neocognitron,. . . )
44
Aupetit, Michaël. "Approximation de variétés par réseaux de neurones auto-organisés." Grenoble INPG, 2001. http://www.theses.fr/2001INPG0128.
Full textAbstract:
Les problèmes de discrimination, de classification, d'approximation de fonctions, de diagnostic ou de commande qui se posent notamment dans le domaine du génie industriel, peuvent se ramener à un problème d'approximation de variétés. Nous proposons une méthode d'approximation de variétés sous-jacentes à une distribution de données, basée sur une approche connexionniste auto-organisée et procédant en trois étapes : un positionnement de représentants de la distribution par des techniques de quantification vectorielle permet d'obtenir un modèle discret, un apprentissage de la topologie de cette distribution par construction de la triangulation induite de Delaunay selon un algorithme d'apprentissage compétitif donne un modèle linéaire par morceaux, et une interpolation non linéaire mène à un modèle non linéaire des variétés. Notre première contribution concerne la définition, l'étude des propriétés géométriques et la proposition d'algorithmes de recherche d'un nouveau type de voisinage "[gamma]-Observable" alliant des avantages du voisinage des k-plus-proches-voisins et du voisinage naturel, utilisable en grande dimension et en quantification vectorielle. Notre seconde contribution concerne une méthode d'interpolation basée sur des "noyaux de Voronoi͏̈" assurant la propriété d'orthogonalité nécessaire à la modélisation de variétés, avec une complexité de calcul équivalente ou plus faible que les méthodes d'interpolation existantes. Cette technique est liée au voisinage [gamma]-Observable et permet de construire différents noyaux gaussiens utilisés dans les réseaux RBFs. Les outils développés dans cette approche originale sont appliqués en approximation de fonctions pour l'identification d'un préhenseur électropneumatique, en approximation de variétés, et en discrimination et analyse de données. Il est notamment montré qu'il est intéressant d'utiliser les voisins 0. 5-observables pour définir les points frontières entre classes et affecter les éléments à leur classe d'appartenance.
45
Jiang, Fei. "Optimisation de la topologie de grands réseaux de neurones." Paris 11, 2009. http://www.theses.fr/2009PA112211.
Full textAbstract:
Dans cette thèse, nous présentons notre étude concernant l'influence de la topologie sur les performances d'apprentissage des réseaux de neurones à topologie complexe. Trois réseaux de neurones différents ont été étudiés : le classique « Self-Organizing Maps » (SOM) avec topologie non-régulière complexe, le « Echo States Network » (ESN) et le « Standard Model Features » (SMF). Dans chaque cas, nous avons commencé par comparer les performances de différentes topologies pour la même tâche. Nous avons ensuite essayé d'optimiser la topologie de certains réseaux de neurones afin d'améliorer ces performances. La première partie traite des Cartes Auto-Organisatrices (SOMs) et la tâche est la classification des chiffres manuscrits de la base de MNIST. Nous montrons que la topologie a un faible impact sur les performances et la robustesse aux défaillances du neurone, du moins pour l'apprentissage à longue durée. La performance peut cependant être améliorée de près de 10% par évolution artificielle de la topologie du réseau. Dans nos conditions expérimentales, les réseaux évolués sont "plus aléatoires" que les réseaux de départ, et affichent une distribution des degrés plus hétérogène. Dans la seconde partie, on propose d'appliquer CMA-ES, la méthode "état de l'art" pour l'optimisation évolutionnaire continue, à l'apprentissage évolutionnaire des paramètres d'un Echo States Network. Sont ainsi optimisés les poids de sortie, bien sûr, mais aussi, le Rayon Spectral et/ou les pentes de la fonction d'activation des neurones). Tout d'abord, un problème standard d'apprentissage supervisé est utilisée pour valider l'approche et la comparer à celle d'origine. Mais la flexibilité de l'optimisation évolutionnaire nous permet d'optimiser non seulement les poids de sortie, mais également, ou alternativement, les autre paramètres des ESN, menant parfois à des résultats améliorés. Le problème classique de l'équilibre du « double pôle » est utilisé pour démontrer la faisabilité de l'apprentissage par renforcement évolutionnaire des ESN. Nous montrons que l'ESN évolutionaire obtient des résultats qui sont comparables à ceux des meilleures méthodes de l'apprentissage de topologie et de l'évolution de neurones. Enfin, la dernière partie présente notre recherche initiale de la SMF - un modèle de reconnaissance d'objets visuels qui est inspirée par le cortex visuel. Deux versions basées sur SMF sont appliquées au problème posé dans un des Challenges PASCAL – Visual multi-Object Challenge (VOC2008). Notre but sur le long terme est de trouver la topologie optimale du modèle SMF, mais le coût de calcul est pour l'instant trop important pour optimiser la topologie complète directement. Dans un premier temps, donc, nous appliquons un algorithme évolutionnaire pour sélectionner automatiquement les caractèristiques utilisés par les systèmes. Nous montrons que, pour le défi VOC2008, avec seulement 20% caractèristiques choisies, le système fonctionne aussi bien qu'avec la totalité des 1000 caractèristiques choisies au hasard<br>In this dissertation, we present our study regarding the influence of the topology on the learning performances of neural networks with complex topologies. Three different neural networks have been investigated: the classical Self-Organizing Maps (SOM) with complex graph topology, the Echo States Network (ESN) and the Standard Model Features(SMF). In each case, we begin by comparing the performances of different topologies for the same task. We then try to optimize the topology of some neural network in order to improve such performance. The first part deals with Self-Organizing Maps, and the task is the standard classification of handwritten digits from the MNIST database. We show that topology has a small impact on performance and robustness to neuron failures, at least at long learning times. Performance may however be increased by almost 10% by artificial evolution of the network topology. In our experimental conditions, the evolved networks are more random than their parents, but display a more heterogeneous degree distribution. In the second part, we propose to apply CMA-ES, the state-of-the-art method in evolutionary continuous parameter optimization, to the evolutionary learning of the parameters of an Echo State Network (the Readout weights, of course, but also, Spectral Radius, Slopes of the neurons active function). First, a standard supervised learning problem is used to validate the approach and compare it to the original one. But the flexibility of Evolutionary optimization allows us to optimize not only the outgoing weights but also, or alternatively, other ESN parameters, sometimes leading to improved results. The classical double pole balancing control problem is used to demonstrate the feasibility of evolutionary reinforcement learning of ESN. We show that the evolutionary ESN obtain results that are comparable with those of the best topology-learning neuro-evolution methods. Finally, the last part presents our initial research of the SMF - a visual object recognition model which is inspired by the visual cortex. Two version based on SMF are applied to the PASCAL Visual multi-Object recognition Challenge (VOC2008). The long terms goal is to find the optimal topology of the SMF model, but the computation cost is however too expensive to optimize the complete topology directly. So as a first step, we apply an Evolutionary Algorithm to auto-select the feature used by the systems. We show that, for the VOC2008 challenge, with only 20% selected feature, the system can perform as well as with all 1000 randomly selected feature
46
Alvado, Ludovic. "Neurones artificiels sur silicium : une évolution vers les réseaux." Bordeaux 1, 2003. http://www.theses.fr/2003BOR12674.
Full textAbstract:
Cette thèse décrit une nouvelle approche pour la modélisation de réseaux de neurones biologiques. Cette approche utilise des circuits intégrés analogiques spécifiques (ASIC) dans lesquels le formalisme de Hodgkin-Huxley est implémenté dans le but de réaliser des réseaux de neurones artificiels de densité moyenne et biologiquement réaliste. Elle aborde aussi les problèmes de disparités entre composants et le choix d’une structure optimisée pour l’utilisation en réseau<br>This thesis describes a new approach for modelling biological neuron networks. This approach uses analogue specific integrated circuit (ASIC) in which Hodgkin-Huxley formalism as been implemented to integrate medium density artificial neural network, modelled at a biological realistic level. This thesis also deals with the component mismatches problem and the pertinent choice of optimized structure dedicated to network applications
47
Biela, Philippe. "Classification automatique d'observations multidimensionnelles par réseaux de neurones compétitifs." Lille 1, 1999. https://pepite-depot.univ-lille.fr/LIBRE/Th_Num/1999/50376-1999-469.pdf.
Full textAbstract:
L'objet du travail présenté dans ce mémoire est la classification d'observations multidimensionnelles à l'aide d'outils connexionistes appelés réseaux de neurones compétitifs. Le premier chapitre expose les principales techniques dites classique dédiées à la classification automatique d'un ensemble d'observations. Le second chapitre positionne le champ d'investigation de nos recherches dans le domaine de la classification automatique par réseaux de neurones. Nous y présentons quelques développements récents faits en classification dans le domaine cognitif en distinguant les techniques probabilistes utilisant une approche statistique et celles dédiées au domaine métrique avec une approche itérative. Le troisième chapitre présente dans le détail l'architecture et les spécificités comportementales de l'outil que nous avons développé à des fins de classification : le réseau de neurones compétitif. Enfin, le dernier chapitre montre comment, par l'action simultanée et coopérative des réseaux compétitifs, nous pouvons engendrer une action de classification cohérente parmi un ensemble d'observations disponibles d'origines inconnues. Pour illustrer et valider notre méthode nous utilisons différents échantillons d'observations issus de la simulation ou d'applications réelles comme le contrôle qualité de bouteilles en verre par vision artificielle.
48
Elhor, Noureddine. "Suivi de fonctionnement d'une éolienne par réseaux de neurones." Lille 1, 2000. https://pepite-depot.univ-lille.fr/LIBRE/Th_Num/2000/50376-2000-57.pdf.
Full textAbstract:
Nous presentons une approche de suivi de fonctionnement d'un systeme aerogenerateur par analyse des signaux de vibration observes sur des fenetres temporelles glissantes. En particulier, nous sommes interesses par la surveillance du multiplicateur et de la generatrice elements sensibles sur lesquels nous avons installe des capteurs de vibration. Puisqu'il est difficile voire dangereux de creer des defauts sur une machine en pleine production, les signaux qui nous ont ete disponibles sont ceux du fonctionnement normal. Notre demarche a consiste alors a caracteriser ce fonctionnement par des spectres d'energie calcules sous differentes conditions. Nous justifions cette demarche par le fait que l'eolienne est une machine tournante et il est important de connaitre et verifier la presence de certaines frequences caracteristiques de certains elements de la machine. Les spectres extraits ont ete reduits a un nombre limite de bandes d'energies realisant ainsi des gabarits. Ces spectres reduits ont constitue les entrees et les sorties de reseaux de neurones autoassociateurs. Ce type de reseaux assure une double fonction : une projection non lineaire plane obtenue sur sa couche centrale et une estimation du spectre de fonctionnement normal en sortie<br>La projection non lineaire offre une visualisation plane des donnees alors que les comparaisons entre les sorties estimees et reelles generent des residus permettant de verifier si le spectre courant a devie ou non du fonctionnement normal memorise par le reseau. Pour valider notre etude, nous avons teste les performances du reseau sur des donnees en fonctionnement normal acquis dans des situations differentes de celles de la base d'apprentissage et sur des situations correspondant a des defauts simules type balourd. Ce type de defauts se manifeste par l'apparition d'une frequence et ses harmoniques dans le spectre d'energie. Dans les deux situations, les resultats obtenus par le reseau ont ete quantifies et se sont reveles satisfaisants. Nous avons exploite, par ailleurs, un reseau modulaire a apprentissage supervise pour la discrimination entre deux situations : le fonctionnement normal et la presence d'un defaut type balourd d'une amplitude minimale fixee. Les performances du reseau ont ete testees sur des defauts d'amplitudes differentes. Souvent les methodes de diagnostic sont appliquees sur des bancs d'essais dans des conditions de laboratoire controlees. Notre demarche est d'autant plus importante que nous surveillons une machine reelle en pleine production
49
Chakik, Fadi El. "Maximum d'entropie et réseaux de neurones pour la classification." Grenoble INPG, 1998. http://www.theses.fr/1998INPG0091.
Full textAbstract:
Cette these s'inscrit dans le cadre de la classification. Elle porte particulierement sur l'etude des methodes basees sur le principe du maximum d'entropie (maxent). Ces approches ont ete utilisees dans le laboratoire leibniz, par exemple, pour apprendre des comportements a un robot autonome. Le but du travail a ete de comparer cette approche a celles basees sur des reseaux de neurones. Une analyse theorique de la classification a permis de montrer qu'il existe une equivalence entre le maxent et l'apprentissage hebbien des reseaux neuronaux. Apprendre les valeurs des poids de ces derniers est equivalent a apprendre les valeurs moyennes de certains observables du maxent. L'inclusion de nouveaux observables permet d'apprendre a apprendre avec des regles d'apprentissage plus performantes dans le cadre des reseaux de neurones. Le maxent a ete applique a deux problemes particuliers : la classification des ondes de breiman (probleme standard en apprentissage), et la reconnaissance de textures d'images spot. Ces applications ont montre que le maxent permet d'atteindre des performances comparables, voire meilleures, que les methodes neuronales. La robustesse du code du maxent mis au point au cours de cette these est en train d'etre etudiee dans le laboratoire tima. Il est prevu qu'il soit telecharge sur un satellite americain (projet mptb), pour l'evaluer en presence de rayonnements ionisants, dans la perspective de faire des traitements d'images en systemes embarques.
50
Demartines, Pierre. "Analyse de données par réseaux de neurones auto-organisés." Grenoble INPG, 1994. http://www.theses.fr/1994INPG0129.
Full textAbstract:
Chercher a comprendre des donnees, c'est souvent chercher a trouver de l'information cachee dans un gros volume de mesures redondantes. C'est chercher des dependances, lineaires ou non, entre les variables observees pour pouvoir resumer ces dernieres par un petit nombre de parametres. Une methode classique, l'analyse en composantes principales (acp), est abondamment employee dans ce but. Malheureusement, il s'agit d'une methode exclusivement lineaire, qui est donc incapable de reveler les dependances non lineaires entre les variables. Les cartes auto-organisantes de kohonen sont des reseaux de neurones artificiels dont la fonction peut etre vue comme une extension de l'acp aux cas non-lineaires. L'espace parametrique est represente par une grille de neurones, dont al forme, generaleent carree ou rectangulaire, doit malheureusement etre choisie a priori. Cette forme est souvent inadaptee a celle de l'espace parametriue recherche. Nous liberons cette contrainte avec un nouvel algorithme, nomme vector quantization and projection (vqp), qui est une sorte de carte auto-organisante dont l'espace de sortie est continu et prend automatiquement la forme adequate. Sur le plan mathematique, vqp peut etre defini comme la recherche d'un diffeomorphisme entre l'espace brute des donnees et un espace parametrique inconnu a trouver. Plus intuitivement, il s'agit d'un depliage de la structure des donnees vers un espace de plus petite dimension. Cette dimension, qui correspond au nombre de degres de liberte du phenomene etudie, peut etre determinee par des methodes d'analyse fractale du nuage de donnees. Afin d'illustrer la generalite de l'approche vqp, nous donnons une serie d'exemples d'applications, simulees ou reelles, dans des domaines varies qui vont de la fusion de donnees a l'appariement de graphes, en passant par l'analyse ou la surveillance de procedes industriels, la detection de defauts dans des machines ou le routage adaptatif en telecommunications