Добірка наукової літератури з теми "Memory (Artificial)"

La plupart des algorithmes ABE exploitent les informations contextuelles ou la mémoire capturée via l'utilisation de caractéristiques statiques ou dynamiques extraites de trames de parole voisines. L'utilisation de la mémoire entraîne des caractéristiques dimensionnelles plus élevées et une complexité informatique accrue. Lorsque les informations provenant de trames de prévisualisation sont également utilisées, la latence augmente également. Les travaux antérieurs montrent l'avantage pour ABE d'exploiter la mémoire sous la forme d'entités dynamiques avec un modèle de régression standard. Même dans ce cas, la littérature manque d'une analyse quantitative de l'avantage relatif de l'inclusion de mémoire explicite. La recherche présentée dans cette thèse évalue dans quelle mesure la mémoire explicite est utile et rapporte en outre un certain nombre de techniques différentes qui permettent son inclusion sans augmentation significative de la latence et de la complexité de calcul. Les avantages sont démontrés à la fois par une analyse quantitative avec une mesure basée sur la théorie de l'information et par des tests d'écoute subjectifs. Les principales contributions concernent la préservation de l'efficacité des calculs grâce à l'utilisation de la réduction de dimensionnalité sous la forme d'une analyse en composantes principales, d'auto-encodeurs superposés semi-supervisés et d'auto-encodeurs variationnels conditionnels. Les deux dernières techniques optimisent la réduction de la dimensionnalité pour offrir une performance ABE supérieure<br>Most ABE algorithms exploit contextual information or memory captured via the use of static or dynamic features extracted from neighbouring speech frames. The use of memory leads to higher dimensional features and increased computational complexity. When information from look-ahead frames is also utilised, then latency also increases. Past work points toward the benefit to ABE of exploiting memory in the form of dynamic features with a standard regression model. Even so, the literature is missing a quantitative analysis of the relative benefit of explicit memory inclusion. The research presented in this thesis assesses the degree to which explicit memory is of benefit and furthermore reports a number of different techniques that allow for its inclusion without significant increases to latency and computational complexity. Benefits are shown through both a quantitative analysis with an information-theoretic measure and subjective listening tests. Key contributions relate to the preservation of computational efficiency through the use of dimensionality reduction in the form of principal component analysis, semisupervised stacked autoencoders and conditional variational auto-encoders. The two latter techniques optimise dimensionality reduction to deliver superior ABE performance

De nos jours, l'ère du " More than Moore" a émergé comme une influence significative face aux limitations anticipées par la loi de Moore. Les systèmes informatiques explorent des technologies alternatives pour maintenir et améliorer les performances. Cette idée émergé pour résoudre les défis des systèmes électroniques inspirés des réseau biologiques, communément appelés Réseau Neurones Artificiels (ANN). L'utilisation des technologies emerging non-volatile memory (eNVM) est étudiée comme des alternatives prometteuses. Ces technologies offrent plusieurs avantages par rapport à la technologie CMOS traditionnelle, tels qu'une vitesse accrue, des densités plus élevées et une consommation d'énergie moindre. En conséquence, Compute-in-memory utilise les eNVM pour effectuer des calculs directement dans la mémoire, augmentant ainsi la capacité de mémoire et la vitesse de traitement. L'objectif de cette thèse se concentre sur la recherche de la conception de Réseau Neurones Artificiels en utilisant Compute-in-Memory, en employant des solutions matérielles efficaces pour les ANNs tant au niveau du circuit qu'au niveau de l'architecture. Les travaux de recherche récents dans ce contexte ont proposé des conceptions de circuits très efficaces pour optimiser les besoins de calcul énormes nécessaires au traitement des données par les ANNs. Ainsi, pour explorer les capacités d'un ANN au niveau du nœud de sortie, la conception de fonctions d'activation a été proposée. La sélection d'une fonction d'activation est significative car elle détermine la puissance et les capacités du réseau neuronal, et la précision des prédictions dépend principalement de ce choix. Pour évaluer l'efficacité d'une fonction d'activation conçue pour une implémentation analogique, les fonctions d'activation sigmoïde et softmax sont proposées. Cette thèse explore l'intégration de dispositifs mémoires émergents tels que la Spin-Transfer-Torque Magnetic Random Access Memory (STT-MRAM) avec la technologie CMOS. Cette approche combinée vise à tirer parti de la capacité intrinsèque de l'informatique en mémoire offerte par ces dispositifs. Perpendicular magnetic tunneling junction (MTJ) et des FinFET ont été pris en compte pour cette étude. Single-barrier (SMTJ) et double-barrier (DMTJ) sont considérés pour évaluer l'impact de la cellule STT-MRAM basée sur DMTJ par rapport à son homologue SMTJ conventionnel sur les performances d'un réseau neuronal à perceptrons multicouches (MLP) à deux couches. L'évaluation a été réalisée au moyen d'un cadre de simulation personnalisé, de niveaux de dispositif et de cellule jusqu'aux niveaux d'architecture mémoire et d'algorithme. De plus, pour améliorer l'efficacité énergétique d'une architecture Logic-in-Memory (LIM) basée sur les dispositifs STT-MTJ, une nouvelle architecture (SIMPLY+) issue de la logique Smart Material Implication (SIMPLY) et des technologies STT-MRAM basées sur MTJ perpendiculaires a été développée. Le schéma SIMPLY+ constitue une solution prometteuse pour le développement d'architectures informatiques en mémoire économes en énergie et fiables. Toutes les solutions de circuits ont été évaluées à l'aide de simulateurs de circuits commerciaux (par exemple, Cadence Virtuoso). L'activité de conception de circuits impliquant des dispositifs mémoires émergents a également nécessité l'utilisation et le calibrage de modèles compacts basés sur Verilog-A pour intégrer le comportement de ces dispositifs dans l'outil de conception de circuits. Les solutions présentées dans cette thèse impliquent des techniques qui offrent des avancées significatives pour les futures applications. Du point de vue de la conception, l'intégration de modules logiques avec la mémoire STT-MRAM est très réalisable en raison de la compatibilité transparente entre les STT-MRAM et les circuits CMOS. Cette approche est non seulement avantageuse pour la technologie CMOS standard, mais elle exploite également le potentiel des technologies émergentes<br>Nowadays, the era of ”More than Moore” has arisen as a significant influence in light of the limitations anticipated by Moore’s law. The computing systems are exploring alternative technologies to sustain and enhance performance improvements. The idea of alternative innovative technologies has emerged in solving challenges of electronic systems inspired by biological neural networks, commonly referred to as Artificial Neural Network (ANN). The use of emerging non-volatile memory (eNVM) technologies are being explored as promising alternatives. These technologies offer several advantages over traditional CMOS technology, such as increased speed, higher densities, and lower power consumption. As a result, Compute-in-memory employs eNVMs to perform computation within the memory itself, hence increasing memory capacity and processing speed. The objective of this thesis focuses on the research of Artificial Neural Networks design using Compute in Memory, by employing efficient hardware solutions for ANNs at both circuit- and architecture-level. Recent research work in this context has proposed very efficient circuit designs to optimize the enormous computational needs required by data processing by ANNs. Therefore, to explore the capabilities of an ANN at the output node, the design of activation functions were proposed. The selection of an activation function is significant as it determines the power and capabilities of the neural network, and the accuracy of predictions is primarily dependent on this choice. To assess the effectiveness of an activation function designed for analog implementation, the sigmoid and the softmax activation function are proposed. Besides, this thesis explores the integration of emerging memory devices like Spin-Transfer-Torque Magnetic Random Access Memory (STT-MRAM) with CMOS technology. This combined approach aims to leverage the intrinsic capability of in-memory computing offered by these devices. STT-MRAMs based on state-of-the-art perpendicular magnetic tunneling junction (MTJ) and FinFETs has been considered for this study. Single-barrier magnetic tunnel junction (SMTJ) and double-barrier magnetic tunnel junction (DMTJ) devices are considered to evaluate the impact of STT-MRAM cell based on DMTJ against the conventional SMTJ counterpart on the performance of a two-layer multilayer perceptron (MLP) neural network. The assessment was carried out through a customized simulation framework from device and bitcell levels to memory architecture and algorithm levels. Moreover, to improve the energy-efficiency of a Logic-in-Memory (LIM) architecture based on STT-MTJ devices, a new architecture (SIMPLY+) from the Smart Material Implication (SIMPLY) logic and perpendicular MTJ based STT-MRAM technologies was developed. The SIMPLY+ scheme is a promising solution for the development of energy-efficient and reliable in-memory computing architectures. All circuit solutions were evaluated using commercial circuit simulators (e.g. Cadence Virtuoso). Circuit design activity involving emerging memory devices also required the use and calibration of Verilog-A based compact models to integrate the behavior of such devices into the circuit design tool. The solutions presented in this thesis involve techniques that offer significant advancements for future applications. From a design perspective, the integration of logic modules with STT-MRAM memory is highly feasible due to the seamless compatibility between STT-MRAMs and CMOS circuits. This approach not only proves advantageous for standard CMOS technology but also leverages the potential of emerging technologies

My thesis traces the evolution of artificial memory systems from classical Greece to early modern England to explore memorial traumas and the complex nature of a very particular way of remembering. An artificial memory system is a methodology to improve natural memory. Classical artificial memory systems employ an architectural metaphor, emphasising regularity and striking imagery. Classical memory systems also frequently describe the memory as a blank page. This thesis follows the path of transmission of these ideas and the perennial relationship between memory and forgetting and memory and fiction, as well as the constant threat of memorial collapse.

This thesis investigates the way in which information about the structure of a set of training data with 'natural' characteristics may be used to positively influence the design of associative memory neural network models of the Hopfield type. This is done with a view to reducing the level of connectivity in models of this type. There are three strands to this work. Firstly, an empirical evaluation of the implementation of existing theory is given. Secondly, a number of existing theories are combined to produce novel network models and training regimes. Thirdly, new strategies for constructing and training associative memories based on knowledge of the structure of the training data are proposed. The first conclusion of this work is that, under certain circumstances, performance benefits may be gained by establishing the connectivity in a non-random fashion, guided by the knowledge gained from the structure of the training data. These performance improvements exist in relation to networks in which sparse connectivity is established in a purely random manner. This dilution occurs prior to the training of the network. Secondly, it is verified that, as predicted by existing theory, targeted post-training dilution of network connectivity provides greater performance when compared with networks in which connections are removed at random. Finally, an existing tool for the analysis of the attractor performance of neural networks of this type has been modified and improved. Furthermore, a novel, comprehensive performance analysis tool is proposed.

L'objectif de la recherche en Intelligence Artificielle (IA) est de répliquer les capacités cognitives humaines au moyen des ordinateurs modernes. Les résultats de ces dernières années semblent annoncer une révolution technologique qui pourrait changer profondément la société. Nous focalisons notre intérêt sur deux aspects cognitifs fondamentaux, l'apprentissage et la mémoire. Les mémoires associatives offrent la possibilité de stocker des éléments d'information et de les récupérer à partir d'une partie de leur contenu, et imitent ainsi la mémoire cérébrale. L'apprentissage profond permet de passer d'une perception analogique du monde extérieur à une représentation parcimonieuse et plus compacte. Dans le chapitre 2, nous présentons une mémoire associative inspirée des réseaux de Willshaw, avec une connectivité contrainte. Cela augmente la performance de récupération des messages et l'efficacité du stockage de l'information.Dans le chapitre 3, une architecture convolutive a été appliquée sur une tâche de lecture de mots partiellement affichés dans des conditions similaires à une étude de psychologie sur des sujets humains. Cette expérimentation montre la similarité de comportement du réseau avec les sujets humains concernant différentes caractéristiques de l'affichage des mots.Le chapitre 4 introduit une méthode de représentation des catégories par des assemblées de neurones dans les réseaux profonds. Pour les problèmes à grand nombre de classes, cela permet de réduire significativement les dimensions d'un réseau.Le chapitre 5 décrit une méthode d'interfaçage des réseaux de neurones profonds non supervisés avec les mémoires associatives à cliques<br>The objective of research in Artificial Intelligence (AI) is to reproduce human cognitive abilities by means of modern computers. The results of the last few years seem to announce a technological revolution that could profoundly change society. We focus our interest on two fundamental cognitive aspects, learning and memory. Associative memories offer the possibility to store information elements and to retrieve them using a sub-part of their content, thus mimicking human memory. Deep Learning allows to transition from an analog perception of the outside world to a sparse and more compact representation.In Chapter 2, we present a neural associative memory model inspired by Willshaw networks, with constrained connectivity. This brings an performance improvement in message retrieval and a more efficient storage of information.In Chapter 3, a convolutional architecture was applied on a task of reading partially displayed words under similar conditions as in a former psychology study on human subjects. This experiment put inevidence the similarities in behavior of the network with the human subjects regarding various properties of the display of words.Chapter 4 introduces a new method for representing categories usingneuron assemblies in deep networks. For problems with a large number of classes, this allows to reduce significantly the dimensions of a network.Chapter 5 describes a method for interfacing deep unsupervised networks with clique-based associative memories

A novel methodology allowed simultaneous investigation of three elements of bumblebee foraging behaviour: spatial encoding of flower position, landmark use, and scent marking. Bumblebees were presented with a row of artificial flowers in a flight cage, one flower offering reward (S+). Testing involved empty (i.e., unrewarding) flowers. In Experiment 1, flower covers presumed to be scent marked (old covers) were switched with one of the unmarked covers, or replaced with new, scent-mark-free covers. Results confirmed previous research: presence of old covers influenced response type rather than floral choice. Choice appeared to have been made using memory. In Experiment 2, the S- were moved during testing to change the relative position of the S+. New covers were used for half of the bees. The flower in the same absolute position (wrong relative position) as the S+ was consistently chosen, suggesting that the S- did not function as landmarks. Contrary to Experiment 1, old covers influenced flower choice. Experiment 3 replicated Experiments 1 and 2. Again, bees preferred absolute position, but results suggest relative position was encoded and influenced choice under certain circumstances. The effect of old vs. new covers continued to be inconsistent: choice means were higher with new covers, and probing often occurred on new covers. Finally, when flower array independent (FAI) information and memory for a flight vector were placed in conflict in Experiment 4, bees showed a bias for using FAI cues. Taken together, these experiments show that the definition of a landmark remains to be clarified, the role of scent marking remains elusive, and bumblebees showed a consistent bias for using FAI information to locate a goal. Contributions of this thesis are placed within the context of research with vertebrate species and natural bumblebee foraging behaviour.