Academic literature on the topic 'Rekurrent neural networks'

Zur Prognose des Langzeitverhaltens textilbetonverstärkter Tragwerke wird ein modellfreies Vorgehen auf Basis rekurrenter neuronaler Netze vorgestellt. Das Vorgehen ermöglicht die Prognose zeitveränderlicher Strukturantworten unter Berücksichtigung der gesamten Belastungsgeschichte. Mit unscharfen Größen aus Messungen an Versuchstragwerken werden rekurrente neuronale Netze trainiert. Anschließend ist die unscharfe Prognose des Tragverhaltens möglich.

Diese Arbeit ist ein erster Versuch, mit Modellbildung und mathematischer Analyse die Experimente zu verstehen, die zeigten, dass die Stimulation eines einzelnen Neurons im Cortex eine Verhaltensreaktion auslösen kann. Dieser Befund stellt die verbreitete Ansicht infrage, dass viele Neurone nötig sind, um Information zuverlässig kodieren zu können. Der Ausgangspunkt der vorliegenden Untersuchung ist die Stimulation einer zufällig ausgewählten Zelle in einem Zufallsnetzwerk exzitatorischer und inhibitorischer Neuronmodelle. Es wird dann nach einem plausiblen Ausleseverfahren gesucht, das die Einzelzellstimulation mit einer mit den Experimenten vergleichbaren Zuverlässigkeit detektieren kann. Das erste Ausleseschema reagiert auf Abweichungen vom spontanen Zustand in der Aktivität einer Auslesepopulation. Die Stimulation wird detektiert, wenn bei der Auswahl der Auslesepopulation denjenigen Neuronen ein Vorzug gegeben wird, die eine direkte Verbindung von der stimulierten Zelle bekommen. Im zweiten Teil der Arbeit wird das Ausleseschema erweitert, indem ein zweites Netzwerk als Ausleseschaltkreis dient. Interessanterweise erweist sich dieses Ausleseschema nicht nur als plausibler, sondern auch als effektiver. Diese Resultate basieren sowohl auf Simulationen als auch auf analytischen Rechnungen. Weitere Experimente zeigten, dass eine konstante Strominjektion einen Effekt auslöst, der kaum von Dauer und Intensität der Stimulation abhängt, der aber bei unregelmäßiger Stimulation zunimmt. Der letzte Teil der Arbeit befasst sich mit einer theoretischen Erklärung für diese Ergebnisse. Hierzu werden die biologischen Eigenschaften des Systems im Modell detaillierter beschrieben. Weiterhin wird die Funktionsweise des Ausleseschemas so modifiziert, dass es auf Veränderungen reagiert, anstatt den Input zu integrieren. Dieser Differenzierdetektor liefert Ergebnisse, die mit den Experimenten übereinstimmen, und könnte bei nichtstationärem Input vorteilhaft sein.
This thesis is a first attempt at developing a theoretical model of the experiments which show that the stimulation of a single cell in the cortex can trigger a behavioral reaction and that challenge the common belief that many neurons are needed to reliably encode information. As a starting point of the present work, one neuron selected at random within a random network of excitatory and inhibitory integrate-and-fire neurons is stimulated. One important goal of this thesis is to seek a readout scheme that can detect the single-cell stimulation in a plausible way with a reliability compatible with the experiments. The first readout scheme reacts to deviations from the spontaneous state in the activity of a readout population. When the choice of readout neurons is sufficiently biased towards those receiving direct links from the stimulated cell, the stimulation can be detected. In the second part of the thesis, the readout scheme is extended by employing a second network as a readout circuit. Interestingly, this new readout scheme is not only more plausible, but also more effective. These results are based both on numerical simulations of the network and on analytical approximations. Further experiments showed that the probability of the behavioral reaction is substantially independent of the length and intensity of the stimulation, but it increases when an irregular current is used. The last part of this thesis seeks a theoretical explanation for these findings. To this end, a recurrent network including more biological details of the system is considered. Furthermore, the functioning principle of the readout is modified to react to changes in the activity of the local network (a differentiator readout), instead of integrating the input. This differentiator readout yields results in accordance with the experiments and could be advantageous in the presence of nonstationarities.

Diese Dissertation beschäftigt sich mit drei relevanten Aufgabebereichen einer Zentralbank und untersucht die makroökonomische Prognose, die Analyse der Geldpolitik in einem makroökonomischen Modell und die Analyse des Währungssystems. Jedes dieser Phänomene wird mit Hilfe des passenden Modells nach Nichtlinearitäten untersucht. Der erste Teil der Dissertation zeigt, dass nichtlineare rekurrente neuronale Netze, eine Methode aus dem Bereich Maschinelles Lernen, die Standard-Methoden übertreffen können und präzise Vorhersagen der Inflation in 1 bis 12 Monaten liefern können. Der zweiter Teil analysiert eine nichtlineare Formulierung der monetären Taylor-Regel. Anhand der Schätzung eines nichtlinearen DSGE Modells wird gezeigt, dass die Taylor-Regel in den USA asymmetrisch ist. Die Zentralbank ergreift stärkere Maßnahmen, wenn die Inflation höher ist als die Zielinflation, und reagiert weniger wenn die Inflation niedriger als die Zielinflation ist. Gleicherweise ist die Reaktion der monetären Politik stärker bei zu geringem Produktionswachstum als bei zu hohem. Der dritte Teil der Dissertation formuliert ein theoretisches Modell, das für eine Analyse der digitalen dezentralen Währungen verwendet werden kann. Es werden die Bedingungen bestimmt, unter denen der Wettbewerb zwischen der Währung der Zentralbank und den digitalen Währungen einige Beschränkungen für die Geldpolitik darstellt.
This thesis addresses three topics that are relevant for the central bank policy design. It analyzes forecasting of the macroeconomic time series, accurate monetary policy formulation in a general equilibrium macroeconomic model and monitoring of the novel developments in the monetary system. All these issues are analyzed in a nonlinear framework with the help of a macroeconomic model. The first part of the thesis shows that nonlinear recurrent neural networks – a method from the machine learning literature – outperforms the usual benchmark forecasting models and delivers accurate inflation predictions for 1 to 12 months ahead. The second part of the thesis analyzes a nonlinear formulation of the Taylor rule. With the help of the nonlinear Bayesian estimation of a DSGE model it shows that the Taylor rule in the US is asymmetric. The central bank reacts stronger to inflation when it is above the target than when it is below the target. Similarly, the reaction to the output growth rate is stronger when the output growth is too weak than when it is too strong. The last part of the thesis develops a theoretical model that is suitable for the analysis of decentralized digital currencies. The model is used to derive the conditions, under which the competition between digital and fiat currencies imposes restrictions on the monetary policy design.

In der vorliegenden Arbeit werden rekurrente neuronale Netze im Hinblick auf ihre Eignung zur Bewegungssteuerung autonomer Roboter untersucht. Nacheinander werden Oszillatoren für Vierbeiner, homöostatische Ringmodule für segmentierte Roboter und monostabile Neuromodule für Roboter mit vielen Freiheitsgraden und komplexen Bewegungsabläufen besprochen. Neben dem mathematisch-theoretischen Hintergrund der Neuromodule steht in gleichberechtigter Weise deren praktische Implementierung auf realen Robotersystemen. Hierzu wird die funktionale Einbettung ins Gesamtsystem ebenso betrachtet, wie die konkreten Aspekte der zugrundeliegenden Hardware: Rechengenauigkeit, zeitliche Auflösung, Einfluss verwendeter Materialien und dergleichen mehr. Interessante elektronische Schaltungsprinzipien werden detailliert besprochen. Insgesamt enthält die vorliegende Arbeit alle notwendigen theoretischen und praktischen Informationen, um individuelle Robotersysteme mit einer angemessenen Bewegungssteuerung zu versehen. Ein weiteres Anliegen der Arbeit ist es, aus der Richtung der klassischen Ingenieurswissenschaften kommend, einen neuen Zugang zur Theorie rekurrenter neuronaler Netze zu schaffen. Gezielte Vergleiche der Neuromodule mit analogen elektronischen Schaltungen, physikalischen Modellen und Algorithmen aus der digitalen Signalverarbeitung können das Verständnis von Neurodynamiken erleichtern.
How recurrent neural networks can help to make autonomous robots move, will be investigated within this thesis. First, oscillators which are able to control four-legged robots will be dealt with, then homeostatic ring modules which control segmented robots, and finally monostable neural modules, which are able to drive complex motion sequences on robots with many degrees of freedom will be focused upon. The mathematical theory of neural modules will be addressed as well as their practical implementation on real robot platforms. This includes their embedding into a major framework and concrete aspects, like computational accuracy, timing and dependance on materials. Details on electronics will be given, so that individual robot systems can be built and equipped with an appropriate motion controller. It is another concern of this thesis, to shed a new light on the theory of recurrent neural networks, from the perspective of classical engineering science. Selective comparisons to analog electronic schematics, physical models, and digital signal processing algorithms can ease the understanding of neural dynamics.