Дисертації з теми "Robotique en essaim"

Les essaims de robots sont des systèmes composés d’un grand nombre de robots relativement simples. Du fait du grand nombre d’unités, ces systèmes ont de bonnes propriétés de robustesse et de passage à l’échelle. Néanmoins, il reste en général difficile de concevoir manuellement des contrôleurs pour les essaims de robots, à cause de la grande complexité des interactions inter-robot. Par conséquent, les approches automatisées pour l’apprentissage de comportements d’essaims de robots constituent une alternative attrayante. Dans cette thèse, nous étudions l’adaptation de comportements d’essaim de robots avec des méthodes de Embodied Evolutionary Robotics (EER) distribuée. Ainsi, nous fournissons trois contributions principales : (1) Nous étudions l’influence de la pression à la sélection dirigée vers une tâche dans un essaim d’agents robotiques qui utilisent une approche d’EER distribuée. Nous évaluons l’impact de différents opérateurs de sélection dans un algorithme d’EER distribuée pour un essaim de robots. Nos résultats montrent que le plus forte la pression à la sélection est, les meilleures performances sont atteintes lorsque les robots doivent s’adapter à des tâches particulières. (2) Nous étudions l’évolution de comportements collaboratifs pour une tâche de récolte d’objets dans un essaim d’agents robotiques qui utilisent une approche d’EER distribuée. Nous réalisons un ensemble d’expériences où un essaim de robots s’adapte à une tâche collaborative avec un algorithme d’EER distribuée. Nos résultats montrent que l’essaim s’adapte à résoudre la tâche, et nous identifions des limitations concernant le choix d’action. (3) Nous proposons et validons expérimentalement un mécanisme complètement distribué pour adapter la structure des neurocontrôleurs des robots dans un essaim qui utilise une approche d’EER distribuée, ce qui permettrait aux neurocontrôleurs d’augmenter leur expressivité. Nos expériences montrent que notre mécanisme, qui est complètement décentralisé, fournit des résultats similaires à un mécanisme qui dépend d’une information globale<br>Robot swarms are systems composed of a large number of rather simple robots. Due to the large number of units, these systems, have good properties concerning robustness and scalability, among others. However, it remains generally difficult to design controllers for such robotic systems, particularly due to the complexity of inter-robot interactions. Consequently, automatic approaches to synthesize behavior in robot swarms are a compelling alternative. In this thesis, we focus on online behavior adaptation in a swarm of robots using distributed Embodied Evolutionary Robotics (EER) methods. To this end, we provide three main contributions: (1) We investigate the influence of task-driven selection pressure in a swarm of robotic agents using a distributed EER approach. We evaluate the impact of a range of selection pressure strength on the performance of a distributed EER algorithm. The results show that the stronger the task-driven selection pressure, the better the performances obtained when addressing given tasks. (2) We investigate the evolution of collaborative behaviors in a swarm of robotic agents using a distributed EER approach. We perform a set of experiments for a swarm of robots to adapt to a collaborative item collection task that cannot be solved by a single robot. Our results show that the swarm learns to collaborate to solve the task using a distributed approach, and we identify some inefficiencies regarding learning to choose actions. (3) We propose and experimentally validate a completely distributed mechanism that allows to learn the structure and parameters of the robot neurocontrollers in a swarm using a distributed EER approach, which allows for the robot controllers to augment their expressivity. Our experiments show that our fully-decentralized mechanism leads to similar results as a mechanism that depends on global information

L’évolution de la coopération est un paradoxe du point de vue de l’évolution. En effet, tous les individus du vivant devraient être intéressés uniquement par leurs propres intérêts. Aider un autre individu est donc une perte de temps et de ressources. Comment expliquer que certains individus agissent de manière coopérative ? Cette thèse s'intéresse au mécanisme de réciprocité nommé le choix du partenaire qui permet l'évolution de comportements coopératifs. Cependant, les contraintes nécessaires à l'évolution de ce mécanisme sont fortes et rarement respectées. Cette thèse vise à étendre les connaissances de ces contraintes grâce à des simulations dans des environnements complexes et réalistes. La première contribution de cette thèse étend les modèles de choix du partenaire préexistants en ajoutant la contrainte de la disponibilité de ressources dans l'environnement. Dans ce cas, ce n’est plus seulement la densité de la population, mais aussi la richesse de l’environnement qui influence le choix du partenaire. Dans notre seconde contribution, nous étendons les résultats obtenus par les modèles aspatiaux. Nous étudions l’impact des environnements spatiaux sur la dynamique de la coopération avec le choix du partenaire. Le choix du partenaire requiert des individus de pouvoir apprendre à partir d'évènements rares. Dans notre troisième contribution, nous comparons la tolérance à la rareté des récompenses d'un algorithme d’apprentissage de renforcement et d'un algorithme de stratégie évolutive. Nos travaux montrent l’immense difficulté que les algorithmes d’apprentissage par renforcement ont à développer le choix du partenaire, au contraire des stratégies évolutionnaires<br>The evolution of cooperation is a paradox from an evolutionary point of view. Indeed, all individuals in the living world should be interested only in their own interests. Helping another individual is therefore a waste of time and resources. How can we explain that some individuals act in a cooperative way? This thesis focuses on the mechanism of reciprocity named partner choice that allows the evolution of cooperative behavior. However, the constraints necessary for the evolution of this mechanism are strong and rarely respected. This thesis aims at extending the knowledge of these constraints through simulations in complex and realistic environments. The first contribution of this thesis extends the pre-existing partner choice models by adding the constraint of resource availability in the environment. In this case, it is no longer only the population density, but also the wealth of the environment that influences partner choice. In our second contribution, we extend the results obtained by the aspatial models. We study the impact of spatial environments on the dynamics of cooperation with partner choice. Partner choice requires individuals to be able to learn from rare events. In our third contribution, we compare the reward sparsity tolerance of a reinforcement learning algorithm and an evolutionary strategy algorithm. Our work shows the immense difficulty that reinforcement learning algorithms have in developing partner choice, unlike evolutionary strategies

Les environnements de l'industrie 4.0 se caractérisent par la coexistence d'un ensemble diversifié de dispositifs, notamment des capteurs, des écrans à réalité mixte, des robots, des drones et des objets intelligents. Ces systèmes doivent être capables de prendre de manière autonome les décisions critiques en temps voulu nécessaires à l'exécution de tâches complexes sans intervention humaine. Une application essentielle de l'industrie 4.0 est l'exploration et la cartographie multi-robots d'environnements inconnus, en particulier dans le cadre de missions critiques telles que la détection des dangers et la recherche et le sauvetage. Ces missions partagent le besoin d'atteindre une couverture complète de l'espace explorable dans le temps le plus court possible. Pour minimiser le temps de réalisation, les robots de la flotte doivent être capables d'échanger des informations sur l'environnement de manière fiable entre eux. Cependant, les algorithmes d'exploration et de cartographie existants souffrent d'inexactitudes et d'inefficacités en raison de leur manque de connaissance contextuelle de leur environnement, notamment en termes de communications, de leur manque de flexibilité et d'adaptabilité à l'environnement, et donc, de l'ajout d'un retard inutile à la mission en cours. Dans cette thèse, nous étudions l'impact de la connaissance des communications sur la performance des expéditions d'exploration et de cartographie multi-robots, en termes de temps de réalisation. Nous évaluons les recherches existantes dans ce domaine et démontrons l'impact de la non prise en compte des problèmes de communication lors de la conception de tels algorithmes. À partir de là, nous proposons Atlas, un algorithme d'exploration et de cartographie qui prend en compte de manière native la perte de paquets, avec un taux d'achèvement de 100 % même avec des taux de remise de paquets (PDR) aussi bas que 0,1. Cependant, Atlas ne peut pas, à lui seul, gérer les scénarios où la connectivité est complètement perdue. Cela ajoute également un retard important à l'achèvement de la mission, car les paquets perdus sont retransmis périodiquement jusqu'à ce qu'ils soient reçus. Une solution est le placement de relais. La plupart des recherches sur le placement de relais pour les expéditions multi-robots tendent à se répartir en deux catégories. Premièrement, le placement des relais en fonction de la communication, basé sur l'indicateur de force du signal reçu (RSSI) initial, est utilisé. Cependant, cela nécessite l'exécution d'une mission complète avant l'exploration pour trouver la position optimale des relais à placer. Deuxièmement, il faut maintenir une distance (spécifiée avant la mission) entre les relais et les robots d'exploration. Ces méthodes augmentent le temps nécessaire à l'exécution de la mission. La question de recherche devient : comment placer les relais pour maintenir une communication aussi fiable que possible, et aussi dynamiquement tout au long de la mission d'exploration sans connaissance préalable de l'environnement, de manière à réduire le retard de l'exploration et le temps de cartographie pour l'achèvement. Nous résolvons ce problème en proposant le "Connectivity Aware Relay Algorithm'' (CARA), un algorithme dynamique de placement de relais sensible au contexte qui ne nécessite aucune connaissance préalable de l'environnement. Nous avons développé un simulateur open-source pour les expéditions multi-robots que nous avons utilisé pour tester les deux algorithmes contre les algorithmes de pointe. L'utilisation d'Atlas et de CARA permet de réaliser une expédition multi-robot dynamique et contextuelle qui construit de manière autonome une carte d'un environnement totalement inconnu, tout en plaçant dynamiquement des relais lorsque cela est nécessaire pour maintenir la connectivité, qui surpasse les algorithmes de pointe, en termes de temps de réalisation, d'un facteur 10<br>Industry 4.0 environments are characterized by the coexistence of a diverse set of devices, including sensors, mixed-reality displays, robots, drones, and smart objects. These systems must be capable of autonomously taking critical in-time decisions necessary to perform complex tasks without human input. One essential application for Industry 4.0 is multi-robot exploration and mapping of unknown environments, especially in critical missions such as hazard detection and search and rescue. These missions share the need to reach full coverage of the explorable space in the shortest time possible. To minimize completion time, robots in the fleet must be able to exchange information about the environment reliably with one another. However, existing exploration and mapping algorithms suffer from inaccuracies and inefficiencies due to their lack of contextual awareness of their surroundings, especially in terms of communications, lacking flexibility and adaptability to the environment, and hence, adding unnecessary delay to the mission at hand. In this thesis, we investigate the impact of communication awareness on the performance of multi-robot exploration and mapping expeditions, in terms of time to completion. We evaluate existing research in the field and demonstrate the impact of not considering communication impairments when designing such algorithms. From there, we propose Atlas, an exploration and mapping algorithm that natively takes packet loss into account, with a 100% completion ratio even with Packet Delivery Ratios (PDRs) as low as 0.1. However, Atlas on its own cannot handle scenarios where connectivity is completely lost. It also adds a significant delay to the completion of the mission, as lost packets keep getting re-transmitted periodically until they are received. One solution is relay placement. Most research on relay placement for multi-robot expeditions tend to fall into two categories. First, communication-aware relay placement based on initial Received Signal Strength Indicator (RSSI) is used. However, this requires running a full mission prior to the exploration to find the optimal position for the relays to be placed. Second, maintaining a distance (specified prior to the mission) between relays and exploration robots. These methods add to the time it takes to complete the mission. The research question becomes how can we place relays to maintain communication as reliable as possible, and also dynamically throughout the exploration mission without prior knowledge of the environment, in a way that reduces delay to the exploration and mapping time to completion. We solve this by proposing ``Connectivity Aware Relay Algorithm'' (CARA), a dynamic context-aware relay placement algorithm that does not require any prior knowledge of the environment. We developed an open-source simulator for multi-robot expeditions which we used to test both algorithms against state-of-the-art algorithms. Using both Atlas and CARA results in a dynamic context-aware multi-robot expedition that autonomously builds a map of a fully unknown environment, while dynamically placing relays when needed to maintain connectivity that outperforms state-of-the-art algorithms, in terms of time to completion, by a factor of 10

Après le lancement du premier satellite artificiel en 1957, l'évolution de diverses technologies a favorisé la miniaturisation des satellites. En 1999, le développement des nano-satellites modulaires appelés CubeSats, qui ont la forme d'un cube d'un décimètre de côté et une masse de 1 kg à 10 kg, a été initié par un effort commun de l'Université polytechnique de Californie et de l'Université de Stanford. Depuis lors, grâce à l’utilisation de composants électroniques standards à faible coût, les CubeSats se sont largement répandus.Au cours des dernières années, le nombre de CubeSats lancés a régulièrement augmenté, mais moins de la moitié des missions ont atteint leurs objectifs. L'analyse des défaillances des CubeSats montre que la cause la plus évidente est le manque d’essais adéquats des composants du système ou du système au complet. Parmi les tâches particulièrement difficiles, on compte les essais « hardware-in-the-loop » (HIL) du système de contrôle d'attitude et d'orbite (SCAO) d’un CubeSat. Un système dédié à ces essais doit permettre des simulations fiables de l'environnement spatial et des mouvements réalistes des CubeSats. La façon la plus appropriée d’obtenir de telles conditions d’essai repose sur l’utilisation d’un coussin d'air. Toutefois, les mouvements du satellite sont alors contraints par les limites géométriques, qui sont inhérentes aux coussins d'air. De plus, après 15 années de développements de CubeSats, la liste des systèmes proposés pour tester leur SCAO reste très limitée.Aussi, cette thèse est consacrée à l’étude et à la conception d’un système robotique innovant pour des essais HIL du SCAO d’un CubeSat. La nouveauté principale du système d'essai proposé est l’usage de quatre coussins d'air au lieu d'un seul et l’emploi d’un robot manipulateur. Ce système doit permettre des mouvements non contraints du CubeSat. Outre la conception du système d'essai, cette thèse porte sur les questions liées: (i) à la détermination de l'orientation d’un CubeSat au moyen de mesures sans contact; (ii) au comportement de l’assemblage des coussins d'air; (iii) à l'équilibrage des masses du système.Afin de vérifier la faisabilité de la conception proposée, un prototype du système d'essai a été développé et testé. Plusieurs modifications destinées à en simplifier la structure et à réduire le temps de fabrication ont été effectuées. Un robot Adept Viper s650 est notamment utilisé à la place d'un mécanisme sphérique spécifiquement conçu. Une stratégie de commande est proposée dans le but d’assurer un mouvement adéquat du robot qui doit suivre les rotations du CubeSat. Finalement, les résultats obtenus sont présentés et une évaluation globale du système d'essai est discutée<br>After the launch of the first artificial Earth satellite in 1957, the evolution of various technologies has fostered the miniaturization of satellites. In 1999, the development of standardized modular satellites with masses limited to a few kilograms, called CubeSats, was initiated by a joint effort of California Polytechnic State University and Stanford University. Since then, CubeSats became a widespread and significant trend, due to a number of available off-the-shelf low cost components.In last years, the number of launched CubeSats constantly grows, but less than half of all CubeSat missions achieved their goals (either partly or completely). The analysis of these failures shows that the most evident cause is a lack of proper component-level and system-level CubeSat testing. An especially challenging task is Hardware-In-the-Loop (HIL) tests of the Attitude Determination and Control System (ADCS). A system devoted to these tests shall offer reliable simulations of the space environment and allow realistic CubeSat motions. The most relevant approach to provide a satellite with such test conditions consists in using air bearing platforms. However, the possible satellite motions are strictly constrained because of geometrical limitations, which are inherent in the air bearing platforms. Despite 15 years of CubeSat history, the list of the air bearing platforms suitable for CubeSat ADCS test is very limited.This thesis is devoted to the design and development of an air bearing testbed for CubeSat ADCS HIL testing. The main novelty of the proposed testbed design consists in using four air bearings instead of one and in utilizing a robotic arm, which allows potentially unconstrained CubeSat motions. Besides the testbed design principle, this thesis deals with the related issues of the determination of the CubeSat orientation by means of contactless measurements, and of the behavior of the air bearings, as well as with the need of a mass balancing method.In order to verify the feasibility of the proposed design, a prototype of the testbed is developed and tested. Several modifications aimed at simplifying the structure and at shortening the fabrication timeline have been made. For this reason, the Adept Viper s650 robot is involved in place of a custom-designed 4DoF robotic arm. A control strategy is proposed in order to provide the robot with a proper motion to follow the CubeSat orientation. Finally, the obtained results are presented and the overall assessment of the proposed testbed is put into perspective