Literatura académica sobre el tema "Robots – Prise de décision"

Notre travail concerne la recherche d'un modèle de conduite en temps réel, pour une cellule de production flexible utilisant des robots collaborant à la réalisation d'un produit commun. Dans le premier chapitre, nous donnons un aperçu sur les systèmes de production existants, nous définissons ensuite les caractéristiques principales de la cellule de production envisagée et nous décrivons enfin le site expérimental. Dans le second chapitre, est défini le problème de la conduite de la cellule, c'est-à-dire le problème d'ordonnancement affectation. Différentes méthodes de résolution sont exposées. Enfin, nous développons l'approche que nous avons retenue dans le cadre de la cellule envisagée. La structure décisionnelle y est décrite, ainsi que la position du problème et les hypothèses de travail émises. Le troisième chapitre est composé de deux parties. Dans la première, nous effectuons une modélisation de la cellule par des graphes d'états et de transitions. Nous décrivons ensuite, dans la seconde partie, la structure du système de conduite proposée pour piloter la cellule. Une simulation d'une partie de ce système a été réalisée sur micro-ordinateur. Nous exposons enfin dans le quatrième chapitre deux approches pour aborder le problème décisionnel. La première est stochastique. Elle associe aux transitions entre états des probabilités et considère le système comme markovien. Nous montrons qu'elle est difficilement envisageable pour un cas réel. La seconde est déterministe. Elle ne tient compte dans son processus de décision que l'état courant de la cellule, sans anticiper sur son évolution. Nous proposons dans ce cas une méthode basée sur une approche multicritères de type Electre

Ce travail de thèse s'inscrit dans le contexte d'un certain nombre de projets qui visent la conception, le développement et l'évaluation de systèmes robotiques mobiles pour l'autonomie des personnes à domicile. Deux aspects complémentaires sont considérés dans ce travail: -La définition d'une interface graphique qui permet aux utilisateurs d'accéder aisément aux fonctionnalités du robot; -La mobilité du système, portant cette interface, dans des environnements intérieurs encombrés, relativement à la personne et dans un certain contexte. Le type d'interface proposée pour l'interaction est un aspect très important en raison de la population cible: des séniors souffrants souvent de troubles cognitifs. Afin de rendre l‘interface du robot adaptée à chaque utilisateur, une méthode de sélection d’icônes a été proposée et expérimentée avec les patients de l’hôpital gériatrique Broca. Les problèmes relatifs à la mobilité du robot sont particulièrement complexes. Ils reposent sur deux questions centrales qui sont la localisation de la personne dans l’espace d’évolution du robot et la définition de comportements d’interaction. Pour la détection et la localisation de la personne, un détecteur des jambes par laser 2D a été implémenté. Pour donner au robot un comportement flexible par rapport à l’utilisateur et au contexte nous avons implémenté un moteur de décision exploitant le logiciel SpirOps. Les entrées de ce moteur décisionnel sont des informations extraites des différents capteurs. Ces informations sont exploitées avec des méthodes de logique floue. Le robot peut décider dynamiquement quelle est l’action la plus logique et adéquate à réaliser dans les différentes situations<br>This thesis falls within the context of a number of projects aimed at the design, the development and the evaluation of mobile robotics systems for assistance of people at home. Two different aspects are considered: - Definition of a graphical interface that allows users to easily access to the robot functions. - Mobility of the system that should be set tacking into account the environment, the state and activity of the person and the specific context. The type of interfaces proposed for the interaction is a very important point for this kind of robot because of the target population: older people, often suffering from cognitive disorders. With the aim to make the robot interface adapted to this kind of population, we propose a method for the icons selection and for testing the usability of the interface. This method has been experienced with some patients of the geriatric hospital Broca. Problems relating to robot mobility in cluttered environments are particularly complex. They are based on 2 central issues: the location and the activity of the person in the space and the definition of interactive behaviors. For the detection of the person, a 2D laser-based detector has been implemented. In order to have a flexible and robust robot behavior we have implemented a decision making engine exploiting the SpirOps software. The inputs of this engine are the information extracted from the different robot sensors. These information are treated by using fuzzy logic rules and the engine computes the interest values associated to each action that the robot can execute. The robot decides dynamically witch is the most appropriate action to execute in the different situations

Afin d'être autonomes, les robots doivent êtres capables de prendre des décisions en fonction des informations qu'ils perçoivent de leur environnement. Cette thèse modélise les problèmes de prise de décision robotique comme des processus de décision markoviens avec un espace d'état et un espace d'action tous deux continus. Ce choix de modélisation permet de représenter les incertitudes sur le résultat des actions appliquées par le robot. Les nouveaux algorithmes d'apprentissage présentés dans cette thèse se focalisent sur l'obtention de stratégies applicables dans un domaine embarqué. Ils sont appliqués à deux problèmes concrets issus de la RoboCup, une compétition robotique internationale annuelle. Dans ces problèmes, des robots humanoïdes doivent décider de la puissance et de la direction de tirs afin de maximiser les chances de marquer et contrôler la commande d'une primitive motrice pour préparer un tir<br>The autonomy of robots heavily relies on their ability to make decisions based on the information provided by their sensors. In this dissertation, decision-making in robotics is modeled as continuous state and action markov decision process. This choice allows modeling of uncertainty on the results of the actions chosen by the robots. The new learning algorithms proposed in this thesis focus on producing policies which can be used online at a low computational cost. They are applied to real-world problems in the RoboCup context, an international robotic competition held annually. In those problems, humanoid robots have to choose either the direction and power of kicks in order to maximize the probability of scoring a goal or the parameters of a walk engine to move towards a kickable position

Nous étudions des Modèles Décisionnels pour l'Interaction Homme-Robot basés sur des Processus Décisionnels Markoviens. Premièrement, nous proposons un modèle de décision augmenté du robot compagnon afin d'agir en tenant compte de l'intention estimée de l'être humain. Ce modèle traite le problème d'estimation de l'intention de l'être humain en observant ses actions. Nous avons proposé de simuler le comportement de l'être humain afin de construire une bibliothèque de valeurs de ses actions par rapport à ses intentions possibles. Ces valeurs sont intégrées dans un Processus Décisionnel Markovien Partiellement Observable (POMDP). Nous parlerons alors de POMDP augmenté. Deuxièmement, nous avons présenté un modèle de décision qui permet au robot en collaboration avec un être humain de choisir son comportement selon l'avancement de la réalisation de la tâche partagée. Ce modèle est basé sur un POMDP augmenté et permet au robot d'être coactif afin d'inciter l'action de l'humain pour réaliser la tâche en harmonie avec lui. Troisièmement, nous avons aussi défini un modèle unifié pour diffèrent types d'interaction homme-robot où le robot analyse les besoins de l'humain et agit en conséquence. Afin de contourner la complexité des POMDPs, le modèle unifié sépare le problème en deux partie, une première responsable d'estimer les intention de l'humain avec une chaîne de Markov Cachée (HMM) et une deuxième responsable de choisir le type d'interaction correspondant (collaboration, assistance, coopération) avec un Processus Décisionnel Markovien (MDP). Finalement, nous proposons un modèle qui alterne entre interaction verbale afin d'inférer les préférence de l'humain et interaction non-verbale où les préférences sont estimés en observant les actions de l'humain. Ce modèle permet de revenir a l'interaction verbale quand une ambiguïté dans les préférences est détectée<br>This thesis is focused on decision models for human-robot interaction based on Markovian Decision Processes. First, we propose an augmented decision model that allows a companion robot to act considering estimated human intentions. This model addresses the problem of estimating the intention of the human by observing his actions. We proposed to simulate the behavior of a human to build a library of human action values toward his possible intentions. These values are integrated into the augmented Partially Observable Markov Decision Process (POMDP)​​. Second, we present a coactive decision model that allows a robot in collaboration with a human to choose his behavior according to the progress of the shared task. This model is based on an augmented POMDP and allows the robot to act coactively to encourage the human actions and to perform the task in harmony with him. Third, we also propose a unified model for different types of human-robot interactions where the robot analyzes the needs of the human and acts accordingly. To overcome the complexity of POMDPs, the unified model divides the problem into several parts, the first estimates the human intention with a hidden Markov model (HMM) and another is responsible for choosing the corresponding type of interaction (collaboration, assistance, cooperation) using a Markov Decision Process (MDP). Finally, we propose a model that alternates between verbal interaction to infer the preference of the human using queries and non-verbal interaction in which preferences are estimated by observing the human actions. This model switches back to the verbal interaction when an ambiguity about the preferences is detected

Ce travail de thèse s'inscrit dans le contexte d'un certain nombre de projets qui visent la conception, le développement et l'évaluation de systèmes robotiques mobiles pour l'autonomie des personnes à domicile. Deux aspects complémentaires mais néanmoins distincts sont considérés dans ce travail de thèse: 1. La définition d'une interface graphique qui permet aux utilisateurs d'accéder aisément aux fonctionnalités du robot ; 2. La mobilité du système, portant cette interface, dans des environnements intérieurs encombrés, relativement à la personne et dans un certain contexte. Le type d'interface proposée pour l'interaction est un aspect très important notamment en raison de la population cible : des séniors, non experts, souffrants souvent de troubles cognitifs. Les règles générales pour la conception d'une interface sont indépendantes de la technologie et doivent s'inspirées des principes relevant de la psychologie cognitive et des sciences sociales. Afin de rendre l'interface du robot parfaitement adaptée à chaque utilisateur, une méthode de sélection d'icônes a été proposée et expérimentée avec les patients de l'hôpital gériatrique Broca. Les problèmes relatifs à la mobilité autonome du support de l'interface sont particulièrement complexes. Ils reposent sur deux questions centrales qui sont d'une part la localisation de la personne dans l'espace d'évolution du robot et d'autre part la définition de comportements d'interaction. Pour la détection et la localisation de la personne, un détecteur des jambes par laser 2D a été implémenté. La vitesse de la personne et sa trajectoire sont calculées en appliquant un filtre de Kalman étendu sur les données issues du laser. Pour répondre au besoin de donner au robot un comportement flexible par rapport à l'utilisateur, au contexte et aux événements qui se produisent de façon imprévisible, nous avons implémenté un moteur de décision exploitant le logiciel SpirOps. Les entrées de ce moteur décisionnel sont des informations extraites des différents capteurs. Ces informations sont exploitées avec des méthodes de logique floue utilisant une base des règles que nous avons définie et paramétrée pour produire en sortie du moteur des valeurs d'intérêt associés à chaque action que le robot peut exécuter. Le robot peut alors décider dynamiquement quelle est l'action la plus logique et adéquate à réaliser dans les différentes situations.

Ce manuscrit expose notre travail dans le cadre du projet IWARD et détaille la couche de gestion et de décision du groupement de robots. Ce projet avait comme objectif d'assister le personnel médical dans leur travail, ceci est réalisé en utilisant des robots mobiles, reconfigurables, et rechargeables. Ces robots sont conçus pour effectuer des taches logistiques comme : Le transport de médicaments, le nettoyage, le guidage des patients, la surveillance et la téléconsultation. Dans la première partie de la thèse nous présenterons le problème stratégique qui consiste à déterminer les plannings de rechargement des robots, la configuration des robots opérationnels ainsi que la localisation des stations d'attentes des robots lorsqu'ils sont en état de veille. Différentes hiérarchies à plusieurs niveaux de décisions, sont formulées comme des programmes linéaires en nombres entiers. Des formulations utilisant l'approche de génération de colonnes sont aussi développées pour résoudre ces problèmes. Dans la deuxième partie, le problème tactique est exposé, ceci consiste à affecter les taches arrivantes aux différents robots et d'ordonnancer dynamiquement l'exécution ces missions. Deux approches sont inspectées une version centralisée utilisant les algorithmes évolutionnaires et une autre version distribuée utilisant les algorithmes d'enchères inversées. Afin de mettre à l épreuve ces deux approches, une simulation a événements discrets a été conçue et développée spécifiquement pour le projet, permettant ainsi d'évaluer ces deux approches.

Les besoins concernant l’autonomie et la flexibilité sont grandissants. Les systèmes de contrôle et d’information se doivent d’être de plus en plus génériques, adaptables et autonomes afin d’augmenter au mieux la valeur ajoutée d’un groupe travaillant dans différents secteurs comme l’aéronautique, l’aérospatiale, l’automobile, le ferroviaire, la robotique, la gestion ou l’aide à la décision. Cette thèse propose un modèle de système auto-adaptatif et défend le fait qu’une entité autonome adaptative fonctionne selon une boucle systémique à organisation complexe, en évoluant dans un environnement non stable. Ces recherches se basent sur l’informatique avec notamment les systèmes multi-agents et la robotique, les neurosciences et la composition du système nerveux, les systèmes complexes, ainsi que la psychanalyse pour toute la modélisation de l’appareil psychique humain. La solution proposée est un système auto-adaptatif pour le contrôle de groupes d’entités hétérogènes. Ce système est un planificateur dynamique de processus qui permet la programmation par morphologie en se basant sur des liaisons entre des connaissances et des objectifs en général complètement intégrés dans ces liaisons. Les expérimentations ont montré que le système s’organise de bonne manière afin de respecter les objectifs par entités ou par groupes. Elles ont aussi montré que le système est totalement générique dans le cas où l’ontologie et les objectifs sont modifiés. Ce système auto-adaptatif permet de prendre en compte de manière différente la plupart des problématiques du traitement de l’information en ce qui concerne les logiciels de prise de décision, les systèmes d’exploitation, la robotique, mais aussi d’amener de nouveaux outils pour l’étude du comportement humain dans différents milieux. Un point essentiel de ce système est qu’il constitue une base computationnelle de la conscience artificielle qui permettra d’évoluer vers un système informationnel homogène générant des représentations pour son compte et complètement adapté à l’environnement de communication humain.

Ce manuscrit expose notre travail dans le cadre du projet IWARD et détaille la couche de gestion et de décision du groupement de robots. Ce projet avait comme objectif d’assister le personnel médical dans leur travail, ceci est réalisé en utilisant des robots mobiles, reconfigurables, et rechargeables. Ces robots sont conçus pour effectuer des taches logistiques comme : Le transport de médicaments, le nettoyage, le guidage des patients, la surveillance et la téléconsultation. Dans la première partie de la thèse nous présenterons le problème stratégique qui consiste à déterminer les plannings de rechargement des robots, la configuration des robots opérationnels ainsi que la localisation des stations d’attentes des robots lorsqu’ils sont en état de veille. Différentes hiérarchies à plusieurs niveaux de décisions, sont formulées comme des programmes linéaires en nombres entiers. Des formulations utilisant l’approche de génération de colonnes sont aussi développées pour résoudre ces problèmes. Dans la deuxième partie, le problème tactique est exposé, ceci consiste à affecter les taches arrivantes aux différents robots et d’ordonnancer dynamiquement l’exécution ces missions. Deux approches sont inspectées une version centralisée utilisant les algorithmes évolutionnaires et une autre version distribuée utilisant les algorithmes d’enchères inversées. Afin de mettre à l épreuve ces deux approches, une simulation a événements discrets a été conçue et développée spécifiquement pour le projet, permettant ainsi d’évaluer ces deux approches<br>Due to the expansion of the life duration and the shortage of medical personal in hospitals the EU funded IWARD project as part of the IFP6 program. The aims of this project were to assist the medical personnel in logistic and non medical tasks (transport, cleaning, environmental monitoring, guidance and tele-monitoring) through the usage of mobile, reconfigurable, rechargeable robots, thus letting the Medical staff to concentrate on medical aspects of their work.This thesis was part of this project, and our work consisted on developing a decision making framework for the team of robots.In the first part of the thesis, we address the strategic decisions essentially the: (i) the robots’ home station location problem, (ii) Robot‘s reconfiguration problems and (iii) Robots recharging scheduling. We formulate those problems as a linear problems and we propose to solve them using Mixed Integer Programming (MIP). We also present a formulation using a column generation approach to solve those problems.In the later part we address the tactical problems, mainly the mission assignment, the mission scheduling and rescheduling. We present two different approaches; a centralized decision finder implemented using genetic algorithms. And a decentralized approach using auction like and market based algorithms in order to provided collaborative decision making framework.Finally we compare those two approaches using a custom made discrete event simulation (DES)

Dans cette thèse de doctorat, nous étudions comment des véhicules autonomes peuvent apprendre à garantir la sûreté et à éviter les accidents, bien qu'ils partagent la route avec des conducteurs humains dont les comportements sont incertains. Pour prendre en compte cette incertitude, nous nous appuyons sur les observations en ligne de l'environnement pour construire une région de confiance autour de la dynamique du système, qui est ensuite propagée au cours du temps pour borner l'ensemble des trajectoires possibles des véhicules à proximité. Pour assurer la sûreté en présence de cette incertitude, nous avons recours à la prise de décision robuste, qui préconise de toujours considérer le pire cas. Cette approche garantit que la performance obtenue pendant la planification sera également atteinte sur le système réel, et nous montrons dans une analyse de bout en bout que la sous-optimalité qui en résulte est bornée. Nous en fournissons une implémentation efficace, basée sur des algorithmes de recherche arborescente. Une seconde contribution est motivée par le constat que cette approche pessimiste tend à produire des comportements excessivement prudents : imaginez vouloir dépasser un véhicule, quelle certitude avez-vous que ce dernier ne changera pas de voie au tout dernier moment, provoquant un accident ? Ce type de raisonnement empêche les robots de conduire aisément parmi d'autres conducteurs, de s'insérer sur une autoroute ou de traverser une intersection, un phénomène connu sous le nom de « robot figé ». Ainsi, la présence d'incertitude induit un compromis entre deux objectifs contradictoires : sûreté et efficacité. Comment arbitrer ce conflit ? La question peut être temporairement contournée en réduisant au maximum l'incertitude. Par exemple, nous proposons une architecture de réseau de neurones basée sur de l'attention, qui tient compte des interactions entre véhicules pour améliorer ses prédictions. Mais pour aborder pleinement ce compromis, nous nous appuyons sur la prise de décision sous contrainte afin de considérer indépendamment les deux objectifs de sûreté et d'efficacité. Au lieu d'une unique politique de conduite, nous entrainons toute une gamme de comportements, variant du plus prudent au plus agressif. Ainsi, le concepteur du système dispose d'un curseur lui permettant d'ajuster en temps réel le niveau de risque assumé par le véhicule<br>In this Ph.D. thesis, we study how autonomous vehicles can learn to act safely and avoid accidents, despite sharing the road with human drivers whose behaviors are uncertain. To explicitly account for this uncertainty, informed by online observations of the environment, we construct a high-confidence region over the system dynamics, which we propagate through time to bound the possible trajectories of nearby traffic. To ensure safety under such uncertainty, we resort to robust decision-making and act by always considering the worst-case outcomes. This approach guarantees that the performance reached during planning is at least achieved for the true system, and we show by end-to-end analysis that the overall sub-optimality is bounded. Tractability is preserved at all stages, by leveraging sample-efficient tree-based planning algorithms. Another contribution is motivated by the observation that this pessimistic approach tends to produce overly conservative behaviors: imagine you wish to overtake a vehicle, what certainty do you have that they will not change lane at the very last moment, causing an accident? Such reasoning makes it difficult for robots to drive amidst other drivers, merge into a highway, or cross an intersection — an issue colloquially known as the “freezing robot problem”. Thus, the presence of uncertainty induces a trade-off between two contradictory objectives: safety and efficiency. How to arbitrate this conflict? The question can be temporarily circumvented by reducing uncertainty as much as possible. For instance, we propose an attention-based neural network architecture that better accounts for interactions between traffic participants to improve predictions. But to actively embrace this trade-off, we draw on constrained decision-making to consider both the task completion and safety objectives independently. Rather than a unique driving policy, we train a whole continuum of behaviors, ranging from conservative to aggressive. This provides the system designer with a slider allowing them to adjust the level of risk assumed by the vehicle in real-time

Un robot mobile évoluant dans un environnement dynamique doit faire face à de nombreuses incertitudes. Les actions qu'il exécute n'ont pas toujours l'effet escompté, et ses capteurs lui renvoient des données souvent bruitées. Les processus décisionnels de Markov (MDP), du fait de leur adaptation à la prise en compte d'incertitudes, sont étudiés depuis quelques années dans la communauté intelligence artificielle. Ceux-ci permettent le calcul d'un plan plus robuste que les méthodes de planification classiques, puisque calculé en prenant en compte les diverses conséquences probables des actions. Dans le cadre de la robotique mobile, ce modèle permet également de superviser l'exécution des missions, en utilisant des fonctions probabilistes pour aider le robot à se localiser. Mais les algorithmes classiques de résolution de MDP sont complexes, ce qui les rend difficilement adaptables à des environnements de grande taille, tels que ceux nécessités dans le cadre de la robotique. En conséquence, beaucoup de travaux s'intéressent aux techniques d'approximation, qui permettent d'obtenir des plans sous-optimaux en un temps de calcul réduit. C'est dans ce cadre que s'inscrit cette thèse. Apres avoir montré comment nous paramétrons un MDP pour l'appliquer à la robotique mobile, nous présentons deux techniques d'approximation. La première utilise l'agrégation d'états, chaque couloir de l'environnement donnant lieu à un ou plusieurs états abstraits. La seconde est fondée sur la décomposition d'environnements, lesquels sont représentés à l'aide d'un graphe value permettant d'approcher heuristiquement les valeurs des états. Ces deux méthodes permettent de réduire considérablement les temps de calcul, et donnent des plans très proches de l'optimal.