Academic literature on the topic 'Multi-Task Optimisation'

L'apprentissage multi-tâches est un paradigme d'apprentissage impliquant l’optimisation de paramètres par rapport à plusieurs tâches simultanément. En apprenant plusieurs tâches liées, un modèle d'apprentissage dispose d'un ensemble d'informations plus complet concernant le domaine dont les tâches sont issues, lui permettant ainsi de construire un meilleur ensemble d’hypothèse sur ce domaine. Cependant, en pratique, les gains de performance obtenus par les réseaux multi-tâches sont loin d'être systématiques. Il arrive au contraire que ces réseaux subissent une perte de performance liée à des phénomènes d’interférences entre les différentes tâches. Cette thèse traite du problème d'interférences en apprentissage multi-tâches, afin d'améliorer les capacités de généralisation des réseaux de neurones profonds<br>Multi-task learning (MTL) is a learning paradigm involving the joint optimization of parameters with respect to multiple tasks. By learning multiple related tasks, a learner receives more complete and complementary information on the input domain from which the tasks are issued. This allows to gain better understanding of the domain by building a more accurate set of assumptions of it. However, in practice, the broader use of MTL is hindered by the lack of consistent performance gains observed by deep multi-task networks. It is often the case that deep MTL networks suffer from performance degradation caused by task interference. This thesis addresses the problem of task interference in Multi-Task learning, in order to improve the generalization capabilities of deep neural networks

Doter des agents artificiels, tels que des robots, d'une capacité à apprendre à réaliser des tâches complexes et à s'adapter est une quête centrale de la recherche en intelligence artificielle. L'apprentissage par renforcement profond en est aujourd'hui une des méthodes privilégiées, mais n'est ni toujours simple à mettre en œuvre, ni toujours la plus performante. Dans cette thèse, nous étudions un autre concept d'apprentissage de politique qui se divise en deux étapes : une étape de résolution d'un ensemble de sous-problèmes puis une étape de généralisation. Plus formellement, la première étape reformule le problème général comme un problème multi-tâche permettant d'obtenir un jeu de données de solutions. La seconde étape utilise de l'apprentissage supervisé sur ce jeu de données pour entraîner une politique générale. Nous évaluons d'abord la viabilité de ce concept à un problème d'apprentissage de réflexes d'évitement de chute avec un robot humanoïde réel. Non seulement il permet d'apprendre des comportements en simulation qui permettent d'éviter la chute dans plus de 75% des cas, mais ces comportements sont assez robustes pour fonctionner sur le robot réel. Nous développons ensuite un algorithme de qualité-diversité multi-tâche, Multi-Task Multi-Behavior MAP-Elites, pour améliorer l'efficacité d'échantillonnage de la première étape de résolution. Nous illustrons cet algorithme sur le même problème d'apprentissage de réflexes d'évitement de chute d'un robot humanoïde et pour généraliser à des environnements plus réalistes. Nous proposons enfin de passer d'une étape de résolution discrète à une résolution continue. Pour ce faire, nous reformulons le problème d'optimisation multi-tâche boîte noire comme un problème d'optimisation paramétrique et proposons une méthode pour le résoudre : Parametric-Task MAP-Elites. Parametric-Task MAP-Elites résout une nouvelle tâche à chaque itération, recouvrant asymptotiquement l'espace des tâches. Après avoir consommé son budget d'évaluations, Parametric-Task MAP-Elites distille les solutions trouvées dans une politique pour généraliser à l'ensemble de l'espace continu. L'optimisation multi-tâche est une méthode sous-exploitée qui montre, dans cette thèse, son aptitude à permettre de résoudre certains problèmes de robotique de façon plus simple à mettre en œuvre et plus performante que l'apprentissage par renforcement profond<br>Granting artificial agents, such as robots, the capability to learn how to solve complex tasks and adapt is a central quest in artificial intelligence research. Today, reinforcement learning is favored, but it is neither straightforward to implement nor consistently effective. In this thesis, we explore an alternative policy learning concept divided into two stages: solving a set of sub-problems and generalization. More formally, the first stage reformulates the general problem into a multi-task problem to obtain a dataset of high-performing solutions. The second stage applies supervised learning to this dataset to train a general policy. We first evaluate the viability of this concept in learning fall avoidance reflexes with a real humanoid robot. It enables learning behaviors in simulation that prevent falling in more than 75% % of cases, and these behaviors are robust enough to function on the real robot. We then develop a multi-task multi-behavior quality-diversity algorithm, Multi-Task Multi-Behavior MAP-Elites, to improve the sample efficiency of the first resolution stage. We demonstrate its application in fall avoidance reflex learning, where it performs better than a deep reinforcement learning algorithm and also enables generalization to more realistic environments. Finally, we propose to go from a discrete resolution stage to a continuous resolution stage. To do so, we reformulate the multi-task black-box optimization problem as a parametric optimization problem and propose a method to solve it: Parametric-Task MAP-Elites. Parametric-Task MAP-Elites solves a new task at each iteration, asymptotically covering the task space. After consuming its evaluation budget, Parametric-Task MAP-Elites distills the solutions found into a policy to generalize to the entire continuous space. Multi-task optimization is an underexploited method that has demonstrated in this thesis its ability to solve some robotics problems more straightforwardly and effectively than deep reinforcement learning

Cette thèse porte sur l'utilisation de données de vols pour l'optimisation de trajectoires de montée vis-à-vis de la consommation de carburant.Dans un premier temps nous nous sommes intéressé au problème d'identification de modèles de la dynamique de l'avion dans le but de les utiliser pour poser le problème d'optimisation de trajectoire à résoudre. Nous commençont par proposer une formulation statique du problème d'identification de la dynamique. Nous l'interpretons comme un problème de régression multi-tâche à structure latente, pour lequel nous proposons un modèle paramétrique. L'estimation des paramètres est faite par l'application de quelques variations de la méthode du maximum de vraisemblance.Nous suggérons également dans ce contexte d'employer des méthodes de sélection de variable pour construire une structure de modèle de régression polynomiale dépendant des données. L'approche proposée est une extension à un contexte multi-tâche structuré du bootstrap Lasso. Elle nous permet en effet de sélectionner les variables du modèle dans un contexte à fortes corrélations, tout en conservant la structure du problème inhérente à nos connaissances métier.Dans un deuxième temps, nous traitons la caractérisation des solutions du problème d'optimisation de trajectoire relativement au domaine de validité des modèles identifiés. Dans cette optique, nous proposons un critère probabiliste pour quantifier la proximité entre une courbe arbitraire et un ensemble de trajectoires échantillonnées à partir d'un même processus stochastique. Nous proposons une classe d'estimateurs de cette quantitée et nous étudions de façon plus pratique une implémentation nonparamétrique basé sur des estimateurs à noyau, et une implémentation paramétrique faisant intervenir des mélanges Gaussiens. Ce dernier est introduit comme pénalité dans le critère d'optimisation de trajectoire dans l'objectif l'intention d'obtenir directement des trajectoires consommant peu sans trop s'éloigner des régions de validité<br>This thesis deals with the use of flight data for the optimization of climb trajectories with relation to fuel consumption.We first focus on methods for identifying the aircraft dynamics, in order to plug it in the trajectory optimization problem. We suggest a static formulation of the identification problem, which we interpret as a structured multi-task regression problem. In this framework, we propose parametric models and use different maximum likelihood approaches to learn the unknown parameters.Furthermore, polynomial models are considered and an extension to the structured multi-task setting of the bootstrap Lasso is used to make a consistent selection of the monomials despite the high correlations among them.Next, we consider the problem of assessing the optimized trajectories relatively to the validity region of the identified models. For this, we propose a probabilistic criterion for quantifying the closeness between an arbitrary curve and a set of trajectories sampled from the same stochastic process. We propose a class of estimators of this quantity and prove their consistency in some sense. A nonparemetric implementation based on kernel density estimators, as well as a parametric implementation based on Gaussian mixtures are presented. We introduce the later as a penalty term in the trajectory optimization problem, which allows us to control the trade-off between trajectory acceptability and consumption reduction

L’intérêt pour l’intégration des systèmes multi-robots (MRS) dans les applications du monde réel augmente de plus en plus, notamment pour l’exécution de tâches complexes. Pour les tâches de transport de charges, différentes stratégies de manutention de charges ont été proposées telles que : la poussée seule, la mise en cage et la préhension. Dans cette thèse, nous souhaitons utiliser une stratégie de manipulation simple : placer l’objet à transporter au sommet d’un groupe de robots mobiles. Ainsi, cela nécessite un contrôle de formation rigide. Nous proposons deux algorithmes de formation. L’algorithme de consensus est l’un d’entre eux. Nous adaptons un contrôleur de flocking dynamique pour qu’il soit utilisé dans le système à un seul intégrateur, et nous proposons un système d’évitement d’obstacles qui peut empêcher le fractionnement tout en évitant les obstacles. Le deuxième contrôle de formation est basé sur l’optimisation quadratique hiérarchique (HQP). Le problème est décomposé en plusieurs objectifs de tâches : formation, navigation,évitement d’obstacles et limites de vitesse. Ces tâches sont représentées par des contraintes d’égalité et d’inégalité avec différentsniveaux de priorité, qui sont résolues séquentiellement par le HQP. Enfin, une étude sur les algorithmes d’allocation des tâches(Contract Net Protocol et Tabu Search) est menée afin de déterminer une solution appropriée pour l’allocation des tâches dans l’environnementindustriel<br>The interest in integrating multirobot systems (MRS) into real-world applications is increasing more and more, especially for performing complex tasks. For loadcarrying tasks, various load-handling strategies have been proposed such as: pushingonly, caging, and grasping. In this thesis, we aim to use a simple handling strategy: placing the carrying object on top of a group of wheeled mobile robots. Thus, it requires a rigid formation control. A consensus algorithm is one of the two formation controllers we apply to the system. We adapt a dynamic flocking controller to be used in the singleintegrator system, and we propose an obstacle avoidance that can prevent splitting while evading the obstacles. The second formation control is based on hierarchical quadratic programming (HQP). The problem is decomposed into multiple task objectives: formation, navigation, obstacle avoidance, velocity limits. These tasks are represented by equality and inequality constraints with different levels of priority, which are solved sequentially by the HQP. Lastly, a study on task allocation algorithms (Contract Net Protocol and Tabu Search) is carried out in order to determine an appropriate solution for allocating tasks in the industrial environment

Cette thèse se concentre sur les problèmes d'optimisation multi-objectifs survenant lors de l'exécution d'applications scientifiques sur des plates-formes de calcul haute performance et des applications de streaming sur des systèmes embarqués. Ces problèmes d'optimisation se sont tous avérés NP-complets, c'est pourquoi nos efforts portent principalement sur la conception d'heuristiques efficaces pour des cas généraux et sur la proposition de solutions optimales pour des cas particuliers.Certaines applications scientifiques sont généralement modélisées comme des arbres enracinés. En raison de la taille des données temporaires, le traitement d'une telle arborescence peut dépasser la capacité de la mémoire locale. Une solution pratique sur un système multiprocesseur consiste à partitionner l'arborescence en plusieurs sous-arbres, et à exécuter chacun d'eux sur un processeur, qui est équipé d'une mémoire locale. Nous avons étudié comment partitionner l'arbre en plusieurs sous-arbres de sorte que chaque sous-arbre tienne dans la mémoire locale et que le makespan soit minimisé, lorsque les coûts de communication entre les processeurs sont pris en compte. Ensuite, un travail pratique d'ordonnancement d'arbres apparaissant dans un solveur de matrice clairsemée parallèle est examiné. L'objectif est de minimiser le temps de factorisation en présentant une bonne localisation des données et un équilibrage de charge. La technique de cartographie proportionnelle est une approche largement utilisée pour résoudre ce problème d'allocation des ressources. Il réalise une bonne localisation des données en affectant les mêmes processeurs à de grandes parties de l'arborescence des tâches. Cependant, cela peut limiter l'équilibrage de charge dans certains cas. Basé sur une cartographie proportionnelle, un algorithme d'ordonnancement dynamique est proposé. Il assouplit le critère de localisation des données pour améliorer l'équilibrage de charge. La performance de notre approche a été validée par de nombreuses expériences avec le solveur direct à matrice clairsemée parallèle PaStiX. Les applications de streaming apparaissent souvent dans les domaines vidéo et audio. Ils se caractérisent par une série d'opérations sur le streaming de données et un débit élevé. Le système multiprocesseur sur puce (MPSoC) est un système embarqué multi / plusieurs cœurs qui intègre de nombreux cœurs spécifiques via une interconnexion haute vitesse sur une seule puce. De tels systèmes sont largement utilisés pour les applications multimédias. De nombreux MPSoC fonctionnent sur piles. Un budget énergétique aussi serré nécessite intrinsèquement un calendrier efficace pour répondre aux demandes de calcul intensives. La mise à l'échelle dynamique de la tension et de la fréquence (DVFS) peut économiser de l'énergie en diminuant la fréquence et la tension au prix d'une augmentation des taux de défaillance. Une autre technique pour réduire le coût énergétique et atteindre l'objectif de fiabilité consiste à exécuter plusieurs copies de tâches. Nous modélisons d'abord les applications sous forme de chaînes linéaires et étudions comment minimiser la consommation d'énergie sous des contraintes de débit et de fiabilité, en utilisant DVFS et la technique de duplication sur les plates-formes MPSoC.Ensuite, dans une étude suivante, avec le même objectif d'optimisation, nous modélisons les applications de streaming sous forme de graphes série-parallèle, plus complexes que de simples chaînes et plus réalistes. La plate-forme cible dispose d'un système de communication hiérarchique à deux niveaux, ce qui est courant dans les systèmes embarqués et les plates-formes informatiques hautes performances. La fiabilité est garantie par l'exécution des tâches à la vitesse maximale ou par la triplication des tâches. Plusieurs heuristiques efficaces sont proposées pour résoudre ce problème d'optimisation NP-complet<br>This thesis focuses on multi-objective optimization problems arising when running scientific applications on high performance computing platforms and streaming applications on embedded systems. These optimization problems are all proven to be NP-complete, hence our efforts are mainly on designing efficient heuristics for general cases, and proposing optimal solutions for special cases.Some scientific applications are commonly modeled as rooted trees. Due to the size of temporary data, processing such a tree may exceed the local memory capacity. A practical solution on a multiprocessor system is to partition the tree into many subtrees, and run each on a processor, which is equipped with a local memory. We studied how to partition the tree into several subtrees such that each subtree fits in local memory and the makespan is minimized, when communication costs between processors are accounted for.Then, a practical work of tree scheduling arising in parallel sparse matrix solver is examined. The objective is to minimize the factorization time by exhibiting good data locality and load balancing. The proportional mapping technique is a widely used approach to solve this resource-allocation problem. It achieves good data locality by assigning the same processors to large parts of the task tree. However, it may limit load balancing in some cases. Based on proportional mapping, a dynamic scheduling algorithm is proposed. It relaxes the data locality criterion to improve load balancing. The performance of our approach has been validated by extensive experiments with the parallel sparse matrix direct solver PaStiX.Streaming applications often appear in video and audio domains. They are characterized by a series of operations on streaming data, and a high throughput. Multi-Processor System on Chip (MPSoC) is a multi/many-core embedded system that integrates many specific cores through a high speed interconnect on a single die. Such systems are widely used for multimedia applications. Lots of MPSoCs are batteries-operated. Such a tight energy budget intrinsically calls for an efficient schedule to meet the intensive computation demands. Dynamic Voltage and Frequency Scaling (DVFS) can save energy by decreasing the frequency and voltage at the price of increasing failure rates. Another technique to reduce the energy cost and meet the reliability target consists in running multiple copies of tasks. We first model applications as linear chains and study how to minimize the energy consumption under throughput and reliability constraints, using DVFS and duplication technique on MPSoC platforms.Then, in a following study, with the same optimization goal, we model streaming applications as series-parallel graphs, which are more complex than simple chains and more realistic. The target platform has a hierarchical communication system with two levels, which is common in embedded systems and high performance computing platforms. The reliability is guaranteed through either running tasks at the maximum speed or triplication of tasks. Several efficient heuristics are proposed to tackle this NP-complete optimization problem

Dans l’industrie automobile, plusieurs robots sont nécessaires pour réaliser simultanément des séquences de soudage sur un même véhicule. L’attribution et la coordination des tâches de soudage entre les robots est une phase manuelle et exigeante qui doit être optimisée à l’aide d’outils automatiques. Le temps de cycle de la cellule dépend fortement de différents facteurs robotiques tels que la répartition des tâches entre les robots, les solutions de configuration et l’évitement d’obstacles. De plus, un aspect clé, souvent négligé dans l’état de l’art, est de définir une stratégie pour résoudre le séquencement des tâches robotiques avec une intégration efficace de l’évitement de collisions robot-robot. Cette thèse est motivée par la résolution de ce problème industriel et cherche à relever différents défis de recherche. Elle commence par présenter les solutions de pointe actuelles en matière de planification robotique. Une enquête approfondie est menée sur les solutions académiques/industrielles existantes pour résoudre le problème de répartition des tâches robotiques, en particulier pour les systèmes multi-robot. Cette enquête permet d’identifier les défis lors de l’intégration de plusieurs facteurs robotiques dans le processus d’optimisation. Cette thèse présente un algorithme itératif efficace qui génère une solution de haute qualité pour le problème de répartition de tâches multi-robot. Ce dernier gère non seulement les facteurs robotiques mentionnés, mais également les aspects liés aux contraintes d’accessibilité et à l’évitement de collisions mutuelles. De plus, un planificateur fait maison (RoboTSPlanner) gérant des robots à six axes a été validé dans un scénario de cas réel. Afin d’assurer l’exhaustivité de la méthodologie proposée, nous effectuons une optimisation dans l’espace des tâches, de configuration et de coordination de manière synergique. Par rapport aux approches existantes, la simulation comme les expérimentations réelles révèlent des résultats positifs en termes de temps de cycle et montrent la capacité de cette méthode à s’interfacer à la fois avec les logiciels de simulation industrielle et les outils ROS-I<br>In the automotive industry, several robots are required to simultaneously carry out welding sequences on the same vehicle. Assigning and coordinating welding tasks between robots is a manual and challenging phase that must be optimized using automatic tools. The cycle time of the cell strongly depends on different robotic factors such as the task allocation among the robots, the configuration solutions, and obstacle avoidance. Moreover, a key aspect, often neglected in the state-ofthe- art, is to define a strategy to solve the robotic task sequencing with an effective robot-robot collision avoidance integration. This thesis is motivated by solving this industrial problem and seeks to raise different research challenges. It begins by presenting the current state-of-the-art solutions regarding robotic planning. An in-depth investigation is carried out on the related existing academic/industrial solutions to solve the robotic task sequencing problem, particularly for multi-robot systems. This investigation helps identify the challenges when integrating several robotic factors into the optimization process. An efficient iterative algorithm that generates a high-quality solution for the Multi-Robotic Task Sequencing Problem is presented. This algorithm manages not only the mentioned robotic factors but also aspects related to accessibility constraints and mutual collision avoidance. In addition, a home-developed planner (RoboTSPlanner) handling six-axis robots has been validated in a real case scenario. In order to ensure the completeness of the proposed methodology, we perform optimization in the task, configuration, and coordination space in a synergistic way. Compared to the existing approaches, both simulation and real experiments reveal positive results in terms of cycle time and show the ability of this method to be interfaced with both industrial simulation software and ROS-I tools

Modern manufacturing processes have to be continuously updated to catch up with fast-evolving requirements, as dictated my competitive and dynamic markets, which demand high product variety. Indeed, in the era of smart factories and cyber-physical production systems (CPPS) we are experiencing a fast transition from mass production to mass customisation. Key Enabling Technologies (KETs) are then necessary to hinge business and market needs on digital solutions which enable the rapid delivery of new and innovative products. If on one side mass customisation imposes high level of product variety, on the other hand customers wish to receive high quality products, which reflect the need for near-zero defects manufacturing systems. Therefore, the combination of macro-level changes (product variety) and micro-level variety (product defects) leads to the concept of self-evolving production systems, one of the KETs to enable CPPS. In this context, industrial robots play a key role to deploy automation and fast responsiveness. Currently, robots are programmed following off-line methods. Tough those methods are still a premium solution to model and simulate production systems, they suffer the capability to incorporate dynamic changes. Therefore, it is crucial to introduce the new concept of dynamic robot programming which enables real-time robot adjustments. Robot programming usually consists of four steps: (1) task planning; (2) task sequencing; (3) path planning and (4) motion planning. These steps are strictly coupled although robot trajectory is mainly affected by defined tasks. In literature, task sequencing is modelled as Travelling Salesman Problem with Neighbourhoods (TSPN). There exist several methods for solving TSPN, but no one enables the dynamic programming. This thesis aims to develop robot tasks sequencing methodology with the ultimate goal of finding the near-optimum task sequence, by minimising computational time to enable dynamic robot programming in the case of multiple and coupled tasks’ attributes. The thesis introduces two methodologies: (1) “Enhanced Heuristic with Hierarchical Clustering” (EH2C); and, (2) “Augmented-EH2C” (A-EH2C). EH2C is a general framework to solve TSPN-like problems. The method uses a novel approach which hinges on the key idea of pre-computed feasible robot poses based on analytical formulation of Euclidian weighted functions. Results and benchmarking studies have showed that this approach allows to reach a faster convergence rate, when compared to the top-1method available in the public domain. The EH2C methods has been then deployed to solve robotic task sequencing problem, with multiple attributes. This has led to the A-EH2C method, which introduces the concept of multi-attribute task sequencing, as a paradigm to solve coupled and hierarchical robotic task sequencing and path planning problems. The thesis poses the following contributions: (1) enhanced heuristic approach based on Euclidian distance to define the initial guess points for constructing tour in TSPN; (2) multi-attribute approach to find the optimised task sequencing via candidate poses solving inverse kinematics in T-space; (3) break-through paradigm shift from static robot path planning to dynamic robot path to enable on-the-fly robot re-programming to facilitate product and process adjustments. The proposed solutions have been tested in the context of automotive body assembly systems. However, results could impact a wider area, from navigation systems, game and graph theory, to autonomous systems.