Literatura académica sobre el tema "Accélération méthodes à noyaux"

Les contributions de cette thèse se divisent en deux parties. Une première partie dédiée à l’accélération des méthodes à noyaux et une seconde à l'optimisation sous contrainte de parcimonie. Les méthodes à noyaux sont largement connues et utilisées en apprentissage automatique. Toutefois, la complexité de leur mise en œuvre est élevée et elles deviennent inutilisables lorsque le nombre de données est grand. Nous proposons dans un premier temps une approximation des Ridge Leverage Scores. Nous utilisons ensuite ces scores pour définir une distribution de probabilité pour le processus d'échantillonnage de la méthode de Nyström afin d’accélérer les méthodes à noyaux. Nous proposons dans un second temps un nouveau framework basé sur les noyaux, permettant de représenter et de comparer les distributions de probabilités discrètes. Nous exploitons ensuite le lien entre notre framework et la Maximum Mean Discrepancy pour proposer une approximation précise et peu coûteuse de cette dernière. La deuxième partie de cette thèse est consacrée à l’optimisation avec contrainte de parcimonie pour l’optimisation de signaux et l’élagage de forêts aléatoires. Tout d’abord, nous prouvons sous certaines conditions sur la cohérence du dictionnaire, les propriétés de reconstruction et de convergence de l’algorithme Frank-Wolfe. Ensuite, nous utilisons l'algorithme OMP pour réduire la taille de forêts aléatoires et ainsi réduire la taille nécessaire pour son stockage. La forêt élaguée est constituée d’un sous-ensemble d’arbres de la forêt initiale sélectionnés et pondérés par OMP de manière à minimiser son erreur empirique de prédiction<br>The contributions of this thesis are divided into two parts. The first part is dedicated to the acceleration of kernel methods and the second to optimization under sparsity constraints. Kernel methods are widely known and used in machine learning. However, the complexity of their implementation is high and they become unusable when the number of data is large. We first propose an approximation of Ridge leverage scores. We then use these scores to define a probability distribution for the sampling process of the Nyström method in order to speed up the kernel methods. We then propose a new kernel-based framework for representing and comparing discrete probability distributions. We then exploit the link between our framework and the maximum mean discrepancy to propose an accurate and fast approximation of the latter. The second part of this thesis is devoted to optimization with sparsity constraint for signal optimization and random forest pruning. First, we prove under certain conditions on the coherence of the dictionary, the reconstruction and convergence properties of the Frank-Wolfe algorithm. Then, we use the OMP algorithm to reduce the size of random forests and thus reduce the size needed for its storage. The pruned forest consists of a subset of trees from the initial forest selected and weighted by OMP in order to minimize its empirical prediction error

Permettre à des applications d'accéder à leur contexte ouvre un nombre important de perspectives dans l'interaction homme-machine. Les nombreux travaux visant à déterminer comment utiliser le contexte montrent le besoin de savoir le récupérer. En analysant les besoins en apprentissage automatique pour l'ensemble des tâches relatives à la détection de contexte, nous nous sommes heurtés à un certain nombre de verrous scientifiques. Par conséquent, la plus grande partie des travaux effectués au cours de cette thèse concernent l'apprentissage d'un point de vue plus général avec comme objectif d'aboutir à un apprentissage autonome et endurant. Par autonome, nous entendons un apprentissage qui ne nécessite pas l'intervention d'un spécialiste pour fonctionner. Cela implique de faire appel à des méthodes aptes à de régler seules et en ligne. Par endurant, nous faisons référence à un usage réaliste des applications, c'est-à-dire un fonctionnement en temps réel, donc rapide et en ligne, pour un nombre très important de données et stable. Parce que les SVM donnent des résultats précis, nous avons focalisé l'ensemble de nos travaux sur cette méthode, or les SVM sont loin de répondre aux exigences d'un apprentissage autonome et endurant. L'apprentissage autonome n'est pas seulement soumis au besoin d'efficacité de la technique de résolution. Il est également limité par la présence d'hyper-paramètres. Dans le cas des SVM, ces hyper-paramètres sont relativement peu nombreux mais un seul suffit à rendre une méthode dépendante d'une forme de supervision qui contredit soit le besoin d'apprentissage en ligne, soit l'objectif d'indépendance vis-à-vis d'une intervention humaine. Nous avons étudié ce problème par le biais des chemins de régularisation. Le chemin de régularisation permet de connaître toutes les solutions d'un problème au regard d'un compromis biais-variance. Pour les SVM, ce compromis est réglé par un des hyper-paramètres et nous utilisons donc le chemin de régularisation pour obtenir un réglage automatique de cet hyper-paramètre. Nous n'avons pas encore atteint le stade du push-button SVM mais nous montrons que toutes les limites des SVM ne sont pas insurmontables. En ce qui concerne la taille des bases d'apprentissage possibles à traiter en particulier, nous avons mis en oeuvre le plus grand SVM à ce jour sur un seul processeur avec 80 millions de points en dimension 784, en utilisant la méthode en ligne LASVM.

Cette thèse se concentre sur le modèle de classification binaire. Etant donné $n$ couples de variables aléatoires indépendantes et identiquement distribuées (i.i.d.) $(X_i,Y_i)$, $i=1,\ldots ,n$ de loi $P$, on cherche à prédire la classe $Y\in\{-1,+1\}$ d'une nouvelle entrée $X$ où $(X,Y)$ est de loi $P$. La règle de Bayes, notée $f^*$, minimise l'erreur de généralisation $R(f)=P(f(X)\not=Y)$. Un algorithme de classification doit s'approcher de la règle de Bayes. Cette thèse suit deux axes : établir des vitesses de convergence vers la règle de Bayes et proposer des procédures adaptatives.<br /><br />Les méthodes de régularisation ont montrées leurs intérêts pour résoudre des problèmes de classification. L'algorithme des Machines à Vecteurs de Support (SVM) est aujourd'hui le représentant le plus populaire. Dans un premier temps, cette thèse étudie les performances statistiques de cet algorithme, et considère le problème d'adaptation à la marge et à la complexité. On étend ces résultats à une nouvelle procédure de minimisation de risque empirique pénalisée sur les espaces de Besov. Enfin la dernière partie se concentre sur une nouvelle procédure de sélection de modèles : la minimisation de l'enveloppe du risque (RHM). Introduite par L.Cavalier et Y.Golubev dans le cadre des problèmes inverses, on cherche à l'appliquer au contexte de la classification.

Nous développons de nouvelles méthodes pour estimer la valeur d'une fonction, ainsi que les valeurs de ses dérivées première et seconde en un point quelconque. Ces méthodes reposent sur la convolution de la fonction avec de nouveaux noyaux discontinus à support fini, introduits dans ce mémoire. Notre approche, qui s'inspire des techniques sans maillage de l'hydrodynamique des particules lisses (ou" smoothed particle hydrodynamics", SPH), a l'avantage de permettre l'emploi d'approximations polynomiales et de certaines formules Newton-Cotes (comme les règles du trapèze et de Simpson) dans l'évaluation des convolutions. De plus, nous obtenons des bornes d'erreurs associées aux techniques SPH. Dans nos calculs numériques nous avons obtenu, grâce à la convolution avec nos noyaux discontinus, des résultats supérieurs à ceux obtenus par la convolution avec un noyau continu souvent utilisé en SPH classique (plus précisément, le noyau connu sous le nom de poly6 ). Cette supériorité est particulièrement évidente lorsque le support du noyau est petit.

La disponibilité de quantités massives de données, comme des images dans les réseaux sociaux, des signaux audio de téléphones mobiles, ou des données génomiques ou médicales, a accéléré le développement des techniques d'apprentissage automatique. Ces méthodes exploitent des motifs statistiques dans ces grandes bases de données pour effectuer de bonnes prédictions sur des nouvelles images, signaux, ou séquences de protéines. Récemment, les systèmes d'apprentissage profond ont émergé comme des algorithmes d'apprentissage très efficaces. Ces modèles multi-couche effectuent leurs prédictions de façon hiérarchique, et peuvent être entraînés à très grande échelle avec des méthodes de gradient. Leur succès a été particulièrement marqué lorsque les données sont des signaux naturels comme des images ou des signaux audio, pour des tâches comme la reconnaissance visuelle, la détection d'objets, ou la reconnaissance de la parole. Pour de telles tâches, l'apprentissage profond donne souvent la meilleure performance empirique, mais leur compréhension théorique reste difficile à cause du grand nombre de paramètres, et de la grande dimension des données. Leur succès est souvent attribué à leur capacité d'exploiter des structures des signaux naturels, par exemple en apprenant des représentations invariantes et multi-échelle de signaux naturels à travers un bon choix d'architecture, par exemple avec des convolutions et des opérations de pooling. Néanmoins, ces propriétés sont encore mal comprises théoriquement, et l'écart entre la théorique et pratique en apprentissage continue à augmenter. Cette thèse vise à réduire cet écart grâce à l'étude d'espaces de fonctions qui surviennent à partir d'une certaine architecture, en particulier pour les architectures convolutives. Notre approche se base sur les méthodes à noyaux, et considère des espaces de Hilbert à noyaux reproduisant (RKHS) associés à certains noyaux construits de façon hiérarchique selon une architecture donnée. Cela nous permet d'étudier précisément des propriétés de régularité, d'invariance, de stabilité aux déformations du signal, et d'approximation des fonctions du RKHS. Ces propriétés sur la représentation sont aussi liées à des questions d'optimisation pour l'entraînement de réseaux profonds à très grand nombre de neurones par descente de gradient, qui donnent lieu à de tels noyaux. Cette théorie suggère également des nouvelles stratégies pratiques de régularisation qui permettent d'obtenir une meilleure performance en généralisation pour des petits jeux de données, et une performance état de l'art pour la robustesse à des perturbations adversariales en vision<br>The increased availability of large amounts of data, from images in social networks, speech waveforms from mobile devices, and large text corpuses, to genomic and medical data, has led to a surge of machine learning techniques. Such methods exploit statistical patterns in these large datasets for making accurate predictions on new data. In recent years, deep learning systems have emerged as a remarkably successful class of machine learning algorithms, which rely on gradient-based methods for training multi-layer models that process data in a hierarchical manner. These methods have been particularly successful in tasks where the data consists of natural signals such as images or audio; this includes visual recognition, object detection or segmentation, and speech recognition.For such tasks, deep learning methods often yield the best known empirical performance; yet, the high dimensionality of the data and large number of parameters of these models make them challenging to understand theoretically. Their success is often attributed in part to their ability to exploit useful structure in natural signals, such as local stationarity or invariance, for instance through choices of network architectures with convolution and pooling operations. However, such properties are still poorly understood from a theoretical standpoint, leading to a growing gap between the theory and practice of machine learning. This thesis is aimed towards bridging this gap, by studying spaces of functions which arise from given network architectures, with a focus on the convolutional case. Our study relies on kernel methods, by considering reproducing kernel Hilbert spaces (RKHSs) associated to certain kernels that are constructed hierarchically based on a given architecture. This allows us to precisely study smoothness, invariance, stability to deformations, and approximation properties of functions in the RKHS. These representation properties are also linked with optimization questions when training deep networks with gradient methods in some over-parameterized regimes where such kernels arise. They also suggest new practical regularization strategies for obtaining better generalization performance on small datasets, and state-of-the-art performance for adversarial robustness on image tasks

La détection de piéton est un problème récurrent depuis de nombreuses années. La principale confrontation est liée à la grande variabilité du piéton en échelle, posture et apparence. Un algorithme efficace de reconnaissance de formes doit donc être capable d'affronter ces difficultés. En particulier, le choix d'une représentation pertinente et discriminante est un sujet difficile à résoudre. Dans notrre cas, nous avons envisagé deux approches. La première consiste à représenter la forme d'un objet à l'aide de graphes étiquetés. Selon les étiquettes apportées, le graphe possède en effet des propriétés intéressantes pour résoudre les problèmes de variabilité de taille et de posture. Cette méthode nécessite cependant une segmentation rigoureuse au préalable. Nous avons ensuite étudié une représentation constituée d'histogrammes locaux d'orientation de gradient. Cette méthode présente des résultats intéressants par ses capacités de généralisation. L'application de cette méthode sur des images infrarouges complètes nécessite cependant une fonction permettant d'extraire des fenêtres dans l'image afin d'analyser leur contenu et vérifier ainsi la présence ou non de piétons. La deuxième étape du processus de reconnaissance de formes concerne l'analyse de la représentation des données. Nous utilisons pour cela le classifieur Support Vector Machine bâti, entre autres, sur une fonction noyau calculant le produit scalaire entre les données support et la donnée évaluée. Dans le cas des graphes, nous utilisons une formulation de noyau de graphes calculé sur des "sacs de chemins". Le but consiste à extraire un ensemble de chemins de chaque graphe puis de comparer les chemins entre eux et combiner les comparaisons pour obtenir le noyau final. Pour analyser les histogrammes de gradient, nous avons étudié différentes formulations permettant d'obtenir les meilleures performances avec cette représentation qui peut être assimilée à une distribution de probabilités.

La détection de piéton est un problème récurrent depuis de nombreuses années. La principale confrontation est liée à la grande variabilité du piéton en échelle, posture et apparence. Un algorithme efficace de reconnaissance de formes doit donc être capable d'affronter ces difficultés. En particulier, le choix d'une représentation pertinente et discriminante est un sujet difficile à résoudre. Dans notrre cas, nous avons envisagé deux approches. La première consiste à représenter la forme d'un objet à l'aide de graphes étiquetés. Selon les étiquettes apportées, le graphe possède en effet des propriétés intéressantes pour résoudre les problèmes de variabilité de taille et de posture. Cette méthode nécessite cependant une segmentation rigoureuse au préalable. Nous avons ensuite étudié une représentation constituée d'histogrammes locaux d'orientation de gradient. Cette méthode présente des résultats intéressants par ses capacités de généralisation. L'application de cette méthode sur des images infrarouges complètes nécessite cependant une fonction permettant d'extraire des fenêtres dans l'image afin d'analyser leur contenu et vérifier ainsi la présence ou non de piétons. La deuxième étape du processus de reconnaissance de formes concerne l'analyse de la représentation des données. Nous utilisons pour cela le classifieur Support Vector Machine bâti, entre autres, sur une fonction noyau calculant le produit scalaire entre les données support et la donnée évaluée. Dans le cas des graphes, nous utilisons une formulation de noyau de graphes calculé sur des "sacs de chemins". Le but consiste à extraire un ensemble de chemins de chaque graphe puis de comparer les chemins entre eux et combiner les comparaisons pour obtenir le noyau final. Pour analyser les histogrammes de gradient, nous avons étudié différentes formulations permettant d'obtenir les meilleures performances avec cette représentation qui peut être assimilée à une distribution de probabilités.

Étude de l'accélération de la convergence de suites de vecteurs complexes. Transformation d'Henrici et transformations composites vectorielles (étudiées par C. Brezinski dans le cas scolaire). Connexion existant entre les méthodes d'accélération de la convergence et les méthodes de point fixe. Généralisations de la méthode Regula-Falsi. Revue des principales méthodes d'accélération de la convergence. Classe de méthodes à convergence quadratique, appliquées à la résolution des systèmes d'équations non linéaires.

Dans le foisonnant domaine des méthodes à noyaux, force est de constater aujourd’hui que les efforts de recherche ont été essentiellement portés sur les applications, délaissant quelque peu l’étude des noyaux eux-mêmes. Cet état de fait est d’autant plus surprenant que ces derniers conditionnent largement l’efficacité des traitements, par leur aptitude à révéler les similarités existant au sein des données traitées. Le principal objectif de cette thèse est de proposer une méthodologie pour l’élaboration d'un noyau adapté à un problème et à des données. La première partie de ce manuscrit s’intéresse au problème d’apprentissage d’un noyau par ajustement de ses paramètres libres. Nous étudions en particulier les propriétés statistiques des critères d’alignement et de polarité, et proposons un algorithme glouton pour l’optimisation d’une combinaison linéaire de noyaux. Dans la seconde partie, nous étudions le problème d’optimisation de la représentation des données. Un algorithme est proposé pour transformer linéairement les données selon le critère d’alignement. Afin de lutter contre la malédiction de la dimensionnalité, nous étudions une seconde approche basée sur l’optimisation de la métrique et l’appliquons avec succès au problème de classification de textes. La dernière partie concerne la prise en compte d’a priori modélisé sous la forme d’ellipsoïdes, inspiré de l’apprentissage d’un SVM, nous développons un algorithme supervisé capable de classer efficacement des ellipsoïdes<br>Among the large family of kernel methods, one should admit that, up to now, research was guided by applications, neglecting the study of the kernels themselves. This observations of particularly surprising since these later determine the performance of the machine by their ability to reveal similarities between data samples. The main objective of this thesis is to provide a methodology for the design of data-dependant kernels. The first part of this manuscript is about kernel learning. We study the problem consisting in optimizing the free parameters of several well-known kernel families. We propose a greedy algorithm for learning a linear combination of kernels without training any kernel machine at each step. The improved kernel is then used to train a standard SVM classifier. Applications in regression are also presented. In the second part, we develop methods for data representation learning. We propose an algorithm for maximizing the alignment over linear transform of the input space, which suppose vectorial representation of the data. To deal with the so-called curse of dimensionality, we suggest to learn data representation by distance metric learning. This approach can be used to optimize efficiently any reproducing kernel Hilbert space. We show its application in a text classification context. The last part concerns the use of prior information in the form of ellipsoidal knowledge sets. By considering bounding ellipsoids instead of the usual sample vectors, one can include into SVM invariance properties

La conception de systèmes embarqués s’appuie fortement sur la simulation pour évaluer et valider des nouvelles configurations architecturales avant la réalisation physique. Néanmoins, comme ces systèmes deviennent de plus en plus complexes, la simulation de ces systèmes exige des temps importants. Ce problème est encore plus visible au niveau des architectures embarquées multiprocesseurs (ou MPSoC) qui offrent des performances certes intéressantes (en nombre d’instructions/Joule) mais qui exigent des simulateurs performants. Pour ces systèmes, il est impératif d’accélérer la simulation afin de réduire les délais de la phase d’évaluation des performances et obtenir ainsi des temps d’arrivée sur le marché (time-to-market) relativement courts. La thèse s’intéresse aux méthodes d’accélération de la simulation pour ce type d’architectures. Dans ce cadre, nous avons proposé une série de solutions visant à accélérer la simulation des MPSoC. L’ensemble des méthodes proposées sont basées sur l’échantillonnage des applications. Ainsi, les applications parallèles sont d’abords analysées afin de détecter les différentes phases qui les composent. Par la suite et pendant la simulation, les phases s’exécutant en parallèle se combinent et forment des clusters de phases. Nous avons mis au point des techniques qui permettent de former les clusters, de les détecter et de sauvegarder leurs statistiques de façon intéressante. Chaque cluster représente un échantillon d’intervalles d’exécution de l’application similaires. La détection de ces derniers nous évite de simuler plusieurs fois le même échantillon. Pour réduire le nombre de clusters dans les applications et augmenter le nombre d’occurrences des clusters simulés, une optimisation de la méthode a été proposée afin d’adapter dynamiquement la taille des phases des applications à simuler. Ceci permet de détecter facilement les scenarios des clusters exécutés lorsqu’une répétition dans le comportement des applications a lieu. Enfin, pour rendre notre méthodologie viable dans un environnement de conception de MPSoC, nous avons proposé des techniques performantes pour la construction de l’état exact du système au démarrage (checkpoint) de la simulation des clusters<br>Embedded system design relies heavily on simulation to evaluate and validate new platforms before implementation. Nevertheless, as technological advances allow the realization of more complex circuits, simulation time of these systems is considerably increasing. This problem arises mostly in the case of embedded multiprocessor architectures (MPSoC) which offer high performances (in terms of instructions/Joule) but which require powerful simulators. For such systems, simultion should be accelerated in order to speed up their design flow thus reducing the time-to-market. In this thesis, we proposed a series of solutions aiming at accelerating the simulation of MPSoC. The proposed methods are based on application sampling. Thus, the parallel applications are first analyzed in order to detect the different phases which compose them. Thereafter and during the simulation, the phases executed in parallel are combined together in order to generate clusters of phases. We developed techniques that facilitate generating clusters, detecting repeated ones and recording their statistics in an efficient way. Each cluster represents a sample of similar execution intervals of the application. The detection of these similar intervals saves us simulating several times the same sample. To reduce the number of clusters in the applications and to increase the occurrence number of simulated clusters, an optimization of the method was proposed to dynamically adapt phase size of the applications. This makes it possible to easily detect the scenarios of the executed clusters when a repetition in the behavior of the applications takes place. Finally, to make our methodology viable in an MPSoC design environment, we proposed efficient techniques to construct the real system state at the simulation starting point (checkpoint) of the cluster