Academic literature on the topic 'Accélération méthodes à noyaux'

Cette thèse se concentre sur le modèle de classification binaire. Etant donné $n$ couples de variables aléatoires indépendantes et identiquement distribuées (i.i.d.) $(X_i,Y_i)$, $i=1,\ldots ,n$ de loi $P$, on cherche à prédire la classe $Y\in\{-1,+1\}$ d'une nouvelle entrée $X$ où $(X,Y)$ est de loi $P$. La règle de Bayes, notée $f^*$, minimise l'erreur de généralisation $R(f)=P(f(X)\not=Y)$. Un algorithme de classification doit s'approcher de la règle de Bayes. Cette thèse suit deux axes : établir des vitesses de convergence vers la règle de Bayes et proposer des procédures adaptatives.<br /><br />Les méthodes de régularisation ont montrées leurs intérêts pour résoudre des problèmes de classification. L'algorithme des Machines à Vecteurs de Support (SVM) est aujourd'hui le représentant le plus populaire. Dans un premier temps, cette thèse étudie les performances statistiques de cet algorithme, et considère le problème d'adaptation à la marge et à la complexité. On étend ces résultats à une nouvelle procédure de minimisation de risque empirique pénalisée sur les espaces de Besov. Enfin la dernière partie se concentre sur une nouvelle procédure de sélection de modèles : la minimisation de l'enveloppe du risque (RHM). Introduite par L.Cavalier et Y.Golubev dans le cadre des problèmes inverses, on cherche à l'appliquer au contexte de la classification.

Nous développons de nouvelles méthodes pour estimer la valeur d'une fonction, ainsi que les valeurs de ses dérivées première et seconde en un point quelconque. Ces méthodes reposent sur la convolution de la fonction avec de nouveaux noyaux discontinus à support fini, introduits dans ce mémoire. Notre approche, qui s'inspire des techniques sans maillage de l'hydrodynamique des particules lisses (ou" smoothed particle hydrodynamics", SPH), a l'avantage de permettre l'emploi d'approximations polynomiales et de certaines formules Newton-Cotes (comme les règles du trapèze et de Simpson) dans l'évaluation des convolutions. De plus, nous obtenons des bornes d'erreurs associées aux techniques SPH. Dans nos calculs numériques nous avons obtenu, grâce à la convolution avec nos noyaux discontinus, des résultats supérieurs à ceux obtenus par la convolution avec un noyau continu souvent utilisé en SPH classique (plus précisément, le noyau connu sous le nom de poly6 ). Cette supériorité est particulièrement évidente lorsque le support du noyau est petit.

La disponibilité de quantités massives de données, comme des images dans les réseaux sociaux, des signaux audio de téléphones mobiles, ou des données génomiques ou médicales, a accéléré le développement des techniques d'apprentissage automatique. Ces méthodes exploitent des motifs statistiques dans ces grandes bases de données pour effectuer de bonnes prédictions sur des nouvelles images, signaux, ou séquences de protéines. Récemment, les systèmes d'apprentissage profond ont émergé comme des algorithmes d'apprentissage très efficaces. Ces modèles multi-couche effectuent leurs prédictions de façon hiérarchique, et peuvent être entraînés à très grande échelle avec des méthodes de gradient. Leur succès a été particulièrement marqué lorsque les données sont des signaux naturels comme des images ou des signaux audio, pour des tâches comme la reconnaissance visuelle, la détection d'objets, ou la reconnaissance de la parole. Pour de telles tâches, l'apprentissage profond donne souvent la meilleure performance empirique, mais leur compréhension théorique reste difficile à cause du grand nombre de paramètres, et de la grande dimension des données. Leur succès est souvent attribué à leur capacité d'exploiter des structures des signaux naturels, par exemple en apprenant des représentations invariantes et multi-échelle de signaux naturels à travers un bon choix d'architecture, par exemple avec des convolutions et des opérations de pooling. Néanmoins, ces propriétés sont encore mal comprises théoriquement, et l'écart entre la théorique et pratique en apprentissage continue à augmenter. Cette thèse vise à réduire cet écart grâce à l'étude d'espaces de fonctions qui surviennent à partir d'une certaine architecture, en particulier pour les architectures convolutives. Notre approche se base sur les méthodes à noyaux, et considère des espaces de Hilbert à noyaux reproduisant (RKHS) associés à certains noyaux construits de façon hiérarchique selon une architecture donnée. Cela nous permet d'étudier précisément des propriétés de régularité, d'invariance, de stabilité aux déformations du signal, et d'approximation des fonctions du RKHS. Ces propriétés sur la représentation sont aussi liées à des questions d'optimisation pour l'entraînement de réseaux profonds à très grand nombre de neurones par descente de gradient, qui donnent lieu à de tels noyaux. Cette théorie suggère également des nouvelles stratégies pratiques de régularisation qui permettent d'obtenir une meilleure performance en généralisation pour des petits jeux de données, et une performance état de l'art pour la robustesse à des perturbations adversariales en vision<br>The increased availability of large amounts of data, from images in social networks, speech waveforms from mobile devices, and large text corpuses, to genomic and medical data, has led to a surge of machine learning techniques. Such methods exploit statistical patterns in these large datasets for making accurate predictions on new data. In recent years, deep learning systems have emerged as a remarkably successful class of machine learning algorithms, which rely on gradient-based methods for training multi-layer models that process data in a hierarchical manner. These methods have been particularly successful in tasks where the data consists of natural signals such as images or audio; this includes visual recognition, object detection or segmentation, and speech recognition.For such tasks, deep learning methods often yield the best known empirical performance; yet, the high dimensionality of the data and large number of parameters of these models make them challenging to understand theoretically. Their success is often attributed in part to their ability to exploit useful structure in natural signals, such as local stationarity or invariance, for instance through choices of network architectures with convolution and pooling operations. However, such properties are still poorly understood from a theoretical standpoint, leading to a growing gap between the theory and practice of machine learning. This thesis is aimed towards bridging this gap, by studying spaces of functions which arise from given network architectures, with a focus on the convolutional case. Our study relies on kernel methods, by considering reproducing kernel Hilbert spaces (RKHSs) associated to certain kernels that are constructed hierarchically based on a given architecture. This allows us to precisely study smoothness, invariance, stability to deformations, and approximation properties of functions in the RKHS. These representation properties are also linked with optimization questions when training deep networks with gradient methods in some over-parameterized regimes where such kernels arise. They also suggest new practical regularization strategies for obtaining better generalization performance on small datasets, and state-of-the-art performance for adversarial robustness on image tasks

La détection de piéton est un problème récurrent depuis de nombreuses années. La principale confrontation est liée à la grande variabilité du piéton en échelle, posture et apparence. Un algorithme efficace de reconnaissance de formes doit donc être capable d'affronter ces difficultés. En particulier, le choix d'une représentation pertinente et discriminante est un sujet difficile à résoudre. Dans notrre cas, nous avons envisagé deux approches. La première consiste à représenter la forme d'un objet à l'aide de graphes étiquetés. Selon les étiquettes apportées, le graphe possède en effet des propriétés intéressantes pour résoudre les problèmes de variabilité de taille et de posture. Cette méthode nécessite cependant une segmentation rigoureuse au préalable. Nous avons ensuite étudié une représentation constituée d'histogrammes locaux d'orientation de gradient. Cette méthode présente des résultats intéressants par ses capacités de généralisation. L'application de cette méthode sur des images infrarouges complètes nécessite cependant une fonction permettant d'extraire des fenêtres dans l'image afin d'analyser leur contenu et vérifier ainsi la présence ou non de piétons. La deuxième étape du processus de reconnaissance de formes concerne l'analyse de la représentation des données. Nous utilisons pour cela le classifieur Support Vector Machine bâti, entre autres, sur une fonction noyau calculant le produit scalaire entre les données support et la donnée évaluée. Dans le cas des graphes, nous utilisons une formulation de noyau de graphes calculé sur des "sacs de chemins". Le but consiste à extraire un ensemble de chemins de chaque graphe puis de comparer les chemins entre eux et combiner les comparaisons pour obtenir le noyau final. Pour analyser les histogrammes de gradient, nous avons étudié différentes formulations permettant d'obtenir les meilleures performances avec cette représentation qui peut être assimilée à une distribution de probabilités.