Добірка наукової літератури з теми "Forêts de survie aléatoires"

Dans cet article, nous présentons un modèle de microsimulation qui permet de générer des histoires de vie individuelles cohérentes avec les projections de cohortes obtenues par le modèle multi-états à composantes de cohorte. Le modèle de microsimulation peut prendre en compte des différences individuelles que le modèle à composantes de cohorte ne peut traiter. Ces différences sont dues à une association de facteurs systématiques et de facteurs aléatoires. Nous nous intéressons principalement aux facteurs aléatoires. Le modèle de microsimulation utilise un modèle de survie de cohorte multi-états à temps continu et des tirages aléatoires à partir de distributions de temps d’attente exponentielles par morceaux. Si on prend comme paramètres des distributions les intensités de transition du modèle de survie de cohorte, les histoires de vie individuelles sont cohérentes avec les projections de cohorte. Les histoires de vie apportent un éclairage sur la dynamique démographique que la méthode des composantes ne peut proposer.

Le criquet pèlerin, Schistocerca gregaria, est l'une des espèces acridiennes les plus redoutées en raison de l'ampleur des dégâts qu'il occasionne sur les cultures. Les pays touchés par cet insecte mobilisent des équipes de prospecteurs pour surveiller les habitats favorables à leur développement. Pour faciliter les interventions de ces prospecteurs et prédire la présence ou l'absence de criquets pèlerins, nous proposons pour le cas du Maroc une méthode basée sur l'historique des prospections et les variables explicatives calculées à la base des données de télédétection. Les données de télédétection utilisées sont issues du capteur MODIS et la technique CMORPH (NOAA CPC MORPHING Technique), ces données sont l'indice de végétation par différence normalisée (NDVI), la température de surface (LST) et la pluviométrie (P). Durant cette étude, nous avons testé deux modèles statistiques (Régression logistique et Forêts aléatoires) dans le but de trouver la meilleure approche à utiliser pour la production des cartes de prédiction. La comparaison des indicateurs extraits à partir de la matrice de confusion de chaque modèle nous a permis de conclure que la prévision par l'approche de forêts aléatoires semble meilleure que la régression logistique. Avec la modélisation statistique nous avons montré qu'il est possible de produire des cartes de prédiction de la présence/absence des criquets pèlerins en se basant sur les données de télédétection. Cette étude est une étape supplémentaire dans l'élaboration de cartes qui vont aider les prospecteurs à mieux orienter les missions de terrain et faciliter la localisation des zones favorables au développement des criquets pèlerins.

Résumé: En télédétection, il existe un grand nombre d'algorithmes permettant de classifier une image satellite. Parmi ces algorithmes de classification, la Forêt d'Arbres Aléatoires apparait comme particulièrement performant. Cette étude a pour objectifs d'évaluer (1) l'importance de la sélection des images pour le niveau de précision du modèle d'entrainement et (2) la nature de la relation qui existe entre le niveau de précision du modèle et celui de la précision globale de la carte thématique résultant de la classification de l'image satellite avec cet algorithme de classification. A partir d'une image Landsat 8 OLI prise au-dessus d'une zone de montagne tropicale : la région de l'Ouest Cameroun, 35 modèles ont été construits et testés. Les résultats montrent que le niveau de la précision globale des résultats de la Forêts d'Arbres Aléatoires est étroitement dépendant d'une part de la précision du modèle d'entrainement utilisé pour classifier l'image satellite, et d'autre part du choix des images utilisées pour entrainer ce modèle. De plus, la sélection de ces images est elle-même dépendante de la qualité des zones d'entrainement qui serviront à la construction du modèle. Il est donc important de mettre en accent particulier sur la qualité des données d'entrée afin de garantir des résultats satisfaisants avec cet algorithme. Mots clés : Forêt d’Arbres Aléatoires ; précision ; modèle d’entrainement ; télédétection ; Cameroun

Dans les forêts tropicales d’Afrique cen- trale, le gorille des plaines occidentales dépose la plupart des graines qu’il dis- perse dans des nids bien éclairés pro- pices à la croissance de plantules, laquelle est susceptible d’être renforcée par l’effet fertilisant des matières fécales entourant les graines. Cet effet fertilisant n’avait jamais été testé. Notre étude visait ainsi à déterminer si le dépôt de graines par les gorilles (i) dans une matrice fécale et (ii) dans leurs nids présente un avan- tage pour le développement des plan- tules (taux de croissance et de foliation) et pour leur survie (% de plantules survi- vantes). Pour évaluer l’effet de la matrice fécale, des graines de Santiria trimera (Burséracée), Chrysophyllum lacourtia- num (Sapotacée) et Plagiostyles africana (Euphorbiacée) recueillies dans des déjections de gorilles ont été semées en pépinière avec et sans matrice fécale. Des plantules de Santiria trimera et Dacryodes normandii (Burséracées) ont été installées dans des nids et en forêt de terra firme à couvert fermé afin d’évaluer l’impact du dépôt de graines sur le déve- loppement et la survie des plantules. Nos observations montrent une influence positive de la matrice fécale sur le déve- loppement des plantules des essences étudiées, mais aucun effet sur leur survie. Concernant les sites de dépôt, les taux de croissance observés étaient de deux à dix fois plus élevés dans les nids qu’en forêt à couvert fermé. Le développement accru des plantules est corrélé positivement avec l’ouverture du couvert forestier. Des études in situ de la germination et de la croissance et la survie des plantules sont nécessaires pour mieux caractériser le destin des graines dispersées par les gorilles. Cependant, nos résultats tendent à prouver que les gorilles jouent un rôle de dispersion dirigée important dans les forêts à couvert ouvert.

Les performances reproductives, de 318 brebis de race Ouled-Djellal, ont été étudiées. Les paramètres génétiques ont été estimés pour cinq variables: fertilité, prolificité, taux de survie, taux de productivité numérique et taux de productivité pondéral. L’année, l’âge, le mois de saillie, la parité ont été considérés comme facteurs à effets fixés. Les effets génétiques directs et de l’environnement permanent de la brebis ont été considérés comme facteurs aléatoires. Les paramètres génétiques ont été estimés en utilisant le logiciel MTDFREML. Les héritabilités obtenues ont été faibles dans leur ensemble, ceci à cause de l’influence de l’environnement et du mode d’expression non normal de ces variables.

Au cours des dernières décennies, des vers de terre exotiques ont colonisé les sols dans plusieurs forêts de l’Amérique du Nord. L’acidité des sols et la rigueur du climat pourraient avoir limité leur colonisation dans certaines forêts tempérées de feuillus. Cependant, le réchauffement climatique et l’utilisation de plus en plus fréquente du chaulage pour contrer le dépérissement des érablières pourraient rendre ces sites plus vulnérables à la colonisation par les vers de terre. Par des expériences sur le terrain et en laboratoire, nous avons évalué la capacité de survie et de reproduction de 3 espèces de vers de terre exotiques dans des sols chaulés (pH de 5,0 à 5,6) et non chaulés (pH ~ 4,0) d’une érablière au sol acide située au nord de l’aire de répartition des érablières au Québec. L’amélioration des caractéristiques du sol par le chaulage a positivement influencé le degré d’activité, la survie et la reproduction de Lumbricus terrestris et d’Aporrectodea caliginosa, 2 espèces d’origine européenne établies en Amérique du Nord. Par contre, l’acidité du sol non chaulé ne semble pas favorable à la colonisation par Lumbricus terrestris, mais pourrait ne pas limiter Aporrectodea caliginosa. Par ailleurs, nos observations indiquent qu’Amynthas hawayanus, une espèce d’origine asiatique établie aux États-Unis, était très active durant la saison estivale et automnale, autant dans le sol acide que chaulé, mais n’avait pas réussi à compléter son cycle de vie avant l’hiver. À la lumière de ces résultats, il semble donc probable que certaines espèces de vers de terre, telles qu’Aporrectodea caliginosa et Lumbricus terrestris, puissent coloniser certaines érablières chaulées au cours des prochaines décennies. Selon des études récentes, cette colonisation par les vers de terre pourrait nuire à l’intégrité écologique de ces érablières.

Cette étude montre le potentiel de l'information texturale des images à très haute résolution spatiale Pléiades pour la quantification et la cartographie de la structure forestière des peuplements de pin maritime du sud-ouest de la France (massif landais). Une première étape montre qu'il est possible d'estimer, par régressions linéaires multiples, les variables de structure forestière (comme le diamètre des couronnes ou la hauteur des arbres) à partir d'un ensemble d'attributs de texture automatiquement sélectionnés parmi un grand nombre de paramétrages possibles. La classification de l'image est ensuite effectuée en utilisant l'algorithme des forêts aléatoires (RF) pour discriminer cinq classes de structure forestière avec une approche hiérarchique. L'importance de variable des RF est utilisée pour la sélection des attributs de texture. Les résultats montrent l'intérêt de l'automatisation du processus, et de l'utilisation conjointe des deux résolutions des images Pléiades (panchromatique et multispectral) pour dériver les attributs de texture les plus performants pour détecter de fines variations de structure forestière.

Les pratiques et les arrangements spatiaux des parcelles agricoles ont un fort impact sur les flux d'eau dans les paysages cultivés . Afin de surveiller les paysages à grande échelle, il ya un fort besoin de délimitation automatique ou semi-automatique des parcelles agricoles. Cet article montre la contribution des images satellitaires à très haute résolution spatiales, telles que Pléiades, pour délimiter le parcellaire agricole de manière automatique .On propose une approche originale utilisant une classification binaire supervisée des limites. Une approche d'apprentissage actif est proposée afin d'adapter le modèle de classifieur au contexte local permettant ainsi la délimitation parcellaire à grande échelle.Le classifieur des Forêts Aléatoires est utilisé pour la classification et la sélection des attributs . Le concept de marge non supervisée est utilisé comme mesure d'incertitude dans l'algorithme d'apprentissage actif. En outre, un étiquetage automatique des pixels incertains est proposé en utilisant une approche hybride qui combinant une approche région et le concept de marge.Des résultats satisfaisants sont obtenus sur une image Pléiades. Différentes stratégies d'apprentissage sont comparées et discutées . Pour un cas d'étude opérationnel, un modèle global ou bien un modèle simple enrichi peuvent être utilisés en fonction des données de terrain disponibles.

La fusion d'images multispectrales à très haute résolution spatiale (THR) avec des séries temporelles d'images moins résolues spatialement mais comportant plus de bandes spectrales permet d'améliorer la classification de l'occupation du sol. Elle tire en effet le meilleur parti des points forts géométriques et sémantiques de ces deux sources. Ce travail s'intéresse à un processus d'extraction automatique de la tache urbaine fondé sur la fusion tardive de classifications calculées respectivement à partir d'images satellitaires Sentinel-2 et SPOT-6/7. Ces deux sources sont d'abord classées indépendamment selon 5 classes, respectivement par forêts aléatoires et réseaux de neurones convolutifs. Les résultats sont alors fusionnés afin d'extraire les bâtiments le plus finement possible. Cette étape de fusion inclut une fusion au niveau pixellaire suivie d'une étape de régularisation spatiale intégrant un terme lié au contraste de l'image. Le résultat obtenu connaît ensuite une seconde fusion afin d'en déduire une tache urbaine : une mesure a priori de se trouver en zone urbaine est calculée à partir des objets bâtiments détectés précédemment et est fusionnée avec une classification binaire dérivée de la classification originale des données Sentinel-2.

L’objectif de ces travaux est de fournir un modèle permettant la prédiction de la survie et l’identification de biomarqueurs dans le contexte du myélome multiple (MM) à l’aide de l’imagerie TEP (Tomographie à émission de positons) et de données cliniques. Cette thèse fut divisée en deux parties : La première permet d’obtenir un modèle basé sur les forêts de survie aléatoires (RSF). La seconde est basée sur l’adaptation de l’apprentissage profond à la survie et à nos données. Les contributions principales sont les suivantes : 1) Production d’un modèle basé sur les RSF et les images TEP permettant la prédiction d’un groupe de risque pour les patients atteints de MM.2) Détermination de biomarqueurs grâce à ce modèle3) Démonstration de l’intérêt des radiomiques TEP 4) Extension de l’état de l’art des méthodes d’adaptation de l’apprentissage profond à une petite base de données et à de petitesimages 5) Étude des fonctions de coût utilisées en survie. De plus, nous sommes, à notre connaissance, les premiers à investiguer l’utilisation des RSF dans le contexte du MM et des images TEP, à utiliser du pré-entraînement auto-supervisé avec des images TEP et, avec une tâche de survie, à adapter la fonction de coût triplet à la survie et à adapter un réseau de neurones convolutionnels à la survie du MM à partir de lésions TEP
The aim of this work is to provide a model for survival prediction and biomarker identification in the context of multiple myeloma (MM) using PET (Positron Emission Tomography) imaging and clinical data. This PhD is divided into two parts: The first part provides a model based on Random Survival Forests (RSF). The second part is based on the adaptation of deep learning to survival and to our data. The main contributions are the following: 1) Production of a model based on RSF and PET images allowing the prediction of a risk group for multiple myeloma patients. 2) Determination of biomarkers using this model.3) Demonstration of the interest of PET radiomics.4) Extension of the state of the art of methods for the adaptation of deep learning to a small database and small images. 5) Study of the cost functions used in survival. In addition, we are, to our knowledge, the first to investigate the use of RSFs in the context of MM and PET images, to use self-supervised pre-training with PET images, and, with a survival task, to fit the triplet cost function to survival and to fit a convolutional neural network to MM survival from PET lesions

Cette thèse est consacrée à l'inférence de certains modèles statistiques mal spécifiés. Chaque résultat obtenu trouve son application dans une étude sur les facteurs pronostiques dans le cancer du sein, grâce à des données collectées par l'Institut Curie. Dans un premier temps, nous nous intéressons au modèle à risques non proportionnels, et exploitons la connaissance de la survie marginale du temps de décès. Ce modèle autorise la variation dans le temps du coefficient de régression, généralisant ainsi le modèle à hasards proportionnels. Dans un deuxième temps, nous étudions un modèle à hasards non proportionnels ayant un coefficient de régression constant par morceaux. Nous proposons une méthode d'inférence pour un modèle à un unique point de rupture, et une méthode d'estimation pour un modèle à plusieurs points de rupture. Dans un troisième temps, nous étudions l'influence du sous-échantillonnage sur la performance des forêts médianes et essayons de généraliser les résultats obtenus aux forêts aléatoires de survie à travers une application. Enfin, nous présentons un travail indépendant où nous développons une nouvelle méthode de recherche de doses, dans le cadre des essais cliniques de phase I à ordre partiel
The thesis focuses on inference of statistical misspecified models. Every result finds its application in a prognostic factors study for breast cancer, thanks to the data collection of Institut Curie. We consider first non-proportional hazards models, and make use of the marginal survival of the failure time. This model allows a time-varying regression coefficient, and therefore generalizes the proportional hazards model. On a second time, we study step regression models. We propose an inference method for the changepoint of a two-step regression model, and an estimation method for a multiple-step regression model. Then, we study the influence of the subsampling rate on the performance of median forests and try to extend the results to random survival forests through an application. Finally, we present a new dose-finding method for phase I clinical trials, in case of partial ordering

Cette thèse s’inscrit dans le cadre des projets eBOSS et DESI. Ces projets utilisent, entreautres, l’absorption Lyman-α (Lyα) afin de sonder la répartition de matière dans l’univers et ainsi mesurer l’échelle des oscillations acoustiques de baryon (BAO). La mesure du rapport de la taille de l’échelle BAO et de la taille de l’horizon acoustique lors du découplage des baryons et des photons permet de contraindre l’expansion de l’univers, et donc les paramètres de l’équation d’état de l’énergie noire. Cette thèse présente le développement de simulations (ou pseudo-données, ou mocks) à partir de champs aléatoires gaussiens (GRF) utilisées afin de tester les analyses BAO des groupes Lyα de eBOSS et DESI. Les GRF permettent de générer un champ de densité δ. A partir de ce champ de densité, les positions des quasars (QSO) sont tirées, puis à partir de chaque quasar, les lignes de visées sont constituées. Le champ de densité δ est interpolé le long de ces lignes de visées. Enfin, à l’aide de l’approximation FGPA (Fluctuating Gunn Peterson Approximation), la densité interpolée est transformée en profondeur optique τ , puis en absorption Lyα. Grâce à un programme développé par la communauté de DESI, un continuum est ajouté aux forêts Lyα afin de créer des spectres de quasars synthétiques. Les mocks présentées dans ce manuscrit fournissent donc un relevé de quasars dont les forêts Lyα présentes dans les spectres possèdent les bonnes fonctions d’auto-corrélation Lyα×Lyα, de corrélation croisée Lyα×QSO, ainsi que d’auto-corrélationQSO×QSO et HCD×HCD (High Column Density systems).L’étude de ces mocks permet de montrer quel’analyse BAO menée sur l’ensemble des données Lyα du relevé eBOSS produit une mesure non biaisée des paramètres BAO αk et α⊥. Par ailleurs, une étude approfondie du modèle utilisé pour ajuster les fonctions de corrélation montre que la forme de la fonction d’auto-corrélation Lyα×Lyα, c’est à dire les mesures du biais bLyα et du paramètre RSD (Redshift Space Distorsions) βLyα, est comprise à environ 20 % près. Les systématiques qui affectent les mesures des paramètres Lyα (bLyα et βLyα) sont issues de deux effets. Le premier effet provient de la matrice de distorsion qui ne capture pas l’intégralité des distorsions produites par l’ajustement du continuum des quasars. Le second effet est lié à la modélisation des HCD. La modélisation de ces absorbeurs denses n’est pas parfaite et affecte la mesure des paramètres Lyα, en particulier le paramètre RSD βLyα. L’analyse de ces mocks permet donc de valider un bon contrôle des systématiques pour les analyses BAO avec le Lyα. Cependant, une meilleure compréhension des mesures des paramètres Lyα est nécessaire afin d’envisager une analyse RSD à l’aide de la combinaison de l’auto-corrélation Lyα×Lyα et de la corrélation croisée Lyα×QSO
This PhD thesis is part of eBOSS and DESI projects. These projects, among other tracers, use the Lyman-α (Lyα) absorption to probe the matter distribution in the universe and measure thebaryon acoustic oscillations (BAO) scale. The measurement of the BAO scale to the sound horizon ratio allows to constrain the universe expansion and so the ΛCDM model, the standard model of cosmology. This thesis presents the development of mock data sets used in order to check the BAO analyses carried out by the Lyα group within the eBOSS and DESI collaborations. These mocks make use of gaussian random fields (GRF). GRF allow to generate a density field δ. From this density field, quasar (QSO) positions are drawn. From each quasar, a line of sight is constructed. Then, the density field δ is interpolated along each line of sight. Finally, the fluctuating Gunn Peterson approximation (FGPA) is used to convert the interpolated density into the optical depth τ , and then into the Lyα absorption. Thanks to a program developed by the DESI community, a continuum is added to each Lyα forest in order to produce quasar synthetic spectra. The mocks presented in the manuscript provide a survey of quasars whose Lyα forests in the quasar spectra have the correct Lyα×Lyα auto-correlation, Lyα×QSO cross-correlation, as well as the correct QSO×QSO and HCD×HCD (High Column Density systems) auto-correlation functions. The study of these mocks shows that the BAO analysis run on the whole Lyα eBOSS data set produces a non-biaised measurement of the BAO parameters αk et α⊥. In addition, the analysis of the model used to fit the correlation functions shows that the shape of the Lyα×Lyα auto-correlation, which is linked to the bias bLyα and redshift space distorsions (RSD) parameter βLyα, are understood up to 80 %. The systematics affecting the measurement of the Lyα parameters (bLyα et βLyα) come from two different effects. The first one originates from thedistortion matrix which does not capture all the distortions produced by the quasar continuum fittingprocedure. The second one is linked to the HCD modelling. The modelling of these strong absorbers is not perfect and affects the measurement of the Lyα parameters, especially the RSD parameter βLyα. Thus, the analysis of these mocks allows to validate the systematic control of the BAO analyses done with the Lyα. However, a better understanding of the measurement of the Lyα parameters is required in order to consider using the Lyα, which means combining the Lyα×Lyα autocorrelation and Lyα×QSO cross-correlation, to do a RSD analysis

Dans ce mémoire de maîtrise, nous présentons dans un premier temps un algorithme de l'état de l'art appelé Forêts aléatoires introduit par Léo Breiman. Cet algorithme effectue un vote de majorité uniforme d'arbres de décision construits en utilisant l'algorithme CART sans élagage. Par après, nous introduisons l'algorithme que nous avons nommé SORF. L'algorithme SORF s'inspire de l'approche PAC-Bayes, qui pour minimiser le risque du classificateur de Bayes, minimise le risque du classificateur de Gibbs avec un régularisateur. Le risque du classificateur de Gibbs constitue en effet, une fonction convexe bornant supérieurement le risque du classificateur de Bayes. Pour chercher la distribution qui pourrait être optimale, l'algorithme SORF se réduit à être un simple programme quadratique minimisant le risque quadratique de Gibbs pour chercher une distribution Q sur les classificateurs de base qui sont des arbres de la forêt. Les résultasts empiriques montrent que généralement SORF est presqu'aussi bien performant que les forêts aléatoires, et que dans certains cas, il peut même mieux performer que les forêts aléatoires.
In this master's thesis, we present at first an algorithm of the state of the art called Random Forests introduced by Léo Breiman. This algorithm construct a uniformly weighted majority vote of decision trees built using the CART algorithm without pruning. Thereafter, we introduce an algorithm that we called SORF. The SORF algorithm is based on the PAC-Bayes approach, which in order to minimize the risk of Bayes classifier, minimizes the risk of the Gibbs classifier with a regularizer. The risk of Gibbs classifier is indeed a convex function which is an upper bound of the risk of Bayes classifier. To find the distribution that would be optimal, the SORF algorithm is reduced to being a simple quadratic program minimizing the quadratic risk of Gibbs classifier to seek a distribution Q of base classifiers which are trees of the forest. Empirical results show that generally SORF is almost as efficient as Random forests, and in some cases, it can even outperform Random forests.

Cette thèse est consacrée aux forêts aléatoires, une méthode d'apprentissage non paramétrique introduite par Breiman en 2001. Très répandues dans le monde des applications, les forêts aléatoires possèdent de bonnes performances et permettent de traiter efficacement de grands volumes de données. Cependant, la théorie des forêts ne permet pas d'expliquer à ce jour l'ensemble des bonnes propriétés de l'algorithme. Après avoir dressé un état de l'art des résultats théoriques existants, nous nous intéressons en premier lieu au lien entre les forêts infinies (analysées en théorie) et les forêts finies (utilisées en pratique). Nous proposons en particulier une manière de choisir le nombre d'arbres pour que les erreurs des forêts finies et infinies soient proches. D'autre part, nous étudions les forêts quantiles, un type d'algorithme proche des forêts de Breiman. Dans ce cadre, nous démontrons l'intérêt d'agréger des arbres : même si chaque arbre de la forêt quantile est inconsistant, grâce à un sous-échantillonnage adapté, la forêt quantile est consistante. Dans un deuxième temps, nous prouvons que les forêts aléatoires sont naturellement liées à des estimateurs à noyau que nous explicitons. Des bornes sur la vitesse de convergence de ces estimateurs sont également établies. Nous démontrons, dans une troisième approche, deux théorèmes sur la consistance des forêts de Breiman élaguées et complètement développées. Dans ce dernier cas, nous soulignons, comme pour les forêts quantiles, l'importance du sous-échantillonnage dans la consistance de la forêt. Enfin, nous présentons un travail indépendant portant sur l'estimation de la toxicité de certains composés chimiques
This is devoted to a nonparametric estimation method called random forests, introduced by Breiman in 2001. Extensively used in a variety of areas, random forests exhibit good empirical performance and can handle massive data sets. However, the mathematical forces driving the algorithm remain largely unknown. After reviewing theoretical literature, we focus on the link between infinite forests (theoretically analyzed) and finite forests (used in practice) aiming at narrowing the gap between theory and practice. In particular, we propose a way to select the number of trees such that the errors of finite and infinite forests are similar. On the other hand, we study quantile forests, a type of algorithms close in spirit to Breiman's forests. In this context, we prove the benefit of trees aggregation: while each tree of quantile forest is not consistent, with a proper subsampling step, the forest is. Next, we show the connection between forests and some particular kernel estimates, which can be made explicit in some cases. We also establish upper bounds on the rate of convergence for these kernel estimates. Then we demonstrate two theorems on the consistency of both pruned and unpruned Breiman forests. We stress the importance of subsampling to demonstrate the consistency of the unpruned Breiman's forests. At last, we present the results of a Dreamchallenge whose goal was to predict the toxicity of several compounds for several patients based on their genetic profile

Dans ce mémoire de maîtrise, nous présentons dans un premier temps un algorithme de l'état de l'art appelé Forêts aléatoires introduit par Léo Breiman. Cet algorithme effectue un vote de majorité uniforme d'arbres de décision construits en utilisant l'algorithme CART sans élagage. Par après, nous introduisons l'algorithme que nous avons nommé SORF. L'algorithme SORF s'inspire de l'approche PAC-Bayes, qui pour minimiser le risque du classificateur de Bayes, minimise le risque du classificateur de Gibbs avec un régularisateur. Le risque du classificateur de Gibbs constitue en effet, une fonction convexe bornant supérieurement le risque du classificateur de Bayes. Pour chercher la distribution qui pourrait être optimale, l'algorithme SORF se réduit à être un simple programme quadratique minimisant le risque quadratique de Gibbs pour chercher une distribution Q sur les classificateurs de base qui sont des arbres de la forêt. Les résultasts empiriques montrent que généralement SORF est presqu'aussi bien performant que les forêts aléatoires, et que dans certains cas, il peut même mieux performer que les forêts aléatoires.
Dans ce mémoire de maîtrise, nous présentons dans un premier temps un algorithme de l'état de l'art appelé Forêts aléatoires introduit par Léo Breiman. Cet algorithme effectue un vote de majorité uniforme d'arbres de décision construits en utilisant l'algorithme CART sans élagage. Par après, nous introduisons l'algorithme que nous avons nommé SORF. L'algorithme SORF s'inspire de l'approche PAC-Bayes, qui pour minimiser le risque du classificateur de Bayes, minimise le risque du classificateur de Gibbs avec un régularisateur. Le risque du classificateur de Gibbs constitue en effet, une fonction convexe bornant supérieurement le risque du classificateur de Bayes. Pour chercher la distribution qui pourrait être optimale, l'algorithme SORF se réduit à être un simple programme quadratique minimisant le risque quadratique de Gibbs pour chercher une distribution Q sur les classificateurs de base qui sont des arbres de la forêt. Les résultasts empiriques montrent que généralement SORF est presqu'aussi bien performant que les forêts aléatoires, et que dans certains cas, il peut même mieux performer que les forêts aléatoires.
In this master's thesis, we present at first an algorithm of the state of the art called Random Forests introduced by Léo Breiman. This algorithm construct a uniformly weighted majority vote of decision trees built using the CART algorithm without pruning. Thereafter, we introduce an algorithm that we called SORF. The SORF algorithm is based on the PAC-Bayes approach, which in order to minimize the risk of Bayes classifier, minimizes the risk of the Gibbs classifier with a regularizer. The risk of Gibbs classifier is indeed a convex function which is an upper bound of the risk of Bayes classifier. To find the distribution that would be optimal, the SORF algorithm is reduced to being a simple quadratic program minimizing the quadratic risk of Gibbs classifier to seek a distribution Q of base classifiers which are trees of the forest. Empirical results show that generally SORF is almost as efficient as Random forests, and in some cases, it can even outperform Random forests.
In this master's thesis, we present at first an algorithm of the state of the art called Random Forests introduced by Léo Breiman. This algorithm construct a uniformly weighted majority vote of decision trees built using the CART algorithm without pruning. Thereafter, we introduce an algorithm that we called SORF. The SORF algorithm is based on the PAC-Bayes approach, which in order to minimize the risk of Bayes classifier, minimizes the risk of the Gibbs classifier with a regularizer. The risk of Gibbs classifier is indeed a convex function which is an upper bound of the risk of Bayes classifier. To find the distribution that would be optimal, the SORF algorithm is reduced to being a simple quadratic program minimizing the quadratic risk of Gibbs classifier to seek a distribution Q of base classifiers which are trees of the forest. Empirical results show that generally SORF is almost as efficient as Random forests, and in some cases, it can even outperform Random forests.

Dans cette thèse, nous nous intéressons aux modèles de durée dans le contexte de la modélisation des durées de résiliation de contrats d’assurance santé. Identifié dès le 17ème siècle et les études de Graunt J. (1662) sur la mortalité, le biais induit par la censure des données de durée observées dans ce contexte doit être corrigé par les modèles statistiques utilisés. À travers la problématique de la mesure de la dépendance entre deux durées successives, et la problématique de la prédiction de la durée de résiliation d’un contrat d'assurance, nous étudions les propriétés théoriques et pratiques de différents estimateurs basés sur une méthode de pondération des observations (méthode dite IPCW) visant à corriger ce biais. L'application de ces méthodes à l'estimation de la valeur client en assurance est également détaillée
In this thesis, we study duration models in the context of the analysis of contract termination time in health insurance. Identified from the 17th century and the original work of Graunt J. (1662) on mortality, the bias induced by the censoring of duration data observed in this context must be corrected by the statistical models used. Through the problem of the measure of dependence between successives durations, and the problem of the prediction of contract termination time in insurance, we study the theoretical and practical properties of different estimators that rely on a proper weighting of the observations (the so called IPCW method) designed to compensate this bias. The application of these methods to customer value estimation is also carefully discussed

Cette thèse s'inscrit dans le cadre de l'apprentissage statistique et est consacrée à l'étude de la méthode des forêts aléatoires, introduite par Breiman en 2001. Les forêts aléatoires sont une méthode statistique non paramétrique, qui s'avère être très performante dans de nombreuses applications, aussi bien pour des problèmes de régression que de classification supervisée. Elles présentent également un bon comportement sur des données de très grande dimension, pour lesquelles le nombre de variables dépasse largement le nombre d'observations. Dans une première partie, nous développons une procédure de sélection de variables, basée sur l'indice d'importance des variables calculée par les forêts aléatoires. Cet indice d'importance permet de distinguer les variables pertinentes des variables inutiles. La procédure consiste alors à sélectionner automatiquement un sous-ensemble de variables dans un but d'interprétation ou de prédiction. La deuxième partie illustre la capacité de cette procédure de sélection de variables à être performante pour des problèmes très différents. La première application est un problème de classification en très grande dimension sur des données de neuroimagerie, alors que la seconde traite des données génomiques qui constituent un problème de régression en plus petite dimension. Une dernière partie, théorique, établit des bornes de risque pour une version simplifiée des forêts aléatoires. Dans un contexte de régression, avec une seule variable explicative, nous montrons d'une part que les estimateurs associés à un arbre et à une forêt atteignent tous deux la vitesse minimax de convergence, et d'autre part que la forêt apporte une amélioration en réduisant la variance de l'estimateur d'un facteur de trois quarts.

Dans de nombreux problèmes en apprentissage supervisé, les entrées ont une structure de groupes connue et/ou clairement identifiable. Dans ce contexte, l'élaboration d'une règle de prédiction utilisant les groupes plutôt que les variables individuelles peut être plus pertinente tant au niveau des performances prédictives que de l'interprétation. L'objectif de la thèse est de développer des méthodes par arbres adaptées aux variables groupées. Nous proposons deux approches qui utilisent la structure groupée des variables pour construire des arbres de décisions. La première méthode permet de construire des arbres binaires en classification. Une coupure est définie par le choix d'un groupe et d'une combinaison linéaire des variables du dit groupe. La seconde approche, qui peut être utilisée en régression et en classification, construit un arbre non-binaire dans lequel chaque coupure est un arbre binaire. Ces deux approches construisent un arbre maximal qui est ensuite élagué. Nous proposons pour cela deux stratégies d'élagage dont une est une généralisation du minimal cost-complexity pruning. Les arbres de décision étant instables, nous introduisons une méthode de forêts aléatoires pour variables groupées. Outre l'aspect prédiction, ces méthodes peuvent aussi être utilisées pour faire de la sélection de groupes grâce à l'introduction d'indices d'importance des groupes. Ce travail est complété par une partie indépendante dans laquelle nous nous plaçons dans un cadre d'apprentissage non supervisé. Nous introduisons un nouvel algorithme de clustering. Sous des hypothèses classiques, nous obtenons des vitesses de convergence pour le risque de clustering de l'algorithme proposé
In many problems in supervised learning, inputs have a known and/or obvious group structure. In this context, elaborating a prediction rule that takes into account the group structure can be more relevant than using an approach based only on the individual variables for both prediction accuracy and interpretation. The goal of this thesis is to develop some tree-based methods adapted to grouped variables. Here, we propose two new tree-based approaches which use the group structure to build decision trees. The first approach allows to build binary decision trees for classification problems. A split of a node is defined according to the choice of both a splitting group and a linear combination of the inputs belonging to the splitting group. The second method, which can be used for prediction problems in both regression and classification, builds a non-binary tree in which each split is a binary tree. These two approaches build a maximal tree which is next pruned. To this end, we propose two pruning strategies, one of which is a generalization of the minimal cost-complexity pruning algorithm. Since decisions trees are known to be unstable, we introduce a method of random forests that deals with groups of inputs. In addition to the prediction purpose, these new methods can be also use to perform group variable selection thanks to the introduction of some measures of group importance, This thesis work is supplemented by an independent part in which we consider the unsupervised framework. We introduce a new clustering algorithm. Under some classical regularity and sparsity assumptions, we obtain the rate of convergence of the clustering risk for the proposed alqorithm

Nous présentons dans cette thèse une application de l'apprentissage statistique à la détection des irrégularités aux cotisations sociales. L'apprentissage statistique a pour but de modéliser des problèmes dans lesquels il existe une relation, généralement non déterministe, entre des variables et le phénomène que l'on cherche à évaluer. Un aspect essentiel de cette modélisation est la prédiction des occurrences inconnues du phénomène, à partir des données déjà observées. Dans le cas des cotisations sociales, la représentation du problème s'exprime par le postulat de l'existence d'une relation entre les déclarations de cotisation des entreprises et les contrôles effectués par les organismes de recouvrement. Les inspecteurs du contrôle certifient le caractère exact ou inexact d'un certain nombre de déclarations et notifient, le cas échéant, un redressement aux entreprises concernées. L'algorithme d'apprentissage "apprend", grâce à un modèle, la relation entre les déclarations et les résultats des contrôles, puis produit une évaluation de l'ensemble des déclarations non encore contrôlées. La première partie de l'évaluation attribue un caractère régulier ou irrégulier à chaque déclaration, avec une certaine probabilité. La seconde estime les montants de redressement espérés pour chaque déclaration. Au sein de l'URSSAF (Union de Recouvrement des cotisations de Sécurité sociale et d'Allocations Familiales) d'Île-de-France, et dans le cadre d'un contrat CIFRE (Conventions Industrielles de Formation par la Recherche), nous avons développé un modèle de détection des irrégularités aux cotisations sociales que nous présentons et détaillons tout au long de la thèse. L'algorithme fonctionne sous le logiciel libre R. Il est entièrement opérationnel et a été expérimenté en situation réelle durant l'année 2012. Pour garantir ses propriétés et résultats, des outils probabilistes et statistiques sont nécessaires et nous discutons des aspects théoriques ayant accompagné sa conception. Dans la première partie de la thèse, nous effectuons une présentation générale du problème de la détection des irrégularités aux cotisations sociales. Dans la seconde, nous abordons la détection spécifiquement, à travers les données utilisées pour définir et évaluer les irrégularités. En particulier, les seules données disponibles suffisent à modéliser la détection. Nous y présentons également un nouvel algorithme de forêts aléatoires, nommé "forêt uniformément aléatoire", qui constitue le moteur de détection. Dans la troisième partie, nous détaillons les propriétés théoriques des forêts uniformément aléatoires. Dans la quatrième, nous présentons un point de vue économique, lorsque les irrégularités aux cotisations sociales ont un caractère volontaire, cela dans le cadre de la lutte contre le travail dissimulé. En particulier, nous nous intéressons au lien entre la situation financière des entreprises et la fraude aux cotisations sociales. La dernière partie est consacrée aux résultats expérimentaux et réels du modèle, dont nous discutons.Chacun des chapitres de la thèse peut être lu indépendamment des autres et quelques notions sont redondantes afin de faciliter l'exploration du contenu
We present in this thesis an application of machine learning to irregularities in the case of social contributions. These are, in France, all contributions due by employees and companies to the "Sécurité sociale", the french system of social welfare (alternative incomes in case of unemployement, Medicare, pensions, ...). Social contributions are paid by companies to the URSSAF network which in charge to recover them. Our main goal was to build a model that would be able to detect irregularities with a little false positive rate. We, first, begin the thesis by presenting the URSSAF and how irregularities can appear, how can we handle them and what are the data we can use. Then, we talk about a new machine learning algorithm we have developped for, "random uniform forests" (and its R package "randomUniformForest") which are a variant of Breiman "random Forests" (tm), since they share the same principles but in in a different way. We present theorical background of the model and provide several examples. Then, we use it to show, when irregularities are fraud, how financial situation of firms can affect their propensity for fraud. In the last chapter, we provide a full evaluation for declarations of social contributions of all firms in Ile-de-France for year 2013, by using the model to predict if declarations present irregularities or not