Littérature scientifique sur le sujet « Régression non-paramétriques »

Cette étude vise à examiner la présence de fonctionnement différentiel d’items selon le sexe des répondants dans un test de compréhension en lecture en anglais administré à 171 universitaires francophones. Deux méthodes non paramétriques sont utilisées : le test Mantel-Haenszel et le modèle de régression logistique. Sur un total de 64 items, deux présentent un fonctionnement différentiel selon le test Mantel-Haenszel, alors que cinq items supplémentaires ressortent par la régression logistique. Ce faible nombre d’items suggère une bonne équité du test, mais les différences observées soulignent la nécessité d’analyses additionnelles pour clarifier le statut de ces items.

Les difficultés d’observance sont fréquentes chez les patients souffrant de Troubles Bipolaires (TB). Les conséquences des difficultés d’observance sont graves, tel qu’un plus grand nombre de rechutes ou récidives ou un risque suicidaire accru. La littérature fait état de nombreux facteurs associés à la mauvaise observance [2,3]. Nous avons conduit des études transversales afin d’améliorer les connaissances sur ces facteurs associés à l’observance dans la cohorte de patients souffrant de TB des centres experts Fondamental (FACE-BD). Les patients inclus dans ces analyses ont été évalués de façon standardisée à l’aide d’hétéro-évaluations et d’autoquestionnaires. L’observance a été mesurée à l’aide de l’échelle Medication Adherence Rating Scale. Les analyses statistiques ont consisté en des comparaisons de moyenne ou de médiane ainsi que des corrélations paramétriques et non-paramétriques. Par ailleurs, des analyses multivariées par régression linéaire ont été conduites. Un premier résultat montre, dans une population de patients souffrant de trouble bipolaire à distance d’un épisode thymique et ne souffrant pas de troubles liés à l’utilisation d’une substance, que les symptômes résiduels dépressifs et les effets secondaires du traitement influencent négativement l’observance [1]. Ensuite, dans une cohorte de patients en rémission symptomatique, l’impulsivité et les antécédents de symptômes psychotiques au décours des épisodes thymiques sont des facteurs également associés à une moins bonne observance. Les limites de ces études sont leur design transversal, l’absence de prise en compte de la nature des traitements médicamenteux et l’absence de prise en compte de facteurs telles que les connaissances du trouble ou la souffrance de la famille liée au trouble. Ces résultats amènent à discuter de plusieurs modèles explicatifs de l’observance médicamenteuse dans les troubles bipolaires, associant des facteurs liés à l’état, comme les symptômes dépressifs résiduels et des traits stables influençant l’observance, comme l’impulsivité. Les conséquences cliniques résident en une adaptation individualisée des stratégies d’amélioration de l’observance.

Nous nous proposons d’étudier les caractéristiques des élèves décrocheurs en fonction de leur âge. Ainsi, nous chercherons (1) à comparer les typologies des élèves décrocheurs de 14 à 17 ans à partir d’analyses descriptives non paramétriques puis (2) à déterminer les probabilités de décrocher en fonction des caractéristiques des élèves selon leur âge, en mobilisant des régressions logistiques binaires. Nos analyses indiquent que les probabilités de décrocher sont associées essentiellement au comportement individuel chez les plus jeunes, et à un ensemble de facteurs scolaires chez les plus âgés. Ainsi, notre étude tend à montrer l’importance de l’âge dans le processus de décrochage scolaire.

Dans cette thèse, nous étudions des tests du type : (H0) : E [U | X] = 0 p.s. contre (H1) : P {E [U | X] = 0} < 1 où U est le résidu de la modélisation d'une variable Y en fonction de X. Dans ce cadre et pour plusieurs cas particuliers – significativité de variables, régression quantile, données fonctionnelles, modèle single-index –, nous proposons une statistique de test permettant d'obtenir des valeurs critiques issues d'une loi asymptotique pivotale. Dans chaque cas, nous donnons également une méthode de bootstrap appropriée pour les échantillons de petite taille. Nous montrons la consistance envers des alternatives locales – ou à la Pitman – des tests proposés, lorsque ce type d'alternative ne tend pas trop vite vers l'hypothèse nulle. À chaque fois, nous vérifions à partir de simulations sous l'hypothèse nulle et sous une séquence d'hypothèses alternatives que les résultats théoriques sont en accord avec la pratique
In this thesis, we study test statistics of the form : (H0) : E [U | X] = 0 p.s. contre (H1) : P {E [U | X] = 0} < 1 where U is the residual of some Y modeling with respect to covariates X. In this setup and for several particular cases – significance, quantile regression, functional data, single-index model –, we introduce test statistics that have pivotal asymptotic critical values. For each case, we also give a suitable bootstrap procedure for small samples. We prove the consistency against local – or Pitman – alternatives for the proposed test statistics, when such an alternative does not get close to the null hypothesis too fast. Simulation studies are used to check the effectiveness of the theoretical results in applications

Le travail présenté dans cette thèse apporte une contribution aux recherches en cours sur la notion d'enveloppement dans les modèles de régression. L'idée principale qui sous-tend ce principe est de ne retenir un modèle que s'il peut incorporer ou expliquer les résultats d'un modèle concurrent. La validation s'opère alors par comparaison des résultats obtenus avec ceux d'un autre modèle. Le concept d'enveloppement exact est tout d'abord défini, il repose sur l'existence d'une fonction reliant les estimateurs des deux modèles. L'étude des pseudo-vraies valeurs dans le second modèle nous permet de définir l'enveloppement approche. Nous proposons alors des statistiques d'enveloppement bâties sur la différence entre un estimateur du second modèle et un estimateur de la pseudo-vraie valeur. L'étude asymptotique de ces statistiques, une fois normalisées, nous permet de tester la validation du modèle enveloppant. La notion d'enveloppement approché est ensuite appliquée au cadre de régresseurs non-emboités. Les tests paramétriques d'enveloppement sont présentés et reliés aux tests classiques de choix de régresseurs. Les résultats obtenus dans le cadre paramétrique sont ensuite étendus par l'utilisation des techniques d'estimation non-paramétrique de la régression. Quatre statistiques (paramétriques ou fonctionnelles) sont proposées en combinant les spécifications paramétriques et non-paramétriques pour chacun des deux modèles en présence. Nous montrons que chacune de ces statistiques est asymptotiquement distribuée suivant une loi normale centrée. Les choix de fenêtres intervenant dans ces résultats sont étudiés et la pseudo-vraie fenêtre attachée à l'estimation de la pseudo-vrai valeur est définie. Enfin, dans le cadre de deux modèles non-paramétriques, nous proposons un critère global d'enveloppement dont le comportement asymptotique est analysé
The purpose of this dissertation is to contribute to research taking place in the field od encompassing in regression models. The main idea underlying this principle is to select a model only if it can account for, or explain the results of a rival model. The validation of the model is then done by comparing the results obtained with those of another model. First we define the notion of exact encompassing; it rests on the existence of a function linking the estimators of each models. The study of the pseudo-true value in the second model enables us to define the approximate encompassing. We then propose encompassing statistics based on the difference between one estimator of the second model and an estimator of the pseudo-true value. We test the validation of the encompassing model by studying asymptotically these statistics, once normalized. We then apply the concept of approximate encompassing to the problem of non-nested regressors choice. We present parametric encompassing tests and link them to classical tests. The results obtained in this parametric setting are then extended by using non-parametric techniques of regression estimation. We propose four statistics (parametric or functional) by combining parametric and non-parametric specifications for each of both models. We show that each of the statistics is normally distributed with zero mean. We also study the choice of the window-width affecting those results and we define the pseudo-true window-width connected to the pseudo-true value estimator. Finally, in the context of two non-parametric models, we propose a global encompassing criterion and we analyze its asymptotic behaviour

En prévision numérique du temps, les modèles de prévision d'ensemble sont devenus un outil incontournable pour quantifier l'incertitude des prévisions et fournir des prévisions probabilistes. Malheureusement, ces modèles ne sont pas parfaits et une correction simultanée de leur biais et de leur dispersion est nécessaire.Cette thèse présente de nouvelles méthodes de post-traitement statistique des prévisions d'ensemble. Celles-ci ont pour particularité d'être basées sur les forêts aléatoires.Contrairement à la plupart des techniques usuelles, ces méthodes non-paramétriques permettent de prendre en compte la dynamique non-linéaire de l'atmosphère.Elles permettent aussi d'ajouter des covariables (autres variables météorologiques, variables temporelles, géographiques...) facilement et sélectionnent elles-mêmes les prédicteurs les plus utiles dans la régression. De plus, nous ne faisons aucune hypothèse sur la distribution de la variable à traiter. Cette nouvelle approche surpasse les méthodes existantes pour des variables telles que la température et la vitesse du vent.Pour des variables reconnues comme difficiles à calibrer, telles que les précipitations sexti-horaires, des versions hybrides de nos techniques ont été créées. Nous montrons que ces versions hybrides (ainsi que nos versions originales) sont meilleures que les méthodes existantes. Elles amènent notamment une véritable valeur ajoutée pour les pluies extrêmes.La dernière partie de cette thèse concerne l'évaluation des prévisions d'ensemble pour les événements extrêmes. Nous avons montré quelques propriétés concernant le Continuous Ranked Probability Score (CRPS) pour les valeurs extrêmes. Nous avons aussi défini une nouvelle mesure combinant le CRPS et la théorie des valeurs extrêmes, dont nous examinons la cohérence sur une simulation ainsi que dans un cadre opérationnel.Les résultats de ce travail sont destinés à être insérés au sein de la chaîne de prévision et de vérification à Météo-France
In numerical weather prediction, ensemble forecasts systems have become an essential tool to quantifyforecast uncertainty and to provide probabilistic forecasts. Unfortunately, these models are not perfect and a simultaneouscorrection of their bias and their dispersion is needed.This thesis presents new statistical post-processing methods for ensemble forecasting. These are based onrandom forests algorithms, which are non-parametric.Contrary to state of the art procedures, random forests can take into account non-linear features of atmospheric states. They easily allowthe addition of covariables (such as other weather variables, seasonal or geographic predictors) by a self-selection of the mostuseful predictors for the regression. Moreover, we do not make assumptions on the distribution of the variable of interest. This new approachoutperforms the existing methods for variables such as surface temperature and wind speed.For variables well-known to be tricky to calibrate, such as six-hours accumulated rainfall, hybrid versions of our techniqueshave been created. We show that these versions (and our original methods) are better than existing ones. Especially, they provideadded value for extreme precipitations.The last part of this thesis deals with the verification of ensemble forecasts for extreme events. We have shown several properties ofthe Continuous Ranked Probability Score (CRPS) for extreme values. We have also defined a new index combining the CRPS and the extremevalue theory, whose consistency is investigated on both simulations and real cases.The contributions of this work are intended to be inserted into the forecasting and verification chain at Météo-France

Nous nous interessons dans ce travail a la definition et aux principales proprietes d'un test non parametrique relatif a un modele de regression non lineaire, dans le cas ou les variables de regression sont dependantes. Nous demontrons la convergence du processus sur la base duquel est construite la statistique de test. Puis nous etudions la puissance asymptotique du test, avec pour but la resolution partielle d'une conjecture formulee dans diebolt (1987, 1990)

Les données du monde réel sont souvent de très grande dimension, faisant intervenir un grand nombre de variables non pertinentes ou redondantes. La sélection de variables est donc utile dans ce cadre. D'abord, on considère la sélection de variables dans le modèle de régression quand le nombre de variables est très grand. En particulier on traite le cas où le nombre de variables pertinentes est bien plus petit que la dimension ambiante. Sans supposer aucune forme paramétrique pour la fonction de régression, on obtient des conditions minimales permettant de retrouver l'ensemble des variables pertinentes. Ces conditions relient la dimension intrinsèque à la dimension ambiante et la taille de l'échantillon. Ensuite, on considère le problème du test d'une hypothèse nulle composite sous un modèle de régression non paramétrique multi varié. Pour une fonctionnelle quadratique donnée $Q$, l'hypothèse nulle correspond au fait que la fonction $f$ satisfait la contrainte $Q[f] = 0$, tandis que l'alternative correspond aux fonctions pour lesquelles $ |Q[f]|$ est minorée par une constante strictement positive. On fournit des taux minimax de test et les constantes de séparation exactes ainsi qu'une procédure optimale exacte, pour des fonctionnelles quadratiques diagonales et positives. On peut utiliser ces résultats pour tester la pertinence d'une ou plusieurs variables explicatives. L'étude des taux minimax pour les fonctionnelles quadratiques diagonales qui ne sont ni positives ni négatives, fait apparaître deux régimes différents : un régime " régulier " et un régime " irrégulier ". On applique ceci au test de l'égalité des normes de deux fonctions observées dans des environnements bruités

Cette thèse porte sur les statistiques bayésiennes non paramétriques. La thèse est divisée en une introduction générale et trois parties traitant des aspects relativement différents des approches par mélanges (échantillonage, asymptotique, problème inverse). Dans les modèles de mélanges, le paramètre à inférer depuis les données est une fonction. On définit une distribution a priori sur un espace fonctionnel abstrait au travers d'une intégrale stochastique d'un noyau par rapport à une mesure aléatoire. Habituellement, les modèles de mélanges sont surtout utilisés dans les problèmes d'estimation de densités de probabilité. Une des contributions de ce manuscrit est d'élargir leur usage aux problèmes de régressions.Dans ce contexte, on est essentiellement concernés par les problèmes suivants:- Echantillonage de la distribution a posteriori- Propriétés asymptotiques de la distribution a posteriori- Problèmes inverses, et particulièrement l'estimation de la distribution de Wigner à partir de mesures de Tomographie Quantique Homodyne
This dissertation deals with Bayesian nonparametric statistics, in particular nonparametric mixture models. The manuscript is divided into a general introduction and three parts on rather different aspects of mixtures approaches (sampling, asymptotic, inverse problem). In mixture models, the parameter to infer from the data is a function. We set a prior distribution on an abstract space of functions through a stochastic integral of a kernel with respect to a random measure. Usually, mixture models were used primilary in probability density function estimation problems. One of the contributions of the present manuscript is to use them in regression problems.In this context, we are essentially concerned with the following problems :- Sampling of the posterior distribution- Asymptotic properties of the posterior distribution- Inverse problems, in particular the estimation of the Wigner distribution from Quantum Homodyne Tomography measurements

Dans ce travail, l'approche non-paramétrique par noyaux associés mixtes multivariés est présentée pour les fonctions de densités, de masse de probabilité et de régressions à supports partiellement ou totalement discrets et continus. Pour cela, quelques aspects essentiels des notions d'estimation par noyaux continus (dits classiques) multivariés et par noyaux associés univariés (discrets et continus) sont d'abord rappelés. Les problèmes de supports sont alors révisés ainsi qu'une résolution des effets de bords dans les cas des noyaux associés univariés. Le noyau associé multivarié est ensuite défini et une méthode de leur construction dite mode-dispersion multivarié est proposée. Il s'ensuit une illustration dans le cas continu utilisant le noyau bêta bivarié avec ou sans structure de corrélation de type Sarmanov. Les propriétés des estimateurs telles que les biais, les variances et les erreurs quadratiques moyennes sont également étudiées. Un algorithme de réduction du biais est alors proposé et illustré sur ce même noyau avec structure de corrélation. Des études par simulations et applications avec le noyau bêta bivarié avec structure de corrélation sont aussi présentées. Trois formes de matrices des fenêtres, à savoir, pleine, Scott et diagonale, y sont utilisées puis leurs performances relatives sont discutées. De plus, des noyaux associés multiples ont été efficaces dans le cadre de l'analyse discriminante. Pour cela, on a utilisé les noyaux univariés binomial, catégoriel, triangulaire discret, gamma et bêta. Par la suite, les noyaux associés avec ou sans structure de corrélation ont été étudiés dans le cadre de la régression multiple. En plus des noyaux univariés ci-dessus, les noyaux bivariés avec ou sans structure de corrélation ont été aussi pris en compte. Les études par simulations montrent l'importance et les bonnes performances du choix des noyaux associés multivariés à matrice de lissage pleine ou diagonale. Puis, les noyaux associés continus et discrets sont combinés pour définir les noyaux associés mixtes univariés. Les travaux ont aussi donné lieu à la création d'un package R pour l'estimation de fonctions univariés de densités, de masse de probabilité et de régression. Plusieurs méthodes de sélections de fenêtres optimales y sont implémentées avec une interface facile d'utilisation. Tout au long de ce travail, la sélection des matrices de lissage se fait généralement par validation croisée et parfois par les méthodes bayésiennes. Enfin, des compléments sur les constantes de normalisations des estimateurs à noyaux associés des fonctions de densité et de masse de probabilité sont présentés
This work is about nonparametric approach using multivariate mixed associated kernels for densities, probability mass functions and regressions estimation having supports partially or totally discrete and continuous. Some key aspects of kernel estimation using multivariate continuous (classical) and (discrete and continuous) univariate associated kernels are recalled. Problem of supports are also revised as well as a resolution of boundary effects for univariate associated kernels. The multivariate associated kernel is then defined and a construction by multivariate mode-dispersion method is provided. This leads to an illustration on the bivariate beta kernel with Sarmanov's correlation structure in continuous case. Properties of these estimators are studied, such as the bias, variances and mean squared errors. An algorithm for reducing the bias is proposed and illustrated on this bivariate beta kernel. Simulations studies and applications are then performed with bivariate beta kernel. Three types of bandwidth matrices, namely, full, Scott and diagonal are used. Furthermore, appropriated multiple associated kernels are used in a practical discriminant analysis task. These are the binomial, categorical, discrete triangular, gamma and beta. Thereafter, associated kernels with or without correlation structure are used in multiple regression. In addition to the previous univariate associated kernels, bivariate beta kernels with or without correlation structure are taken into account. Simulations studies show the performance of the choice of associated kernels with full or diagonal bandwidth matrices. Then, (discrete and continuous) associated kernels are combined to define mixed univariate associated kernels. Using the tools of unification of discrete and continuous analysis, the properties of the mixed associated kernel estimators are shown. This is followed by an R package, created in univariate case, for densities, probability mass functions and regressions estimations. Several smoothing parameter selections are implemented via an easy-to-use interface. Throughout the paper, bandwidth matrix selections are generally obtained using cross-validation and sometimes Bayesian methods. Finally, some additionnal informations on normalizing constants of associated kernel estimators are presented for densities or probability mass functions

Les données du monde réel sont souvent de très grande dimension, faisant intervenir un grand nombre de variables non pertinentes ou redondantes. La sélection de variables est donc utile dans ce cadre. D'abord, on considère la sélection de variables dans le modèle de régression quand le nombre de variables est très grand. En particulier on traite le cas où le nombre de variables pertinentes est bien plus petit que la dimension ambiante. Sans supposer aucune forme paramétrique pour la fonction de régression, on obtient des conditions minimales permettant de retrouver l'ensemble des variables pertinentes. Ces conditions relient la dimension intrinsèque à la dimension ambiante et la taille de l'échantillon. Ensuite, on considère le problème du test d'une hypothèse nulle composite sous un modèle de régression non paramétrique multi varié. Pour une fonctionnelle quadratique donnée $Q$, l'hypothèse nulle correspond au fait que la fonction $f$ satisfait la contrainte $Q[f] = 0$, tandis que l'alternative correspond aux fonctions pour lesquelles $ |Q[f]|$ est minorée par une constante strictement positive. On fournit des taux minimax de test et les constantes de séparation exactes ainsi qu'une procédure optimale exacte, pour des fonctionnelles quadratiques diagonales et positives. On peut utiliser ces résultats pour tester la pertinence d'une ou plusieurs variables explicatives. L'étude des taux minimax pour les fonctionnelles quadratiques diagonales qui ne sont ni positives ni négatives, fait apparaître deux régimes différents : un régime « régulier » et un régime « irrégulier ». On applique ceci au test de l'égalité des normes de deux fonctions observées dans des environnements bruités
Real-world data are often extremely high-dimensional, severely under constrained and interspersed with a large number of irrelevant or redundant features. Relevant variable selection is a compelling approach for addressing statistical issues in the scenario of high-dimensional and noisy data with small sample size. First, we address the issue of variable selection in the regression model when the number of variables is very large. The main focus is on the situation where the number of relevant variables is much smaller than the ambient dimension. Without assuming any parametric form of the underlying regression function, we get tight conditions making it possible to consistently estimate the set of relevant variables. Secondly, we consider the problem of testing a particular type of composite null hypothesis under a nonparametric multivariate regression model. For a given quadratic functional $Q$, the null hypothesis states that the regression function $f$ satisfies the constraint $Q[f] = 0$, while the alternative corresponds to the functions for which $Q[f]$ is bounded away from zero. We provide minimax rates of testing and the exact separation constants, along with a sharp-optimal testing procedure, for diagonal and nonnegative quadratic functionals. We can apply this to testing the relevance of a variable. Studying minimax rates for quadratic functionals which are neither positive nor negative, makes appear two different regimes: “regular” and “irregular”. We apply this to the issue of testing the equality of norms of two functions observed in noisy environments