Academic literature on the topic 'Estimation des données manquantes'

L'objectif de la these est de developper, de facon la plus exhaustive possible, la maniere de traiter, statistiquement, le probleme des donnees manquantes dans une collection d'informations chiffrees. En excluant le comportement facile, mais pourtant souvent employe, qui consiste a remplacer la (les) donnee(s) manquante(s) par l'intuition (sondages), le repiquage (series temporelles), ou l'elimination de lignes d'un tableau (statistiques multivariees). Nous proposons au contraire de realiser des choix, les plus pertinents possibles, dans la liste des solutions preconisees par les statisticiens depuis de nombreuses annees. Un schema methodologique est suggere permettant de guider le chercheur dans le labyrinthe de methodes exposees afin de s'y retrouver

Cette thèse est consacrée au traitement des données manquantes. Des méthodes descriptives (analyse en composantes principales, analyse des correspondances dont analyse homogène et la classification automatique) sont étudiées dans le cadre des données incomplètes. La seconde partie est consacrée à des problèmes de fusion de fichiers et analyses homogène y est introduite.

Dans ce travail nous proposons deux méthodes d'estimation des données manquantes. Dans le cas de l'estimation paramétrique et afin de résoudre le problème par la prévision, nous exploitons l'estimateur décale (E. D) de la partie autorégressive d'un modèle ARMA scalaire pour estimer la matrice de covariance In dont la consistance forte est prouvée sous des conditions ayant l'avantage de s'exprimer en fonction des trajectoires et identifier les coefficients de la partie moyenne mobile et la variance du bruit blanc. En analyse des correspondances et afin d'estimer les données manquantes d'un tableau de correspondance, le problème se résout complètement dans le cas d'une seule donnée manquante. L'existence est prouvée dans le cas où il y en a plusieurs, par contre l'unicité étant délicate, une combinaison linéaire entre les données manquantes est obtenue à partir de la formule de la trace dont la minimisation assure l'homogénéité du tableau de correspondance, nous établirons sous le même critère la reconstitution d'une donnée d'origine à partir du codage linéaire par morceaux

Améliorer l'observation des comportements de déplacement est maintenant possible: d’une part, les méthodologies d’enquête ont évolué : nous sommes passés de l’ère PAPI (Paper And Pencil Interview) à l’ère CATI ou CAPI (Computer Assisted Telephon Interview ou Personal Interview) ; d’autre part, les nouvelles technologies (localisation automatique par satellite, téléphonie mobile, etc. ) permettent d’améliorer considérablement la précision du cadre temporel (heures de départ, d’arrivée. . . ) et spatial (distances et lieux d’activité) des déplacements. Le relevé des traces GPS apporte, avec une précision bien supérieure, des informations qu’il ne serait pas envisageable de collecter à l’aide d’une méthode classique, par exemple : - les trajets courts autour d’un lieu de résidence non habituel (vacances, congrès, etc. ), - la description des trajets très courts et des parcours terminaux, - plus de précision sur les temps terminaux, les temps d’attente, les correspondances entre modes, - le choix de l’itinéraire, - les vitesses. Un défi dans le traitement à posteriori des données collectées, qui constituera le coeur de cette thèse, est la mise au point de méthodes permettant de combler ces données manquantes et de reconstituer de manière automatisée des séquences continues, à la fois dans l’espace et dans le temps.

Cette thèse est consacrée à la modélisation de la maintenance imparfaite par les modèles statistiques. La maintenance imparfaite est le cas intermédiaire de deux situations extrêmes : la maintenance minimale où le système est remis en état qu’il se trouve juste avant la défaillance, et la maintenance parfaite où le système est remplacé à neuf. Dans ce cadre, les expressions analytiques des grandeurs de fiabilité d’un modèle de maintenance imparfaite sont développées. La convergence du modèle est soulignée, et les lois asymptotiques dans le régime stationnaire sont proposées. Ensuite, les lois sont appliquées pour proposer des politiques de maintenance préventive avec des maintenances imparfaites. Le deuxième thème consiste à proposer une adaptation de procédure d’estimation pour les fenêtres d’observation. Seuls les événements pendant ces périodes sont observés. La modélisation et l’inférence s’appuient sur la convergence de modèles vers leurs régimes stationnaires, ou sur la modélisation de l’âge du système au début des fenêtres. Enfin, l’inférence bayésienne d’un modèle de maintenance imparfaite y est présentée. On étudie l’impact des choix des lois a priori sur la qualité des estimations par des simulations numériques. La sélection des modèles de maintenance imparfaite par le facteur de Bayes est proposée. Dans chaque partie, les modélisations statistiques sont appliquées à des données issues de l’industrie<br>The thesis analyses imperfect maintenance processes of industrial systems by statistical models. Imperfect maintenance is an intermediate situation of two extremes ones: minimal maintenance where the system is restored to the state immediately prior to failure, and perfect maintenance where the system is renewed after the failure. Analytical expressions of reliability quantities of an imperfect maintenance model are developed. The convergence of the model is highlighted and the asymptotic expressions are proposed. The results are applied to build some preventive maintenance policies that contain only imperfect maintenances. The second part of the thesis consists of analyzing failure data contained in observation windows. An observation window is a period of the entire functioning history that only the events occurring in this period are recorded. The modelling and the inference are based on the convergence property or the modelling of initial age. Finally, Bayesian inference of an imperfect maintenance model is presented. The impact of the choices of a priori distributions is analyzed by numerical simulations. A selection method of imperfect maintenance models using the Bayes factor is also introduced.The statistical modelling in each section is applied to real data

La thématique abordée porte sur la métrologie virtuelle (VM) pour estimer les données manquantes durant les processus de fabrications des semi-conducteurs. L'utilisation de la métrologie virtuelle permet également de fournir les mesures logicielles (estimations) des sorties pour alimenter les régulateurs run-to-run (R2R) mis en place pour le contrôle de la qualité des produits fabriqués. Pour remédier aux problèmes liés au retard de mesures causé par l'échantillonnage statique imposé par la stratégie et les équipements mis en place, notre contribution dans cette thèse est d'introduire la notion de l'échantillonnage dynamique intelligent. Cette stratégie est basée sur un algorithme qui prend en compte la condition de voisinage permettant d'éviter la mesure réelle même si l'échantillonnage statique l'exige. Cela permet de réduire le nombre de mesures réelles, le temps du cycle et le coût de production. Cette approche est assurée par un module de métrologie virtuelle (VM) que nous avons développé et qui peut être intégré dans une boucle de régulation R2R. Les résultats obtenus ont été validés sur des exemples académiques et sur des données réelles fournies par notre partenaire STMicroelectronics de Rousset concernant un processus chemical mechanical planarization (CMP). Ces données réelles ont permis également de valider les résultats obtenus de la métrologie virtuelle pour les fournir ensuite aux régulateurs R2R (ayant besoin de l'estimation de ces données)<br>The addressed work is about the virtual metrology (VM) for estimating missing data during semiconductor manufacturing processes. The use of virtual metrology tool also makes it possible to provide the software measurements (estimations) of the outputs to feed the run-to-run (R2R) controllers set up for the quality control of the manufactured products.To address these issues related to the delay of measurements caused by the static sampling imposed by the strategy and the equipments put in place, our contribution in this thesis is to introduce the notion of the dynamic dynamic sampling. This strategy is based on an algorithm that considers the neighborhood condition to avoid the actual measurement even if the static sampling requires it. This reduces the number of actual measurements, the cycle time and the cost of production. This approach is provided by a virtual metrology module (VM) that we have developed and which can be integrated into an R2R control loop. The obtained results were validated on academic examples and on real data provided by our partner STMicroelectronics of Rousset from a chemical mechanical planarization (CMP) process. This real data also enabled the results obtained from the virtual metrology to be validated and then supplied to the R2R regulators (who need the estimation of these data)

Cette thèse est consacrée à l'estimation par maximum de vraisemblance dans des problèmes inverses. Nous considérons des modèles statistiques à données manquantes, dans un cadre paramétrique au cours des trois premiers chapitres. Le Chapitre 1 présente une variante de l'algorithme EM (Expectation Maximization) qui combine une approximation stochastique à une méthode de Monte Carlo par chaînes de Markov : les données manquantes sont simulées selon une probabilité de transition bien choisie. Nous prouvons la convergence presque sûre de la suite générée par l'algorithme vers un maximum local de la vraisemblance des observations. Nous présentons des applications en déconvolution et en détection de ruptures. Dans le Chapitre 2, nous appliquons cet algorithme aux modèles non linéaires à effets mixtes et effectuons outre l'estimation des paramètres du modèle, des estimations de la vraisemblance du modèle et de l'information de Fisher. Les performances de l'algorithme sont illustrées via des comparaisons avec d'autres méthodes sur des exemples de pharmacocinétique et de pharmacodynamique. Le Chapitre 3 présente une application de l'algorithme en géophysique. Nous effectuons une inversion jointe, entre les temps de parcours des ondes sismiques et leurs vitesses et entre des mesures gravimétriques de surface et les densités du sous-sol, en estimant les paramètres du modèle, qui étaient en général fixés arbitrairement. De plus, nous prenons en compte une relation linéaire entre les densités et les vitesses des ondes. Le Chapitre 4 est consacré à l'estimation non paramétrique de la densité [PI] des données manquantes. Nous exhibons un estimateur logspline de PI qui maximise la vraisemblance des observations dans un modèle logspline et appliquons notre algorithme à ce modèle paramétrique. Nous étudions la convergence de cet estimateur vers pi lorsque la dimension du modèle logspline et le nombre d'observations tendent vers l'infini. Nous présentons quelques applications<br>This thesis deals with maximum likelihood estimation in inverse problems. In the tree first chapters, we consider statistical models involving missing data in a parametric framework. Chapter 1 presents a version of the EM algorithm (Expectation Maximization), which combines a stochastic approximation with a Monte Carlo Markov Chain method: the missing data are drawn from a well-chosen transition probability. The almost sure convergence of the sequence generated by the algorithm to a local maximum of the likelihood of the observations is proved. Some applications to deconvolution and change-point detection are presented. Chapter 2 deals with the application of the algorithm to nonlinear mixed effects models. Besides the estimation of the parameters, we estimate the likelihood of the model and the Fisher information matrix. We assess the performance of the algorithm, comparing the results obtained with other methods, on examples coming from pharmacocinetics and pharmacodynamics. Chapter 3 presents an application to geophysics. We perform a joint inversion between teleseismic times and velocity and between gravimetric data and density. Our point of view is innovative because we estimate the parameters of the model which were generally fixed arbitrarily. Moreover we take into account a linear relation between slowness and density. Chapter 4 deals with non parametric density estimation in missing data problems. We propose a logspline estimator of the density of the non observed data, which maximizes the observed likelihood in a logspline model. We apply our algorithm in this parametric model. We study the convergence of this estimator to the density of the non observed data, when the size of the logpline model and the number of observations tend to infinity. Some applications illustrate this method

Dans cette thèse, nous nous intéressons à l'estimation robuste de courbes moyennes ou totales de consommation électrique par sondage en population finie, pour l'ensemble de la population ainsi que pour des petites sous-populations, en présence ou non de courbes partiellement inobservées.En effet, de nombreuses études réalisées dans le groupe EDF, que ce soit dans une optique commerciale ou de gestion du réseau de distribution par Enedis, se basent sur l'analyse de courbes de consommation électrique moyennes ou totales, pour différents groupes de clients partageant des caractéristiques communes. L'ensemble des consommations électriques de chacun des 35 millions de clients résidentiels et professionnels Français ne pouvant être mesurées pour des raisons de coût et de protection de la vie privée, ces courbes de consommation moyennes sont estimées par sondage à partir de panels. Nous prolongeons les travaux de Lardin (2012) sur l'estimation de courbes moyennes par sondage en nous intéressant à des aspects spécifiques de cette problématique, à savoir l'estimation robuste aux unités influentes, l'estimation sur des petits domaines, et l'estimation en présence de courbes partiellement ou totalement inobservées.Pour proposer des estimateurs robustes de courbes moyennes, nous adaptons au cadre fonctionnel l'approche unifiée d'estimation robuste en sondages basée sur le biais conditionnel proposée par Beaumont (2013). Pour cela, nous proposons et comparons sur des jeux de données réelles trois approches : l'application des méthodes usuelles sur les courbes discrétisées, la projection sur des bases de dimension finie (Ondelettes ou Composantes Principales de l'Analyse en Composantes Principales Sphériques Fonctionnelle en particulier) et la troncature fonctionnelle des biais conditionnels basée sur la notion de profondeur d'une courbe dans un jeu de données fonctionnelles. Des estimateurs d'erreur quadratique moyenne instantanée, explicites et par bootstrap, sont également proposés.Nous traitons ensuite la problématique de l'estimation sur de petites sous-populations. Dans ce cadre, nous proposons trois méthodes : les modèles linéaires mixtes au niveau unité appliqués sur les scores de l'Analyse en Composantes Principales ou les coefficients d'ondelettes, la régression fonctionnelle et enfin l'agrégation de prédictions de courbes individuelles réalisées à l'aide d'arbres de régression ou de forêts aléatoires pour une variable cible fonctionnelle. Des versions robustes de ces différents estimateurs sont ensuite proposées en déclinant la démarche d'estimation robuste basée sur les biais conditionnels proposée précédemment.Enfin, nous proposons quatre estimateurs de courbes moyennes en présence de courbes partiellement ou totalement inobservées. Le premier est un estimateur par repondération par lissage temporel non paramétrique adapté au contexte des sondages et de la non réponse et les suivants reposent sur des méthodes d'imputation. Les portions manquantes des courbes sont alors déterminées soit en utilisant l'estimateur par lissage précédemment cité, soit par imputation par les plus proches voisins adaptée au cadre fonctionnel ou enfin par une variante de l'interpolation linéaire permettant de prendre en compte le comportement moyen de l'ensemble des unités de l'échantillon. Des approximations de variance sont proposées dans chaque cas et l'ensemble des méthodes sont comparées sur des jeux de données réelles, pour des scénarios variés de valeurs manquantes<br>In this thesis, we address the problem of robust estimation of mean or total electricity consumption curves by sampling in a finite population for the entire population and for small areas. We are also interested in estimating mean curves by sampling in presence of partially missing trajectories.Indeed, many studies carried out in the French electricity company EDF, for marketing or power grid management purposes, are based on the analysis of mean or total electricity consumption curves at a fine time scale, for different groups of clients sharing some common characteristics.Because of privacy issues and financial costs, it is not possible to measure the electricity consumption curve of each customer so these mean curves are estimated using samples. In this thesis, we extend the work of Lardin (2012) on mean curve estimation by sampling by focusing on specific aspects of this problem such as robustness to influential units, small area estimation and estimation in presence of partially or totally unobserved curves.In order to build robust estimators of mean curves we adapt the unified approach to robust estimation in finite population proposed by Beaumont et al (2013) to the context of functional data. To that purpose we propose three approaches : application of the usual method for real variables on discretised curves, projection on Functional Spherical Principal Components or on a Wavelets basis and thirdly functional truncation of conditional biases based on the notion of depth.These methods are tested and compared to each other on real datasets and Mean Squared Error estimators are also proposed.Secondly we address the problem of small area estimation for functional means or totals. We introduce three methods: unit level linear mixed model applied on the scores of functional principal components analysis or on wavelets coefficients, functional regression and aggregation of individual curves predictions by functional regression trees or functional random forests. Robust versions of these estimators are then proposed by following the approach to robust estimation based on conditional biais presented before.Finally, we suggest four estimators of mean curves by sampling in presence of partially or totally unobserved trajectories. The first estimator is a reweighting estimator where the weights are determined using a temporal non parametric kernel smoothing adapted to the context of finite population and missing data and the other ones rely on imputation of missing data. Missing parts of the curves are determined either by using the smoothing estimator presented before, or by nearest neighbours imputation adapted to functional data or by a variant of linear interpolation which takes into account the mean trajectory of the entire sample. Variance approximations are proposed for each method and all the estimators are compared to each other on real datasets for various missing data scenarios