Dissertations / Theses on the topic 'Data processing and Chemometrics'

The present Ph.D. thesis, primarily conceived to support and reinforce the relation between academic and industrial worlds, was developed in collaboration with Shell Global Solutions (Amsterdam, The Netherlands) in the endeavour of applying and possibly extending well-established latent variable-based approaches (i.e. Principal Component Analysis - PCA - Partial Least Squares regression - PLS - or Partial Least Squares Discriminant Analysis - PLSDA) for complex problem solving not only in the fields of manufacturing troubleshooting and optimisation, but also in the wider environment of multivariate data analysis. To this end, novel efficient algorithmic solutions are proposed throughout all chapters to address very disparate tasks, from calibration transfer in spectroscopy to real-time modelling of streaming flows of data. The manuscript is divided into the following six parts, focused on various topics of interest: Part I - Preface, where an overview of this research work, its main aims and justification is given together with a brief introduction on PCA, PLS and PLSDA; Part II - On kernel-based extensions of PCA, PLS and PLSDA, where the potential of kernel techniques, possibly coupled to specific variants of the recently rediscovered pseudo-sample projection, formulated by the English statistician John C. Gower, is explored and their performance compared to that of more classical methodologies in four different applications scenarios: segmentation of Red-Green-Blue (RGB) images, discrimination of on-/off-specification batch runs, monitoring of batch processes and analysis of mixture designs of experiments; Part III - On the selection of the number of factors in PCA by permutation testing, where an extensive guideline on how to accomplish the selection of PCA components by permutation testing is provided through the comprehensive illustration of an original algorithmic procedure implemented for such a purpose; Part IV - On modelling common and distinctive sources of variability in multi-set data analysis, where several practical aspects of two-block common and distinctive component analysis (carried out by methods like Simultaneous Component Analysis - SCA - DIStinctive and COmmon Simultaneous Component Analysis - DISCO-SCA - Adapted Generalised Singular Value Decomposition - Adapted GSVD - ECO-POWER, Canonical Correlation Analysis - CCA - and 2-block Orthogonal Projections to Latent Structures - O2PLS) are discussed, a new computational strategy for determining the number of common factors underlying two data matrices sharing the same row- or column-dimension is described, and two innovative approaches for calibration transfer between near-infrared spectrometers are presented; Part V - On the on-the-fly processing and modelling of continuous high-dimensional data streams, where a novel software system for rational handling of multi-channel measurements recorded in real time, the On-The-Fly Processing (OTFP) tool, is designed; Part VI - Epilogue, where final conclusions are drawn, future perspectives are delineated, and annexes are included.<br>La presente tesis doctoral, concebida principalmente para apoyar y reforzar la relación entre la academia y la industria, se desarrolló en colaboración con Shell Global Solutions (Amsterdam, Países Bajos) en el esfuerzo de aplicar y posiblemente extender los enfoques ya consolidados basados en variables latentes (es decir, Análisis de Componentes Principales - PCA - Regresión en Mínimos Cuadrados Parciales - PLS - o PLS discriminante - PLSDA) para la resolución de problemas complejos no sólo en los campos de mejora y optimización de procesos, sino también en el entorno más amplio del análisis de datos multivariados. Con este fin, en todos los capítulos proponemos nuevas soluciones algorítmicas eficientes para abordar tareas dispares, desde la transferencia de calibración en espectroscopia hasta el modelado en tiempo real de flujos de datos. El manuscrito se divide en las seis partes siguientes, centradas en diversos temas de interés: Parte I - Prefacio, donde presentamos un resumen de este trabajo de investigación, damos sus principales objetivos y justificaciones junto con una breve introducción sobre PCA, PLS y PLSDA; Parte II - Sobre las extensiones basadas en kernels de PCA, PLS y PLSDA, donde presentamos el potencial de las técnicas de kernel, eventualmente acopladas a variantes específicas de la recién redescubierta proyección de pseudo-muestras, formulada por el estadista inglés John C. Gower, y comparamos su rendimiento respecto a metodologías más clásicas en cuatro aplicaciones a escenarios diferentes: segmentación de imágenes Rojo-Verde-Azul (RGB), discriminación y monitorización de procesos por lotes y análisis de diseños de experimentos de mezclas; Parte III - Sobre la selección del número de factores en el PCA por pruebas de permutación, donde aportamos una guía extensa sobre cómo conseguir la selección de componentes de PCA mediante pruebas de permutación y una ilustración completa de un procedimiento algorítmico original implementado para tal fin; Parte IV - Sobre la modelización de fuentes de variabilidad común y distintiva en el análisis de datos multi-conjunto, donde discutimos varios aspectos prácticos del análisis de componentes comunes y distintivos de dos bloques de datos (realizado por métodos como el Análisis Simultáneo de Componentes - SCA - Análisis Simultáneo de Componentes Distintivos y Comunes - DISCO-SCA - Descomposición Adaptada Generalizada de Valores Singulares - Adapted GSVD - ECO-POWER, Análisis de Correlaciones Canónicas - CCA - y Proyecciones Ortogonales de 2 conjuntos a Estructuras Latentes - O2PLS). Presentamos a su vez una nueva estrategia computacional para determinar el número de factores comunes subyacentes a dos matrices de datos que comparten la misma dimensión de fila o columna y dos planteamientos novedosos para la transferencia de calibración entre espectrómetros de infrarrojo cercano; Parte V - Sobre el procesamiento y la modelización en tiempo real de flujos de datos de alta dimensión, donde diseñamos la herramienta de Procesamiento en Tiempo Real (OTFP), un nuevo sistema de manejo racional de mediciones multi-canal registradas en tiempo real; Parte VI - Epílogo, donde presentamos las conclusiones finales, delimitamos las perspectivas futuras, e incluimos los anexos.<br>La present tesi doctoral, concebuda principalment per a recolzar i reforçar la relació entre l'acadèmia i la indústria, es va desenvolupar en col·laboració amb Shell Global Solutions (Amsterdam, Països Baixos) amb l'esforç d'aplicar i possiblement estendre els enfocaments ja consolidats basats en variables latents (és a dir, Anàlisi de Components Principals - PCA - Regressió en Mínims Quadrats Parcials - PLS - o PLS discriminant - PLSDA) per a la resolució de problemes complexos no solament en els camps de la millora i optimització de processos, sinó també en l'entorn més ampli de l'anàlisi de dades multivariades. A aquest efecte, en tots els capítols proposem noves solucions algorítmiques eficients per a abordar tasques dispars, des de la transferència de calibratge en espectroscopia fins al modelatge en temps real de fluxos de dades. El manuscrit es divideix en les sis parts següents, centrades en diversos temes d'interès: Part I - Prefaci, on presentem un resum d'aquest treball de recerca, es donen els seus principals objectius i justificacions juntament amb una breu introducció sobre PCA, PLS i PLSDA; Part II - Sobre les extensions basades en kernels de PCA, PLS i PLSDA, on presentem el potencial de les tècniques de kernel, eventualment acoblades a variants específiques de la recentment redescoberta projecció de pseudo-mostres, formulada per l'estadista anglés John C. Gower, i comparem el seu rendiment respecte a metodologies més clàssiques en quatre aplicacions a escenaris diferents: segmentació d'imatges Roig-Verd-Blau (RGB), discriminació i monitorització de processos per lots i anàlisi de dissenys d'experiments de mescles; Part III - Sobre la selecció del nombre de factors en el PCA per proves de permutació, on aportem una guia extensa sobre com aconseguir la selecció de components de PCA a través de proves de permutació i una il·lustració completa d'un procediment algorítmic original implementat per a la finalitat esmentada; Part IV - Sobre la modelització de fonts de variabilitat comuna i distintiva en l'anàlisi de dades multi-conjunt, on discutim diversos aspectes pràctics de l'anàlisis de components comuns i distintius de dos blocs de dades (realitzat per mètodes com l'Anàlisi Simultània de Components - SCA - Anàlisi Simultània de Components Distintius i Comuns - DISCO-SCA - Descomposició Adaptada Generalitzada en Valors Singulars - Adapted GSVD - ECO-POWER, Anàlisi de Correlacions Canòniques - CCA - i Projeccions Ortogonals de 2 blocs a Estructures Latents - O2PLS). Presentem al mateix temps una nova estratègia computacional per a determinar el nombre de factors comuns subjacents a dues matrius de dades que comparteixen la mateixa dimensió de fila o columna, i dos plantejaments nous per a la transferència de calibratge entre espectròmetres d'infraroig proper; Part V - Sobre el processament i la modelització en temps real de fluxos de dades d'alta dimensió, on dissenyem l'eina de Processament en Temps Real (OTFP), un nou sistema de tractament racional de mesures multi-canal registrades en temps real; Part VI - Epíleg, on presentem les conclusions finals, delimitem les perspectives futures, i incloem annexos.<br>Vitale, R. (2017). Novel chemometric proposals for advanced multivariate data analysis, processing and interpretation [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/90442<br>TESIS

Due to recent progress, higher-order chemical instrumentation provides large amounts of data which need automated processing in order to extract relevant information. In most cases, the raw signals or spectra are too complex for manual analysis. The ability to detect, identify and quantitate chemical substances in gas phase in field operations is required in a huge number of applications. Among them, I would like to highlight the need for chemical sensing on diverse humanitarian, safety and security applications. In these cases, it becomes extremely important to continuously monitor the environments where chemicals are spread in order to be ready to act when abnormal events are discovered. In most critical scenarios the sample can not just be taken to the laboratory and analyzed, since an immediate answer is needed. In some other scenarios, the exploration of the area must be performed because the localization of the gas source or material of interest is unknown. This exploration can be performed using multiple mobile sensors in order to localize the chemical source or material. Different sensing technologies have been successfully used to detect and identify different chemical substances (gases or volatile compounds). These compounds could be either toxic or hazardous, or they can be signatures of the materials to be detected, for instance, explosives or drugs. Among these technologies, mobility based analyzers provide fast responses with high sensitivity. However, IMS instruments are not exempt of problems. Typically, they provide moderate selectivity, appearing overlapped peaks in the spectra. Moreover, the presence of humidity makes peaks wider, thus worsening the resolving power and the resolution. Furthermore, the response of IMS is non-linear as substance concentration increases and more than one peak can appear in the spectra due to the same compound. In the present thesis, these problems are addressed and applications using an Ion Mobility Spectrometer (IMS) and a Differential Mobility Analyzer (DMA) are shown. It is demonstrated that multivariate data analysis tools are more effective when dealing with these technologies. For the first time, multivariate data analysis tools have been applied to a novel DMA. It is shown that DMA could be established as a good instrumentation for the detection of explosives and the detection and quantitation of VOCs. Furthermore, Multivariate curve resolution Alternating Least Squares (MCR-ALS) is shown to be suitable to analyze IMS spectra qualitatively when interfering chemicals appear in the spectra and even when their behaviour is non-linear. Partial Least Squares (PLS) methods are demonstrated to work properly for the quantitative analysis of these signals; from this analysis the chemical concentrations of the target substances are obtained. It is also demonstrated in this thesis that the quantitative measurements from these sensors can be integrated in a gas source localization algorithm in order to improve the localization of the source in those scenarios where it is required. It is shown that the new proposal works significantly better in cases where the source strength is weak. This is illustrated presenting results from simulations generated under realistic conditions. Moreover, real-world data were obtained using a mobile robot mounting a photo ionization detector (PID). Experiments were carried out under forced ventilation and turbulences in indoors and outdoors environments. The results obtained validate the simulation results and confirm that the new localization algorithm can effectively operate in real environments.<br>Debido a los progresos recientes, la instrumentación química genera mayores volúmenes de datos los cuales requieren de un procesado automático con la finalidad de extraer la información relevante, ya que un análisis manual no suele ser viable debido a la elevada complejidad de los datos. La habilidad de detectar, identificar y cuantificar sustancias químicas en fase gas en operaciones de campo es requerida en un gran número de aplicaciones. Entre ellas, aplicaciones humanitarias y de seguridad. En estos casos, la monitorización continua de los entornos es extremadamente importante, ya que se debe estar alerta de eventos anormales. En los escenarios más críticos, debe realizarse una exploración del área porque la posición de la fuente de gas de interés es desconocida. Esta exploración puede realizarse usando múltiples robots. Diferentes tecnologías de sensores se han aplicado con éxito a la detección e identificación de diferentes sustancias químicas (gases o compuestos volátiles). Estos compuestos pueden ser tóxicos, peligrosos, o precursores de explosivos o drogas. De entre estas tecnologías, los analizadores basados en movilidad iónica (IMS) proporcionan rápidas respuestas con gran sensibilidad. Sin embargo, estos instrumentos no están exentos de problemas. Típicamente, proporcionan una moderada selectividad, apareciendo picos solapados en los espectros. Además, la presencia de humedad provoca que los picos se ensanchen, así empeorando la resolución. Además, la respuesta de IMS es no lineal al incrementar la concentración y es posible que más de un pico debido al mismo compuesto aparezca en el espectro. En la presente tesis se trata con estos problemas y se demuestra que las herramientas de análisis de datos multivariantes son más efectivas que las herramientas típicas univariantes al tratar con tecnologías de movilidad iónica (IMS y DMA), especialmente para el análisis cualitativo y cuantitativo de sus espectros. Además, se demuestra que las medidas cuantitativas pueden integrarse de manera efectiva en un algoritmo de localización de fuentes químicas. Los resultados obtenidos (simulaciones realistas y datos reales) muestran que el algoritmo desarrollado durante la tesis puede funcionar especialmente bien en situaciones en las que la potencia de emisión de la fuente a detectar sea débil.

L'évolution de l'environnement et le climat sont, actuellement, au centre de toutes les attentions. Les impacts de l'activité des sociétés actuelles et passées sur l'environnement sont notamment questionnés pour mieux anticiper les implications de nos activités sur le futur. Mieux décrire les environnements passés et leurs évolutions sont possibles grâce à l'étude de nombreux enregistreurs naturels (sédiments, spéléothèmes, cernes, coraux). Grâce à eux, il est possible de caractériser des évolutions bio-physico-chimiques à différentes résolutions temporelles et pour différentes périodes. La haute résolution entendue ici comme la résolution su sante pour l'étude de l'environnement en lien avec l'évolution des sociétés constitue le principal verrou de l'étude de ces archives naturelles notamment en raison de la capacité analytique des appareils qui ne peuvent que rarement voir des structures fines inframillimétriques. Ce travail est bâti autour de l'hypothèse que l'utilisation de caméras hyperspectrales (VNIR, SWIR, LIF) couplée à des méthodes statistiques pertinentes doivent permettre d'accéder aux informations spectrales et donc bio-physico-chimiques contenues dans ces archives naturelles à une résolution spatiale de quelques dizaines de micromètres et, donc, de proposer des méthodes pour atteindre la haute résolution temporelle (saisonnière). De plus, a n d'avoir des estimations ables, plusieurs capteurs d'imageries et de spectroscopies linéaires (XRF, TRES) sont utilisés avec leurs propres caractéristiques (résolutions, gammes spectrales, interactions atomiques/moléculaires). Ces méthodes analytiques sont utilisées pour la caractérisation de la surface des carottes sédimentaires. Ces analyses spectrales micrométriques sont mises en correspondance avec des analyses géochimiques millimétriques usuelles. Optimiser la complémentarité de toutes ces données, implique de développer des méthodes permettant de dépasser la difficulté inhérente au couplage de données considérées par essence dissimilaire (résolutions, décalages spatiaux, non-recouvrement spectral). Ainsi, quatre méthodes ont été développées. La première consiste à associer les méthodes hyperspectrales et usuelles pour la création de modèles prédictifs quantitatifs. La seconde permet le recalage spatial des différentes images hyperspectrales à la plus basse des résolutions. La troisième s'intéresse à la fusion de ces dernières à la plus haute des résolutions. Enfin, la dernière s'intéresse aux dépôts présents dans les sédiments (lamines, crues, tephras) pour ajouter une dimension temporelle à nos études. Grâce à l'ensemble de ces informations et méthodes, des modèles prédictifs multivariés ont été estimés pour l'étude de la matière organique, des paramètres texturaux et de la distribution granulométrique. Les dépôts laminés et instantanés au sein des échantillons ont été caractérisés. Ceci a permis d'estimer des chroniques de crues, ainsi que des variations biophysico-chimiques à l'échelle de la saison. L'imagerie hyperspectrale couplée à des méthodes d'analyse des données sont donc des outils performants pour l'étude des archives naturelles à des résolutions temporelles fines. L'approfondissement des approches proposées dans ces travaux permettra d'étudier de multiples archives pour caractériser des évolutions à l'échelle d'un ou de plusieurs bassin(s) versant(s)<br>The evolution of the environment and climate are, currently, the focus of all attention. The impacts of the activities of present and past societies on the environment are in particular questioned in order to better anticipate the implications of our current activities on the future. Better describing past environments and their evolutions are possible thanks to the study of many natural recorders (sediments, speleothems, tree rings, corals). Thanks to them, it is possible to characterize biological-physical-chemical evolutions at di erent temporal resolutions and for di erent periods. The high resolution understood here as the su cient resolution for the study of the environment in connection with the evolution of societies constitutes the main lock of the study of these natural archives in particular because of the analytical capacity devices that can only rarely see ne inframillimetre structures. This work is built on the assumption that the use of hyperspectral sensors (VNIR, SWIR, LIF) coupled with relevant statistical methods should allow access to the spectral and therefore biological-physical-chemical contained in these natural archives at a spatial resolution of a few tens of micrometers and, therefore, to propose methods to reach the high temporal resolution (season). Besides, to obtain reliable estimates, several imaging sensors and linear spectroscopy (XRF, TRES) are used with their own characteristics (resolutions, spectral ranges, atomic/molecular interactions). These analytical methods are used for surface characterization of sediment cores. These micrometric spectral analyses are mapped to usual millimeter geochemical analyses. Optimizing the complementarity of all these data involves developing methods to overcome the di culty inherent in coupling data considered essentially dissimilar (resolutions, spatial shifts, spectral non-recovery). Thus, four methods were developed. The rst consists in combining hyperspectral and usual methods for the creation of quantitative predictive models. The second allows the spatial registration of di erent hyperspectral images at the lowest resolution. The third focuses on their merging with the highest of the resolutions. Finally, the last one focuses on deposits in sediments (laminae, oods, tephras) to add a temporal dimension to our studies. Through all this information and methods, multivariate predictive models were estimated for the study of organic matter, textural parameters and particle size distribution. The laminated and instantaneous deposits within the samples were characterized. These made it possible to estimate oods chronicles, as well as biological-physical-chemical variations at the season scale. Hyperspectral imaging coupled with data analysis methods are therefore powerful tools for the study of natural archives at ne temporal resolutions. The further development of the approaches proposed in this work will make it possible to study multiple archives to characterize evolutions at the scale of one or more watershed(s)