Dissertations / Theses on the topic 'Large Language Models (LLM)'

Dans l'industrie 4.0, la fabrication avancée est essentielle pour façonner les usines du futur, en permettant d'améliorer la planification, l'ordonnancement et le contrôle. La capacité d'adapter rapidement les lignes de production en réponse aux demandes des clients ou à des situations inattendues est essentielle pour améliorer l'avenir de la fabrication. Bien que l'IA apparaisse comme une solution, les industries s'appuient toujours sur l'expertise humaine en raison des problèmes de confiance et du manque de transparence des décisions de l'IA. L'IA explicable intégrant des connaissances de base liées à la fabrication est cruciale pour rendre les décisions de l'IA compréhensibles et dignes de confiance. Dans ce contexte, nous proposons le cadre S-XAI, une solution intégrée combinant les spécifications de la machine et le MCSK pour fournir une prise de décision explicable et transparente. L'accent est mis sur la fourniture de capacités machine en temps réel afin de garantir une prise de décision précise tout en expliquant simultanément le processus de prise de décision à toutes les parties prenantes concernées. En conséquence, le premier objectif était de formaliser les spécifications des machines, y compris les capacités, les fonctions, la qualité et les caractéristiques des processus, en se concentrant sur la robotique. Pour ce faire, nous avons créé une ontologie des capacités des robots qui formalise tous les aspects pertinents des spécifications des machines, tels que la capacité, l'aptitude, la fonction, la qualité et les caractéristiques du processus. En plus de cette formalisation, le RCO permet aux acteurs de la fabrication de capturer les capacités robotiques décrites dans les manuels de spécification (capacités annoncées) et de les comparer avec les performances réelles (capacités opérationnelles). Le RCO est basé sur le langage de description des services de machines, une ontologie de référence créée pour les services de fabrication et alignée sur l'ontologie formelle de base, l'ontologie de la fonderie industrielle, l'ontologie des artefacts d'information et l'ontologie des relations. Le deuxième objectif était la formalisation du MCSK. Nous introduisons le MCSK et présentons une méthodologie pour l'identifier, en commençant par reconnaître les différents modèles de CSK dans la fabrication et en les alignant sur les concepts de fabrication. L'extraction du MCSK sous une forme utilisable est un défi, c'est pourquoi notre approche structure le MCSK en énoncés NL en utilisant des LLM pour faciliter le raisonnement basé sur des règles, améliorant ainsi les capacités de prise de décision. Le troisième et dernier objectif est de proposer un cadre S-XAI utilisant le RCO et le MCSK pour évaluer si les machines existantes peuvent effectuer des tâches spécifiques et générer des explications NL compréhensibles. Cet objectif a été atteint en intégrant le RCO, qui fournit des capacités opérationnelles telles que la répétabilité et la précision, au MCSK, qui décrit les exigences du processus. En utilisant le raisonnement sémantique basé sur le MCSK, le système S-XAI fournit de manière transparente des explications NL qui détaillent chaque logique et chaque résultat.Dans le cadre du S-XAI, un NN prédit les capacités opérationnelles des robots, tandis que l'IA symbolique incorpore ces prédictions dans un système de raisonnement basé sur le MCSK et fondé sur le RCO.Cette configuration hybride maximise les forces de chaque système d'IA et garantit que les prédictions soutiennent un processus décisionnel transparent. En outre, la S-XAI améliore l'interprétabilité des prédictions du NN grâce à des techniques XAI telles que LIME, SHAP et PDP, clarifiant les prédictions du NN et permettant d'obtenir des informations détaillées pour un meilleur calibrage et une gestion proactive, favorisant ainsi un environnement de fabrication résilient et informé
In Industry 4.0, advanced manufacturing is vital in shaping future factories, enabling enhanced planning, scheduling, and control. The ability to adaptproduction lines swiftly in response to customer demands or unexpected situations is essential to enhance the future of manufacturing. While AI is emerging as a solution, industries still rely on human expertise due to trust issues and a lack of transparency in AI decisions. Explainable AI integrating commonsense knowledge related to manufacturing is crucial for making AI decisions understandable and trustworthy. Within this context, we propose the S-XAI framework, an integrated solution combining machine specifications with MCSK to provide explainable and transparent decision-making. The focus is on providing real-time machine capabilities to ensure precise decision-making while simultaneously explaining the decision-making process to all involved stakeholders. Accordingly, the first objective was formalizing machine specifications, including capabilities, capacities, functions, quality, and process characteristics, focusing on robotics. To do so, we created a Robot Capability ontology formalizing all relevant aspects of machine specifications, such as Capability, Capacity, Function, Quality, and Process Characteristics. On top of this formalization, the RCO allows manufacturing stakeholders to capture robotic capabilities described in specification manuals (advertised capabilities) and compare them with real-world performance (operational capabilities). RCO is based on the Machine Service Description Language, a domain reference ontology created for manufacturing services, and aligned with the Basic Formal Ontology, Industrial Foundry Ontology, Information Artifact Ontology, and Relations Ontology. The second objective was the formalization of MCSK. We introduce MCSK and present a methodology for identifying it, starting with recognizing different CSK patterns in manufacturing and aligning them with manufacturing concepts. Extracting MCSK in a usable form is challenging, so our approach structures MCSK into NL statements utilizing LLMs. to facilitate rule-based reasoning, thereby enhancing decision-making capabilities. The third and final objective is to propose an S-XAI framework utilizing RCO and MCSK to assess if existing machines can perform specific tasks and generate understandable NL explanations. This was achieved by integrating the RCO, which provides operational capabilities like repeatability and precision, with MCSK, which outlines the process requirements. By utilizing MCSK-based semantic reasoning, the S-XAI system seamlessly provides NL explanations that detail each logic and outcome. In the S-XAI framework, an NN predicts the operational capabilities of robots, while symbolic AI incorporates these predictions within an MCSK-based reasoning system grounded in the RCO. This hybrid setup maximizes the strengths of each AI system and ensures that predictions support a transparent decision-making process. Additionally, S-XAI enhances the interpretability of NN predictions through XAI techniques such as LIME, SHAP, and PDP, clarifying NN predictions and enabling detailed insights for better calibration and proactive management, ultimately fostering a resilient and informed manufacturing environment

Le travail présenté dans cette thèse explore les méthodes pratiques utilisées pour faciliter l'entraînement et améliorer les performances des modèles de langues munis de très grands vocabulaires. La principale limite à l'utilisation des modèles de langue neuronaux est leur coût computationnel: il dépend de la taille du vocabulaire avec laquelle il grandit linéairement. La façon la plus aisée de réduire le temps de calcul de ces modèles reste de limiter la taille du vocabulaire, ce qui est loin d'être satisfaisant pour de nombreuses tâches. La plupart des méthodes existantes pour l'entraînement de ces modèles à grand vocabulaire évitent le calcul de la fonction de partition, qui est utilisée pour forcer la distribution de sortie du modèle à être normalisée en une distribution de probabilités. Ici, nous nous concentrons sur les méthodes à base d'échantillonnage, dont le sampling par importance et l'estimation contrastive bruitée. Ces méthodes permettent de calculer facilement une approximation de cette fonction de partition. L'examen des mécanismes de l'estimation contrastive bruitée nous permet de proposer des solutions qui vont considérablement faciliter l'entraînement, ce que nous montrons expérimentalement. Ensuite, nous utilisons la généralisation d'un ensemble d'objectifs basés sur l'échantillonnage comme divergences de Bregman pour expérimenter avec de nouvelles fonctions objectif. Enfin, nous exploitons les informations données par les unités sous-mots pour enrichir les représentations en sortie du modèle. Nous expérimentons avec différentes architectures, sur le Tchèque, et montrons que les représentations basées sur les caractères permettent l'amélioration des résultats, d'autant plus lorsque l'on réduit conjointement l'utilisation des représentations de mots
This work investigates practical methods to ease training and improve performances of neural language models with large vocabularies. The main limitation of neural language models is their expensive computational cost: it depends on the size of the vocabulary, with which it grows linearly. Despite several training tricks, the most straightforward way to limit computation time is to limit the vocabulary size, which is not a satisfactory solution for numerous tasks. Most of the existing methods used to train large-vocabulary language models revolve around avoiding the computation of the partition function, ensuring that output scores are normalized into a probability distribution. Here, we focus on sampling-based approaches, including importance sampling and noise contrastive estimation. These methods allow an approximate computation of the partition function. After examining the mechanism of self-normalization in noise-contrastive estimation, we first propose to improve its efficiency with solutions that are adapted to the inner workings of the method and experimentally show that they considerably ease training. Our second contribution is to expand on a generalization of several sampling based objectives as Bregman divergences, in order to experiment with new objectives. We use Beta divergences to derive a set of objectives from which noise contrastive estimation is a particular case. Finally, we aim at improving performances on full vocabulary language models, by augmenting output words representation with subwords. We experiment on a Czech dataset and show that using character-based representations besides word embeddings for output representations gives better results. We also show that reducing the size of the output look-up table improves results even more

Les agents conversationnels se sont largement répandus ces dernières années. Aujourd'hui, ils ont dépassé leur objectif initial de simuler une conversation avec un programme informatique et sont désormais des outils précieux pour accéder à l'information et effectuer diverses tâches, allant du service client à l'assistance personnelle. Avec l'essor des modèles génératifs et des grands modèles de langage (LLM), les capacités des agents conversationnels ont été décuplées. Cependant, ils sont désormais sujets à des hallucinations, générant ainsi des informations erronées. Une technique populaire pour limiter le risque d'hallucinations est la génération augmentée par récupération (RAG), qui permet d'injecter des connaissances lors de la génération de texte. Ces connaissances peuvent être extraites de graphes de connaissances (KG), qui sont des représentations structurées et accessibles pour les systèmes informatiques. Ainsi, nous explorons les architectures de KG-RAG pour construire des agents conversationnels de confiance. Nous démontrons l'intérêt de notre approche pour un cas d'usage réel de support citoyen·ne en construisant un agent conversationnel traitant les mesures autour du handicap dans des villes françaises. Nous présentons d'abord un historique des agents conversationnels, en introduisant les méthodes mises en œuvre au fil des années et les techniques d'évaluation. Nous définissons ensuite les KG et les ontologies, et explorons les techniques de construction et d'évaluation. Ne trouvant pas de KG directement exploitable, notre première contribution introduit OLAF : Ontology Learning Applied Framework. Ce système modulaire est conçu pour une construction automatisée et reproductible de KG à partir de textes non structurés. OLAF intègre des techniques linguistiques, statistiques et basées sur des LLM pour générer des ontologies minimales viables sur des domaines spécifiques. Appliqué à des ensembles de données réels, OLAF démontre des performances robustes grâce à des évaluations basées sur des ontologies de référence et des questions de compétence spécifiques à une tâche. Nous détaillons le processus de construction d'un KG sur la thématique du handicap dans une ville française. Nous proposons ensuite une architecture pour les systèmes de KG-RAG afin d'améliorer la recherche d'information en alignant les requêtes des utilisateur·rice·s avec les structures des graphes via la liaison d'entités, les patrons de requêtes et les méthodes de récupération basées sur les LLM. Nous démontrons l'intérêt de notre architecture sur différents cas d'utilisation, que nous évaluons selon des critères tels que la performance, les préférences humaines et l'impact environnemental. Bien que les préférences des utilisateur·rice·s avantagent l'architecture de Text-RAG, l'impact environnemental réduit de l'architecture de KG-RAG souligne son potentiel pour des pratiques d'IA durables. Enfin, nous identifions comme élément clé de l'architecture la partie concernant la recherche d'information. Nous abordons donc cette tâche dans notre architecture en explorant les techniques de vectorisation dans divers contextes, c'est-à-dire en améliorant la liaison d'entités, la recherche des données contextuelles et en fournissant un système de cache. Nous proposons également des mécanismes pour gérer les conversations multi-tours. Ce travail établit un cadre complet pour les systèmes de KG-RAG, combinant la sémantique des KG avec les capacités génératives des LLM pour construire des agents conversationnels précis, spécialisés et durables. Les contributions incluent OLAF pour une construction automatisée de KG, un pipeline de KG-RAG robuste, et des améliorations basées sur des représentations vectorielles pour la précision de la recherche d'information et la qualité des interactions. En répondant aux défis industriels des agents conversationnels, ces travaux posent les bases du déploiement de systèmes de KG-RAG dans des domaines spécialisés et variés
Conversational agents have become widespread in recent years. Today, they have transcended their initial purpose of simulating a conversation with a computer program and are now valuable tools for accessing information and carrying out various tasks, from customer service to personal assistance. With the rise of text-generative models and Large Language Models (LLMs), the capabilities of conversational agents have increased tenfold. However, they are now subject to hallucinations, producing false information. A popular technique to limit the risk of hallucinations is Retrieval Augmented Generation (RAG), which injects knowledge into a text generation process. Such injected knowledge can be drawn from Knowledge Graphs (KGs), which are structured machine-readable knowledge representations. Therefore, we explore Knowledge Graph-based Retrieval Augmented Generation (KG-RAG) to build trusted conversational agents. We demonstrate our approach on a real-world use case for citizen support by building conversational agents for disability management in cities. We first present a history of conversational agents, introducing the approaches implemented over the years and the evaluation techniques. We then define KGs and ontologies, and explore construction and evaluation techniques. As we could not find a directly exploitable KG, our first contribution introduces the Ontology Learning Applied Framework (OLAF). This modular system is built for automated and repeatable KG construction from unstructured text. OLAF integrates linguistic, statistical, and LLM-based techniques to generate Minimum Viable Ontologies for specific domains. Applied to real-world datasets, OLAF demonstrates robust performance through gold-standard evaluations and task-specific Competency Questions. We detail the construction process for a KG about disability management in a French city. We then propose an architecture for KG-RAG systems to enhance information retrieval by aligning user queries with KG structures through entity linking, graph queries, and LLM-based retrieval approaches. We demonstrate our architecture on different use cases, which we evaluate using criteria such as performance, human preference, and environmental impact. While user preferences advantage Text-RAG, KG-RAG's reduced computational footprint underscores its potential for sustainable AI practices. Finally, we identify the critical part of the architecture as the retriever. Therefore, we tackle the retrieval task in our architecture by exploring embeddings in various contexts, i.e. improving EL, retrieval, and providing a caching system. We also propose mechanisms for handling multi-turn conversations. This work establishes a comprehensive framework for KG-RAG systems, combining the semantic depth of KGs with the generative capabilities of LLMs to deliver accurate, contextual, and sustainable conversational agents. Contributions include OLAF for scalable KG construction, a robust KG-RAG pipeline, and embedding-based enhancements for retrieval and interaction quality. By addressing conversational agents' industrial challenges, such as scalability, retrieval precision, and conversational coherence, this research lays the foundation for deploying KG-RAG systems in diverse and specialised domains

Les progrès récents de l'apprentissage profond et des réseaux de neurones ont permis d'aborder des tâches complexes de traitement du langage naturel, qui sont appliquées à une pléthore de problèmes réels allant des assistants intelligents dans les appareils mobiles à la prédiction du cancer. Néanmoins, les systèmes modernes basés sur ces approches présentent plusieurs limitations qui peuvent compromettre leurs performances et leur fiabilité, les rendre injustes envers les minorités ou exposer des données personnelles. Nous sommes convaincus que l'intégration de connaissances et de raisonnement symboliques dans le cadre de l'apprentissage profond est une étape nécessaire vers la résolution de ces limitations. Par exemple, les ressources lexicales peuvent enrichir les réseaux de neurones profonds avec des connaissances sémantiques ou syntaxiques, et les règles logiques peuvent fournir des mécanismes d'apprentissage et de raisonnement. Par conséquent, l'objectif de cette thèse est de développer et d'évaluer des moyens d'intégrer différents types de connaissances et de raisonnement symboliques dans un modèle de langage largement utilisé, le Bidirectional Encoder R presentations from Transformers (BERT). Dans un premier temps, nous considérons le retrofitting, une technique simple et populaire pour raffiner les plongements lexicaux de mots grâce à des relations provenant d'un lexique sémantique. Nous présentons deux méthodes inspirées par cette technique pour incorporer ces connaissances dans des plongements contextuels de BERT. Nous évaluons ces méthodes sur trois jeux de données biomédicales pour l'extraction de relations et un jeu de données de critiques de films pour l'analyse des sentiments, et montrons qu'elles n'ont pas d'impact substantiel sur les performances pour ces tâches. En outre, nous effectuons une analyse qualitative afin de mieux comprendre ce résultat négatif. Dans un second temps, nous intégrons le raisonnement analogique à BERT afin d'améliorer ses performances sur la tâche de vérification du sens d'un mot, et de le rendre plus robuste. Pour cela, nous reformulons la vérification du sens d'un mot comme une tâche de détection d'analogie. Nous présentons un modèle hybride qui combine BERT pour encoder les données d'entrée en quadruplets et un classifieur neuronal convolutif pour décider s'ils constituent des analogies valides. Nous testons notre système sur un jeu de données de référence et montrons qu'il peut surpasser les approches existantes. Notre étude empirique montre l'importance de l'encodage d'entrée pour BERT, et comment cette dépendance est atténuée en intégrant les propriétés axiomatiques des analogies lors de l'apprentissage, tout en préservant les performances et en améliorant la robustesse
Recent advances in deep learning and neural networks have made it possible to address complex natural language processing tasks, which find application in a plethora of real-world problems ranging from smart assistants in mobile devices to the prediction of cancer. Nonetheless, modern systems based on these frameworks exhibit various limitations that may compromise their performance and trustworthiness, render them unfair towards minorities, or subject them to privacy leakage. It is our belief that integrating symbolic knowledge and reasoning into the deep learning framework is a necessary step towards addressing the aforementioned limitations. For example, lexical resources can enrich deep neural networks with semantic or syntactic knowledge, and logical rules can provide learning and reasoning mechanisms. Therefore, the scope of this thesis is to develop and evaluate ways of integrating different types of symbolic knowledge and reasoning into a widely used language model, Bidirectional Encoder Representations from Transformers (BERT). ln a first stage, we consider retrofitting, a simple and popular technique for refining distributional word embeddings based on relations coming from a semantic lexicon. Inspired by this technique, we present two methods for incorporating this knowledge into BERT contextualized embeddings. We evaluate these methods on three biomedical datasets for relation extraction and one movie review dataset for sentiment analysis, and show that they do not substantially impact the performance for these tasks. Furthermore, we conduct a qualitative analysis to provide further insights on this negative result. ln a second stage, we integrate analogical reasoning with BERT as a means to improve its performance on the target sense verification task, and make it more robust. To do so, we reformulate target sense verification as an analogy detection task. We present a hybrid model that combines BERT to encode the input data into quadruples and a convolutional neural classifier to decide whether they constitute valid analogies. We test our system on a benchmark dataset, and show that it can outperform existing approaches. Our empirical study shows the importance of the input encoding for BERT, and how this dependence gets alleviated by integrating the axiomatic properties of analogies during training, while preserving performance and improving robustness

The increasing need to safeguard patient data in Internet of Medical Things (IoMT) devices highlights the critical importance of reducing vulnerabilities within these systems. The widespread adoption of IoMT has transformed healthcare by enabling continuous remote patient monitoring (RPM), which enhances patient outcomes and optimizes healthcare delivery. However, the integration of IoMT devices into healthcare systems presents significant security challenges, particularly in protecting sensitive patient data and ensuring the reliability of medical devices. The diversity of data formats used by various vendors in RPM complicates data aggregation and fusion, thereby hindering overall cybersecurity efforts. This thesis proposes a novel semantic framework for vulnerability detection in RPM settings within the IoMT system. The framework addresses interoperability, heterogeneity, and integration challenges through meaningful data aggregation. The core of this framework is a domain ontology that captures the semantics of concepts and properties related to the primary security aspects of IoT medical devices. This ontology is supported by a comprehensive ruleset and complex queries over aggregated knowledge. Additionally, the implementation integrates medical device data with the National Vulnerability Database (NVD) via an API, enabling real-time detection of vulnerabilities and improving the security of RPM systems. By capturing the semantics of medical devices and network components, the proposed semantic model facilitates partial automation in detecting network anomalies and vulnerabilities. A logic-based ruleset enhances the system’s robustness and efficiency, while its reasoning capabilities enable the identification of potential vulnerabilities and anomalies in IoMT systems, thereby improving security measures in remote monitoring settings. The semantic framework also supports knowledge graph visualization and efficient querying through SPARQL. The knowledge graph provides a structured representation of interconnected data and stores Cyber Threat Intelligence (CTI) to enhance data integration, visualization, and semantic enrichment. The query mechanism enables healthcare providers to extract valuable insights from IoMT data, notifying them about new system vulnerabilities or vulnerable medical devices. This demonstrates the impact of vulnerabilities on cybersecurity requirements (Confidentiality, Integrity, and Availability) and facilitates countermeasures based on severity. Consequently, the framework promotes timely decision-making, enhancing the overall efficiency and effectiveness of IoMT systems. The semantic framework is validated through various use cases and existing frameworks, demonstrating its effectiveness and robustness in vulnerability detection within the domain of IoMT security.

Thesis (M.S. in Modeling, Virtual Environments and Simulation)--Naval Postgraduate School, December 2003.
Thesis advisor(s): Don Brutzman, Curt Blais. Includes bibliographical references (p. 117-118). Also available online.

This thesis introduces several variants to the classical autoassociative memory model in order to capture different characteristics of large cortical networks, using semantic memory as a paradigmatic example in which to apply the results. Chapter 2 is devoted to the development of the sparse Potts model network as a simplification of a multi modular memory performing computations both at the local and the global level. If a network storing p global patterns has N local modules, each one active in S possible ways with a global sparseness a, and if each module is connected to cM other modules, the storage capacity scales like αc ≡ pmax /cM ∝ S 2 /a with logarithmic corrections. Chapter 3 further introduces adaptation and correlations among patterns, as a result of which a latching dynamics appears, consistent in the spontaneous hopping between global attractor states after an initial cue-guided retrieval, somehow similar to a free association process. The complexity of the latching series depends on the equilibrium between self-excitation of the local networks and global inhibition represented by the parameter U. Finally, Chapter 4 develops a consistent way to store and retrieve correlated patterns, which works as long as any statistical dependence between units can be neglected. The popularity of units must be introduced into the learning rule, as a result of which a new property of associative memories appears: the robustness of a memory is inverse to the information it conveys. As in some accounts of semantic memory deficits, random damage results in selective impairments, associated to the entropy measure Sf of each memory, since the minimum connectivity required to sustain its retrieval is, in optimal conditions, cM ∝ pSf , and still proportional to pSf but possibly with a larger coefficient in the general case. Present in the entire thesis, but specially in this last Chapter, the conjecture stating that autoassociative memories are limited in the amount of information stored per synapse results consistent with the results.

Techniques that can effectively identify authors of texts are of great importance in scenarios such as detecting plagiarism, and identifying a source of information. A range of attribution approaches has been proposed in recent years, but none of these are particularly satisfactory; some of them are ad hoc and most have defects in terms of scalability, effectiveness, and computational cost. Good test collections are critical for evaluation of authorship attribution (AA) techniques. However, there are no standard benchmarks available in this area; it is almost always the case that researchers have their own test collections. Furthermore, collections that have been explored in AA are usually small, and thus whether the existing approaches are reliable or scalable is unclear. We develop several AA collections that are substantially larger than those in literature; machine learning methods are used to establish the value of using such corpora in AA. The results, also used as baseline results in this thesis, show that the developed text collections can be used as standard benchmarks, and are able to clearly distinguish between different approaches. One of the major contributions is that we propose use of the Kullback-Leibler divergence, a measure of how different two distributions are, to identify authors based on elements of writing style. The results show that our approach is at least as effective as, if not always better than, the best existing attribution methods-that is, support vector machines-for two-class AA, and is superior for multi-class AA. Moreover our proposed method has much lower computational cost and is cheaper to train. Style markers are the key elements of style analysis. We explore several approaches to tokenising documents to extract style markers, examining which marker type works the best. We also propose three systems that boost the AA performance by combining evidence from various marker types, motivated from the observation that there is no one type of marker that can satisfy all AA scenarios. To address the scalability of AA, we propose the novel task of authorship search (AS), inspired by document search and intended for large document collections. Our results show that AS is reasonably effective to find documents by a particular author, even within a collection consisting of half a million documents. Beyond search, we also propose the AS-based method to identify authorship. Our method is substantially more scalable than any method published in prior AA research, in terms of the collection size and the number of candidate authors; the discrimination is scaled up to several hundred authors.

There exist a number of well-known and validated design metrics, and the fault prediction available through these metrics has been well documented for systems developed in languages such as C and Ada. However, the mapping and application of these metrics to SDL systems has not been thoroughly explored. The aim of this project is to test the applicability of these metrics in classifying components for testing purposes in a large-scale SDL system. A new model has been developed for this purpose. This research was conducted using a number of SDL systems, most notably actual production models provided by Motorola Corporation.
Department of Computer Science

A model is presented which incorporates the advantages of a mixed mode simulation to characterize transmission line behavior in multiple coupled Transmission line systems. The model is intended for use by digital circuit designers who wish to be able to obtain accurate transmission line behavior for complex digital systems for which continuous time simulation tools such as SPICE would time prohibitive. The model uses a transverse electromagnetic wave approximation to obtain solutions to the basic transmission line equations. A modal analysis technique is used to solve for the attenuation and propagation constants for the transmission lines. Modal analysis done in the frequency domain after a Fast Fourier Transform of the time-domain input signals. Boundary conditions are obtained from the Thevinized transmission line input equivalent circuit and the transmission line output load impedance. The model uses a unique solution queue system that allows n-line coupled transmission lines to be solved without resorting to large order matrix methods or the need to diagonals larger matrices using linear transformations. This solution queue system is based on the method of solution superposition. As a result, the CPU time required for the model is primarily a function of the number of transitions and not the number of lines modeled. Incorporation of the model into event driven circuit simulators such as Network C is discussed. It will be shown that the solution queue methods used in this model make it ideally suited for incorporation into a event-driven simulation network. The model presented in this thesis can be scaled to incorporate direct electromagnetic coupling between first, second, or third lines adjacent to the line transitioning. It is shown that modeling strictly adjacent line coupling is adequate for typical digital technologies. It is shown that the model accurately reproduces the transmission line behavior of systems modeled by previous authors. Example transitions on a 8-line system are reviewed. Finally, future model improvements are discussed.

L’Ingénierie Dirigée par les Modèles (IDM) promeut les modèles comme un élément clé pour répondre à la complexité croissante du cycle de vie des systèmes logiciel. L’ingénierie de systèmes avec l’IDM implique divers modèles représentant différentes aspects du système. Cette hétérogénéité nécessite des capacités de fédération de modèles pour intégrer des points de vue spécifiques à de multiples domaines. Les solutions de Vues sur les Modèles (Model Views) répondent à ce défi mais manquent encore de support à l’automatisation. Cette thèse explore l’intégration de l’Apprentissage Automatique (AA), notamment les Réseaux de Neurones en Graphes (GNN) et Grands Modèles de Langage (LLM), pour améliorer la définition et construction de telles vues. La solution proposée introduit une approche en deux volets dans la solution technique EMF Views. Cela a permis d’automatiser partiellement la définition des vues sur modèles à la conception, et de calculer dynamiquement les liens inter-modèles à l’exécution. Nos résultats indiquent que l’application de techniques d’apprentissage profond (DL), dans ce contexte spécifique de l’IDM, permet déjà d’atteindre un premier niveau d’automatisation intéressant. Plus globalement, cet effort de recherche contribue au développement actuel de solutions plus intelligentes pour l’IDM
Model-driven engineering (MDE) promotes models as a key element in addressing the increasing complexity of the software systems’ lifecycle. Engineering systems with MDE involves various models representing different system aspects. This heterogeneity requires model federation capabilities to integrate viewpoints specific to multiple domains. Model View solutions address this challenge but still lack more automation support. This thesis explores the integration of Machine Learning (ML), notably Graph Neural Networks (GNNs) and Large Language Models (LLMs), in order to improve the definition and building of such views. The proposed solution introduces a twofold approach within the EMF Views technical solution. This allowed to partially automate the definition of model views at design time, and to dynamically compute inter-model links at runtime. Our results indicate that the application of Deep Learning (DL) techniques, in this particular MDE context, already allows to achieve a first relevant level of automation. More globally, this research effort contributes to the ongoing development of more intelligent MDE solutions

La première partie de cette thèse traite de la conception de modèles neuronaux siamois entraînés pour la similarité sémantique entre textes biomédicaux et de leur application à des tâches de TAL sur des documents biomédicaux. L’entraînement de ces modèles a été réalisé en plongeant les titres et résumés du corpus PubMed avec le thésaurus MeSH dans un même espace de représentation. Dans la seconde partie nous utilisons ces modèles pour aligner et enrichir les terminologies de l’UMLS (Unified Medical Language System) et automatiser l’intégration de nouvelles relations entre concepts similaires provenant notamment de maladies (DOID), de médicaments (DRON) et de symptômes. Ces relations enrichies permettent d’améliorer l’exploitation de ces ontologies, facilitant ainsi leur utilisation dans diverses applications cliniques et scientifiques. Nous proposons de plus des approches de validation à l’aide des ressources telles que les LLMs, l’OpenFDA, le Métathésaurus et le réseau sémantique de l’UMLS que nous complétons par la validation manuelle d’experts du domaine
The first part of this thesis addresses the design of siamese neural models trained for semantic similarity between biomedical texts and their application to NLP tasks on biomedical documents. The training of these models was performed by embedding the titles and abstracts from the PubMed corpus along with the MeSH thesaurus into a common space. In the second part, we use these models to align and enrich the terminologies of UMLS (Unified Medical Language System) and automate the integration of new relationships between similar concepts, particularly from diseases (DOID), drugs (DRON), and symptoms. These enriched relationships enhance the usability of these ontologies, thereby facilitating their application in various clinical and scientific domains. Additionally, we propose validation approaches using resources such as LLMs, OpenFDA, the UMLS Metathesaurus, and the UMLS semantic network, supplemented by manual validation from domain experts

In this project I studied how generative neural language models can be used for response generation. The purpose of the model is to generate responses for a social robot, instead of having responses be authored and evaluated by crowd-sourced workers. To achieve this task, I train a large-scale pre-trained neural language model on the collected data. I trained six model variations to study the changes in utterance quality, the models vary in the amount of pre-training they have. I also test three different decoding methods for the same purpose. One of the model variations utilize multi-task learning during training, where the model performs other tasks alongside response generation. The utterances produced by the models were evaluated through crowd-sourced human evaluation. Utterances were shown by the evaluation to be of roughly equal quality to the original utterances it was trained to replicate. The results show that a large-scale language model may be a viable alternative to crowd-sourced authoring and evaluation of utterances, reducing costs and providing more reliable results.

碩士
國立中興大學
資訊網路多媒體研究所
100
Smoothing technique is a very fundamental and important topic. Many applications like speech reconition, machine translation, input method, Chinese characters conversion use this technique a lot. In this thesis, we discuss the properties and entropies of smoothing methods. Because of the problem of data sparseness, smoothing methods are employed to estimate the probability of each event in language models. We will mention several well-known smoothing methods: Additive Discount Method, Good-Turing Method and Witten-Bell method. The present smoothing techniques have solved the data sparse problem effectively but have not further anzlyzed the reasonableness for the frequency distribution of events occurring.So we analyzed smoothing method from a statitiscal point of view. We propose a set of properties to analyzed the statistical bebaviors of these smoothing methods. Furthmore, we present two new smoothing methods which comply with nearly all the properties. Finally, we implement the language models using large Mandarin corpus and discuss how to evaluate language models by cross-entropy and perplexity. Then we discuss some related problems of the cut off issues proopsed by Katz.