Academic literature on the topic 'Semantic structure of the word'

People have complex thoughts, and they often express their thoughts with complex sentences using natural languages. This complexity may facilitate efficient communications among the audience with the same knowledge base. But on the other hand, for a different or new audience this composition becomes cumbersome to understand and analyze. Analysis of such compositions using syntactic or semantic measures is a challenging job and defines the base step for natural language processing. In this dissertation I explore and propose a number of new techniques to analyze and visualize the syntactic and semantic patterns of unstructured English texts. The syntactic analysis is done through a proposed visualization technique which categorizes and compares different English compositions based on their different reading complexity metrics. For the semantic analysis I use Latent Semantic Analysis (LSA) to analyze the hidden patterns in complex compositions. I have used this technique to analyze comments from a social visualization web site for detecting the irrelevant ones (e.g., spam). The patterns of collaborations are also studied through statistical analysis. Word sense disambiguation is used to figure out the correct sense of a word in a sentence or composition. Using textual similarity measure, based on the different word similarity measures and word sense disambiguation on collaborative text snippets from social collaborative environment, reveals a direction to untie the knots of complex hidden patterns of collaboration.

Word order (WO) is one of the most fascinating and investigated topics in Mandarin Chinese (MC) linguistics, and many accounts have been proposed on different WO patterns and constructions. However, despite the large amount of research, several WO related issues remain rather controversial. Crucially, no unified consensus exists on the relationship between WO and the different dimensions of the language (i.e. semantics, syntax and pragmatics), and on how these levels interact with each other. The present thesis’s aim is twofold: (1) identify the categories that are useful to account for WO patterns and variations in MC; (2) examine in greater depth the syntactic, semantic and pragmatic factors that influence word order in MC, as well as how they interact and impose constraints on possible WO variations. The novelty of the approach lies on three aspects: (i) a typological, comparative perspective that benefits from cross-linguistic investigation of WO phenomena in other languages; (ii) a bottom up approach that employs cross-linguistically validated typological tools (e.g., GR tests, or constituenthood tests) aimed at conducting the analysis on a language-internal basis, and (iii) an empirical approach: the analysis avails itself of natural linguistic data, mainly drawn from corpora, and relies on acceptability checks with native speakers. Overall, the thesis highlights that WO patterns and constructions are determined by the interplay of different factors and constraints. It also highlights that, for the sake of clarity and ambiguity avoidance, WO constraints are hierarchically organized, and WO freezing phenomena occur to allow disambiguation of participants in the described event.

La información de clase semántica de los nombres es fundamental para una amplia variedad de tareas del procesamiento del lenguaje natural (PLN), como la traducción automática, la discriminación de referentes en tareas como la detección y el seguimiento de eventos, la búsqueda de respuestas, el reconocimiento y la clasificación de nombres de entidades, la construcción y ampliación automática de ontologías, la inferencia textual, etc. Una aproximación para resolver la construcción y el mantenimiento de los léxicos de gran cobertura que alimentan los sistemas de PNL, una tarea muy costosa y lenta, es la adquisición automática de información léxica, que consiste en la inducción de una clase semántica relacionada con una palabra en concreto a partir de datos de su distribución obtenidos de un corpus. Precisamente, por esta razón, se espera que la investigación actual sobre los métodos para la producción automática de léxicos de alta calidad, con gran cantidad de información y con anotación de clase como el trabajo que aquí presentamos, tenga un gran impacto en el rendimiento de la mayoría de las aplicaciones de PNL. En esta tesis, tratamos la adquisición automática de información léxica como un problema de clasificación. Con este propósito, adoptamos métodos de aprendizaje automático para generar un modelo que represente los datos de distribución vectorial que, basados en ejemplos conocidos, permitan hacer predicciones de otras palabras desconocidas. Las principales preguntas de investigación que planteamos en esta tesis son: (i) si los datos de corpus proporcionan suficiente información para construir representaciones de palabras de forma eficiente y que resulten en decisiones de clasificación precisas y sólidas, y (ii) si la adquisición automática puede gestionar, también, los nombres polisémicos. Para hacer frente a estos problemas, realizamos una serie de validaciones empíricas sobre nombres en inglés. Nuestros resultados confirman que la información obtenida a partir de la distribución de los datos de corpus es suficiente para adquirir automáticamente clases semánticas, como lo demuestra un valor-F global promedio de 0,80 aproximadamente utilizando varios modelos de recuento de contextos y en datos de corpus de distintos tamaños. No obstante, tanto el estado de la cuestión como los experimentos que realizamos destacaron una serie de retos para este tipo de modelos, que son reducir la escasez de datos del vector y dar cuenta de la polisemia nominal en las representaciones distribucionales de las palabras. En este contexto, los modelos de word embedding (WE) mantienen la “semántica” subyacente en las ocurrencias de un nombre en los datos de corpus asignándole un vector. Con esta elección, hemos sido capaces de superar el problema de la escasez de datos, como lo demuestra un valor-F general promedio de 0,91 para las clases semánticas de nombres de sentido único, a través de una combinación de la reducción de la dimensionalidad y de números reales. Además, las representaciones de WE obtuvieron un rendimiento superior en la gestión de las ocurrencias asimétricas de cada sentido de los nombres de tipo complejo polisémicos regulares en datos de corpus. Como resultado, hemos podido clasificar directamente esos nombres en su propia clase semántica con un valor-F global promedio de 0,85. La principal aportación de esta tesis consiste en una validación empírica de diferentes representaciones de distribución utilizadas para la clasificación semántica de nombres junto con una posterior expansión del trabajo anterior, lo que se traduce en recursos léxicos y conjuntos de datos innovadores que están disponibles de forma gratuita para su descarga y uso.<br>La información de clase semántica de los nombres es fundamental para una amplia variedad de tareas del procesamiento del lenguaje natural (PLN), como la traducción automática, la discriminación de referentes en tareas como la detección y el seguimiento de eventos, la búsqueda de respuestas, el reconocimiento y la clasificación de nombres de entidades, la construcción y ampliación automática de ontologías, la inferencia textual, etc. Una aproximación para resolver la construcción y el mantenimiento de los léxicos de gran cobertura que alimentan los sistemas de PNL, una tarea muy costosa y lenta, es la adquisición automática de información léxica, que consiste en la inducción de una clase semántica relacionada con una palabra en concreto a partir de datos de su distribución obtenidos de un corpus. Precisamente, por esta razón, se espera que la investigación actual sobre los métodos para la producción automática de léxicos de alta calidad, con gran cantidad de información y con anotación de clase como el trabajo que aquí presentamos, tenga un gran impacto en el rendimiento de la mayoría de las aplicaciones de PNL. En esta tesis, tratamos la adquisición automática de información léxica como un problema de clasificación. Con este propósito, adoptamos métodos de aprendizaje automático para generar un modelo que represente los datos de distribución vectorial que, basados en ejemplos conocidos, permitan hacer predicciones de otras palabras desconocidas. Las principales preguntas de investigación que planteamos en esta tesis son: (i) si los datos de corpus proporcionan suficiente información para construir representaciones de palabras de forma eficiente y que resulten en decisiones de clasificación precisas y sólidas, y (ii) si la adquisición automática puede gestionar, también, los nombres polisémicos. Para hacer frente a estos problemas, realizamos una serie de validaciones empíricas sobre nombres en inglés. Nuestros resultados confirman que la información obtenida a partir de la distribución de los datos de corpus es suficiente para adquirir automáticamente clases semánticas, como lo demuestra un valor-F global promedio de 0,80 aproximadamente utilizando varios modelos de recuento de contextos y en datos de corpus de distintos tamaños. No obstante, tanto el estado de la cuestión como los experimentos que realizamos destacaron una serie de retos para este tipo de modelos, que son reducir la escasez de datos del vector y dar cuenta de la polisemia nominal en las representaciones distribucionales de las palabras. En este contexto, los modelos de word embedding (WE) mantienen la “semántica” subyacente en las ocurrencias de un nombre en los datos de corpus asignándole un vector. Con esta elección, hemos sido capaces de superar el problema de la escasez de datos, como lo demuestra un valor-F general promedio de 0,91 para las clases semánticas de nombres de sentido único, a través de una combinación de la reducción de la dimensionalidad y de números reales. Además, las representaciones de WE obtuvieron un rendimiento superior en la gestión de las ocurrencias asimétricas de cada sentido de los nombres de tipo complejo polisémicos regulares en datos de corpus. Como resultado, hemos podido clasificar directamente esos nombres en su propia clase semántica con un valor-F global promedio de 0,85. La principal aportación de esta tesis consiste en una validación empírica de diferentes representaciones de distribución utilizadas para la clasificación semántica de nombres junto con una posterior expansión del trabajo anterior, lo que se traduce en recursos léxicos y conjuntos de datos innovadores que están disponibles de forma gratuita para su descarga y uso.<br>Lexical semantic class information for nouns is critical for a broad variety of Natural Language Processing (NLP) tasks including, but not limited to, machine translation, discrimination of referents in tasks such as event detection and tracking, question answering, named entity recognition and classification, automatic construction and extension of ontologies, textual inference, etc. One approach to solve the costly and time-consuming manual construction and maintenance of large-coverage lexica to feed NLP systems is the Automatic Acquisition of Lexical Information, which involves the induction of a semantic class related to a particular word from distributional data gathered within a corpus. This is precisely why current research on methods for the automatic production of high- quality information-rich class-annotated lexica, such as the work presented here, is expected to have a high impact on the performance of most NLP applications. In this thesis, we address the automatic acquisition of lexical information as a classification problem. For this reason, we adopt machine learning methods to generate a model representing vectorial distributional data which, grounded on known examples, allows for the predictions of other unknown words. The main research questions we investigate in this thesis are: (i) whether corpus data provides sufficient distributional information to build efficient word representations that result in accurate and robust classification decisions and (ii) whether automatic acquisition can handle also polysemous nouns. To tackle these problems, we conducted a number of empirical validations on English nouns. Our results confirmed that the distributional information obtained from corpus data is indeed sufficient to automatically acquire lexical semantic classes, demonstrated by an average overall F1-Score of almost 0.80 using diverse count-context models and on different sized corpus data. Nonetheless, both the State of the Art and the experiments we conducted highlighted a number of challenges of this type of model such as reducing vector sparsity and accounting for nominal polysemy in distributional word representations. In this context, Word Embeddings (WE) models maintain the “semantics” underlying the occurrences of a noun in corpus data by mapping it to a feature vector. With this choice, we were able to overcome the sparse data problem, demonstrated by an average overall F1-Score of 0.91 for single-sense lexical semantic noun classes, through a combination of reduced dimensionality and “real” numbers. In addition, the WE representations obtained a higher performance in handling the asymmetrical occurrences of each sense of regular polysemous complex-type nouns in corpus data. As a result, we were able to directly classify such nouns into their own lexical-semantic class with an average overall F1-Score of 0.85. The main contribution of this dissertation consists of an empirical validation of different distributional representations used for nominal lexical semantic classification along with a subsequent expansion of previous work, which results in novel lexical resources and data sets that have been made freely available for download and use.

In collaboration with Gavagai, a company that develops automated and scalable methods for retrieving actionable intelligence from dynamic data, I have been studying semantic word spaces and topology. In this bachelor’s thesis, with help from computational topology, I introduce new ways to describe properties of these semantic word spaces, so called barcodes. I develop a measure to describe barcodes of betti number zero, prove its validity and discuss its implications.

In Swedish dialects we find the terms ris,skäver and skärva referring to illnesses in children. The words are also parts of various compounds which refer to variants of the illnesses. The terms are linguistic expressions denoting two folk categories of illnesses, RIS and SKÄVER/SKÄRVA. These categories are investigated from a cognitive semantic perspective. The cognitive perspective argues that we organize our understanding of reality by using Idealized Cognitive Models (ICM) based on our physical, mental and emotional experiences of the world. The aim is twofold: to demonstrate the bases on which an experienced illness is placed in a certain category, and to show how a folk conception of illness is reflected in the word formation strategies. The word formation strategies emanate from notions of characteristic symptoms, and from notions of causes of illnesses. Both categories, RIS and SKÄVER/SKÄRVA, are based on a number of ICM's. The category RIS is a radial structure, which means that the category is held together although its members have no structural criteria in common. The category SKÄVER/SKÄRVA is a concentrating structure, meaning that all members share all structural criteria. There is a strong connection between word formation strategies and the structures of the categories. Terms related to symptoms refer to members of a category which are part of a radial structure, while terms related to causes refer to members of a category which are part of a concentrating structure. This can be explained by two of the basic assumptions of cognitive semantics: semantic content is structred and symbolized overtly on the surface form of a language and categories are conventional, based on cultural assumptions about the world.<br>digitalisering@umu

The aim of semantic image understanding is to reveal the semantic meaning behind the image pixel. This thesis investigates problems related to semantic image understanding, and have made the following contributions. Our first contribution is to propose the usage of histogram matching in Multiple Kernel Learning. We treat the two-dimensional kernel matrix as an image and transfer the histogram matching algorithm in image processing to kernel matrix. Experiments on various computer vision and machine learning datasets have shown that our method can always boost the performance of state of the art MKL methods. Our second contribution is to advocate the segment-then-recognize strategy in pixel-level semantic image understanding. We have developed a new framework which tries to integrate semantic segmentation with low-level segmentation for proposing object consistent regions. We have also developed a novel method trying to integrate semantic segmentation with interactive segmentation. We found this segment-then-recognize strategy also works well on medical image data, where we designed a novel polar space random field model for proposing gland-like regions. In the realm of image-level semantic image understanding, our contribution is a novel way to utilize the random forest. Most of the previous works utilizing random forest store the posterior probabilities at each leaf node, and each random tree in the random forest is considered to be independent from each other. In contrast, we store the training samples instead of the posterior probabilities at each leaf node. We consider the random forest as a whole and propose the concept of semantic nearest neighbor and semantic similarity measure. Based on these two concepts, we devise novel methods for image annotation and image retrieval tasks.

Lesen zielt darauf ab, Bedeutung aus geschriebenem Text zu extrahieren. Interessanterweise unterscheiden sich Wörter beträchtlich hinsichtlich der Menge mit ihnen assoziierter Bedeutung, und es wurde kürzlich gezeigt, dass eine hohe Bedeutungshaltigkeit lexikalische und semantische Aufgaben erleichtert. Die vorliegende Dissertation kombiniert ereigniskorrelierte Potentiale (EKPs) und konnektionistische Modellierung, um einige offene Fragen zur Rolle der Bedeutungshaltigkeit bei der Wortverarbeitung anzugehen. Hierbei wurden EKPs verwendet, um den Zeitverlauf unabhängiger Einflüsse der Anzahl semantischer Merkmale und Assoziationen beim Wortlesen zu bestimmen sowie Einflüsse von Bedeutungshaltigkeit auf implizites Wortlernen zu untersuchen. Um die zugrundeliegenden Mechanismen besser zu verstehen, wurden die Ergebnisse anschließend mittels eines semantischen Netzwerk-Modells simuliert. Es zeigten sich keine Einflüsse der Anzahl der Assoziationen, aber eine schnelle Aktivierung semantischer Merkmale, die das EKP bereits ab 190 ms beeinflussten - nur 20 bis 30 ms nach und zeitlich überlappend mit der Aktivierung orthographischer Repräsentationen, die durch N1-Lexikalitätseffekte angezeigt wurden. Im weiteren Verlauf ging eine hohe Merkmalsanzahl mit größeren N400-Amplituden einher. Zudem verstärkten semantische Merkmale Wiederholungseinflüsse auf die Akkuratheit lexikalischer Entscheidungen und N400-Amplituden, was einen ersten Hinweis auf Einflüsse von Bedeutungshaltigkeit auf implizites Wortlernen darstellt. Diese Ergebnisse stehen im Einklang mit merkmalsbasierten semantischen Netzwerk-Modellen. Simulationen legen nahe, dass semantische Aktivierung lexikalische Entscheidungen erleichtert, während Netzwerk-Fehler in engem Zusammenhang mit N400-Amplituden stehen. Da Netzwerk-Fehler psychologisch als implizite Vorhersagefehler interpretiert werden, deuten diese Ergebnisse darauf hin, dass N400-Amplituden implizite Vorhersagefehler im semantischen System widerspiegeln.<br>Language ultimately aims to convey meaning. Importantly, the amount of associated semantic information varies considerably between words. Recent evidence suggests that the richness of semantic representations facilitates performance in lexical and semantic tasks, but much remains to be learned about semantic richness effects. The present dissertation combined event-related brain potentials (ERPs) and connectionist modeling to address several unresolved issues concerning the role of semantic richness in word processing. Specifically, ERPs were employed to investigate the time course of independent influences of the number of semantic features and associates during word reading (study 1) and influences of semantic richness on implicit word learning (study 2). Aiming at advancing a mechanistic understanding of the obtained results, both studies were subsequently simulated using a network model of semantic cognition (study 3). Results showed no influences of the number of associates, but fast access to semantic features, with influences of feature-based semantic richness starting at about 190 ms - a mere 20 to 30 ms after and temporally overlapping with the activation of orthographic representations as reflected by N1 lexicality effects. Later on, a high number of semantic features induced larger N400 amplitudes. Furthermore, the number of semantic features enhanced repetition priming effects on lexical decision accuracy and N400 amplitudes, providing initial evidence for influences of semantic richness on implicit word learning. These results are in line with feature-based network models of semantic cognition. Simulations with such a model suggest that semantic activation can facilitate lexical decisions, while network error closely corresponds to N400 amplitudes. In psychological terms, network error has been conceptualized as implicit prediction error. Thus, these results are taken to suggest that N400 amplitudes reflect implicit prediction error in semantic memory.