Dissertations / Theses on the topic 'Pre-trained convolutional neural networks'

Deep learning has dominated the computer vision field since 2012, but a common criticism of deep learning methods is their dependence on large amounts of data. To combat this criticism research into data-efficient deep learning is growing. The foremost success in data-efficient deep learning is transfer learning with networks pre-trained on the ImageNet dataset. Pre-trained networks have achieved state-of-the-art performance on many tasks. We consider the pre-trained network method for a new task where we have to collect the data. We hypothesize that the data efficiency of pre-trained networks can be improved through informed data collection. After exhaustive experiments on CaffeNet and VGG16, we conclude that the data efficiency indeed can be improved. Furthermore, we investigate an alternative approach to data-efficient learning, namely adding domain knowledge in the form of a spatial transformer to the pre-trained networks. We find that spatial transformers are difficult to train and seem to not improve data efficiency.

In this study we compare the performance of different pre-trained deep convolutional neural network architectures on classification of skin lesion images. We analyse the ISIC skin cancer image dataset. Our results indicate that the architectures analyzed achieve similar performance, with each algorithm reaching a mean five-fold cross-validation ROC AUC value between 0.82 and 0.89. The VGG-11 architecture achieved highest performance, with a mean ROC AUC value of 0.89, despite the fact that it performs considerably worse than some of other architectures on the ILSVRC task. Overall, our results suggest that the choice of architecture may not be as crucial on skin-cancer classification compared with the ImageNet classification problem.<br>I denna studie jämför vi hur väl olika förtränade konvolutionella neurala nätverksarkitekturer klassificerar bilder av potentiellt maligna födelsemärken. Detta med hjälp av datasetet ISIC, innehållande bilder av hudcancer. Våra resultat indikerar att alla arkitekturer som undersöktes gav likvärdiga resultat vad gäller hur väl de kan avgöra huruvida ett födelsemärke är malignt eller ej. Efter en femfaldig korsvalidering nådde de olika arkitekturerna ett ROC AUC-medelvärde mellan 0.82 och 0.89, där nätverket Vgg-11 gjorde allra bäst ifrån sig. Detta trots att samma nätvärk är avsevärt sämre på ILSVRC. Sammantaget indikterar våra resultat att valet av arkitektur kan vara mindre viktigt vid bildklassificering av hudcancer än vid klassificering av bilder på ImageNet.

Autonomous vehicles will help society if they can easily support a broad range of driving environments, conditions, and vehicles. Achieving this requires reducing the complexity of the algorithmic system, easing the collection of training data, and verifying operation using real-world experiments. Our work addresses these issues by utilizing a reflexive neural network that translates images into steering and throttle commands. This network is trained using simulation data from Grand Theft Auto V~\cite{gtav}, which we augment to reduce the number of simulation hours driven. We then validate our work using a RC car system through numerous tests. Our system successfully drive 98 of 100 laps of a track with multiple road types and difficult turns; it also successfully avoids collisions with another vehicle in 90\% of the trials.

In this thesis, we propose a license plate recognition system and study the feasibility of using synthetic training samples to train convolutional neural networks for a practical application. First we develop a modular framework for synthetic license plate generation; to generate different license plate types (or other objects) only the first module needs to be adapted. The other modules apply variations to the training samples such as background, occlusions, camera perspective projection, object noise and camera acquisition noise, with the aim to achieve enough variation of the object that the trained networks will also recognize real objects of the same class. Then we design two convolutional neural networks of low-complexity for license plate detection and character recognition. Both are designed for simultaneous classification and localization by branching the networks into a classification and a regression branch and are trained end-to-end simultaneously over both branches, on only our synthetic training samples. To recognize real license plates, we design a pipeline for scale invariant license plate detection with a scale pyramid and a fully convolutional application of the license plate detection network in order to detect any number of license plates and of any scale in an image. Before character classification is applied, potential plate regions are un-skewed based on the detected plate location in order to achieve an as optimal representation of the characters as possible. The character classification is also performed with a fully convolutional sweep to simultaneously find all characters at once. Both the plate and the character stages apply a refinement classification where initial classifications are first centered and rescaled. We show that this simple, yet effective trick greatly improves the accuracy of our classifications, and at a small increase of complexity. To our knowledge, this trick has not been exploited before. To show the effectiveness of our system we first apply it on a dataset of photos of Italian license plates to evaluate the different stages of our system and which effect the classification thresholds have on the accuracy. We also find robust training parameters and thresholds that are reliable for classification without any need for calibration on a validation set of real annotated samples (which may not always be available) and achieve a balanced precision and recall on the set of Italian license plates, both in excess of 98%. Finally, to show that our system generalizes to new plate types, we compare our system to two reference system on a dataset of Taiwanese license plates. For this, we only modify the first module of the synthetic plate generation algorithm to produce Taiwanese license plates and adjust parameters regarding plate dimensions, then we train our networks and apply the classification pipeline, using the robust parameters, on the Taiwanese reference dataset. We achieve state-of-the-art performance on plate detection (99.86% precision and 99.1% recall), single character detection (99.6%) and full license reading (98.7%).

Parkinson’s Disease (PD) is a neurodegenerative disease and brain disorder which affects the motor system and leads to shaking, stiffness, impaired balance and coordination. Diagnosing PD from Magnetic resonance images (MR-images) is difficult and often not possible for medical experts and therefore Convolutional neural networks (CNNs) are used instead. CNNs can detect small abnormalities in the MR-images that can be insignificant and undetectable for the human eye and this is the reason they are widely used in PD diagnosis with MR-images. CNNs have traditionally been trained on image data where PD affected brain areas (called brain slices) are converted into images first. Using this method, other large areas of the brain which might also be affected by PD are missed because it is not possible to combine more than 3 brain slices into the color channels of an image for training. This study aims to create a CNN and train it on larger parts of the brain and compare the accuracy of the created CNN when it is trained on different amounts of brain slices. The study then investigates if there is an optimal amount of brain area that produces the highest accuracy in the created CNN. During the study, we gathered results which show that, for our dataset, the accuracy increases when more brain slices are used. The trained CNN in this study reaches a maximum accuracy of 75% when it is trained on 7 slices and an accuracy of 60% when it is trained on a single slice. Training on 7 slices results in a significant improvement over training on a single slice. We believe that these 7 slices of brain contain a brain region called basal ganglia which is affected by PD and this is the reason that our CNN achieves the highest accuracy at 7 brain slices. We concluded that an optimal brain slice amount can be found which can increase the accuracy of the network by a considerable amount but this process takes a lot of time.<br>Parkinsons sjukdom (PD) är en progressiv neurologisk sjukdom som orsakar rörelseproblem, skakningar, stelhet och nedsatt balans. Att diagnostisera PD från Magnetisk resonanstomografi bilder (MR-bilder) är svårt och ofta inte möjligt för medicinska experter, i stället används Convolutions Neurala nätverk (CNN). CNNs kan upptäcka små avvikelser i MR-bilder som kan vara obetydliga och omöjliga att upptäcka för det mänskliga ögat och detta är anledningen till att de används i stor utsträckning vid PD-diagnos med MR-bilder. CNNs har traditionellt utbildats på bilddata där PD-drabbade hjärnområden (kallat hjärnskivor) omvandlas till bilder först. Genom denna metod excluderas stora delar av hjärnan som också kan påverkas av PD eftersom det inte är möjligt att kombinera mer än tre hjärnskivor i färgkanalerna på en bild för träning. Denna studie syftar till att skapa en CNN och träna den på större delar av hjärnan och jämföra noggrannheten hos den skapade CNN när den tränas på olika mängder hjärnskivor. Studien undersöker sedan om det finns en optimal mängd hjärnområde som ger högsta noggrannhet i det skapade CNN. Under studien samlade vi resultat som visade att noggrannheten för vår dataset ökar när fler hjärnskivor används. Den utbildade CNN i denna studie når en maximal noggrannhet på 75% när den tränas på 7 skivor och en noggrannhet på 60% när den tränas på en enda skiva. Träning på 7 skivor resulterar i en signifikant förbättring jämfört med träning på en skiva. Vi tror att dessa 7 hjärnskivor innehåller en hjärnregion som kallas basala ganglier som påverkas av PD och detta är anledningen till att vår CNN uppnår högsta noggrannhet vid 7 hjärnskivor. Vi drog slutsatsen att en optimal mängd hjärnskivor kan hittas som kan öka nätverkets noggrannhet avsevärt men denna process tar mycket tid.

In this work, the possibility of realising object tracking by implementing predictive methods with static object detectors is explored. The static object detectors are obtained as models trained on a machine learning algorithm, or in other words, a deep neural network. Specifically, it is the single shot detector inception v2 network that will be used to train such models. Predictive methods will be incorporated to the end of improving the obtained models’ precision, i.e. their performance with respect to accuracy. Namely, Lagrangian mechanics will be employed to derived equations of motion for three different scenarios in which the object is to be tracked. These equations of motion will be implemented as predictive methods by discretising and combining them with four different iterative formulae. In ch. 1, the fundamentals of supervised machine learning, neural networks, convolutional neural networks as well as the workings of the single shot detector algorithm, approaches to hyperparameter optimisation and other relevant theory is established. This includes derivations of the relevant equations of motion and the iterative formulae with which they were implemented. In ch. 2, the experimental set-up that was utilised during data collection, and the manner by which the acquired data was used to produce training, validation and test datasets is described. This is followed by a description of how the approach of random search was used to train 64 models on 300×300 datasets, and 32 models on 512×512 datasets. Consecutively, these models are evaluated based on their performance with respect to camera-to-object distance and object velocity. In ch. 3, the trained models were verified to possess multi-scale detection capabilities, as is characteristic of models trained on the single shot detector network. While the former is found to be true irrespective of the resolution-setting of the dataset that the model has been trained on, it is found that the performance with respect to varying object velocity is significantly more consistent for the lower resolution models as they operate at a higher detection rate. Ch. 3 continues with that the implemented predictive methods are evaluated. This is done by comparing the resulting deviations when they are let to predict the missing data points from a collected detection pattern, with varying sampling percentages. It is found that the best predictive methods are those that make use of the least amount of previous data points. This followed from that the data upon which evaluations were made contained an unreasonable amount of noise, considering that the iterative formulae implemented do not take noise into account. Moreover, the lower resolution models were found to benefit more than those trained on the higher resolution datasets because of the higher detection frequency they can employ. In ch. 4, it is argued that the concept of combining predictive methods with static object detectors to the end of obtaining an object tracker is promising. Moreover, the models obtained on the single shot detector network are concluded to be good candidates for such applications. However, the predictive methods studied in this thesis should be replaced with some method that can account for noise, or be extended to be able to account for it. A profound finding is that the single shot detector inception v2 models trained on a low-resolution dataset were found to outperform those trained on a high-resolution dataset in certain regards due to the higher detection rate possible on lower resolution frames. Namely, in performance with respect to object velocity and in that predictive methods performed better on the low-resolution models.<br>I detta arbete undersöks möjligheten att åstadkomma objektefterföljning genom att implementera prediktiva metoder med statiska objektdetektorer. De statiska objektdetektorerna erhålls som modeller tränade på en maskininlärnings-algoritm, det vill säga djupa neurala nätverk. Specifikt så är det en modifierad version av entagningsdetektor-nätverket, så kallat entagningsdetektor inception v2 nätverket, som används för att träna modellerna. Prediktiva metoder inkorporeras sedan för att förbättra modellernas förmåga att kunna finna ett eftersökt objekt. Nämligen används Lagrangiansk mekanik för härleda rörelseekvationer för vissa scenarion i vilka objektet är tänkt att efterföljas. Rörelseekvationerna implementeras genom att låta diskretisera dem och därefter kombinera dem med fyra olika iterationsformler. I kap. 2 behandlas grundläggande teori för övervakad maskininlärning, neurala nätverk, faltande neurala nätverk men också de grundläggande principer för entagningsdetektor-nätverket, närmanden till hyperparameter-optimering och övrig relevant teori. Detta inkluderar härledningar av rörelseekvationerna och de iterationsformler som de skall kombineras med. I kap. 3 så redogörs för den experimentella uppställning som användes vid datainsamling samt hur denna data användes för att producera olika data set. Därefter följer en skildring av hur random search kunde användas för att träna 64 modeller på data av upplösning 300×300 och 32 modeller på data av upplösning 512×512. Vidare utvärderades modellerna med avseende på deras prestanda för varierande kamera-till-objekt avstånd och objekthastighet. I kap. 4 så verifieras det att modellerna har en förmåga att detektera på flera skalor, vilket är ett karaktäristiskt drag för modeller tränade på entagninsdetektor-nätverk. Medan detta gällde för de tränade modellerna oavsett vilken upplösning av data de blivit tränade på, så fanns detekteringsprestandan med avseende på objekthastighet vara betydligt mer konsekvent för modellerna som tränats på data av lägre upplösning. Detta resulterade av att dessa modeller kan arbeta med en högre detekteringsfrekvens. Kap. 4 fortsätter med att de prediktiva metoderna utvärderas, vilket de kunde göras genom att jämföra den resulterande avvikelsen de respektive metoderna innebar då de läts arbeta på ett samplat detektionsmönster, sparat från då en tränad modell körts. I och med denna utvärdering så testades modellerna för olika samplingsgrader. Det visade sig att de bästa iterationsformlerna var de som byggde på färre tidigare datapunkter. Anledningen för detta är att den insamlade data, som testerna utfördes på, innehöll en avsevärd mängd brus. Med tanke på att de implementerade iterationsformlerna inte tar hänsyn till brus, så fick detta avgörande konsekvenser. Det fanns även att alla prediktiva metoder förbättrade objektdetekteringsförmågan till en högre utsträckning för modellerna som var tränade på data av lägre upplösning, vilket följer från att de kan arbeta med en högre detekteringsfrekvens. I kap. 5, argumenteras det, bland annat, för att konceptet att kombinera prediktiva metoder med statiska objektdetektorer för att åstadkomma objektefterföljning är lovande. Det slutleds även att modeller som erhålls från entagningsdetektor-nätverket är lovande kandidater för detta applikationsområde, till följd av deras höga detekteringsfrekvenser och förmåga att kunna detektera på flera skalor. Metoderna som användes för att förutsäga det efterföljda föremålets position fanns vara odugliga på grund av deras oförmåga att kunna hantera brus. Det slutleddes därmed att dessa antingen bör utökas till att kunna hantera brus eller ersättas av lämpligare metoder. Den mest väsentliga slutsats detta arbete presenterar är att lågupplösta entagninsdetektormodeller utgör bättre kandidater än de tränade på data av högre upplösning till följd av den ökade detekteringsfrekvens de erbjuder.

Training data is the bottleneck for training Convolutional Neural Networks. A larger dataset gives better accuracy though also needs longer training time. It is shown by finetuning neural networks on synthetic rendered images, that the mean average precision increases. This method was applied to two different datasets with five distinctive objects in each. The first dataset consisted of random objects with different geometric shapes. The second dataset contained objects used to assemble IKEA furniture. The neural network with the best performance, trained on 5400 images, achieved a mean average precision of 0.81 on a test which was a sample of a video sequence. Analysis of the impact of the factors dataset size, batch size, and numbers of epochs used in training and different network architectures were done. Using synthetic images to train CNN’s is a promising path to take for object detection where access to large amount of annotated image data is hard to come by.

This study evaluates the impact of pre-training on a medical classification task and investigates what characteristics if images affect the transferability of learned features from the pre-training. Cardiotocography (CTG) is a combined electronic measurement of the fetal heart rate (FHR) and maternal uterine contractions during labor and delivery and is commonly analyzed to prevent hypoxia. The records of FHR-signals can be represented as images, where the time-frequency curves are transformed to color spectrums, known as spectrograms. The CTU-UHB database consists of 552 CTG-recordings, with 44 samples of hypoxic cases, rendering a small data set with a large imbalance between the hypoxic class versus normal class. Transfer learning can be applied to mitigate this problem if the pre-training is relevant. The convolutional neural network AlexNet has previously been trained on natural images with distinct motifs, including images of flowers, cars, and animals. The spectrograms of FHR-signals are on the other hand computer generated images (synthetic) with abstract motifs. These characteristics guided the selection of benchmark data sets, to study how beneficial the AlexNet pre-training is with regard to the characteristics. 5-fold cross-validation and t-tests with a 1% significance level were used for performance estimations. The ability to classify images from the benchmark data sets was significantly improved by pre-training, however not for the FHR-spectrograms. Varying the balance between classes or amount of data did not produce significant performance variations in any of the benchmark data sets, and each of them significantly outperformed the FHR-data set in all trials. Attempts to replicate previous results were unsuccessful. The suspected causes are methodological differences regarding preprocessing of the FHR- signals, differences in the AlexNet implementations and testing method. The performance when classifying the FHR-spectrograms was, therefore, unable to be validated. In conclusion, the results indicate that the AlexNet pre-training could generalize to synthetic images and improved performance for the benchmark data sets. Pre-training on natural images with distinct motifs does, however, not seem to contribute to an increase in model performance when classifying FHR- spectrograms. Pre-training and/or comparing with alternative spectrogram images is recommended for future research.<br>Studien utvärderar effekten av pre-training för en medicinsk klassificeringsuppgift och undersöker vilka bildegenskaper som påverkar överförbarheten av inlärda mönster från pre-training. Kardiotokografi (CTG) är ett mått på fostrets hjärtfrekvens (FHR) och moderns livmodersammandragningar under förlossning, vilka kan analyseras för att förutsäga hypoxi hos fostret. CTU-UHB- databasen består av 552 CTG-inspelningar, med 44 hypoxiska fall, vilket gav ett litet data set med en stor obalans mellan den hypoxi- och normal-klassen. Överföringsinlärning kan användas för att addressera problemet, förutsatt att pre-trainingen är relevant. Det konvolutionära neurala nätverket AlexNet har tidigare tränats på naturliga bilder med distinkta motiv, såsom blommor, bilar och djur. Spektrogram av FHR-signaler är istället datorgenererade (syntetiska) bilder med abstrakta motiv. Dessa egenskaper styrde valet av referensdataset för att studera hur AlexNet pre-trainingen bidrog med avseende på egenskaperna. 5-delad korsvalidering och t-test med en 5%signifikansnivå användes som mått på prestanda. Förmågan att klassificera bilder från referensdatasetten förbättrades avsevärt genom pre-training, dock inte för FHR-spektrogram. Variering av balansen mellan klasser eller datamängd gav inte signifikanta prestationsförändringar i någon av referensdatasetten, och respektive data set presterade signifikant bättre än FHR-data settet i samtliga försök. Försök att replikera tidigare resultat misslyckades. De misstänkta orsakerna är metodologiska skillnader beträffande förprocessering av FHR-signalerna, skillnader i AlexNet-implementationer och testmetod. Prestationen vid klassificering av FHR-spektrogrammen kunde därför inte valideras. Sammanfattningsvis indikerar resultaten att AlexNet pre-training kan generalisera till syntetiska bilder och förbättra prestandan för referensdatasetten. Pre-training på naturliga bilder med distinkta motiv verkar dock inte bidra till en prestandaökning av vid klassificering av FHR-spektrogram. Pre-training på och/eller i jämförelse med alternativa spektrogrambilder, rekommenderas för framtida forskning.

Machine vision is hot research topic with findings being published at a high pace and more and more companies currently developing automated vehicles. Robotic lawn mowers are also increasing in popularity but most mowers still use relatively simple methods for cutting the lawn. No previous work has been published on machine learning networks that improved between cutting sessions by automatically collecting data and then used it for training. A data acquisition pipeline and neural network architecture that could help the mower in avoiding collision was therefor developed. Nine neural networks were tested of which a convolutional one reached the highest accuracy. The performance of the data acquisition routine and the networks show that it is possible to design a object detection model that improves between runs.

Tato magisterská práce se zabývá využitím konvolučních neuronových sítí pro segmentační účely v oblasti transmisní elektronové mikroskopie. Také popisuje zvolenou topologii neuronové sítě - U-NET, použíté augmentační techniky a programové prostředí. Firma Thermo Fisher Scientific (dříve FEI Czech Republic s.r.o) poskytla obrazová data pro účely této práce. Získané segmentační výsledky jsou prezentovány ve formě křivek (ROC, PRC) a ve formě numerických hodnot (ARI, DSC, Chybová matice). Zvolená UNET topologie dosáhla excelentních výsledků v oblasti pixelové segmentace. S největší pravděpodobností, budou tyto výsledky sloužit jako odrazový můstek pro interní firemní výzkum.

The structure of the ankle joint complex creates an ideal balance between mobility and stability, which enables gait. If a lesion emerges in the ankle joint complex, the anatomical structure is altered, which may disturb mobility and stability and cause intense pain. A lesion in the articular cartilage on the talus bone, or a lesion in the subchondral bone of the talar dome, is referred to as an Osteochondral Lesion of the Talus (OLT). Replacing the damaged cartilage or bone with an implant is one of the methods that can be applied to treat OLTs. Episurf Medical develops and produces patient-specific implants (Episealers) along with the necessary associated surgical instruments by, inter alia, creating a corresponding 3D model of the ankle (talus, tibial, and fibula bones) based on either a Magnetic Resonance Imaging (MRI) scan or a Computed Tomography (CT) scan. Presently, the3D models based on MRI scans can be created automatically, but the 3Dmodels based on CT scans must be created manually, which can be very time-demanding. In this thesis project, a U-net based Convolutional Neural Network (CNN) was trained to automatically segment 3D models of ankles based on CT images. Furthermore, in order to optimize the quality of the incoming CT images, this thesis project also consisted of an evaluation of the specified parameters in the Episurf CT talus protocol that is being sent out to the clinics. The performance of the CNN was evaluated using the Dice Coefficient (DC) with five-fold cross-validation. The CNN achieved a mean DC of 0.978±0.009 for the talus bone, 0.779±0.174 for the tibial bone, and 0.938±0.091 for the fibula bone. The values for the talus and fibula bones were satisfactory and comparable to results presented in previous researches; however, due to background artefacts in the images, the DC achieved by the network for the segmentation of the tibial bone was lower than the results presented in previous researches. To correct this, a noise-reducing filter will be implemented.<br>Fotledens komplexa anatomi ger upphov till en ideal balans mellan rörlighetoch stabilitet, vilket i sin tur möjliggör gång. Fotledens anatomi förändras när en skada uppstår, vilket kan påverka rörligheten och stabiliteten samt orsaka intensiv smärta. En skada i talusbenets ledbrosk eller i det subkondrala benet på talusdomen benämns som en Osteochondral Lesion of the Talus(OLT). En metod att behandla OLTs är att ersätta den del brosk eller bensom är skadat med ett implantat. Episurf Medical utvecklar och producerar individanpassade implantat (Episealers) och tillhörande nödvändiga kirurgiska instrument genom att, bland annat, skapa en motsvarande 3D-modell av fotleden (talus-, tibia- och fibula-benen) baserat på en skanning med antingen magnetisk resonanstomografi (MRI) eller datortomografi (CT). I dagsläget kan de 3D-modeller som baseras på MRI-skanningar skapas automatiskt, medan de 3D-modeller som baseras på CT-skanningar måste skapas manuellt - det senare ofta tidskrävande. I detta examensarbete har ett U-net-baserat Convolutional Neuralt Nätverk (CNN) tränats för att automatiskt kunna segmentera 3D-modeller av fotleder baserat på CT-bilder. Vidare har de speciferade parametrarna i Episurfs CT-protokoll för fotleden som skickas ut till klinikerna utvärderats, detta för att optimera bildkvaliteten på de CT-bilder som används för implantatspositionering och design. Det tränade nätverkets prestanda utvärderades med hjälp av Dicekoefficienten (DC) med en fem-delad korsvalidering. Nätverket åstadkom engenomsnittlig DC på 0.978±0.009 för talusbenet, 0.779±0.174 för tibiabenet, och 0.938±0.091 för fibulabenet. Värdena för talus och fibula var adekvata och jämförbara med resultaten presenterade i tidigare forskning. På grund av bakgrundsartefakter i bilderna blev den DC som nätverket åstadkom för sin segmentering av tibiabenet lägre än tidigiare forskningsresultat. För att korrigera för bakgrundsartefakterna kommer ett brusreduceringsfilter implementeras

Svenska socialstyrelsen presenterade år 2017 att lungcancer är den vanligaste cancerrelaterade dödsorsaken bland kvinnor i Sverige och den näst vanligaste bland män. Ett sätt att ta reda på om en patient har lungcancer är att en läkare studerar en tredimensionell-röntgenbild av en patients lungor. För att förebygga misstag som kan orsakas av den mänskliga faktorn är det möjligt att använda datorer och avancerade algoritmer för att upptäcka lungcancer. En nätverksmodell kan tränas att upptäcka detaljer och avvikelser i en lungröntgenbild, denna teknik kallas deep structural learning. Det är både tidskrävande och avancerat att skapa en sådan modell, det är därför viktigt att modellen tränas korrekt. Det finns flera studier som behandlar olika nätverksarkitekturer, däremot inte vad förbehandlingstekniken lung-segmentering kan ha för inverkan på en modell av denna signifikans. Därför ställde vi frågan: hur påverkas accuracy och loss hos en konvolutionell nätverksmodell när lung-segmentering appliceras på modellens tränings- och testdata? För att besvara frågan skapade vi flera modeller som använt, respektive, inte använt lung-segmentering. Modellernas resultat evaluerades och jämfördes, tekniken visade sig motverka överträning. Vi anser att denna studie kan underlätta för framtida forskning inom samma och liknande problemområde.<br>In the year of 2017 the Swedish social office reported the most common cancer related death amongst women was lung cancer and the second most common amongst men. A way to find out if a patient has lung cancer is for a doctor to study a computed tomography scan of a patients lungs. This introduces the chance for human error and could lead to fatal consequences. To prevent mistakes from happening it is possible to use computers and advanced algorithms for training a network model to detect details and deviations in the scans. This technique is called deep structural learning. It is both time consuming and highly challenging to create such a model. This discloses the importance of decorous training, and a lot of studies cover this subject. What these studies fail to emphasize is the significance of the preprocessing technique called lung segmentation. Therefore we investigated how is the accuracy and loss of a convolutional network model affected when lung segmentation is applied to the model’s training and test data? In this study a number of models were trained and evaluated on data where lung segmentation was applied, in relation to when it was not. The final conclusion of this report shows that the technique counteracts overfitting of a model and we allege that this study can ease further research within the same area of study.

Light Detection and Ranging (LiDAR) sensors have many different application areas, from revealing archaeological structures to aiding navigation of vehicles. However, it is challenging to interpret and fully use the vast amount of unstructured data that LiDARs collect. Automatic classification of LiDAR data would ease the utilization, whether it is for examining structures or aiding vehicles. In recent years, there have been many advances in deep learning for semantic segmentation of automotive LiDAR data, but there is less research on aerial LiDAR data. This thesis investigates the current state-of-the-art deep learning architectures, and how well they perform on LiDAR data acquired by an Unmanned Aerial Vehicle (UAV). It also investigates different training techniques for class imbalanced and limited datasets, which are common challenges for semantic segmentation networks. Lastly, this thesis investigates if pre-training can improve the performance of the models. The LiDAR scans were first projected to range images and then a fully convolutional semantic segmentation network was used. Three different training techniques were evaluated: weighted sampling, data augmentation, and grouping of classes. No improvement was observed by the weighted sampling, neither did grouping of classes have a substantial effect on the performance. Pre-training on the large public dataset SemanticKITTI resulted in a small performance improvement, but the data augmentation seemed to have the largest positive impact. The mIoU of the best model, which was trained with data augmentation, was 63.7% and it performed very well on the classes Ground, Vegetation, and Vehicle. The other classes in the UAV dataset, Person and Structure, had very little data and were challenging for most models to classify correctly. In general, the models trained on UAV data performed similarly as the state-of-the-art models trained on automotive data.

Comparative study between the performance of Convolutional Networks using pretrained models and statistical generative models on tasks of image classification in semi-supervised enviroments.Study of multiple ensembles using these techniques and generated data from estimated pdfs.Pretrained Convents, LDA, pLSA, Fisher Vectors, Sparse-coded SPMs, TSVMs being the key models worked upon.

Comparative study between the performance of Convolutional Networks using pretrained models and statistical generative models on tasks of image classification in semi-supervised enviroments.Study of multiple ensembles using these techniques and generated data from estimated pdfs.Pretrained Convents, LDA, pLSA, Fisher Vectors, Sparse-coded SPMs, TSVMs being the key models worked upon.

Twitter är en av de populäraste mikrobloggarna, som används för att uttryckatankar och åsikter om olika ämnen. Ett område som har dragit till sig mycketintresse under de senaste åren är twittersentimentanalys. Twittersentimentanalyshandlar om att bedöma vad för sentiment ett inlägg på Twitter uttrycker, om detuttrycker någonting positivt eller negativt. Olika metoder kan användas för attutföra twittersentimentanalys, där vissa lämpar sig bättre än andra. De vanligastemetoderna för twittersentimentanalys använder maskininlärning.Syftet med denna studie är att utvärdera tre stycken klassificeringsalgoritmerinom maskininlärning och hur märkningen av en datamängd påverkar en klassifi-ceringsmodells förmåga att märka ett twitterinlägg korrekt för twittersentimenta-nalys. Naive Bayes, Support Vector Machine och Convolutional Neural Network ärklassificeringsalgoritmerna som har utvärderats. För varje klassificeringsalgoritmhar två klassificeringsmodeller tagits fram, som har tränats och testats på två se-parata datamängder: Stanford Twitter Sentiment och SemEval. Det som skiljer detvå datamängderna åt, utöver innehållet i twitterinläggen, är märkningsmetodenoch mängden twitterinlägg. Utvärderingen har gjorts utefter vilken prestanda deframtagna klassificeringmodellerna uppnår på respektive datamängd, hur lång tidde tar att träna och hur invecklade de var att implementera.Resultaten av studien visar att samtliga modeller som tränades och testades påSemEval uppnådde en högre prestanda än de som tränades och testades på Stan-ford Twitter Sentiment. Klassificeringsmodellerna som var framtagna med Convo-lutional Neural Network uppnådde bäst resultat över båda datamängderna. Dockär ett Convolutional Neural Network mer invecklad att implementera och tränings-tiden är betydligt längre än Naive Bayes och Support Vector Machine.<br>Twitter is one of the most popular microblogs, which is used to express thoughtsand opinions on different topics. An area that has attracted much interest in recentyears is Twitter sentiment analysis. Twitter sentiment analysis is about assessingwhat sentiment a Twitter post expresses, whether it expresses something positiveor negative. Different methods can be used to perform Twitter sentiment analysis.The most common methods of Twitter sentiment analysis use machine learning.The purpose of this study is to evaluate three classification algorithms in ma-chine learning and how the labeling of a data set affects classification models abilityto classify a Twitter post correctly for Twitter sentiment analysis. Naive Bayes,Support Vector Machine and Convolutional Neural Network are the classificationalgorithms that have been evaluated. For each classification algorithm, two classi-fication models have been trained and tested on two separate data sets: StanfordTwitter Sentiment and SemEval. What separates the two data sets, in addition tothe content of the twitter posts, is the labeling method and the amount of twitterposts. The evaluation has been done according to the performance of the classifi-cation models on the respective data sets, training time and how complicated theywere to implement.The results show that all models trained and tested on SemEval achieved ahigher performance than those trained and tested on Stanford Twitter Sentiment.The Convolutional Neural Network models achieved the best results over both datasets. However, a Convolutional Neural Network is more complicated to implementand the training time is significantly longer than Naive Bayes and Support VectorMachine.