Academic literature on the topic 'Automatiserade tester'

Testning är en nödvändig men kostsam del av mjukvaruutveckling. Test utförs på olika abstraktionsnivåer och kan vara manuella eller automatiserade. På lägsta abstraktionsnivå, enhetsnivå, är automatiserad testning vanligt och relativt okomplicerat, medan systemtester är svårare att automatisera. I synnerhet gäller detta tester på ett grafiskt användargränssnitt (GUI) som kräver speciella verktyg.   Triona vill undersöka möjligheterna att automatisera regressionstester från GUI:t av sin produkt C-Load, en molnbaserad webbtjänst för avtalsbaserad transportbokning.    Det primära syftet med denna fallstudie är att med en anpassad urvalsprocess utvärdera ett möjligt verktyg i förhållande till C-Load-förvaltningens förväntningar på automatiserad GUI testning (AGT) och att utifrån resultatet föreslå hur C-Loadförvaltningen kan gå vidare med val av verktyg för AGT. För att uppfylla syftet användes litteraturstudier, intervjuer och observationer av praktiska test.    Verktyg för GUI-testning kan delas in i tre huvudkategorier: skriptbaserade, modellbaserade och skriptlösa. Baserat på tidigare forskning drogs slutsatsen att ett skriptbaserat verktyg där koden i testskripten skrivs manuell bäst passar C-Loadförvaltningens krav och förutsättningar. Det mest använda verktyget av denna typ, Selenium WebDriver, utvärderades kvalitativt gentemot identifierade krav.    Av tidigare forskning framgår att vanliga utmaningar med skriptbaserade GUI-tester är att arbetsinsatsen för att skapa och underhålla testskript är stor och att testen kan vara opålitliga. Dessa problem framkom också i studiens intervjuer och observationer.   Slutsatsen är att det vore möjligt att automatisera regressionstester av C-Load med hjälp av Selenium Webdriver, och att det på sikt skulle kunna frigöra tid. Initialt krävs dock en omfattande insats för att implementera automatiserade tester i förvaltningen och Selenium Webdriver uppfyller bara delvis C-Load-förvaltningens förväntningar på AGT. C-Load-förvaltningen rekommenderas att utvärdera fler verktyg innan beslut fattas. I en kommande urvalsprocess bör Triona beakta hur väl olika verktyg fungerar i förhållande till moderna webbramverk.<br>Testing is a necessary but costly part of software development. Tests are performed at different abstraction levels and can be either manual or automated. On the lowest level of abstraction, where unit testing is performed, automated testing is commonplace and relatively uncomplicated, whereas system testing is more difficult to automate. This is especially true for GUI-testing, which requires special tools.      Triona wished to investigate possibilities to automate regression testing of the GUI for its C-load product, which is a Cloud-based web-service for contract-based transport booking.      The purpose of this case study was to evaluate one tool for automated GUI-testing (AGT) against the C-Load team’s expectations on AGT, and based on the result recommend Triona how to proceed in the process of implementing AGT. Literature studies, observations and interviews were conducted to fulfil the purpose.      GUI-testing tools can be classified into three categories: script-based, model-based and scriptless. One conclusion was that a script-based tool, where test scripts are manually coded would best suit Triona’s needs. The most used tool in that category, Selenium WebDriver, was tested and evaluated against requirements.       Prior research shows that common challenges encountered when using script-based GUItests are the workload required to create and maintain test scripts and that the tests can deliver inconsistent or “flaky” results. These challenges were confirmed during our analysis.       Our conclusion is that it is possible to automate C-Load regression tests with Selenium WebDriver, and that it would eventually free up time. However, a considerable effort is initially required to implement automated testing. Selenium Webdriver only partly fulfills the C-Load team’s expectations on AGT. Before a decision is taken, the C-Load team should evaluate more tools. When evaluating tools for AGT, Triona should take note that Selenium Webdriver can be deficient when it comes to testing applications based on modern web frameworks.

Mobile application development and testing involves even greater challenges than traditional software development, given that the large number of existing devices, each with unique hardware configuration and operating system needs to be considered. Software testing constitutes a big and important part of development, where the majority of the tests are performed manually. This is time consuming and expensive. The purpose of this thesis project is therefor to examine the current test process at the company Dewire, in an effort to find ways to improve it by introducing automated tests for the Android mobile platform. The automation frameworks Appium and Espresso will be evaluated and combined with existing systems like Jenkins that already applied in Dewires agile work procedure. A test environment been implemented during this thesis project as a proof of concept, where tests are run on a real device as the application is being built. Test cases from an ongoing development project has been implemented and the results evaluated. This thesis project has shown that the framework Espresso together with a Jenkins build-server has great potential to reduce manual testing and streamline the test process. It has also shown that test automation should be implemented from start of a project, where tests are continuously kept up to date during development to be profitable. At the same time results show that test automation involves a significant time investment before time and money can be saved.<br>Mobilapplikationsutveckling och testning innebär en större utmaning än traditionell mjukvaruutveckling eftersom hänsyn måste tas till ett stort antal enheter, alla med unik hårdvara, skärmstorlek och operativsystem. Mjukvarutestning utgör en viktig och stor del av utvecklingen av applikationer där majoriteten av testerna idag genomförs manuellt. Detta är tidskrävande och ekonomiskt kostsamt. Syftet med detta examensarbete är därför att undersöka nuvarande testprocess hos företaget Dewire och hitta möjliga förbättringar genom att införa automatiserade tester för mobilplattformen Android. Automatiseringsverktygen Appium och Espresso utvärderas i kombination med befintliga system som Jenkins som redan används i Dewires agila arbetssätt. Under examensarbetet har en testmiljö implementerats som ett sätt för visa att konceptet fungerar, där tester körs på en testenhet i samband med att applikationen byggs. Testfall från pågående utvecklingsprojekt har implementerats och resultaten av denna automatisering har utvärderats. Examensarbetet har visat att verktyget Espresso tillsammans med en Jenkins byggserver har stor potential att effektivisera och minska manuellt testande. Arbetet visar också att testautomatisering bör implementeras från projektstart och att tester aktivt underhålls under utvecklingen för att vara lönsamt. Resultatet visar samtidigt att testautomatisering till en början innebär en väsentlig tidsinvestering innan tid och pengar kan sparas.

Idag arbetar allt fler företag inom agil systemutveckling vilket innebär att utvecklingsarbetet sker i korta iterationer. Att arbetet sker i korta iterationer innebär att det är mycket som ska göras på kort tid både inom utveckling och test. För att hinna med testarbetet krävs det därför att man arbetar med automatiserade tester. Automatiserade tester är en typ av automation som i sig är ett problematiskt område då människor misslyckas med att förlita sig på automation. Om människor inte litar på automatiserade tester leder det till att manuell testning ändå kommer att ske för att säkerställa resultaten av de automatiserade testerna vilket gör att värdet av att automatisera tester uteblir. Syftet med denna uppsats är att svara på hur tillit till automatiserade tester påverkas utifrån kunskap om automatiserade tester, tillit till personen som skapar automatiserade tester samt feedback från automatiserade tester. En kvalitativ undersökning i form av intervjuer har genomförts för att besvara frågeställningen. Undersökningen har genomförts på ett undersökningsföretag som levererar ekonomiprogram och internetlösningar till företag och redovisnings- och revisionsbyråer. Resultatet av den empiriska undersökningen visade att kunskap om automatiserade tester, tillit till personen som skapar automatiserade tester och feedback från automatiserade tester är aspekter som påverkar människors tillit till automatiserade tester. Brist på kunskap påverkar tillit då människor antingen skapar sig en övertro eller undertro till automatiserade tester. Har människor kunskap om automatiserade tester känner de också tillit till testerna. Att känna tillit till personen som skapar automatiserade tester påverkar tillit då människor känner mer tillit till automatiserade tester om de vet vem personen är, känner tro till personen samt dennes kunskap. Feedback från automatiserade tester påverkar människors tillit då utebliven feedback leder till att de inte vet vilka tester som finns och vad de gör. Detta gör att människor inte känner tillit till dem.<br>Today, an increasing number of companies’ uses agile system development which means that the development work is done in short iterations. Short iterations means that there is much to be done in a short time both in development and testing. To keep up with the testing it is required to use automated testing. Automated tests are a type of automation that in itself is a problematic area because people fail to rely on automation. If people have a lack of trust in automated testing it will cause them to still use manual testing, which will make the value of automating tests fail. The purpose of this paper is to respond to how people ́s trust in automated testing is affected based on knowledge of automated testing, trust in the person creating automated tests and feedback from automated testing. A qualitative study and interviews have been conducted to answer the question. The survey has been conducted on a research company that delivers finance software and internet solutions to companies and accountancy firms. The result of the empirical survey shows that knowledge of automated testing, trust in the person who creates automated testing and feedback from the automated tests are aspects that affect people's trust in automated testing. Lack of knowledge affects people ́s trust in automated testing in a way that leads to that people either create an overtrust or mistrust to the automated tests. People that have knowledge of automated tests feels trust in the tests. To have trust in the person that creates automated tests affects people's trust in that way that people feel more trust in automated testing if they know who the person is, feel the confidence to the person and his or her knowledge. Feedback from automated testing affects people's trust when no-feedback is taking place. This leads to that they do not know which tests there is and what they do. This means that people do not trust them.

The focus of this study is on examining when employees in the IT industry experience that it is more favorable to use automated tests and manual tests, respectively. The purpose of this study is to investigate how different companies in practice, use, work with and think about the two different test methods. Four factors that influence the choice of test method have been developed as a workframe based on five articles, all of which discuss the requirements and criteria for the two different test methods. By conducting an interview study with semi-structured interviews, data has been retrieved from two different companies. The data has in turn been analyzed based on the four factors that have been developed, namely: the number of test cases/test runs, technical aspects, what functions that are to be tested and resources. Based on the analyzes, it has been clear that the opinions from the different respondents and from previous research often remain on the same track. Thus, the various criteria could be discussed and the motivation for when the respondents use each method could be outlined. However, it also becomes clear that in the end it is mainly resources, often the number of working hours and the monetary cost, that determines what practice of testing is to be used.<br>Denna studie riktar in sig på att undersöka när anställda inom IT-branschen upplever att det är mer gynnsamt att använda sig av automatiserade tester respektive manuella tester. Syftet med studien är att undersöka hur olika företag använder sig, arbetar med och ser på de två olika testmetoderna i praktiken. Fyra stycken faktorer som påverkar valet av testmetod har tagits fram som ramverk som är baserad på fem artiklar där samtliga diskuterar krav och kriterier för de två olika testmetoderna. Genom att utföra en intervjustudie med semi-strukturerade intervjuer har data samlats in från två olika företag. Den insamlade datan har i sin tur analyserats utifrån de olika faktorerna som tagits fram nämligen: Antalet testfall/testkörningar, tekniska aspekter, funktioner som ska testas samt resurser. Utifrån analysen har det varit tydligt att åsikterna från de olika respondenterna samt från tidigare forskning ofta är på samma spår. Därmed har de olika kriterierna kunnat diskuterats och motiveringarna till när respondenterna använder sig av respektive metod kunnat benas ut. Dock blir det också tydligt att i slutändan är det resurser, oftast antalet arbetstimmar och den monetära kostnaden, som styr vad som borde väljas.

ROI och break-even finns för att beräkna vinster i verksamheter men det är svårt att veta hur dessa metoder kan appliceras på automatiserade GUI-test. Genom en utförd fallstudie där litteraturstudier, dokumentstudier, enkäter och intervjuer använts har det visat sig att dessa metoder kan anpassas för att beräkna vinster med automatiserade GUI-tester. Nackdelarna med dessa metoder är att de är svåra att använda om inte automatiseringen är gjord. Det behövs konkreta uppgifter över till exempel tidsåtgång för körning av både manuella och automatiserade testfall. Även om metoderna kan visa att det finns ekonomiska vinster med automatiserade GUI-tester så kan det vara många andra vinster som inte kan identifieras genom att metoderna appliceras. Dessa immateriella vinster och förluster har i arbetat identifierats genom intervjuer och enkäter och resultatet presenteras med en SWOT-analys. Flera viktiga immateriella vinster som till exempel ökad kvalitet och tidsvinst har framkommit. Även några materiella förluster har framkommit som att det kan vara kostsamt att införa automatiserade GUI-tester. Även immateriella förluster har identifierats, en av dessa är att det krävs särskild kompetens för att konstruera och köra de automatiserade testerna.<br>ROI and break-even are available for calculating profits in operations, but it is difficult to know how these methods can be applied to automated GUI tests. By a conducted case study in which literature review, document studies, questionnaires and interviews have been used, it has been shown that these methods can be adapted to calculate the profits with automated GUI-tests. The disadvantages with these methods are that they are difficult to use unless the automation is made. There is a need for concrete data on, for example, the time taken for the execution of both manual and automated test cases. Although the methods can show that there are financial gains with automated GUI tests, there may be many other gains that cannot be identified by applying the methods. These intangible profits and losses have been identified in the work through interviews and surveys and the results are presented with a SWOT analysis. Several important intangible benefits such as increased quality and time savings have emerged. Some material losses have also come to light as it can be costly to introduce automated GUI tests. Even intangible losses have been identified, one of these is that it requires special skills to design and run the automated tests.

I takt med att användningen av smarta mobiler och handhållna enheter ökar, så ställs det idag helt andra krav på design och prestanda av webbplatser än för bara 5-6 år sedan. En webbplats visas idag från flera olika enheter och skärmstorlekar. Detta medför att en webbplats primärt utvecklad för en pc-skärm, troligtvis inte är så användbar när den visas från en mobil eller handhållen enhet. Den här rapporten i form av en fallstudie försöker svara på vilka delar av den mobila användbarhetstestningen som kan automatiseras. I rapporten beskrivs även olika teknikval och deras påverkan på en webbplats prestanda. Det visade sig baserat på denna fallstudie att vissa delar utav den mobila användbarheten går att utvärdera utan användare. Det finns delar som inte går att automatisera och måste utvärderas förhand. När det kommer till teknikval och deras implementation på en webbplats så visar det sig i rapporten att alla teknikval inte lämpar sig i alla situationer.

Användandet av mobila applikationer har växt radikalt de senaste åren och de samverkar med många system. Därför ställs det högre krav på kvaliteten och att applikationen ska anpassas till många olika enheter, operativsystem samt plattformar. Detta gör att test av mobila applikationer blivit viktigare och större. Detta arbete har bedrivits som en jämförande fallstudie inom området test av mobila applikationer samt testverktyg. Syftet har varit att beskriva hur testning av mobila applikationer sker idag vilket gjorts genom litteraturstudier och intervjuer med IT-företag. Ett annat syfte har varit att utvärdera fyra testverktyg, deras för- och nackdelar samt hur de kan användas vid testning av mobila applikationer och jämföras mot manuell testning utan testverktyg. Detta har gjorts genom att skapa förstahandserfarenheter baserat på användandet av testverktygen. Under arbetet har vi utgått från mobila applikationer som vi fått tillgång till av Triona, som varit vår samarbetspartner.Idag finns många olika testverktyg som kan användas som stöd för testningen men få företag har implementerat något eftersom det kräver både tid och kompetens samt valet av testverktyg kan vara svårt. Testverktygen har olika för- och nackdelar vilket gör att de passar olika bra beroende på typ av projekt och applikation. Fördelar med att använda testverktyg är möjligheten att kunna automatisera, testa på flera enheter samtidigt samt få tillgång till enheter via molnet. Utmaningarna är att det kan vara svårt att installera och lära sig testverktyget samt att licenserna kan vara dyra. Det är därför viktigt att redan innan implementationen veta vilka tester och applikationer testverktygen ska användas till samt vem som ska använda det. Utifrån vår studie kan slutsatsen dras att inget testverktyg är helt komplett men de kan bidra med olika funktioner vilket effektiviserar delar av testningen av mobila applikationer.<br>The use of mobile applications has grown dramatically in recent years and they interact with many systems. Therefore the requirement on the quality is higher and the application must often be adapted to many devices, operating systems and platforms. This means the testing of mobile applications becomes more and more important. This study has been conducted as a comparative case study in the field testing of mobile applications and testing tools. The aim has been to describe how the testing of mobile applications takes place today which have been made through literature studies and interviews with IT-companies. Another aim was to evaluate four testing tools, their advantages and disadvantages and how they can be used in the testing of mobile applications and compared to manual testing without testing tools. This was done by using and experience the testing tools. During the study, we have used mobile applications that we got access from Triona, who has been our partner.Today there are many different testing tools that can be used to support testing, but few companies have implemented these because it requires both time and expertise as well as the selection of testing tools can be difficult. Testing tools have different advantages and disadvantages which make them fit differently depending on the type of project and application. Advantages of using testing tools is the ability to automate, test on multiple devices simultaneously and get access to physical devices via the cloud. The challenges are that it can be difficult to install and learn the testing tool and that the licenses can be expensive. It is therefore important that even before implementation to know which tests and applications the testing tools will be used in and who will use it. Based on our study we can conclude that no testing tools are complete but they may contribute with different features which streamlines parts of the mobile applications testing.

Rapporten har som mål att skapa en fördjupad förståelse kring utvecklingsmetoder, tester och automatisering inom programvaruutveckling. Innehållet i rapporten berättar vad som påverkar valet av dessa samt går igenom de teoretiska grunderna i en omfattande teoridel. Rapporten tar också upp hur valet av utvecklingsmetod påverkar möjligheten till att testa och automatisera ett projekt. Förutom den grundliga teoretiska delen finns det intervjuer med personer och företag som är insatta inom ämnet. Huvudfrågan har varit hur deras organisation anpassar utvecklingsmetoderna, testerna och automatiseringen till de olika projekt de jobbar med. För de tre första intervjuerna finns det en mer ingående analys av arbetssätt samt förslag till förbättringar. I slutsatserna har skribenterna gjort en bedömning huruvida dessa olika faktorer påverkar varandra och vad som bör tänkas på vid val av utvecklingsmetod, tester och automatisering.

Automating test processes is becoming more and more up-to-date and one of the reasons is that manual tests are time-consuming and complicated. The aim of the study is to identify the manual test process in integration systems to see if there can be a value in automating them and which requirements can then form the basis of an automation. Pros and cons of both manual and automated tests are highlighted in the study in order to make a fair comparison between them. The advantages of the automation that has been highlighted have since, together with collected empirical data at the company Pulsen Integration, been used to produce a requirement list for automation. The study addresses whether it is worth automating all processes or whether some of the test activities work better as manual. By looking at Pulsen Integration's testing processes, one could see that some flexible processes are better as manual, while more general activities can be more easily automated. The study has had a qualitative approach and the chosen respondents from Pulsen Integration contributed with information to be able to produce a relevant list of requirements. We believe that the result presented can be generalized to companies in similar context.