Academic literature on the topic 'Interbedömarreliabilitet'

Skolämnet samhällskunskap som eget ämne existerar i princip enbart i de nordiska länderna. I många andra länder delar flera skolämnen på ämnesinnehållet, till exempel geografi och civics. Ämnesinnehållet är stort och genomgår ständig förändring. År 2013 genomfördes de första nationella proven i samhällskunskap i Sverige för årskurs 9. Med tanke på ämnets karaktär kan det vara speciellt viktigt att undersöka om dessa prov är ”rättvisa.” Avsikten med denna studie är att undersöka en aspekt av denna ”rättvisa”, nämligen interbedömarstabilitet, dvs om samma elevsvar ger upphov till samma bedömning oavsett bedömare. Skolverket i Sverige genomförde 2009 en större studie av de ämnen som då genomförde nationella prov och föreliggande studie försöker dels efterlikna och dels bygga ut upplägget från Skolverket. Studien genomfördes på de första nationella proven i samhällskunskap 2013. Genom att pröva olika reliabilitetsmått inom kategorierna ”consensus estimates”, och ”consistency estimates” analyseras resultaten, bland annat diskuteras måttet intraclass correlation. Syftet är också, då detta var de första proven, att skapa en ram för återkommande studier av Interbedömarreliabilitet. Upplägget med en större mängd lärare som genomför totalt tre bedömningar av de utvalda hela proven försöker också efterlikna bedömningssituationen ute på skolorna såtillvida att det var relativt många lärare med i studien, och de kom från olika skolor spridda över Sverige. Genom detta testas också bedömningsanvisningarnas stabilitet. Själva genomförandet var omfattande och tog två hela dagar. Resultaten pekar på en god överensstämmelse för provbetyget, det sammanfattande omdöme eleverna får. Studien avses att återupprepas under kommande år.Nyckelord: Samhällskunskap, nationella prov, interbedömarreliabilitet, intraclass correlationThe first national test in samhällskunskap – a study of interrater reliabilityAbstractThe Swedish school subject Samhällskunskap (Societal knowledge) exists basically only in the Nordic countries. In other countries a number of different subjects, such as geography and civics, share the content. The content of the subject is constantly changing, depending on how society is changing. The first national tests in Samhällskunskap for all Swedish ninth graders took place in 2013. A large part of the test contains constructed responses. Given the characteristics of the subject we consider it especially important to investigate whether these tests are “fair” or not. The intent of this study is to investigate one aspect of “fairness”, interrater reliability, meaning the degree to which the same student responses are scored equally by different raters. In 2009, the National Agency of Education in Sweden conducted a large study of the subjects Swedish, English and Mathematics. Our study aims to mimic and further develop the design of the study from 2009. Our study was carried out on the first national tests in 2013. The results were analyzed by exploring different reliability measures within the categories consensus estimates, and consistency estimates. As the 2013 tests were the first tests of its kind in Sweden the purpose was also to create a framework for regular studies of interrater reliability. The rater design with a relatively large number of teachers from all over the country, each assessing a total of three complete student test responses aimed at mimicking the way the tests are assessed in schools. This also allowed us to study the stability of our assessment rubrics. The study itself was extensive and took two days to perform. The results indicate a large compliance when it comes to the final grade of the test. The study is meant to be repeated in the coming years.Keywords: Social science, civics, national testing, interrater reliability, intraclass correlation

Syftet med denna studie var att undersöka reliabiliteten i en metod för att observera affektuttryck, Stålforsmetoden. Stålforsmetoden fokuserar primärt på affektuttryck i ansiktet, och mer specifikt den första affekten som en patient uttrycker under en psykoterapisession (”överföringsaffekt”). Den teoretiska grunden är affektteori som utvecklats av Silvan Tomkins och Paul Ekman. Data har samlats in med strukturerad observation och analyseras kvantitativt. Interbedömarreliabilitet beräknades med Cohen’s Kappa och uppgick till K = 0,03, vilket innebär att det inte finns någon statistiskt säker överensstämmelse mellan bedömarna. Möjliga orsaker till avsaknaden av interbedömarreliabilitet såsom utbildningens utformning och omfattning samt operationaliseringen av observationsvariabeln diskuteras och förslag på framtida forskning lämnas.

The purpose of this study was to explore the reliability of a method for observing expressions of affect, “Stålforsmetoden”. Stålforsmetoden focuses primarily on facial expression of affect, and more precisely the first expression presented by a patient in a psychotherapy session (referred to as transference affect). The theoretical basis is affect theory as developed in the works of Silvan Tomkins and Paul Ekman respectively. Data has been collected through structured observation and analyzed quantitatively. Inter-rater reliability was calculated using Cohen’s Kappa and amounted to K = 0.03, which means that there was no significant agreement between raters. This result implies that the reliability of Stålforsmetoden in its present form is insufficient and that further development of the method is needed. Possible reasons for the absence of inter-rater reliability such as the adequacy of education and the operationalization of transference affect are discussed and suggestions for future research are presented.

Riskbedömningar är ett betydande inslag för att arbeta förebyggande mot återfall i partnervåld. Denna studie syftade till att undersöka interbedömarreliabiliteten bland socialarbetares riskbedömningar för partnervåld gällande identifiering av risk-, sårbarhets- och skyddsfaktorer samt ärendeprioritering. Undersökningen genomfördes genom att sex socialarbetare, både individuellt och gemensamt, fick bedöma risk- sårbarhet- och skyddsfaktorer samt prioritering av ärendet i sex fiktiva fall. Resultaten påvisade att interbedömarreliabiliteten vid jämförelse av enskilda bedömare varierade beroende på vilken faktor som skulle identifieras samt vilken prioritering som skulle tillskrivas ärendet. Det samma gällde de gemensamma bedömningarna. Riskfaktorer påvisades inneha högst interbedömarreliabilitet och sårbarhetsfaktorer inneha lägst interbedömarreliabilitet. utslaget på samtliga fall. Det gällde även vid jämförelse av gemensam bedömning. Ärendeprioritering påvisade varierande interbedömarreliabilitet med måttlig samstämmighet mellan enskilda bedömare och något lägre samstämmighet i jämförelse med en gemensam bedömning, utslaget på samtliga fall. Vidare forskning rekommenderas i syfte att bistå i utvecklandet och användandet av manualer i bedömningar gällande partnervåld och förstå behovet av stöd till dess användare.
Risk assessments are an important element in preventing recidivism for intimate partner violence. This study aimed to investigate the inter-rater reliability of social workers' risk assessments for partner violence regarding the identification of risk, vulnerability and protective factors as well as case prioritization. The study was conducted by giving six social workers, both individually and jointly, the opportunity to assess risk-, vulnerability- and protective factors as well as prioritization of safety measures for six fictitious cases. The results showed that inter-rater reliability varied when comparing individual assessors depending on the factor that was to be identified and the priority to be attributed to the case. The same was true of the joint assessments. Risk factors were shown to have the highest inter-rater reliability and vulnerability factors to have the lowest inter-rater reliability averaged across all cases. The same was true when comparing joint assessments. Case prioritization showed varying inter-rater reliability with moderate agreement between individual assessors and somewhat lower agreement compared to a joint assessment, averaged across all cases. Further research is recommended in order to assist in the development and use of manuals in assessments of partner violence and in order to understand the need for support to its users.

Samhället eftersträvar att förhindra våld. Tre ansatser har etablerats för att avgöra farlighet och för att bedöma risk för våld; den ostrukturerade professionella bedömningsansatsen, den aktuariska bedömningsansatsen, samt den strukturerade professionella bedömningsansatsen. HCR-20 är ett strukturerat professionellt bedömningsinstrument med hög validitet och interbedömarreliabilitet i bedömning av risk för våld. HCR-20 genomgår en evidensbaserad uppdatering och den reviderade versionen skall utvärderas - syftet med studien var därför att undersöka interbedömarreliabilitet för den tredje versionen av HCR-20 [HCR-V3]. Vid Rättspsykiatriska regionkliniken i Sundsvall riskbedömdes 35 patienter som inskrivits för tvångsvård under februari 2010 till oktober 2011. Interbedömarreliabilitet undersöktes för grad av överensstämmelse mellan bedömare samt också gentemot Golden Standard, bedömarnas gemensamma bedömning av patienten. Överensstämmelsen i HCR-V3bedömningarna beräknades på huvudfaktorer och på relevansfaktorer med Kendall’s τb, Cohen’s Κ, och ICC(1,2). HCR-V3 påvisade hög interbedömarreliabilitet med hög grad av överensstämmelse mellan användarnas bedömning av patientens risk för våld. Det var högre interbedömarreliabilitet för H-delen och C-delen än för R-delen. Överensstämmelsen mellan enskilda bedömare och Golden Standard var högre än överensstämmelsen mellan två bedömare, och huvudfaktorerna indikerade på högre interbedömarreliabilitet än relevansfaktorerna. Utifrån resultatet drogs slutsatsen att riskbedömningsinstrumentet HCR-V3 förmodligen inte skulle bli mer användarvänligt med relevansfaktorer, men att huvudfaktorerna ger hög interbedömarreliabilitet och att HCR-V3 därmed kan vara lämplig i klinisk verksamhet för att förhindra våld.

Med metoden Motiverande samtal (MI från engelska Motivational Interviewing) kan rådgivare höja klienters motivation. Genom att koda rådgivarbeteende i MI-sessioner med kodningsverktyget ”Motivational Interviewing Treatment Integrity” (MITI) kan sessionen utvärderas. Det är viktigt att kodningsverktyget har hög reliabilitet för att ge tillförlitlig feedback till rådgivare och upprätthålla metodens kvalitet. Det primära syftet med studien är att undersöka interbedömarreliabiliteten i den nya versionen MITI 3.0. Interbedömarreliabiliteten analyseras enligt Cronbachs α och ICC på dubbelkodat material och hypotesprövning av skillnader mellan korrelationer genomförs för att undersöka skillnader i interbedömarreliabilitet mellan MITI 2.0 och MITI 3.0. Ett ytterligare syfte är att undersöka om MITI 3.0 mäter samma sak som dess föregångare, MITI 2.0. Diskrepans mellan MITI-versionerna undersöks genom att samma material som använts tidigare även dubbelkodas enligt MITI 2.0 och prövas enligt oberoende t-test. Resultatet tyder på att MITI 3.0 motsvarar sitt syfte samtidigt som interbedömarreliabiliteten har ökat. Omarbetningen av MITI-verktyget kan bedömas som lyckad med positiv effekt på interbedömarreliabiliteten samtidigt som diskrepansen mellan MITI-versionerna var låg.

Sammanfattning Syfte och frågeställningar: Syfte var att a) undersöka interbedömarreliabiliteten av testerna Neer sign (NS), Hawkins-Kennedy test (HKT) och Jobe test (JT), samt b) undersöka sambandet mellan resultatet vid NS, HKT och JT med resultatet vid muskuloskeletal ultraljudsundersökning hos patienter med subacromial smärta. Frågeställningarna var följande: Hur är interbedömarreliabiliteten för NS, HKT och JT? Vilken sensitivitet och specificitet har NS, HKT och JT som enskilda test respektive tillsammans i ett testbatteri för att diagnosticera subacromial smärta med muskuloskeletalt ultraljud som referensmetod? Hur väl samvarierar ett positivt impingementtest med ett onormalt lågt avstånd mellan humerus och acromion? Finns det någon skillnad av det acromiohumerala utrymmet (AHD) mellan personer med eller utan impingement i skuldran? Metod: 18 forskningspersoner (fp) med skulderbesvär (medelålder 54 år, besvärsduration median 2,25 mån) rekryterades konsekutivt.  Under samma dag undersöktes fp av två sjukgymnaster med testerna NS, HKT och JT. Ultraljudsundersökning utfördes inom åtta dagar och användes som referensmetod vid uträkning av sensitivitet och specificitet för de kliniska testerna. AHD mättes med ultraljud och samvariansen mellan positiva impingementtester och ett onormalt lågt AHD mellan personer med och utan impingement beräknades.   Resultat: Interbedömarreliabiliteten var måttlig för NS (k = 0,47) och bra för HKT (k = 0,61) samt JT (k = 0,67). Sensitiviteten för testerna tillsammans i ett testbatteri var hög (0,92) och specificiteten låg (0,40). JT var det enda testet som hade både hög sensitivitet (0,83) och hög specificitet (0,80). Det fanns ingen samvarians mellan ett onormalt lågt AHD och positivt impingementtest, däremot var det en signifikant skillnad mellan personer med och utan impingement i skuldran vad gäller hur stor procentuell del av AHD som de subacromiala strukturerna tog upp. Slutsats: NS, HKT och JT hade måttlig till bra interbedömarreliabilitet men inte tillräckligt bra diagnostisk noggrannhet. De kliniska testerna skulle kunna vara användbara som ett testbatteri för att upptäcka impingement i skuldran om specificiteten kan förbättras. JT var det test som hade bäst diagnostisk noggrannhet.
Abstract Purpose and research questions: The purpose of the study was to a) evaluate the inter-rater reliability of common clinical tests: Neer sign (NS), Hawkins-Kennedy Test (HKT) and Jobe Test (JT), and b) compare the results from NS, HKT and JT with the results obtained from musculoskeletal ultrasound measure in patients with sub-acromial pain. The research questions were: How is the inter-rater reliability for NS, HKT and JT? Which sensitivity and specificity has each of the clinical test (NS, HKT and JT), respectively, and used as a battery of tests, to diagnose sub-acromial shoulder pain using musculoskeletal ultrasound measure as the reference method? How well correlates a positive impingement test with an abnormally low distance between humerus and acromion? Is there a difference between the distance of acromio-humeral space (AHD) between people with and without shoulder impingement? Methods: 18 people (fp) with shoulder problems (mean age 54 years, median duration of symptoms 2,25 months) were consecutively recruited. Subjects were examined by two physiotherapists during one day using the tests NS, HKT and JT. Ultrasound examination was performed within eight days and was used as the reference method to calculate sensitivity and specificity for the clinical tests. AHD was measured using ultrasound and the correlation between a positive impingement test and an abnormally low AHD between people with and without impingement was calculated. Results: Inter-rater reliability was moderate for NS (k = 0,47) and good for HKT (k = 0,61) and JT (k = 0,67). The sensitivity of the battery of shoulder impingement tests was high (0,92) but with low specificity (0,40). JT was the only test that had both high sensitivity (0,83) and high specificity (0,80). There was no covariance between an abnormally low AHD and a positive impingement test, however, there was a significant difference of the percentage of the AHD in people with impingement compared to people without. Conclusion: NS, HKT and JT had moderate to good inter-rater reliability but low diagnostic accuracy. The clinical tests may be useful methods as a battery of tests in detecting shoulder impingement if the specificity can be improved. JT was the test with best diagnostic accuracy.

Inledning: Syftet med föreliggande studie var att testa interbedömarreliabiliteten för det i Sverige vanligaste triageinstrumentet Rapid Emergency Triage and Treatment System (RETTS). Instrumentet består av 42 kontaktorsaker (ESS) som kombinerat med mätta vitalparametrar, t.ex. blodtryck och puls, ger en triagefärg. För att kunna bedriva evidensbaserad omvårdnad krävs att instrument, skalor och metoder är valida och reliabla. Statens beredning för medicinsk utvärdering anser att RETTS saknar både validitets- och reliabilitetsdata. Metod: Två ESS från instrumentet valdes. De berör två av de vanligaste sökorsakerna på en akutmottagning, bröst- respektive buksmärta. Två akutsjuksköterskor bedömde 24 patientsimulatorfall vardera. Resultat: ESS för bröstsmärta visade linjärt viktad kappavärde 0,79 (95 % CI 0,57-1). Med kvadratiskt viktad kappa var resultatet 0,89. Procentuell överensstämmelse var 75 %. ESS för buksmärta visade linjärt viktad kappavärde 0,84 (95 % CI, 0,67-1). Med kvadratiskt viktad kappa var resultatet 0,93. Procentuell överensstämmelse var 75 %. Konklusion: För att möjliggöra evidensbaserad omvårdnad måste skalor, metoder och instrument vara valida och reliabla. Föreliggande studie visar att ESS som handlar om bröst- respektive buksmärta har en god till mycket god interbedömarreliabilitet. Metoden kan appliceras på RETTS samtliga ESS för att på så sätt testa både enskilda ESS och hela instrumentets interbedömarreliabilitet.

Motiverande samtal (MI) är en populär samtalsmetod med fokus på motivations- och förändringsarbete. MI utgår från ett teoretiskt underbyggt förhållningssätt där rådgivaren och klienten tillsammans utforskar möjliga vägar till förändring. För att säkerställa att MI används på bästa sätt kan samtalsledarens skicklighet och förmåga observeras kodas enligt olika variabler. Dessa mätningar bör i sin tur besitta en hög interbedömarreliabilitet (IBR) för att ge tillförlitliga resultat. Absolut överensstämmelse i samtliga variabler ger maximal IBR, medan en låg IBR kan tyda på att mätinstrumentet är otydligt, att det finns brister hos bedömarna, eller på en kombination av detta. I den här uppsatsen undersöks IBR i The Motivational Interviewing Treatment Integrity Code (MITI), ett kodningsverktyg som tagits fram för att vara reliabelt och lätt att använda. Samtalssekvenser om tjugo minuter kodas enligt fjorton variabler. Fyra oberoende kodare har kodat tolv samtal enligt den senaste versionen av mätinstrumentet (MITI 4.2.1). Samtliga kodningar genomfördes inom ramen för en kodarutbildning som hålls av ett professionellt kodningslabb. Intraklasskorrelation (ICC), Krippendorffs α (Kalpha) samt Cronbachs α redovisas parallellt som mått på IBR. Flera variabler visar en otillfredsställande eller, beroende på vilken koefficient som används, oacceptabel IBR. De fyra kodarna visar en lägre samstämmighet i bedömningen av kvalitativa variabler samt variabler avseende beteenden ej förenliga med MI. ICC för fyra kodare ligger generellt på en måttlig men godkänd nivå, medan Kalpha genomgående ligger under gränsen för det godtagbara. Cronbachs α ligger överlag något över ICC vilket tyder på en viss systematik i kodarnas bristande överensstämmelse. En tänkbar orsak till en bitvis sviktande IBR är att de undersökta kodarna vid mättillfället var relativt oerfarna och skulle behövt mer praktisk träning i MITI 4.2.1. Vidare kan en bristande förståelse för instrumentets teoretiska grunder ha inverkat negativt på IBR. För att MITI ska kunna utvärderas korrekt i framtida forskning krävs ett enhetligt grepp för hur IBR ska mätas. En högre förståelse för metoderna bakom mätninga av IBR är önskvärd.

Under 2011 genomfördes en ny gymnasiereform där bland annat betygssystem och ämnesplaner uppdaterades. Skolverket eftersträvar även en mer likvärdig bedömning mellan lärare, skolor och kommuner. Inom ämnet Fotografisk bild finns inte nationellt gemensamma prov för att hjälpa lärarna att bedöma likvärdigt utan det är upp till läraren att sätta nivån efter de kunskapskrav som finns, vilket medför en tolkning av de definitioner som finns för varje betygsnivå. Syftet med den här rapporten är att undersöka hur lärare tänker kring att bedöma elevers bilder i relation till kunskapskraven inom fotografisk bild samt om förutsättningar för bedömningen förändrats med den nya ämnesplanen. Fyra intervjuer genomfördes och överlag så ansåg alla respondenter att det fortfarande, efter gymnasiereformen, är väldigt öppet för tolkning och att ändringen av kunskapskrav inte har främjat likvärdig bedömning nämnvärt. De ser även en särskild svårighet när kursen innehåller subjektiva inslag, i form av att läraren ska bedöma elevernas kreativa arbeten. Det framkommer dock av både litteratur och genom intervjuerna att lärare genom erfarenhet och fördjupade kunskaper inom ämnet kommer en bra bit på väg och att de tillsammans bör diskutera mer för att nå upp till Skolverkets mål kring likvärdig bedömning.

Unga med normbrytande beteende löper en relativt hög risk för en långvarig negativ utveckling. För att förhindra detta krävs tidiga effektiva insatser som i sin tur kräver tillförlitliga bedömningsinstrument som identifierar risker och behov hos unga med, eller i riskzonen för normbrytande beteende. Just detta är syftet med ESTER-bedömning. Föreliggande studies syfte var att undersöka interbedömarreliabiliteten av ESTER-bedömning inklusive en ny kandidatskala för riskfaktorerna . Två oberoende bedömare genomförde ESTER-bedömningar på journalmaterial tillhörande 30 tvångsomhändertagna flickor, 15-20 år. Resultaten visar en spridning mellan bristfällig till mycket bra interbedömarreliabilitet på de 19 risk- och skyddsfaktorerna i ESTER-bedömning, med få fall av total oenighet mellan bedömarna. En jämförelse mellan den befintliga skalan och kandidatskalan visade marginella skillnader. Vidare forskning av interbedömarreliabilitet för ESTER-bedömning bör testa skalorna var för sig och inkludera intervjuer som informationskälla.
Youths with normbreaking behavior is at higher risk for a negative development. To prevent this, there is a need for reliable assessments that can identify risk and need for youths with, or at risk for normbreaking behavior. This is the purpose of ESTER-assessment. This study evaluated the inter-rater reliability of two different scales in ESTER-assessment. Two independent judges conducted ESTER-assessment on case files of 30 institutionalized girls, aged 15-20 years. The results revealed poor to excellent agreement and few cases of total disagreements. The two different scales showed a minimal difference. In further research of the inter-rater reliability of ESTER-assessment there is a need for testing the two scales separately and to include interviews as a source of information.

För att undersöka interbedömarreliabiliteten i Emotional Interaction Style – assessment (EIS – assessment), vid bedömningar av Marschak Interaction Method (MIM), har tre inspelade MIM filmer skattats av sju bedömare. Reliabiliteten beräknades med intraklasskorrelationskoefficient (ICC). I bakgrunden har en teoretisk genomgång gjorts av aktuell forskning gällande barns utveckling och samspel mellan barn och föräldrar. Vidare har bakgrunden till MIM och EIS-assessment redovisats. För att ytterligare belysa användbarheten av skalan har bedömarna, i samband med skattningen av filmerna, reflekterat och förutsättningslöst skrivit ned tankegångar, frågor och erfarenheter vilka varit en del av diskussionerna i samband med att uppsatsgruppen träffats. Medelvärdet på intraklasskorrelationskoefficienten, på hela materialet, visar på en god samstämmighet mellan skattarna. Styrkan i överensstämmelsen i film A värderas som god, i film B mycket god och i film C hyfsad. I film A och B värderas den inre konsistensen (Cronbachs alfa) som mycket god. I film C värderas den inre konsistensen som god. Vår bedömning är att EIS – assessment är en användbar skala för att beskriva samspel mellan föräldrar och barn i kliniska sammanhang och att det vore värdefullt med fortsatt forskning.