Academic literature on the topic 'Évaluation (UMI : 0288)'

Les jeux sérieux sont des jeux vidéo spécifiques adaptés à l’enseignement (Prensky, 2000 ; Johnson, 2005 ; Alvarez, 2007). Les dimensions ludiques, informationnelles et communicationnelles sont ainsi censées s’articuler aux dimensions pédagogiques, didactiques, et instrumentales pour en faire des instruments facilitant l’apprentissage (Ortega et Caron, 2011). Ainsi, leurs potentialités en font un nouveau marché en pleine expansion (Yasmine, 2012). Étant donné que la formation continue du personnel des entreprises est une question qui revêt de plus en plus d’importance, celles-ci doivent trouver un compromis entre la formation de leur personnel et la productivité, afin de rester compétitives. Plusieurs entreprises se tournent ainsi naturellement vers les jeux sérieux. Depuis plus de quinze ans, Hydro-Québec organise annuellement des formations en présentiel d’initiation au code de sécurité des travaux et aux risques d’électrocution au personnel des entreprises contractuelles intervenant sur son installation électrique. Hydro-Québec veut s’inscrire dans cette mouvance, en choisissant d’intégrer une formation mixte constituée d’une journée en présentiel et d’un jeu sérieux présentant un meilleur coût d’opportunité par rapport à la formation présentielle de trois jours pour son personnel. L’objectif de la recherche consiste à produire une analyse comparative des deux modalités de formation, en se basant sur une recension de la littérature. Ce cadre d’analyse inclut notamment des éléments en lien avec l’apprentissage, la pédagogie, la motivation et le développement des compétences. L'étude est menée selon une approche quantitative, et repose sur un protocole quasi expérimental visant à comparer deux groupes : un groupe témoin et un groupe expérimental d’échantillons respectifs de 74 et 89 participants, choisis par convenance et issus d’une même population. Les résultats obtenus ont fait état d’une meilleure performance et d’un niveau plus élevé de motivation des participants à la formation mixte que ceux à la formation présentielle. Les résultats confirment également les affirmations théoriques de la corrélation positive de la motivation et de la performance des participants (Vallerand et al. 1989). Un modèle prédictif de la performance des participants met également en lumière le niveau modeste du pouvoir explicatif des connaissances antérieures, de la motivation des participants et du type de formation. Compte tenu du fait que l’étude veut apporter une réponse fondée sur une base scientifique aux gestionnaires du programme de formation, la recommandation de l’exploitation de l’application interactive pour la formation des intervenants dans les installations d’HQ trouve sa justification au regard des résultats ainsi obtenus.<br>Serious games are specific video games adapted to teaching (Prensky, 2000; Johnson, 2005; Alvarez, 2007). The playful, informational and communicative dimensions articulated with pedagogical, didactic and instrumental dimensions in order to forge instruments sustaining learning (Ortega and Caron, 2011). Thus, the potentialities create a new market in full expansion (Yasmine, 2012). As continuing education of personnel in various professional environments is a question of greater importance, we must find a compromise between the training of staff members and productivity to stay competitive. Many companies use Serious games for training staff. Fifteen years ago, Hydro-Québec began organizing yearly introductory training courses on the work safety code and the risks of electrocution for staff of contracted companies working on its electrical installations. Hydro-Québec wants to integrate a mixed training consisting of day classes and independent practice using Serious game with a better opportunity cost compared to the three-day classroom training for its staff. The aim of this study is to compare two training modalities, based on a literature review. The analysis includes the elements related to learning, pedagogy, motivation and skills development. The study used a quantitative approach and based on a quasi-experimental protocol comparing two groups: a control group and an experimental group of samples of 74 and 89 participants respectively, chosen for convenience and from the same population. Data analyses demonstrated better performance with higher motivation for participants of the mixed training than those who participated in the classroom training. The results also confirm the theoretical assertions of the participant’s motivation and performance (Vallerand & al. 1989). A regression model indicated that participant’s performance depended upon their knowledge base, motivation and the type of training at a modest level. Considering the fact, that the study would like to provide a scientific foundation for training program managers, it would be advantageous to utilize the interactive application for the training of intermediary staff operating within Hydro-Quebec installations, according to the results thus obtained.

Le modèle de Rasch est utilisé de nos jours dans de nombreuses applications en sciences sociales et en médecine. Parmi les applications de ce modèle, on trouve l’étude de la qualité psychométrique des items d’un test, le calibrage des items pour les tests adaptatifs, la production des mesures d’habileté en sciences de l’éducation. Il est particulièrement mis à profit dans des enquêtes internationales à grande échelle comme l’enquête PISA (Programme for International Student Assessment). L’une des hypothèses que doivent vérifier l’ensemble des items du test devant mesurer un trait donné est celle de l’unidimensionnalité, c’est-à dire que tous mis ensemble ne doivent mesurer que le trait en étude, et la réponse que donne un individu à chacun de ces items n’est fonction que du niveau de ce trait chez cet individu. Il se pose donc l’épineuse question de la détermination de la dimensionnalité de l’outil de mesure, car l’objectif étant de ne conserver ensemble que des items concourant à mesurer un seul et même trait. En pratique, les tests auxquels sont soumis les individus ne sont pas strictement unidimensionnels car nos réponses sont aussi conditionnées par nos habitudes et notre milieu. Le plus important selon Stout (1987) est d’avoir un test ayant une dimension dominante, car sinon on devra utiliser des modèles multidimensionnels qui s’avèrent souvent complexes et difficiles à interpréter pour un preneur de décision non expert en mesure. Notre travail a consisté à explorer un ensemble de conditions dans lesquelles le modèle de Rasch unidimensionnel peut produire des mesures acceptables malgré la présence de plusieurs traits déterminants dans les données. Nous avons travaillé avec des données bidimensionnelles simulées, et avons mis à profit le modèle linéaire multiple et les statistiques d’ajustement infit t du modèle de Rasch unidimensionnel.<br>Today, the Rasch model is most used in many applications of the social sciences and in medicine. Among the applications of this model, one can cite the study of the psychometric qualities of test items, items calibration in adaptive testing and the production of skill measures in education science. It is particularly used in international large-scale surveys such as PISA (Programme for International Student Assessment) survey. One of the assumptions test items selected to measure a given trait must satisfied is the unidimensionality assumption, that is all items put together should measure the trait under study, and the response given by an individual to each of these items is a function only of the level of the trait that the individual possesses. This raises the issue of determining the dimensionality of a measurement tool, because the goal is to keep only items that contribute to measure the single trait. In practice, not all test instruments developed to collect data from individuals are strictly unidimensional because our responses are also influenced by our habits and our environment. According to Stout (1987) the most important thing is to have a test with a dominant dimension, otherwise we will use multivariate models that are often complex and difficult to interpret for a decision maker who is not an expert in measurement theory. Our work has been to explore a set of conditions under which the Rasch model can produce acceptable measures despite the presence of several dimensions in the data. We worked with two-dimensional simulated data and have used the multiple linear regression model and infit statistics t produced by the unidimensional Rasch model.<br>Le logiciel de simulation des données et d'analyse est Conquest V.3

Le ministère de l’Éducation, du Loisir et du Sport (MELS) publie tous les ans des indicateurs (MELS, 2007) qui traitent de plusieurs aspects du système scolaire québécois. Quoique le MELS insiste sur l’obligation pour les écoles primaires et secondaires d’obtenir des résultats probants en termes d’« efficacité », les indicateurs utilisés pour apprécier la performance des écoles ne sont pas nécessairement conçus à cette fin. Une étude du MELS rapporte que les élèves de 5e secondaire éprouvent de la difficulté à obtenir de bons résultats à deux critères de correction (syntaxe et ponctuation, orthographe), parmi les six de l’épreuve unique de français écrit (MELS, 2008). Ce fait nous amène à nous intéresser à l’étude de la modélisation des liens entre des facteurs associés à l’environnement scolaire et les résultats des élèves de la région métropolitaine de Montréal, en ce qui a trait à ces deux critères pour les cohortes des années 2006, 2007 et 2008. Nous procédons d’abord à des analyses descriptives des variables pour chacune des trois populations. Nous poursuivons l’analyse en effectuant plusieurs modélisations multiniveaux multivariées des deux critères en fonction de variables indépendantes, caractéristiques de l’élève et de l’école. Les résultats de la présente recherche indiquent une relative stabilité dans la performance des élèves pour les trois années, avec une légère amélioration de la performance pour la cohorte de 2007, et qui se maintient pour la cohorte de 2008. Les élèves du secteur privé obtiennent de meilleurs résultats que ceux du public. Le résultat des filles est supérieur à celui des garçons et les élèves de langue maternelle française obtiennent de meilleurs résultats que ceux de langues maternelles différentes du français. Il importe cependant d’apporter quelques nuances dans l’interprétation de ces résultats. En outre, la part de variance dans la performance des élèves attribuable à l’élève est de l’ordre de 75,0 % et de l’ordre de 25,0 % à l’école. On note un effet différentiel des facteurs d’élève et d’école selon le critère considéré. Les variables caractéristiques de l’élève comptent pour 13,9 % de la variance totale de la performance des élèves en syntaxe et ponctuation et pour 9,8 % en orthographe. Les variables caractéristiques de l’école comptent pour 3,7 % de la variance totale de la performance des élèves en syntaxe et ponctuation et pour 6,4 % en orthographe. Certains facteurs d’école, comme la taille, la mixité ne semblent pas présenter un lien significatif avec la performance des élèves.<br>The ministère de l’Éducation, du Loisir et du Sport (MELS) of Quebec publishes every year educational indicators which describe many aspects of the school system. Although the MELS insists for elementary and high schools to have good results in terms of the effectiveness of their performance, the indicators that are used presently by the school’s system are not designed to appreciate their performance. A research by the MELS shows that secondary five high school students have some difficulty with two criteria (syntax and punctuation, spelling) out of the six for the French language examination (MELS, 2008). The actual research focuses on the modeling of links between school environment and student performances in the Montreal area over a period of three years. By using data from the MELS for years 2006, 2007 and 2008, this study investigates the relations between variables characteristics of student and school with the student performances. The analysis used descriptive statistics of the variables for each of the three years. We complete the analysis by doing some multilevel multivariate analysis. The results of this study indicated that there is a relative stability in student performances over the three years with a slight improvement in 2007 which continue in 2008. Students from the private sector performed better than those of the public sector. The girls continuously have better results than the boys over the three years period. Students with French as their mother’s tongue do have better results than those with mother’s tongue different than French. Nevertheless, some nuances are necessary for better understanding the interpretation of the results. Moreover, the part of variation in student performances is responsible for about 75,0 % to student level and for about 25,0 % to school level. We note some differential effects of student and school factors on the criteria considered. The student variables are responsible for about 13,9 % of the total variance in syntax and punctuation and for about 9,8 % in spelling. School variables are responsible for 3,7 % for the total variance in student performance for syntax and punctuation and for about 6,4 % for spelling. Some school factors, like the size of the school, the mix sex school do not seem to have any significant link with students’ performances.

Cette recherche s’inscrit dans le cadre de l’évaluation des compétences langagières en français chez des adultes immigrants en vue de leur placement dans des cours de français. Elle porte sur la dimensionnalité, de même que sur la difficulté objective et subjective de tâches discrètes ou intégrées de compréhension écrite, à différents niveaux de maîtrise. Elle propose des analyses de l’estimation de la maîtrise linguistique en fonction de l’appartenance des candidats à des groupes linguistiques distincts. Pour mener à bien la recherche, un test de six textes et de 30 items a été créé. Il a été administré à 118 immigrants. Ces immigrants suivaient les cours de français proposés par le Ministère de l’immigration et des communautés culturelles du Québec (MICC) dans les écoles de langues de l’Université de Montréal et de l’Université du Québec à Montréal. Après administration, ce test a été soumis à des analyses portant sur la dimensionnalité et la difficulté des tâches discrètes et intégrées ainsi que sur les interactions entre ces tâches et les différents groupes de candidats. Des études plus précises ont été faites sur l’interaction entre le type de tâche, l’appartenance à un groupe linguistique pour des candidats et des items de niveau similaire. Enfin, des analyses ont permis d’étudier la perception de la difficulté des tâches par les candidats. L’étude, même si elle porte sur un test en rodage, permet de distinguer la dimensionnalité de tâches discrètes de celle de tâches intégrées. Elle permet également de constater les différences de fonctionnement entre ces deux types de tâches. Enfin, elle permet de comprendre l’interprétation de la difficulté par les candidats et, par ricochet, leur vision du test. In fine, des propositions sont formulées quant à l’opportunité d’utiliser des tâches discrètes et intégrées dans un test de positionnement adaptatif en français langue seconde.<br>This research has been conducted within the assessment procedure of the language competence of adult immigrants, for placement purposes in French courses. It relates to the dimensionality as well as the objective and subjective difficulty of discrete or integrated reading tasks at different proficiency levels. Analyses of linguistic proficiency estimates are proposed in relation with candidates’ linguistic groups. In order to conduct this study successfully, a 6-text and 30-item test has been constructed and administered to 118 immigrants. These immigrants were enrolled in French courses offered by the Ministry of Immigration and Cultural Communities (MICC) in language schools at the Université de Montreal and the Université du Québec à Montréal. After the administration, analyses have been made on the dimensionality and difficulty of the discrete and integrated tasks and on the interactions between the tasks and different groups of candidates. More detailed analyses have been made on candidates and items at similar levels. Finally, we were able to study the candidates’ perceptions of task difficulty. Although the study is based on a provisional test, the dimensionality of discrete and integrated tasks has been distinguished. Differences in the way the 2 types of task work have been shown. Finally, the candidates’ interpretation of difficulty and therefore, their view of the test, are better understood. In fine, proposals are made in regard with the proper use of discrete and integrated tasks in an adaptive placement test in second language.

L'enseignement, l'apprentissage et l'évaluation du raisonnement clinique en sciences infirmières est un défi pour les éducateurs de cette profession et leurs étudiants. Depuis plusieurs décennies, les chercheurs et les éducateurs dans le domaine des sciences de la santé ont travaillé pour élaborer des instruments d'évaluation dans le but de pouvoir mesurer le raisonnement clinique (Charlin, Bordage & Van der Vleuten, 2003). Plusieurs études semblent appuyer le test de concordance de script (TCS) en termes de validité, fiabilité, faisabilité et applicabilité pour plusieurs disciplines et différents contextes (Carrière & al, 2009). Deschênes et ses collaborateurs (2006; Deschênes, Charlin, Gagnon & Goudreau, 2011) ont mis au point et validé un TCS spécifiquement pour le raisonnement clinique en sciences infirmières (RCI). Comme l'évaluation a un impact important sur les stratégies d'apprentissage des étudiants (Sibert et al, 2001; Durak, Caliskan & Bor, 2007), les outils d'évaluation valides et fiables qui permettraient l'identification des problèmes spécifiques dans le développement du raisonnement clinique en sciences infirmières seraient très utiles pour guider les décisions concernant l'éducation (Gierl, 2007). Nous avons donc mené une étude pour explorer le potentiel diagnostique des questions d'un TCS. La question de recherche est la suivante: «Dans quelle mesure chaque question d’un TCS visant à évaluer le RCI peut-elle être reliée à des catégories et des stratégies de pensée spécifiques?" Avec une sous-question: «Comment peut-on décrire le potentiel diagnostique d’un TCS pour évaluer le RCI?". Nous avons fait une deuxième analyse de contenu des données qui ont été obtenues dans une étude précédente dans laquelle cinq vignettes (15 questions) du TCS de Deschênes (2006) ont été utilisées. Les résultats ont montré les catégories et stratégies de pensées utilisées pour répondre à certaines questions du TCS selon les groupes de participants. Aussi, nos résultats ont permis de découvrir des disparités importantes entre les groupes, notamment que le RCI des expertes est si différent des étudiantes, qu’il ne peut servir de référence. Enfin, cette étude démontre que le TCS a un potentiel diagnostique niveau par niveau (1ère, 2e, 3e année et expertes) et non d’un niveau à un autre.<br>Teaching, learning and assessing clinical nursing reasoning is a challenge for both nurse educators and their students. For several decades, researchers and educators in the field of health sciences, worked to develop assessment instruments that would effectively measure clinical reasoning (Charlin, Bordage & Van der Vleuten, 2003). Several studies seem to support the script concordance test (SCT) in terms of validity, reliability, feasibility and applicability in different disciplines and contexts (Carrière & al, 2009). Deschênes and her collaborators (2006; Deschênes, Charlin, Gagnon & Goudreau, 2011) developed and validated one SCT specifically for clinical nursing reasoning. Since evaluation has a great impact on students’ learning strategies (Sibert & al, 2001; Durak, Caliskan & Bor, 2007), valid and reliable assessment instruments that would allow the identification of specific problems in the development of clinical nursing reasoning would be very useful to guide educational decisions (Gierl, 2007). We therefore conducted a study to explore the diagnostic potential issues of SCT. The research question is: "To what extent each issue of SCT to assess clinical nursing reasoning can it be linked to categories and specific thinking strategies?" with a sub-question: "How can we describe the diagnostic potential of SCT to evaluate the clinical nursing reasoning?”. We did a second content analysis on think aloud data that were obtained in a previous study in which five vignettes (15 items) from Deschênes’ (2006) SCT were used. The results showed categories thoughts and strategies used to address issues of TCS by groups of participants. Thus, our results revealed significant differences between the groups, such that the clinical nursing reasoning is so different from expert students, it can’t serve as a reference. Finally, this study demonstrates that TCS has a diagnostic potential but level by level (1st, 2nd, 3rd year and experts).

Depuis quelques années, plusieurs didacticiens du français se penchent sur l’enseignement et l’évaluation de l’oral, mais peu d’informations sont encore disponibles concernant les pratiques effectives des enseignants à cet égard. Notre recherche vise à décrire les croyances de deux enseignants de français au secondaire et leurs pratiques au sujet de l’évaluation de l’oral, plus particulièrement de l’oral dans une situation d’interaction entre pairs. Une entrevue dirigée a permis d’avoir accès à leurs croyances et à leurs pratiques déclarées, alors que le think-aloud a été employé pour observer leur pratique d’évaluation, à l’étape du jugement, d’une situation d’interaction entre pairs. Nos résultats montrent que, du point de vue de leurs croyances, les enseignants ont tous deux des préoccupations concernant les tâches et les instruments d’évaluation, et que leurs pratiques d’évaluation déclarées sont assez semblables en ce qui a trait aux tâches retenues, à leur fréquence et à l’intention poursuivie. Du côté de leurs pratiques d’évaluation observées à l’étape du jugement, nous exposons de façon détaillée les gestes d’enseignants en situation authentique, en identifiant les principaux processus cognitifs et métacognitifs impliqués dans cette tâche complexe. Des divergences entre les deux enseignants ont été observées relativement à leurs croyances, pratiques déclarées et pratiques observées durant le jugement. Tout d’abord, les critères retenus pour l’évaluation (pratique déclarée) ne tiennent pas toujours compte de ce qu’ils croient important d’enseigner en classe (croyance). De plus, malgré une pratique déclarée positive concernant l’autoévaluation, ces enseignants n’y ont peu ou pas eu recours durant leur jugement. Enfin, les gestes de l’un, durant le jugement, tendaient vers la posture d’instructeur-contrôleur, alors que ceux de l’autre s’inscrivaient davantage dans la posture de conseiller-didacticien. De façon générale, nous constatons que les pratiques de ces enseignants sont plus influencées par les situations rencontrées en tant qu’élèves et les traditions d’enseignement de la discipline que par le programme en vigueur.<br>In recent years, several researchers have studied the teaching and assessment of oral communication, but little information is yet available about the actual practices of teachers in this regard. The purpose of this study is to describe the beliefs and practices of two teachers regarding oral communication and its assessment in L1 French teaching in high school, as well as their actual assessment practices of oral interaction. A structured interview allowed us to collect data on their beliefs and practices, while the think-aloud technique was used to observe their actual assessment practices of oral interaction. Analysis of the interviews showed that, in terms of their beliefs, teachers have concerns about the assessment of oral communication, mainly with respect to both tasks and assessment tools. In terms of their practices, we discovered that their assessment practices of oral communication are quite similar with respect to selected tasks, their frequency and their purpose. In terms of their observed practices, our study presents in detail the actions of teachers in authentic assessment situation, identifying cognitive and metacognitive processes involved in this complex task. Differences between the two teachers were observed with respect to their beliefs, practices and actual assessment practices. First, the criteria for evaluation (practice) does not always reflect what they believe to be important to teach in the classroom (belief). Moreover, despite a positive attitude regarding self-evaluation, these teachers have little or no interest in using it while assessing their students. Lastly, one of the teacher’s actions resembled the instructor-controller assessor’s type, while those of the other teacher resembled more the advisor educationalist. In general, we find that the practices of these teachers are more influenced by the situations they encountered when they were students and by the teaching traditions of their discipline than by the current curriculum.