Conception universelle (universal design), adaptations et inclusivité: actualisation d’un test de compétence linguistique en anglais au niveau universitaire, Martyna Kozlowska et Suzanne Springer (Entente Canada-Québec relative à l’enseignement dans la langue de la minorité et à l’enseignement des langues secondes, 2023-2024, – 105 078$) Pour de nombreux étudiants, la passation et la forme du test représentent des obstacles additionnels qui impactent l’évaluation juste. La validité même des résultats peut être remise en question si des mesures ne sont pas prises pour s’assurer que la conception des tests tient compte des réalités de l’ensemble de la population étudiante. Ce projet a pour objectif principal l’actualisation du test de classement en anglais afin d’intégrer des modalités d’accessibilité pour les étudiantes et étudiants ayant des troubles spécifiques d’apprentissage.
Approfondir des compétences culturelles et linguistiques en anglais langue seconde en favorisant la prise de position des étudiants quant à leur propre apprentissage (agency) par le biais de modèles d’auto-évaluation enrichis par l’utilisation de la technologie Ce projet proposé par Carey Nelson a obtenu une subvention de 60 040 $. Il vise la création d’une plateforme virtuelle interactive d’auto-évaluation destinée aux étudiants en anglais langue seconde. La plateforme permettra aux utilisateurs d’obtenir un portrait du développement de leurs compétences linguistiques à partir de modèles d’auto-évaluation validés par la recherche. Ils auront ainsi à leur disposition un outil diagnostic individualisé de leurs compétences. Trois étapes sont prévues: la création d’un cadre qui rassemblera des modèles d’auto-évaluation et des outils technologiques, la réalisation d’études validant l’utilisation de ces modèles et outils pour l’auto-évaluation de l’anglais langue seconde et, finalement, la mise sur pied de la plateforme.
Increasing fairness of automatic scoring systems in pronunciation proficiency tests: Exploring age, gender, and first language bias (Nelson, C. & Johnson, C.) This quantitative study explores the potential for age, gender, and first language biases in scores for a pronunciation proficiency test that have been generated automatically based on ASR transcriptions. Comparisons will be made between human-rater scores for existing proficiency test samples and scores generated from ASR output. One thousand university-level students underwent a placement test for English classes. For the pronunciation portion, test takers were recorded completing a timed task during which they read aloud five sentences that became increasingly complex phonologically. Two human raters provided scores based upon an analytic rubric. To determine the automated score, the recordings are uploaded into GVT and MS-T and a score is generatedbased upon word accuracy in the output provided by each of the ASR systems. Data analysis is ongoing. Possible bias in either or both dictation systems will be determined through a regression analysis. The scores from each system will be the predictor of the human-rater scores and age, L1, and gender will be considered as possible moderators. Based on existing literature, it is hypothesized that the two systems will show significant bias for both age (e.g., the ASR will favour younger test takers), L1 (e.g., speakers of non-Indo-European L1s will be less recognizable by the ASR systems), and gender (e.g., males will be recognized more accurately than females). Implications for test scores and methods for mitigating bias will be discussed considering any biases that are detected.
Évaluation de l’efficacité de Microsoft Transcribe pour automatiser l’évaluation de la prononciation dans les tests de compétences linguistiques – (Nelson, C., Cardoso, W., Johnson, C., Brannen, K., Zuercher, B., Jackson, S., et Springer, S) Cette étude examinera la possibilité d’utiliser la saisie vocale de Microsoft Transcribe pour automatiser la notation de la prononciation pour le test de compétences linguistiques universitaire. Soixante étudiant.e.s de premier cycle de l’Université du Québec à Montréal, dont le niveau d’anglais parlé est de Débutant à Supérieur (A1 à C2 dans le Cadre européen), ont été enregistrés pendant la partie prononciation de leur test de compétences linguistiques. Les participant.e.s ont lu à haute voix cinq phrases de plus en plus difficiles. À l’aide d’une grille d’évaluation de divers aspects de la prononciation, trois évaluateurs d’anglais langue seconde expérimentés sont parvenus à un consensus sur le score de chaque participant.e. Pour les besoins de cette étude, les mêmes enregistrements seront lus dans l’application Microsoft Transcribe. Des corrélations seront effectuées pour déterminer s’il existe une relation entre les scores évalués par les évaluateurs humains et les scores évalués par la reconnaissance vocale automatique (RVA). Les résultats de cette étude peuvent contribuer aux utilisations potentielles de l’évaluation assistée par programme informatique au Centre d’évaluation des compétences linguistiques (CECL) de l’UQAM en réduisant les coûts, l’erreur humaine et le temps de produire les résultats des tests. Cette application d’un RVA pour un test de compétences linguistiques ouvrira des possibilités pour l’implantation d’une intelligence artificielle dans un tel test.
Révision et actualisation de l’encadrement des évaluateurs du test d’anglais de l’UQAM: formation, certification, monitorat et contrôle de qualité (Entente Canada-Québec relative à l’enseignement dans la langue de la minorité et à l’enseignement des langues secondes, 2020-2022, – 80 800$) Ce projet vise à standardiser les meilleures pratiques pour assurer la fiabilité dans les classements des étudiant.e.s dans les sections de production (à l’oral et à l’écrit) du test d’anglais du Centre d’évaluation des compétences linguistiques (CECL) de l’UQAM. Les modules proposés assurent la pérennité de la formation et de l’encadrement des évaluateurs qui classent environ 2200 étudiants par an. Ainsi, ce projet vise à contribuer à la réussite académique et la rétention des étudiants commencent par un placement juste et approprié dans les cours et les programmes d’anglais de l’UQAM.
