Internationally Educated Nurses and the Canadian English Language Benchmark Assessment for Nurses: A Qualitative Test Validation Study of Test-Taker Accounts

Abstract

This qualitative validation study examines sixteen Internationally Educated Nurses’ (IENs’) accounts of the Canadian English Language Benchmark Assessment for Nurses (CELBAN) at two testing centres (Toronto and Hamilton). This study adopts both focus groups and one-on-one interviews to investigate the inferences drawn from the test, and its consequences. Focus groups and interviews were conducted using an adapted interview guide utilized in the TOEFL iBT investigation of test-taker accounts of construct representation and construct irrelevant variance (DeLuca et al., 2013). While construct representation describes the degree of authenticity in the presentation of Canadian English language nursing tasks, construct irrelevant variance refers to potential factors impacting the test-taking experience which might contribute to a score variance that was not reflective of test-taker knowledge of the testing constructs (Messick, 1989, 1991, 1996). In this study, test-taker accounts of construct representation and construct irrelevant variance constituted the data which were coded and analyzed abductively via the sensitizing concepts derived from DeLuca et al., and Cheng and DeLuca (2011) on examining test-takers’ experience and their contribution to validity. Seven themes emerged, answering four research questions: How do IENs characterize their test experience? How do IENs describe the assessment constructs? What, if any, sources of Construct Irrelevant Variance (CIV) do IENs describe? Do IENs feel the language tasks are authentic? Overall, participants reported positive experiences with the CELBAN, while identifying some possible sources of CIV. Given the CELBAN’s widespread use for high-stakes decisions (a component of nursing certification and licensure), further research of IEN-test-taker responses to construct representation and construct irrelevant variance will remain critical to our understanding of the role of language competency testing for IENs.

Résumé

Cette étude qualitative de validation examine les témoignages de seize infirmières et infirmiers formés à l’étranger (IFE), à propos du test Canadian English Language Benchmark Assessment for Nurses (CELBAN), dans deux centres d’examen (Toronto et Hamilton). Cette étude adopte à la fois des groupes de discussion et des entretiens en tête à tête afin d’enquêter sur les inférences tirées du test et ses conséquences. Les groupes de discussion et les entretiens ont été menés avec un guide d’entretien adapté, celui-ci utilisé dans l’enquête TOEFL iBT consistant de témoignages des candidats au CELBAN sur la représentation des construis et la variance non pertinente des construis (DeLuca et coll., 2013). Tandis que la représentation des construis décrit le degré d’authenticité qui se trouve dans la présentation des tâches des infirmières et infirmiers en anglais canadien, la variance non pertinente des construis fait référence aux facteurs potentiels qui pourraient influencer l’expérience de passation du test, et qui pourraient contribuer à une variance de résultats ne reflétant pas les connaissances des construis d’évaluation que possède le candidat (Messick, 1989, 1991, 1996). Dans cette étude, les témoignages des candidats sur la représentation des construis et la variance non pertinente des construis constituent les données codées et analysées de manière abrégée à travers les concepts de sensibilisé dérivés de Cheng et coll. et de Cheng et DeLuca (2011) sur l’expérience des candidats et leur contribution à la validité. Sept thèmes ont émergé, qui répondaient à quatre questions de recherche : comment les IFE représentent-ils l’expérience de passation du test ? Comment les IFE décrivent-ils les construis d’évaluation ? Quelles, s’il y en a, sources de la variance non pertinente des construis (VNC) les candidats décrivent-ils ? Les IFE pensent-ils que les tâches de langue sont authentiques ? Dans l’ensemble, les participants ont rapporté des expériences positives avec le CELBAN, en identifiant aussi quelques sources possibles de VNC. Étant donné l’usage répandu du CELBAN pour des décisions à enjeux élevés (une composante de la certification et du permis d’exercer des infirmières et infirmiers), d’autres recherches sur les réponses des candidats IFE à la représentation des construis et de la variance non pertinente des construis resteront cruciales à notre compréhension du rôle de l’évaluation des niveaux de compétence linguistique chez les IFE.