Corps de l’article

Introduction 

Dans le cadre de la formation universitaire en psychologie clinique, les étudiants sont amenés à développer des compétences variées et complexes. Le défi est d’offrir des outils pédagogiques novateurs, en profitant aussi des technologies de l’information et de la communication (TIC) actuelles pour favoriser les apprentissages. Le Compendium interactif des tests en psychologie de l’enfant et de l’adolescent est une plateforme d’apprentissage en ligne qui a été développée à cette fin. Cette recherche a été conduite pour tester l’impact de son utilisation sur le sentiment de compétence des étudiants et sur le niveau de performance dans des tâches de passation de tests psychologiques.

L’examen psychologique de l’enfant

La pratique de l’examen psychologique est une spécificité de la pratique du psychologue (Cognet et Bachelier, 2017; Roman, 2016) et, pour cette raison, il s’agit d’un apprentissage central de la formation des futurs psychologues. Comme évoqué par Quartier et Brodard (2016), ce processus se différencie à la fois d’une pure démarche diagnostique et de la seule administration de tests. En effet, même s’il s’appuie sur des outils spécifiques, l’examen psychologique ne peut pas être réduit à une application d’épreuves, mais il engage également une rencontre entre les subjectivités du sujet et du psychologue (Roman, 2016).

En considérant cette pratique plus spécifiquement dans le champ de la psychologie de l’enfant et de l’adolescent, cette démarche devrait aboutir à une compréhension des difficultés de l’enfant, en intégrant des éléments d’analyse de son fonctionnement affectif, cognitif et relationnel, tout en tenant compte de son développement. La complexité du processus de l’examen psychologique apparaît comme évidente. Par conséquent, de nombreuses compétences en matière de savoir et de savoir-faire sont à développer de la part des futurs psychologues. La formation à l’université devrait donc aborder des connaissances théoriques spécifiques (p. ex. la psychopathologie de l’enfant et de l’adolescent, la psychométrie…) et des aspects pratiques tels que la conduite d’entretien, la passation de tests et la formulation de cas (Quartier et Brodard, 2016; Voyazopoulos, Vannetzel et Eynard, 2011) afin de préparer adéquatement l’étudiant à la pratique d’un examen psychologique.

Bien que les tests soient des outils médiateurs inscrits dans un processus plus large (Andronikof et Fontan, 2014), leur administration reste un apprentissage incontournable pour les psychologues en formation. Les compétences dans ce domaine s’avèrent difficiles à entraîner en raison du temps limité à disposition pendant les cours, du coût des tests, de la disponibilité réduite du matériel et du nombre croissant d’étudiants à encadrer pour s’exercer à des passations. Pour ces raisons, dans le contexte universitaire, la formation théorique est souvent privilégiée au détriment du développement des savoir-faire. Afin de combler ce déficit, l’élaboration d’un espace d’apprentissage en ligne a donc été réalisée.

L’apport des technologies dans le développement des savoir-faire

Depuis quelques décennies, les TIC ont montré leurs apports dans le domaine de la formation. Notamment, la recherche sur la formation des enseignants, qui fait également face au défi du passage de la théorie à la pratique, a montré l’intérêt des vidéos en ligne pour : relier la théorie à la pratique; anticiper des situations et se préparer pour y faire face; améliorer les capacités d’observation directes à partir de situations réelles; favoriser la réflexion par observation des autres; profiter de divers modèles d’apprentissage, etc. (Barnett, 2002; Beauregard, Rousseau et Mustafa, 2015). En outre, les vidéos « en ligne » présentent l’avantage de pouvoir être revues à tout moment et plusieurs fois, et d’exprimer la complexité de la situation d’interaction. Ainsi, leurs utilisateurs peuvent observer et extraire des informations spécifiques en se concentrant à chaque visionnage sur un aspect particulier (Brunvand, 2010; Sherin, 2004). Si les apports des TIC sont bien étudiés pour la formation des enseignants, les recherches sont très rares dans la formation des psychologues. Il semble cependant évident que les avantages cités précédemment peuvent aussi s’appliquer au développement de compétences pratiques chez le psychologue.

La plateforme

Le Compendium des tests en psychologie de l’enfant et de l’adolescent a été initialement conçu comme un recueil proposant des fiches techniques que les étudiants pouvaient consulter en vue de l’administration, la cotation et l’analyse de tests psychologiques. Afin de permettre aux étudiants de développer des compétences pratiques, le Compendium a été repensé et adapté sur une plateforme d’apprentissage en ligne renommée le Compendium interactif des tests en psychologie de l’enfant et de l’adolescent (Compendium interactif). Cette plateforme Moodle dispose d’un répertoire de tests d’évaluation du fonctionnement cognitif et affectif de l’enfant avec des documents d’appui (questionnaires, fiches techniques, articles…), des vidéos de démonstration et des vidéos proposant des exercices pratiques complémentaires. Le premier type de vidéos présente des passations de test au cours desquelles une jeune psychologue administre une épreuve en présence d’un enfant. Les étudiants sont simplement invités à observer la passation en se centrant par moment sur le comportement de l’enfant et à d’autres sur le comportement de la psychologue. Dans le second type de vidéos, des tâches sont demandées aux étudiants et des questions sont posées durant la passation du test. Par exemple, il peut être demandé d’attribuer le nombre correct de points aux réponses de l’enfant, d’observer une stratégie de résolution de problème, de prendre une décision concernant la conduite du test ou de proposer une réaction à une question de l’enfant. Ainsi, les étudiants sont face à une situation authentique permettant d’entraîner diverses compétences pratiques dont ils auront besoin dans une passation réelle, ce qui permet un apprentissage plus solide que celui qui est basé sur l’enseignement de « bonnes pratiques » (Oonk, Goffree et Verloop, 2004).

L’utilisation du Compendium interactif fait également partie des programmes didactiques de cours et séminaires sur le fonctionnement cognitif et affectif de l’enfant, selon un modèle de formation hybride qui permet l’intégration d’un environnement technopédagogique aux dispositifs de formation présentielle (Lameul, Peltier et Charlier, 2014). Ce modèle permet aux étudiants de travailler à leur rythme, en alternant les séances de cours et des activités formatives à distance (El-Soufi, 2015). Ceci permet également, dans une visée formative, d’évaluer le sentiment de compétence de l’étudiant face aux outils de l’examen psychologique (évalué par un questionnaire spécifique) et les compétences effectivement développées (évaluées par des quiz). Ces différentes mesures permettront à l’étudiant de se situer dans ses apprentissages et de se fixer des objectifs de travail en fonction des lacunes constatées.

Les concepts théoriques sous-jacents

La conception d’un outil de ce type qui vise à faire le trait d’union entre la formation théorique et la pratique clinique des étudiants est supportée par différents concepts identifiables dans la littérature scientifique.

Le transfert des apprentissages

Une des idées fondatrices du Compendium interactif considère qu’un entraînement, même s’il est limité à l’utilisation d’une plateforme d’apprentissage en ligne, peut favoriser le passage de la théorie à la pratique professionnelle (Frenay et Bédard, 2011). Souvent évoqué en sciences de l’éducation, sous la dénomination de « transfert des apprentissages », ce concept désigne la capacité à utiliser dans une tâche cible une compétence acquise dans une tâche source (Tardif, 1999). Dans la formation universitaire des psychologues, la tâche source est habituellement l’enseignement théorique (lectures, cours et séminaires), alors que la tâche cible (la situation d’examen en contexte réel) demande la mobilisation de capacités pratiques bien différentes. Avec le Compendium interactif, nous proposons une tâche pratique intermédiaire permettant aux étudiants d’expérimenter des savoir-faire dans une situation allégée. Durant la tâche, les étudiants s’entraînent par exemple à aller rechercher l’information au bon endroit et à réagir de manière adéquate, et l’intériorisation de ces informations par l’expérience servira de base au transfert. En effet, depuis les travaux de Dewey (1926), l’importance de l’action dans le processus d’apprentissage est évidente, tout comme sa contribution fondamentale dans l’acquisition de connaissances plus solides et stables (Smart et Csapo, 2007). Ce concept a été modélisé par Kolb (1984) sous l’expression d’« apprentissage expérientiel », c’est-à-dire un processus par lequel le savoir est créé à travers la transformation de l’expérience.

Le sentiment de compétence

Si le but général du Compendium interactif est d’accompagner les étudiants dans le passage de la théorie à la pratique, les autoévaluations et les tests permettent d’observer comment ce passage s’effectue. Cette démarche évaluative s’appuie principalement sur le concept de sentiment de compétence. Évoqué pour la première fois par Bandura (1977), ce concept concerne les croyances des gens par rapport à leurs capacités d’atteindre un certain niveau de performance dans une tâche donnée. Le sentiment de compétence affecte les comportements de manière directe, mais aussi de manière indirecte en ayant une influence sur d’autres déterminants comme les attentes par rapport au résultat de l’action ou la motivation de la personne (Van Dinther, Dochy et Segers, 2011). De plus, ceci ne constitue pas un trait général car en effet, il peut varier non seulement entre différents domaines de compétence, mais aussi entre différentes facettes d’un même domaine. Par conséquent, il n’y a pas de mesure universelle de l’autoefficacité valide (Bandura, 2012). Par exemple, dans l’administration de tests en psychologie, le sentiment de compétence du psychologue peut être différent dans la cotation du test, dans l’observation des stratégies de l’enfant, ou encore dans l’interprétation des résultats du test. Un sentiment de compétence évalué globalement chez le psychologue ne donnerait donc qu’un aperçu lacunaire de ses capacités, en négligeant les discordances possibles entre différents domaines de cette pratique.

Selon Bandura (1997/2003), il existe une relation réciproque entre le sentiment de compétence et la performance, et normalement, cette relation s’avère positive, ce qui est confirmé par un grand éventail d’études (Moritz, Feltz, Fahrbach et Mack, 2000). Les sujets qui réussissent le mieux s’autoévaluent comme étant plus efficaces (sentiment de compétence) et, par conséquent, s’engagent dans des tâches plus difficiles en obtenant des performances plus élevées (Beattie, Woodman, Fakehy et Dempsey, 2016). Les travaux les plus récents examinant le lien entre le sentiment de compétence et les performances avec des modèles autorégressifs croisés montrent que l’influence des performances passées sur le sentiment de compétence est plus forte que l’inverse (Sitzmann et Yeo, 2013; Talsma, Schüz, Schwarzer et Norris, 2018). L’étude expérimentale menée par Vancouver, Thompson, Tischner et Putka (2002) montre toutefois une relation négative entre le sentiment de compétence et la performance. En induisant un haut niveau de sentiment de compétence à 46 étudiants universitaires (groupe expérimental), les auteurs ont pu observer une diminution de la performance dans un jeu de logique (du type Mastermind), au cours du tout premier essai après la manipulation. Dans le même article, ils ont également montré qu’un haut niveau de sentiment de compétence peut mener à un niveau excessif de confiance (overconfidence) qui conduit à une augmentation du nombre d’erreurs dans la performance.

Un facteur considéré comme pouvant affecter le lien entre le sentiment de compétence et la performance est la présence (ou l’absence) de la possibilité d’être informé systématiquement sur les résultats dans les essais d’une tâche donnée. Selon Bandura (1997/2003), le fait de ne pas pouvoir suivre la progression de la performance pourrait entraîner une méconnaissance des stratégies et de l’effort à mobiliser, ce qui produirait un affaiblissement du lien précédemment évoqué entre sentiment de compétence et performance. D’où l’importance d’avoir une rétroaction appropriée dans les différentes étapes d’une expérience ou d’une tâche quelconque. Dans leur première étude, Beattie et al. (2016) ont constaté qu’une rétroaction limitée conduisait à une relation négative (même si non significative) entre sentiment de compétence et performance, tandis qu’une rétroaction plus consistante amenait à un résultat positif et statistiquement significatif.

L’apprentissage vicariant

La possibilité, dans le Compendium interactif, de visionner des séquences vidéos illustrant la passation de tests constitue une source potentielle d’apprentissage vicariant (Bandura, 1977/1980). Ce concept est défini comme « un travail d’observation active par laquelle les gens construisent par eux-mêmes des modalités comportementales proches de celles qu’a manifestées le modèle » (Carré, 2004, p. 25). Stegmann, Pilz, Siebeck et Fischer (2012) ont par exemple démontré qu’un apprentissage vicariant (observation de paires dans une situation simulée) concernant la communication du médecin à son patient pouvait être aussi profitable que l’expérience elle-même. Il semble que l’identification au modèle favorise le processus d’apprentissage. Plutôt qu’un expert qui serait perçu comme trop différent, il est recommandé de proposer un modèle ayant des caractéristiques similaires à celles de l’apprenant, notamment concernant l’âge, le niveau d’expérience ou le sexe (St-Jean, Radu-Lefebvre et Mathieu, 2018). Sur les vidéos du Compendium interactif, les tests sont effectués par des psychologues en formation, qui ont donc des caractéristiques très proches de celles de la population cible. De plus, ils exécutent des actions similaires à celles souhaitées chez les étudiants, ce qui devrait représenter un contexte favorable pour l’apprentissage vicariant (Lecomte, 2004; Roberts, 2010).

But de l’étude

Cette étude a pour but d’observer l’impact de l’utilisation de cette plateforme interactive sur la formation des étudiants. Plus spécifiquement, le sentiment de compétence et la performance ont été mesurés à deux reprises, afin d’évaluer l’impact de l’apprentissage vicariant (à travers des vidéos de démonstration) et, par la suite, celui de l’apprentissage expérientiel (à l’aide de vidéos présentant des activités pratiques). Le but formatif de la plateforme était l’entraînement à des aspects techniques de l’administration de tests, comme, entre autres, la cotation et le calcul de scores.

Méthodologie

Participants

Deux cohortes d’étudiants de niveau master d’une université de Suisse romande, inscrits à un cours sur l’examen psychologique de l’enfant et de l’adolescent (N = 119), ont participé à cette étude. Les étudiants étaient appelés à effectuer la formation sur le Compendium interactif pour des tests cognitifs tels que les échelles d’intelligence Wechsler Intelligence Scale for Children (WISC-IV[1]) et Kaufman Assessment Battery for Children (KABC-II) et d’autres tests concernant le domaine cognitif tels que la Figure complexe de Rey, la Mémorisation de 15 mots de Rey et le Wisconsin Card Sorting Test (WCST). Les participants avaient entre 22 et 50 ans (M = 26,54; SD = 4,79), avec une large représentation du sexe féminin (87,4 %).

Éthique 

Les données ont été codées afin de garantir l’anonymat des participants. Les étudiants étaient informés par le responsable du cours sur l’utilisation des résultats à des fins de recherche et sur la possibilité d’indiquer qu’ils ne souhaitaient pas que leurs données soient prises en compte. Notons qu’aucun étudiant n’a exprimé ce souhait.

Procédure d’évaluation

Pour chaque test proposé sur le Compendium interactif, les étudiants étaient tout d’abord invités à répondre à un questionnaire d’autoévaluation du sentiment de compétence. Puis, ils étaient appelés à répondre à un quiz évaluant leurs compétences sur différents aspects pratiques du test. Le questionnaire et le quiz représentaient la toute première étape de la procédure d’évaluation (Pré). Une fois cette étape terminée, les étudiants pouvaient accéder à une vidéo de démonstration du test représentant une passation réalisée avec un enfant. Ils remplissaient une nouvelle fois le questionnaire et le quiz (Post 1), puis pouvaient accéder aux documents, ainsi qu’aux vidéos accompagnées d’exercices qui se trouvaient dans un « livre virtuel » organisé en chapitres. L’autoévaluation du sentiment de compétence et le quiz étaient proposés une dernière fois (Post 2). La figure 1 résume les différentes étapes de la démarche formative du Compendium interactif.

Figure 1

Étapes de la démarche formative du Compendium interactif

Étapes de la démarche formative du Compendium interactif

-> Voir la liste des figures

Mesures

Sentiment de compétence

L’échelle d’évaluation du sentiment de compétence a été construite en utilisant le guide de Bandura (2006). Ce guide recommande d’adapter l’échelle de mesure du sentiment de compétence au domaine pour lequel la mesure est utilisée. Les items choisis pour l’échelle de mesure doivent représenter adéquatement la construction théorique sous-jacente. Comme proposé par Bandura (2006), le sujet répond de manière générale en indiquant son sentiment de compétence sur une échelle unipolaire allant de 0 à 100.

Dans notre étude, le sentiment de compétence a été évalué par dix items spécifiques, chacun explorant une compétence relative à l’administration et à l’analyse du test : donner une consigne claire, convertir les notes brutes en notes standards ou encore tenir compte des limites du test dans l’interprétation des résultats. La consistance interne de cette échelle est très satisfaisante aux différentes étapes de l’évaluation et pour chacun des tests (α entre 0,92 et 0,95).

Niveau de performance

Le niveau de performance a été calculé directement par la plateforme pédagogique (Moodle) hôte du Compendium interactif (MoodleUnil, http://moodle.unil.ch), selon l’exactitude des réponses des étudiants aux différents quiz. Les dix questions du quiz abordaient différents aspects relatifs à l’administration des tests. Par exemple, l’étudiant pouvait être appelé à calculer ou convertir des scores ou à appliquer les règles de départ/arrêt dans un sous-test. Un score total pour chaque étape a été calculé en additionnant les scores aux 10 items.

Autres mesures

Dans la démarche à effectuer sur le Compendium interactif, les étudiants étaient également invités à répondre à un item évaluant la perception de leur niveau actuel de formation dans le domaine de l’administration de tests (si celui-ci est perçu comme suffisant pour pouvoir administrer le test). Cette question, « Estimez-vous avoir suivi une formation suffisante pour utiliser adéquatement le – nom du test –? », a été posée à chaque étape de la démarche formative, dans le but d’évaluer une éventuelle progression du niveau de formation perçu par les étudiants. Ceux-ci pouvaient également exprimer le désir de recommander l’utilisation du Compendium interactif à d’autres étudiants en formation en répondant à la question « Recommanderiez-vous à un-e collègue l’utilisation du Compendium interactif avant d’utiliser le – nom du test –? » posée à la dernière étape de la démarche. Dans ces deux cas, les étudiants répondaient à l’aide d’une échelle de Likert (de 1 « pas du tout » à 7 « oui, totalement sûr(e)) ». À partir de la réponse 5 « oui, généralement », il a été considéré que les étudiants se percevaient comme suffisamment formés et enclins à recommander l’outil à des pairs.

La satisfaction relative à l’utilisation de la plateforme a également été mesurée. Les étudiants pouvaient exprimer leur opinion sur l’utilité et le contenu de la plateforme, et aussi mentionner les points forts et les points faibles de celle-ci. En plus de ces contenus, les étudiants pouvaient partager leur expérience dans l’espace Forum et exprimer leur satisfaction ou insatisfaction en remplissant un questionnaire. Signalons encore que la méthode des groupes focalisés a aussi été utilisée pour explorer les ressentis des étudiants par rapport à l’utilisation de la plateforme. Les résultats étaient similaires à ceux issus du questionnaire de satisfaction et, par conséquent, ne seront pas reportés dans cet article afin de respecter son caractère succinct.

Statistiques

Après avoir procédé aux analyses descriptives de nos données (moyennes et écarts-types), une analyse de variances (ANOVA) a été effectuée pour comparer les résultats des étudiants aux trois temps de mesure (Pré, Post 1 et Post 2). La mesure de la taille d’effet a été choisie pour évaluer l’augmentation des moyennes du sentiment de compétence mesuré par composantes. Une analyse de corrélations entre la mesure du sentiment de compétence et la performance a également été menée. En ce qui concerne les mesures par échelles de Likert, une analyse descriptive de fréquences a été choisie pour illustrer les réponses des sujets.

Les analyses ont été menées en utilisant le logiciel de traitement de données SPSS Statistics (versions 23.0 et 24.0) ainsi que le logiciel en ligne Effect Size Calculators (https://www.uccs.edu/~lbecker/) pour le calcul de la taille d’effet.

Résultats

Des analyses descriptives et inférentielles ont été réalisées sur les résultats obtenus par les étudiants à l’administration de deux tests (KABC-II et WISC-IV). Le choix de limiter la présentation des résultats à ces deux tests découle du fait que l’échantillon était plus important pour ceux-ci et que ces épreuves sont utilisées dans la plupart des examens psychologiques avec des enfants et des adolescents.

Sentiment de compétence

La figure 2 résume les résultats obtenus pour les deux échelles mesurant l’intelligence, soit le WISC-IV et le KABC-II. L’augmentation progressive du sentiment de compétence perçu par les étudiants entre les trois temps de mesure (Pré, Post 1 et Post 2) s’est avérée statistiquement significative (F(2, 275) = 71,81, p < 0,0001 pour le WISC-IV et F(2, 272) = 75,55, p < 0,0001 pour le KABC-II). Les contrastes effectués entre les différents temps de mesure ont montré des écarts significatifs (p < 0,0001) des moyennes du niveau de sentiment de compétence évaluées par les étudiants entre Pré et Post 1, Post 1 et Post 2 et, de manière logique, entre Pré et Post 2. Sur la figure 2, une diminution progressive de la dispersion des données est aussi identifiable.

Figure 2

Moyennes du sentiment de compétence pour le WISC-IV et le KABC-II

Moyennes du sentiment de compétence pour le WISC-IV et le KABC-II

-> Voir la liste des figures

Pour analyser les améliorations du niveau du sentiment de compétence pour chaque capacité mesurée par le questionnaire, nous avons donc procédé à une mesure de la taille d’effet. Les valeurs obtenues entre Pré et Post 2 étaient toutes supérieures à 1, signifiant des effets considérés comme forts. Les valeurs maximales du d de Cohen étaient légèrement plus élevées pour le KABC-II que pour le WISC-IV.

Figure 3

Taille d’effet du sentiment de compétence par domaine pour le KABC-II

Taille d’effet du sentiment de compétence par domaine pour le KABC-II

-> Voir la liste des figures

Plus spécifiquement, pour le KABC-II ainsi que pour le WISC-IV, la question ayant obtenu le résultat le moins élevé entre Pré et Post 2 (1,17 pour le KABC-II, 1,22 pour le WISC-IV) a été « Tenir compte des limites du test dans l’interprétation des résultats », tandis que les questions qui ont obtenu les résultats les plus élevés sont, respectivement, la question « d. Donner des feedbacks appropriés aux réponses de l’enfant » (d = 2,07) et « e. Attribuer le nombre de points correspondants à la réponse de l’enfant » (d = 2,06) pour le KABC-II et la question « h. Calculer les scores composites » (d = 1,88) pour le WISC-IV.

Performance

Les données relatives à l’évaluation des compétences des étudiants mesurées par les quiz se trouvent résumées au tableau 1. Une augmentation du score total obtenu aux quiz mesurant les capacités des étudiants dans les exercices du WISC-IV et du KABC-II est observable. Cette augmentation était significative entre les différents temps de mesure (F(2, 241); p < 0,0001 pour le WISC-IV et F(2, 244); p < 0,0001 pour le KABC-II), sauf pour la différence entre Pré et Post 1 pour le WISC-IV (t = -0,26; p = 0,336).

Tableau 1

Performance : moyennes (écart-type) et valeurs du t de Student

Performance : moyennes (écart-type) et valeurs du t de Student

-> Voir la liste des tableaux

Lien entre sentiment de compétence et performance

Une analyse de corrélations entre le sentiment de compétence évalué par les étudiants et leur performance dans les quiz proposés aux différents moments d’évaluation a été menée. En ce qui concerne le KABC-II, les valeurs des corrélations ont augmenté entre les différents temps de mesure (rPré = 0,15; rPost1 = 0,25; rPost2 = 0,27) et à partir du Post 1, elles étaient significatives (p < 0,05).

Pour le WISC-IV, le cas de figure s’est avéré différent. En effet, nous avons observé une augmentation de la valeur de la corrélation entre sentiment de compétence et performance entre Pré et Post 1, mais une baisse assez importante entre Post 1 et Post 2 (rPré = 0,22; rPost1 = 0,27, p < 0,05; rPost2 = 0,160).

Autres résultats

À la fin de la démarche, 86,3 % des étudiants considéraient avoir une formation suffisante (score min. 5/7) pour administrer le KABC-II, et 91,3 % pour le WISC-IV. De plus, il y a eu une progression du niveau de formation perçu entre les trois temps de mesure (F(2, 272) = 76,60; p < 0,0001 pour le KABC-II et F(2, 275) = 97,00; p < 0,0001 pour le WISC-IV). Une corrélation positive et statistiquement significative entre le niveau de formation perçu et les résultats aux quiz a pu être mise en évidence au temps Post 1 pour le KABC-II (r = 0,24; p < 0,05) et aux temps Post 1 (r = 0,23; p < 0,05) et Post 2 (r = 0,30; p < 0,01) pour le WISC-IV.

Questionnés sur leur sentiment de posséder les aptitudes nécessaires pour administrer les tests dans le cadre d’un service de consultation, 5 % des étudiants ont considéré qu’ils ne possédaient pas ces aptitudes, 22,5 % ont donné une réponse intermédiaire tandis que 72,5 % des étudiants ont estimé posséder les aptitudes nécessaires.

Sur le plan de la satisfaction, 96 % des étudiants ont évalué la qualité de la plateforme allant de « bonne » à « excellente ». Le niveau de satisfaction moyen se situait à 5,48 (sur un maximum de 7). La totalité des étudiants ont affirmé avoir reçu avec cette plateforme le type d’aide dont ils avaient besoin et ont évalué le contenu de la plateforme entre « plutôt bon » et « excellent ». Finalement, la grande majorité des étudiants (98,8 %) ont recommandé l’utilisation de la plateforme aux collègues avant d’utiliser le KABC-II et le WISC-IV.

Discussion

L’objectif de cette étude visait à observer l’impact de l’utilisation du Compendium interactif sur le sentiment de compétence et sur le niveau de performance des étudiants dans les tâches de passation de tests psychologiques, ainsi qu’à mesurer la satisfaction des utilisateurs vis-à-vis de la plateforme.

Impact de la formation sur le sentiment de compétence

Une augmentation du niveau du sentiment de compétence a pu être observée. Au fur et à mesure que la formation progresse, le sentiment de compétence augmente, parallèlement à la performance. Cette augmentation pourrait être expliquée par le lien réciproque entre le sentiment de compétence et la performance (Bandura, 2003). Cette évidence théorique semble être au moins partiellement confirmée par les performances aux quiz qui montrent la même tendance à l’augmentation entre les différents temps de mesure (sauf pour la différence entre Pré et Post 1 pour le WISC-IV).

L’expérience d’apprentissage vicariant proposée par les vidéos de démonstration entre Pré et Post 1 ainsi que l’apprentissage expérientiel garanti par les vidéos formatives expliquent certainement cette augmentation. En effet, selon Bandura (1994), les expériences d’apprentissage vicariant permettent de construire et de renforcer le sentiment de compétence. En considérant en particulier la force de la taille d’effet observée, un impact de la formation avec le Compendium interactif apparaît donc comme évident, en particulier pour le KABC-II, un test généralement moins abordé dans le cursus universitaire précédant le master. Cet impact varie toutefois en fonction des capacités évaluées. La question qui concerne l’interprétation des résultats aux tests est celle qui a le résultat le plus bas (même s’il reste indicatif d’un effet important du point de vue statistique). Le sujet de l’interprétation est en effet le moins abordé dans la formation sur le Compendium interactif, qui vise davantage le développement des compétences pour la passation et la cotation de tests. Or, c’est dans les questions relatives à ces domaines que les résultats étaient plus élevés en matière de taille d’effet (rétroactions à donner à l’enfant, attribution de points et calcul des scores composites). Les buts visés principalement par le Compendium interactif semblent donc avoir été atteints et ont permis de favoriser le transfert de la théorie dispensée dans les cours universitaires (tâche source selon Tardif, 1999) à la pratique des tests (tâche cible) en proposant une tâche intermédiaire.

Une diminution de la dispersion des données concernant la mesure du sentiment de compétence a pu être constatée. La dispersion très grande présente au Pré peut être imputable à l’hétérogénéité qui caractérise l’échantillon, pourvu d’un bagage de connaissances antérieures diversifié par rapport aux tests psychologiques. Les étudiants auraient aussi une difficulté dans l’autoévaluation de leurs compétences au départ sur des tests qu’ils connaissaient peu. Nous avons l’impression que certains traits de personnalité (p. ex. manque de confiance en soi, pessimisme) pourraient affecter cette première autoévaluation. En progressant dans la formation sur le Compendium interactif, l’autoévaluation deviendrait ainsi plus précise et moins dépendante de ces facteurs propres à l’individu. Pour cette raison, la dispersion des données aurait donc une tendance à s’affaiblir.

Impact de la formation sur la performance

Le niveau de performance a augmenté significativement entre les trois temps de mesure (sauf entre Pré et Post 1 pour le WISC-IV). L’augmentation importante du niveau de performance entre Post 1 et Post 2 découle certainement de l’apprentissage expérientiel effectué à partir des vidéos. En effet, de manière générale, les étudiants apprennent mieux quand ils s’entraînent activement sur le contenu (Davis, 2009). Ceci pourrait expliquer, au moins partiellement, le fait que l’augmentation de la performance entre Pré et Post 1 pour le WISC-IV s’avérait non significative. Nous pourrions imaginer que l’apprentissage vicariant soit nécessaire mais pas suffisant à une acquisition optimale de savoir-faire. Bandura (1977) évoque à ce propos de meilleures performances en cas de modelage d’un comportement par comparaison à une expérience d’apprentissage vicariant seule. De toute manière, dans la structure du Compendium interactif, l’apprentissage vicariant a été considéré comme une étape préalable à une acquisition successive par expérimentation. Il est donc possible que les résultats au Post 2 aient été également influencés par cette préparation à travers l’apprentissage vicariant. Pour isoler les effets des deux types d’apprentissage, il faudrait dans une future recherche disposer d’un groupe contrôle qui ne serait pas exposé à ces vidéos de démonstration, et utiliser les modèles autorégressifs croisés pour les analyses (Talsma et al., 2018).

Lien entre sentiment de compétence et performance

La présence de corrélations positives entre sentiment de compétence et performance semble confirmer la tendance évoquée dans la littérature. Les exercices proposés sur la plateforme permettent à l’étudiant de faire des expériences positives qui vont contribuer à augmenter son sentiment de compétence (Sitzmann et Yeo, 2013; Talsma et al., 2018). Notre étude montre toutefois des valeurs de corrélation faibles à moyennes (entre 0,16 et 0,27) qui semblent donc inférieures à celles couramment retrouvées dans les études, se situant entre 0,30 et 0,50 (Galand et Vanlede, 2004). Cette faiblesse des corrélations pourrait être expliquée par le concept de monitorage (monitoring) de la performance. En effet, nous avons vu précédemment que lorsque les rétroactions étaient limitées, le lien entre le sentiment de compétence et les résultats pouvait être affecté (Beattie et al., 2016). Les rétroactions données sur les exercices de plateforme du Compendium interactif se limitent actuellement à mentionner si la réponse est correcte ou erronée, mais ne permettent pas de préciser la raison de l’erreur. Ainsi, le lien entre les variables évoquées ci-dessus a pu être diminué.

Les corrélations étaient cependant significatives aux temps Post 1 et Post 2 pour le KABC-II et seulement au temps Post 1 pour le WISC-IV. Nous pourrions faire l’hypothèse d’un effet plus marqué pour le KABC-II, car ce test est moins connu des étudiants. Dans ce cas, la formation sur le Compendium interactif aurait un impact plus fort et moins « contaminé » par des variables externes (comme les connaissances antérieures des étudiants).

Autres résultats

Les autres mesures effectuées ont également donné des résultats très satisfaisants. Le niveau de formation perçu et la volonté de recommander l’outil s’améliorent en progressant dans la démarche formative. L’utilité perçue de la plateforme semble donc avérée. De plus, le niveau de formation perçu corrèle positivement avec les résultats aux quiz, pour le KABC-II et le WISC-IV, même si pas toujours de façon significative. Ainsi, plus l’étudiant estime qu’il est suffisamment formé, meilleures sont ses performances. Cette mesure du niveau de formation pourrait être un autre indicateur de la compétence perçue par les étudiants par rapport à leurs capacités. D’ailleurs, les corrélations entre le sentiment de compétence moyen et le niveau de formation perçu sont assez élevées (entre 0,54 et 0,64).

Les étudiants participant à notre étude ont démontré un bon niveau de satisfaction par rapport à la plateforme. La recherche sur l’apprentissage en ligne (e-learning) montre que la satisfaction est un des éléments fondamentaux pour la réussite d’un programme d’apprentissage (Liaw et Huang, 2013). La satisfaction perçue par les étudiants aurait donc pu contribuer aux résultats positifs précédemment évoqués concernant le sentiment de compétence et les performances.

Si la majorité des étudiants estiment posséder les aptitudes nécessaires pour passer les tests dans le cadre d’un service de consultation (73 %), les autres ne se considéraient pas encore comme étant totalement prêts à relever ce défi. Ce résultat pourrait ne pas être lié directement à un problème d’utilisation technique des tests psychologiques, mais davantage à un manque de confiance ou de légitimité pour s’imaginer être engagé dans une pratique clinique. C’est pourquoi ces étudiants devraient pouvoir effectuer leurs premières expériences avec des enfants dans un lieu bien encadré, où la possibilité d’être supervisé en direct permet de sécuriser le psychologue en formation.

Limites

Limites de la plateforme

Cette recherche a permis une réflexion sur les limites du Compendium interactif dans sa forme actuelle et les pistes envisageables pour l’améliorer et le rendre encore plus performant dans son but formatif. Les résultats plus faibles en matière de perception de la compétence concernaient la prise en compte des limites du test et l’interprétation des résultats. Cet aspect est, en effet, moins abordé par les contenus du Compendium interactif par rapport à d’autres opérations faisant partie de la pratique du bilan psychologique telles que la cotation du test ou l’utilisation du matériel. Nous pourrions à ce propos envisager l’insertion d’une section consacrée davantage à l’interprétation des résultats dans le cadre d’une mise à jour de la plateforme, même si cet aspect nous semble devoir être travaillé surtout en présentiel lors des séminaires ou dans un dispositif de supervision.

Des interrogations, quant à la pertinence des questions des quiz pour évaluer les performances, peuvent également être soulevées. Il serait intéressant de comparer les résultats à une évaluation externe des compétences, effectuée par exemple à partir d’une observation filmée des étudiants durant des passations de test.

Comme évoqué précédemment, la plateforme Compendium interactif ne présente pas de feedbacks systématiques après la passation des quiz et ceci pourrait notamment affaiblir les corrélations entre sentiment de compétence et performance. Actuellement, une mise à jour de la plateforme est en cours dans l’objectif d’introduire des rétroactions plus complètes et appropriées aux étudiants, et d’ainsi permettre un monitorage plus efficace de la performance.

Limites de l’étude et perspectives futures

Une future recherche dans ce domaine pourrait donner des résultats encore plus solides sur l’impact de la formation en disposant d’un groupe contrôle qui remplirait les quiz en l’absence d’un des deux types d’apprentissage proposés (apprentissage vicariant et expérientiel) pour isoler l’impact spécifique à chacun. De plus, l’échantillon choisi n’est pas homogène au départ. En effet, les étudiants entrant en master ont un bagage de connaissances très hétérogène. Ceci pourrait agir comme une variable parasite influençant la mesure du sentiment de compétence et les résultats aux quiz. Un effet similaire serait observable pour les étudiants impliqués activement dans une pratique clinique parallèle aux études, notamment dans notre service de formation aux consultations psychologiques. En effet, il est difficile de discerner les apprentissages que ces étudiants ont acquis avec la pratique sur le terrain de ceux acquis grâce à la plateforme. Cependant, la plupart des étudiants ont effectué la formation avant d’utiliser les tests en présence d’un enfant, ceci leur permettant de se sentir mieux préparés.

Conclusion

Les résultats obtenus par cette recherche ont montré un effet globalement positif de l’intégration des TIC dans le cadre de la formation des étudiants en psychologie. Le recours à ces technologies pour former de futurs psychologues cliniciens pourrait a priori laisser sceptique. Nous avons toutefois été surpris par l’utilité et la satisfaction de ce dispositif pour les étudiants. La formation hybride nous semble donc un outil important à considérer dans les pratiques des enseignants en psychologie à l’université. Elle permet de proposer à l’étudiant un travail indépendant de qualité sur les aspects plus techniques de l’examen psychologique et de garder ainsi suffisamment de temps pour travailler, en présentiel, les aspects plus cliniques tels que les savoir-être, la formulation de cas ou encore la réflexivité. La poursuite de la recherche dans le domaine des technologies de l’information et de la communication pour l’enseignement de la psychologie permettra d’explorer plus finement les mécanismes de ce type de dispositif formatif et d’ainsi trouver leur « juste » place dans l’apprentissage du métier complexe mais passionnant de psychologue.