Corps de l’article

Très souvent, les critiques adressées aux approches quantitatives en éducation reposent sur le manque d’intérêt supposé de celles-ci pour le sens et l’accent, quasi exclusif, mis sur la précision instrumentale. Comme le premier[*], ce second volume met bien en évidence qu’il n’en est rien. Ses auteurs abordent ainsi le concept de validité de la mesure en éducation selon une approche pragmatique.

Les sept contributions et l’introduction de cet ouvrage collectif décrivent bien la complexité entourant cette notion. Si, traditionnellement, la validité d’une évaluation se définit comme la capacité, pour un test, à mesurer ce qu’il est censé mesurer, cette notion devient moins évidente lorsqu’il s’agit de situations complexes au sein d’approches par compétences. De plus, la validité est tributaire de l’usage qui peut être fait de l’instrument, de la population à laquelle il est administré et des conditions dans lesquelles s’opère la mesure.

Actuellement, la validité se définit plutôt comme un jugement conjuguant preuves empiriques et argumentation théorique tout au long du processus d’évaluation. Cette définition est illustrée dans la première partie de l’ouvrage par quatre expérimentations effectuées lors de situations complexes d’apprentissage impliquant une approche par compétences. Ces contributions comportent des données empiriques, récoltées dans des cours de sciences et de mathématiques. La première porte sur l’évaluation de processus cognitifs chez les élèves au moyen d’une structure de référence (matrice Q). La deuxième s’intéresse à l’impact de l’utilisation du degré de certitude chez les élèves. La troisième propose l’intégration des évaluations dans les pratiques pédagogiques des enseignants. Enfin, la dernière expérimentation présente une grille d’analyse des évaluations de situations complexes, dans une approche par compétences. Quant à la seconde partie de l’ouvrage, elle présente l’analyse de la validité au travers du jugement et de l’argumentation de modèles de référence existants (analyse de la validité de résultats, de jugements d’experts et d’accord interjuge).

Si la première partie se veut plus pragmatique, se basant sur des données empiriques (enquêtes nationales et internationales, entre autres), la seconde lui est assez complémentaire. Toutes les contributions suggèrent, à la suite des expérimentations ou des réflexions théoriques, un ensemble de pistes d’amélioration aux recherches menées, y compris en formulant de nouvelles hypothèses.

Si certaines expérimentations permettent de réinterroger les hypothèses initialement posées, certains échantillons sont cependant trop restreints pour pouvoir valider les conclusions. Il serait donc intéressant de renouveler ces expériences en tenant compte des difficultés et en modifiant les matrices utilisées. Enfin, on peut regretter le manque de lien entre les articles, ainsi que l’absence de conclusion générale de l’ouvrage.

Ce recueil de contributions à un colloque de l’ACFAS (Association francophone pour le savoir), tenu en mai 2009 à Ottawa, complète donc de façon plus concrète le volume 1, plus théorique. Les recherches exposées en matière de mesure de la validité en évaluation sont récentes et peuvent être mises en lien avec d’autres recherches sur le sujet. Cet ensemble permet d’interroger principalement les experts en évaluation quant aux outils conceptuels et pratiques à développer afin d’assurer la validité des instruments d’évaluation dans le champ très large de l’éducation.