Corps de l’article
Sous la direction de Valéry Ridde et Christian Dagenais, Approches et pratiques en évaluation de programme réunit des textes à visée pédagogique afin d’appuyer les formations en évaluation de programme. Divisé en deux parties, le volume campe les principaux concepts et approches dans le domaine et présente six cas relevant de la pratique évaluative.
D’emblée, les directeurs de ce collectif distinguent l’évaluation de la démarche scientifique en ce que l’évaluation ne tend pas à produire des connaissances mais plutôt à fournir de l’information pour une prise de décision informée. L’évaluation est vue en parallèle de trois courants formant le processus des programmes : la planification, la mise en oeuvre (l’évaluation), et la pérennisation.
Le premier texte de la section « Concepts et approches », sous la plume de Levin-Rozalis, fait la distinction entre recherche et évaluation de programme, cette dernière se restreignant à des champs d’application précis et une utilisation des résultats pour une activité déterminée dans un espace-temps circonscrit, une logique inductive et une dépendance à l’action sur le terrain. Enchaînant sur la différence entre recherche et évaluation, Bernard Perret ajoute au chapitre 3 que l’évaluation vise également à construire desjugements de pratique, ceux-là mêmes qui permettent de prendre action (ou décision) à propos d’une activité donnée. En ce sens, l’évaluation va au-delà des actions et propose une discussion (une rhétorique selon l’auteur) qui repose sur la description et l’interprétation des faits, bref un travail sur les représentations sociales de la réalité (p. 54) : « Le but de l’évaluation n’est pas de produire des données scientifiques, mais de réduire l’incertitude et de renforcer la cohérence des décisions et des pratiques » (p. 55), par une attention portée aux idées, forcément construites, ainsi qu’aux processus discursifs.
Un peu en décalage avec les autres textes de cette section, le chapitre 4 de Jacob et Rothmayr porte sur les similarités et différences entre l’analyse des politiques publiques et l’évaluation. Introduisant le cycle classique des politiques publiques comme base de discussion, les auteurs lient l’évaluation à toutes les étapes du processus d’action publique plutôt que seulement à la phase finale de mise en oeuvre. À défaut d’être instructif sur les méthodes d’évaluation des politiques, ce chapitre a le mérite de rappeler, à la différence du texte introductif par Ridde et Dagenais, que l’évaluation ne peut être dissociée du développement des politiques publiques.
En effet, la décision de ne pas inclure l’évaluation des politiques publiques (p. 16) semble, à la lecture du volume, relativement réductrice puisque l’évaluation de programme telle que discutée dans l’ouvrage (et notamment dans les études de cas) est intimement liée au processus de production des politiques. D’une part, on passe sous silence la différence entre une politique et un programme, ce qui a pour effet de rendre la démonstration moins convaincante. D’autre part, tout au long de l’ouvrage, sont associées à l’exercice d’évaluation des notions au coeur même de l’évaluation des politiques telles que l’importance des acteurs concernés, l’exercice du pouvoir et les bénéfices de l’évaluation pour la prise de décision. Il demeure en effet à la lecture le sentiment d’une contradiction entre ce qui est présenté en introduction et les différentes contributions des auteurs dans les chapitres suivants.
Reprenant sur les stratégies d’évaluation plus concrète, le chapitre 5 décrit le modèle d’analyse logique, lequel se veut une conceptualisation visuelle d’un programme basé sur son contenu, ses destinataires et ses raisons d’être. Utilisé depuis les années 1980, ce modèle d’analyse permettrait, selon Nancy Porteous, une meilleure compréhension du contexte d’un programme, ce qui sert tant à des fins de planification que d’évaluation. La pertinence d’un tel modèle se reflète surtout dans la préoccupation envers les résultats attendus et l’attention portée aux facteurs qui influencent la réussite ou l’échec de l’activité ciblée, ce qui faciliterait l’évaluation ultérieure du programme.
Le chapitre 6 de Haccoun et McDuff pose les enjeux de causalité dans les évaluations. Débutant par une explication des différences entre évaluation et évaluation causale, les auteurs exposent six devis expérimentaux et quasi expérimentaux qui permettraient de préciser les facteurs causaux contribuant à l’amélioration d’un programme de grande envergure. En contrepartie, Pluye et al., au chapitre 7, élargissent la discussion en présentant, sous forme de revue des écrits, les méthodes mixtes (qualitatives et quantitatives) mises à profit dans les évaluations.
Le chapitre 8 de Patton et LaBossière centre la discussion sur un élément souvent oublié, à savoir que la valeur de l’évaluation réside dans son utilité pour la pratique, du point de vue de l’utilisation attendue des résultats. L’accent mis sur l’utilité met également en relief la nécessité de conduire des évaluations de concert avec les principaux utilisateurs, lesquels doivent concilier les besoins d’évaluation avec des contraintes de temps, d’accès à l’information, de changements structuraux et de priorités divergentes. Ces difficultés inhérentes à la pratique sont d’ailleurs le point de départ du chapitre suivant par Bamberger et Rugh qui s’intéressent aux problèmes méthodologiques associés aux évaluations débutées trop tardivement. Les auteurs mettent l’accent sur l’évaluation en situation réelle, laquelle vise à minimiser les risques de manque de rigueur en se souciant de cerner correctement l’enjeu, de respecter les contraintes budgétaires, temporelles, informationnelles et politiques, d’insister sur la validité des conclusions et de s’assurer de la participation des parties prenantes (p. 163).
Le 10e chapitre porte sur l’utilisation des connaissances produites. Denis et al. y recensent différents écrits s’étant intéressés à la question afin de catégoriser les résultats des évaluations (dans un tableau présenté à la page 183) et d’entamer la discussion sur l’acception de la valeur des connaissances produites par l’évaluation menée par les organisations. C’est d’ailleurs sur la possibilité de renforcer les capacités en évaluation que Rogers et Gervais développent le dernier chapitre de cette section.
Les chapitres 12 à 17 de la deuxième section se concentrent sur des exemples de pratiques évaluatives (principalement dans les secteurs de la jeunesse et de la santé). Variées, ces études de cas sont un ajout important permettant de faire le lien entre la théorie et la pratique.
La valeur de l’ouvrage tient à sa qualité de rassembler plusieurs textes, en français, sur l’évaluation et ses méthodes. La lecture non linéaire que permet ce livre, et qui sera sûrement profitable aux étudiants, est aussi son défaut. Le lecteur, parfois agacé par l’assemblage un peu désorganisé des textes, aurait sans doute préféré un découpage plus thématique et structuré qui l’aurait guidé à travers les concepts, les visées de l’évaluation, les méthodes, les questions de validité et les études de cas.