Anasynthèse, typologies des conceptions des universités et évaluation de leur performance

Résumé

Cet article s’inscrit dans le contexte des débats concernant la mission des universités et l’évaluation de leur performance. Il a pour objectif d’illustrer le recours au processus d’anasynthèse comme moyen de valider une typologie des conceptions des universités élaborée en vue d’évaluer leur performance. L’anasynthèse, terme formé des mots analyse et synthèse désignant le processus général de développement de modèles suggéré par Silvern en 1972, s’articule autour des étapes suivantes : l’analyse d’une situation de départ, l’élaboration d’une synthèse à partir de cette analyse, la formulation d’un prototype de modèle, la simulation ou validation de ce prototype en vue finalement de la formulation d’un modèle optimal. L’originalité de cette recherche et son apport à l’avancement des connaissances résident notamment dans le fait d’adapter l’anasynthèse à une validation rigoureuse et systématique d’un référentiel d’évaluation de l’enseignement supérieur. Tout en étant susceptible d’aider à la prise de décision en gestion, la typologie originale qui s’en est dégagée pourra servir de fondements à des recherches subséquentes propres à l’élaboration d’un modèle complet d’évaluation de la performance des universités.

Mots-clés :

• Enseignement supérieur,
• université,
• typologie des conceptions des universités,
• évaluation de la performance,
• validation d’une typologie,
• anasynthèse

Abstract

This article is in the context of debates about the mission of universities and assessment of their performance. Its main purpose is to illustrate the use of the anasynthesis process as a means of validation of a typology of conceptions of universities developed to assess their performance. Anasynthesis, term coined from the words analysis and synthesis designating the general process of elaboration of models suggested by Silvern in 1972, is based on the following steps: the analysis of a baseline, the development of a synthesis from this analysis, the formulation of a prototype model, the simulation or validation of this prototype to finally reach the formulation of an optimal model. The originality of this research and its contribution to the advancement of knowledge reside particularly in the adaptation of anasynthesis to a rigorous and systematic assessment list for evaluating higher education. While susceptible to serve as an aid to decision-making in management, the original typology generated can serve as a basis for further research specific to the development of a comprehensive evaluation model regarding performance of universities.

Keywords:

• Higher education,
• university,
• typology of conceptions of universities,
• evaluation of performance,
• validation of a typology,
• anasynthesis

Resumo

Este artigo inscreve-se no contexto dos debates relativos à missão das universidades e à avaliação do seu desempenho. Tem por objetivo ilustrar o recurso ao processo de anassíntese como meio de validar uma tipologia de conceções de universidades elaborada para avaliar o seu desempenho. A anassíntese, termo formado pelas palavras análise e síntese que designa o processo geral de desenvolvimento de modelos sugerido por Silvern em 1972, articula-se em torno das seguintes etapas: a análise de uma situação de partida, a elaboração de uma síntese a partir desta análise, a formulação de um protótipo de modelo, a simulação ou validação deste protótipo e, finalmente, a formulação de um modelo ideal. A originalidade desta investigação e o contributo para o avanço do conhecimento residem, nomeadamente, no facto de adaptar a anassíntese a uma validação rigorosa e sistemática de um referencial de avaliação do ensino superior. Sendo suscetível de ajudar à tomada de decisão em gestão, a tipologia original que se desenvolveu poderá servir, ainda, de fundamento às investigações subsequentes adequadas à elaboração de um modelo completo de avaliação do desempenho das universidades.

Palavras chaves:

• Ensino superior,
• universidade,
• tipologia de conceções de universidades,
• avaliação do desempenho,
• validação de uma tipologia,
• anassíntese

Introduction

La performance des universités est un sujet complexe et d’actualité. Elle se situe au centre des débats de l’heure au Québec, mais aussi ailleurs. Cette complexité résulte, d’une part, de la nature systémique des établissements universitaires et, d’autre part, de l’absence d’un consensus sur une définition précise de leur performance : l’évaluation de la performance de ces institutions s’avère ainsi difficile à réaliser. De fait, les universités poursuivent une multitude d’objectifs souvent complémentaires, mais parfois antagonistes, liés à leur triple mission (enseignement, recherche et services aux collectivités) faisant l’objet d’influences diverses en provenance de leur environnement, de l’État, du marché, de la société civile, des agents régionaux, nationaux et internationaux, sans compter celles de leurs propres acteurs internes.

Dans un tel contexte, quel référentiel d’évaluation de la performance invoquer pour tenir compte de cette complexité ? Existe-t-il des référentiels éprouvés ? Sinon, comment en élaborer un qui soit satisfaisant à cet égard ? Recourir à une typologie pouvant servir de fondements à l’élaboration d’un modèle d’évaluation de la performance des universités s’avère une avenue à considérer pour résoudre ce problème, typologie fondée sur l’utilisation de l’anasynthèse comme processus de validation.

Cet article a donc comme objectif d’illustrer comment l’anasynthèse a contribué à valider une typologie[1] des conceptions des universités en vue d’évaluer leur performance. Nonobstant la présentation classique des recherches scientifiques, cet article est structuré en fonction des étapes d’une validation mettant à profit l’anasynthèse. La première partie présente le processus de l’anasynthèse. Dans la deuxième partie sont traitées les étapes de l’anasynthèse (situation de départ, analyse, synthèse, prototype, simulation, modèle), dont chacune est associée étroitement aux étapes de la démarche scientifique. Dans la troisième partie, les résultats de la validation de la typologie (à l’étape de la simulation) sont présentés et, enfin, dans la quatrième partie, les résultats sont discutés et des pistes de recherche sont proposées.

L’anasynthèse

L’anasynthèse est définie comme étant : « un cadre général qui permet de baliser l’analyse et la synthèse d’une pluralité de données conceptuelles ou empiriques pour la conceptualisation de modèles théoriques » (Sauvé, 1992, p. 19). Elle s’avère une approche systémique dont la capacité de prendre en compte la complexité est reconnue et documentée. Il s’agit d’un « processus cyclique et cybernétique qui implique l’analyse d’une situation de départ, l’élaboration d’une synthèse à partir de cette analyse, la formulation d’un prototype de modèle, la simulation ou validation de ce prototype en vue finalement de la formulation d’un modèle optimal » (Chavez, 2005 ; Legendre, 2005 ; Sauvé, 1992). L’anasynthèse constitue une approche globale utilisée dans la résolution des problèmes issus des arrimages théoriques de l’interdisciplinarité. Selon Landry (2006, p. 78), « l’anasynthèse peut être considérée comme une démarche méthodologique générale, dynamique et rétroactive, constituée de boucles récurrentes d’induction et de déduction au service de la modélisation conceptuelle. » Elle s’applique à chacune des étapes et des sous-étapes du processus de recherche (Legendre, 2005).

Le processus de l’anasynthèse s’inscrit dans le cadre des recherches spéculatives que Van der Maren (1990, p. 23) définit comme « un exercice de l’esprit … produisant des énoncés théoriques à partir d’autres énoncés théoriques. … Elle s’appuie sur l’analyse et la synthèse de données, de principes, de modèles, de théories issues d’autres recherches pour conceptualiser un modèle théorique particulier. »

Au cours des dernières décennies, plusieurs thèses de doctorat soutenues dans des universités québécoises ont repris et appliqué le processus d’anasynthèse en vue d’élaborer des modèles théoriques en éducation (Benoît, 2000 ; Chalghoumi, 2011 ; Charland, 2008 ; Chavez, 2005 ; Durand, 1996 ; Guay, 2004 ; Lacelle, 2009 ; Rocque, 1994 ; Rousseau, 2007 ; Sauvé, 1992 ; Sokoty, 2011 ; Villemagne, 2005).

Selon Sauvé (1992, p. 24), « l’anasynthèse est aussi une application particulière de la méthode scientifique. » Elle précise que ce qui distingue l’anasynthèse des autres applications de la démarche scientifique, c’est le mode d’élaboration d’un prémodèle qui découle d’un processus méthodique et explicite, à la fois d’analyse et de synthèse ; ce processus n’est pas posé à priori, mais au terme d’un processus itératif oscillant entre l’analyse et la synthèse. Ce processus permet l’élaboration de modèles théoriques ou de référentiels qui répondent à des impératifs d’évaluation d’objets complexes et d’intégration interdisciplinaire ou pluridisciplinaire, raisons précisément pour lesquelles le processus d’anasynthèse a été retenu dans cette recherche.

Les étapes du processus de l’anasynthèse sont (Legendre, 2005, p. 75) :

1. Analyse d’une situation de départ

   Identification et collecte de données pertinentes (composantes et relations) au sein d’un ensemble soumis à l’étude.

2. Élaboration d’une synthèse à partir de cette analyse

   Structuration des composantes et des relations, et identification des carences, des contradictions et des incohérences possibles à remédier par un retour à l’analyse.

3. Formulation d’un prototype de modèle

   Élaboration de la meilleure synthèse possible à la suite de la saturation des données et vérification interne de sa validité par le ou les responsables du processus ; apport possible de modifications et retour sur les opérations précédentes.

4. Simulation ou validation de ce prototype en vue de la formation d’un modèle optimal

   Vérification du prototype, enrichi et modifié jusqu’à saturation à l’interne, par des personnes compétentes et extérieures au processus de modélisation ; évaluation de validité, suggestions possibles d’amélioration et possibilité de retours.

Ces étapes sont illustrées à la figure 1, qui présente la séquence des étapes et leur logique de même que le caractère itératif et cyclique de la démarche.

Figure 1

Processus d’anasynthèse, adaptation de Silvern (1972) par Legendre (2005)

L’anasynthèse appliquée à la validation de la typologie

Les prochaines sections décrivent comment l’anasynthèse a été utilisée pour procéder à la validation d’une typologie des conceptions des universités en vue d’évaluer leur performance[2]. La figure 2 illustre les six étapes de ce processus de validation.

Figure 2

Structure de la recherche selon le processus d’anasynthèse

Étape 1 : La situation de départ

Dans la recherche dont découle cet article, l’identification de la situation de départ correspond à la description du contexte, à l’établissement de la problématique ainsi qu’à la formulation des questions et des objectifs de recherche. Une recension des écrits permet de relever les différents problèmes relatifs à l’évaluation de la performance des universités et de constater l’absence d’un référentiel satisfaisant pouvant tenir compte de leur complexité.

Les systèmes d’indicateurs mis en place actuellement, souvent sous l’impulsion d’organismes de tutelle ou d’éditeurs de palmarès, ne respectent pas la diversité et la complexité des missions, des objectifs et des différentes conceptions des universités (Lang, 2005 ; Tavenas, 2004), alors que les établissements d’enseignement supérieur conjuguent au pluriel les incarnations de leurs missions. Ils constituent à la fois des lieux de formation initiale et de formation continue, de culture générale et de formation professionnelle, ainsi que de recherche fondamentale et de recherche appliquée. Ces établissements contribuent au développement de leur communauté sur plusieurs plans (économique, social et culturel) et à des échelles diverses (ville, région, pays). Les universités sont ainsi appelées à poursuivre des objectifs en apparence opposés : par exemple, l’accessibilité du plus grand nombre opposée à la recherche de l’excellence ; la conservation de la tradition en opposition à la recherche de l’innovation.

Les systèmes d’indicateurs ont pour objectif général d’évaluer la santé et l’efficacité du système d’enseignement et d’aider les responsables à prendre des décisions plus judicieuses. Comme un indicateur à lui seul n’apporte qu’une information limitée, il est important de construire un système d’indicateurs donnant une représentation la plus exacte possible de l’organisation (Tavenas, 2004). Ce système d’indicateurs devrait renseigner sur la façon dont les différentes composantes d’un système fonctionnent en synergie pour produire un effet global. Pour donner cette vision d’ensemble, les indicateurs doivent être liés et être issus d’un modèle décrivant le fonctionnement global du système organisationnel (Vial, 2001).

L’absence de consensus sur la façon de concevoir l’université et ses objectifs rend difficile l’élaboration d’un modèle d’évaluation. Pour Hadji (2000) et Barbier (1985), il faut, avant de choisir un outil d’évaluation, décrire les principaux jeux de pouvoir et les règles qui découlent de leur essence. Pour ces auteurs, il est nécessaire de toujours préciser l’intention dominante et de savoir dans quel cadre se situe l’évaluation. Il s’agit d’une règle fondamentale de tout projet d’évaluation.

Selon Barbier (1985, p. 73), préalablement à tout acte d’évaluer, « [u]ne des premières tâches à provoquer par une procédure d’évaluation contrôlée va donc souvent consister dans un travail d’identification, d’élucidation, de reconnaissance ou d’établissement des objectifs préalables ou des intentions générales à l’évaluation. » Ainsi, Barbier (1985, p. 36) est d’avis qu’« une des premières caractéristiques du référent est de refléter les systèmes d’objectifs présidant au fonctionnement des institutions sociales en général et des institutions de formation en particulier. Selon les cadres idéologico-théoriques de référence, ces systèmes d’objectifs sont appréhendés par exemple en termes de système de valeurs, d’arbitraire social ou d’idéologies dominantes. »

La question qui se pose est comment construire ce référentiel qui élucide ces jeux de pouvoir ou les différents points de vue sur la définition et l’utilisation de l’objet à évaluer, soit, dans le cas présent, l’université ?

Considérant l’absence de consensus sur la définition de la performance organisationnelle, plusieurs chercheurs ont tenté, d’une part, de catégoriser les différentes approches et conceptions de l’organisation et, d’autre part, de développer des modèles d’évaluation en fonction de typologies (Hirsh & Levin, 1999). Les contributions les plus notables à cet effet sont celles de Scott (1977), de Cameron (1986), de Quinn et Rohrbaugh (1983) et de Morin, Savoie et Beaudin (1994).

Nous avons choisi d’appuyer notre référentiel sur les conceptions des universités. Quelles sont les différentes conceptions des universités ? Comment chacune de ces conceptions considère-t-elle la gouvernance, les missions fondamentales que sont l’enseignement et la recherche[3] ? Quels sont les valeurs, les stratégies, les moyens d’évaluation et les indicateurs privilégiés par chacune de ces conceptions ?

Étape 2 : L’analyse

L’étape de l’analyse permet de révéler les composantes, les caractéristiques, les forces et les faiblesses des modèles existants d’évaluation appliqués à l’enseignement supérieur. L’analyse s’est effectuée en deux temps : une recension des écrits concernant la définition de l’université et les caractéristiques de ses différentes composantes, puis l’analyse des forces et des faiblesses des modèles de mesure de performance proposés en éducation et en gestion.

L’analyse de ces modèles fait ressortir la prédominance de l’évaluation-gestion (pensée rationnelle, conformité aux normes ou aux objectifs, reddition de compte, contrat de performance, gestion par résultats, évaluation par les organismes de tutelle). Peu d’universités utilisent des modèles de problématisation ou de questionnement au sens où l’entend Vial (2001).

La plupart des systèmes d’indicateurs de performance étudiés en éducation ont recours à l’approche systémique (Cave, Hanney, & Kogan, 1991; Parenteau, 1991). Si cette approche apporte un certain ordre par rapport à la complexité, elle relève davantage d’un schéma classificatoire, difficilement utilisable parce que, d’une part, les indicateurs sont trop nombreux pour en permettre un départage et, d’autre part, ils s’avèrent purement instrumentaux, n’étant pas liés à une intention ou à une finalité particulière.

Les approches de la qualité totale et des tableaux de bord de gestion (pensée stratégique) ont été surtout exploitées aux États-Unis. Le modèle de la qualité totale s’est taillé une place certaine en éducation dans les années 1980 (Barnabé, 1995, 1997 ; Leclerc, 1995), surtout dans l’amélioration des services (Kanji, Malek, & Tambi, 1999; Narasimhan, 1997). Cette approche est critiquée pour son manque de centration sur les fonctions d’apprentissage et d’enseignement (Harvey, 1995; Birnbaum & Deshotels, 1999; Vazzana et al., 2000). Elle a été de plus en plus délaissée au profit d’approches plus traditionnelles de promotion de l’excellence (Kanji, Malek, & Tambi, 1999).

Le tableau de bord prospectif (balanced scorecard) de Kaplan et Norton (2001) constitue un exemple de modèle importé du monde des entreprises qui suscite une certaine adhésion en enseignement supérieur. Le tableau de bord prospectif a été adopté par des établissements valorisant le positionnement stratégique, le recrutement de la clientèle, la satisfaction et la rétention des étudiants. Certains auteurs voient dans ce modèle une avenue prometteuse pour évaluer la performance quoique, selon Cullen et al. (2003), il faudrait l’expérimenter davantage avant de conclure à son applicabilité dans le domaine de l’enseignement supérieur. D’autres auteurs soulignent les désavantages de soumettre les processus d’enseignement et de recherche aux impératifs financiers et à la poursuite de la satisfaction des étudiants (Barret, 1996; Harvey, 1995).

Il ressort de l’étape d’analyse que les modèles étudiés tant en éducation qu’en gestion s’avèrent insuffisants pour répondre pleinement au caractère complexe des universités. Lors de la prochaine étape de la recherche, un prototype de la typologie servant de référentiel à l’évaluation de la performance des universités sera élaboré.

Étape 3 : La synthèse

La synthèse permet au chercheur de définir et de regrouper de façon cohérente les différents concepts nécessaires à la construction d’un prototype. Dans le cas présent, il s’agit d’une typologie préliminaire. Cette étape suppose une démarche créatrice de la part du chercheur (Sauvé, 1992).

Pour répondre au problème de la complexité, une des solutions préconisées consiste à élaborer des modèles typologiques. En nous basant sur les écrits scientifiques concernant les typologies développées par Bertrand et Busugutsala (1995), par Morgan (1999) et par Boltanski et Thévenot (1991), nous avons identifié sept conceptions de l’université (service public, académique, marché, entrepreneuriale, apprenante, politique et milieu de vie) décrites en fonction de sept dimensions : les valeurs et les principes ; le système de gouvernance ; les stratégies ; l’enseignement ; la recherche ; l’évaluation de la performance ; et les critères d’évaluation.

Étape 4 : Le prototype et la méthodologie de validation

À l’étape du prototype et de la méthodologie de validation, une étude pilote a été menée par le biais d’entrevues semi-dirigées auprès de trois experts possédant une expertise professionnelle et scientifique dans le domaine de l’administration publique ou de la gouvernance des universités. Ils ont livré un jugement critique en fonction de critères de validité d’une typologie proposés par Sauvé (1992) et reconnus par le Dictionnaire de l’éducation (Legendre, 2005) : la clarté, la consistance logique, l’exhaustivité, l’économie, l’acceptabilité par les usagers et l’utilité. Les observations des experts ont été soumises à un comité de validation formé des chercheurs responsables de l’étude. Ce comité avait pour tâches d’arbitrer les différends et de décider des modifications à apporter à la typologie préliminaire. L’étude pilote a permis d’élaborer un prototype de la typologie des conceptions des universités et de tester la démarche de validation.

Étape 5 : La simulation

Lors de la simulation, le prototype a été présenté à 11 experts dans le cadre d’entrevues semi-dirigées. Les experts, choisis en fonction de leur expertise professionnelle et scientifique dans le domaine de l’administration publique ou de la gouvernance des universités, ont été sélectionnés selon une procédure d’échantillonnage combinée : échantillon boule de neige et échantillon par choix raisonné (Dépelteau, 2000). Le recours à des experts augmente la crédibilité de la recherche. Comme à l’étape précédente, les experts ont livré un jugement critique sur la typologie.

Une analyse de contenu (analyse par entretien et analyse thématique) en fonction des critères de validation retenus a été réalisée à l’aide du logiciel d’analyse qualitative QDA Miner. La grille d’analyse utilisée à cet effet se retrouve en annexe. Contrairement à d’autres méthodes de recherche (par ex. Delphi), nous n’avons pas cherché à faire émerger le consensus auprès des experts rencontrés. Les jugements portés ont été soumis au comité de validation qui, à la lumière de la recension des écrits et des argumentaires exprimés, arbitrait les différends et apportait les dernières modifications à la typologie considérée comme optimale à la fin de cette étape. Le processus de validation a donc eu recours à trois types de triangulation :

• une triangulation théorique, c’est-à-dire le recours à des théories alternatives ou concurrentes ;

• une triangulation des observateurs (experts théoriciens, comité de validation) ;

• une triangulation méthodologique (recension des écrits, entretiens semi-structurés, analyse de contenu, utilisation d’un logiciel d’analyse, comité de validation).

Étape 6 : La typologie optimale

La recherche a conduit à une typologie optimale (le modèle) comportant sept conceptions : service public, marché, académique, apprenante, politique, entrepreneuriale et milieu de vie. Ces conceptions sont définies en fonction de sept dimensions (valeurs et principes ; système de gouvernance ; stratégies ; recherche ; enseignement ; évaluation et critères de performance). Chaque conception repose sur des valeurs et des principes, lesquels permettent de la définir et de désigner les axes fondamentaux autour desquels s’établit son échelle de priorités. Le choix de relier les dimensions de la gouvernance, des stratégies et de l’évaluation de la performance permet de rattacher les critères de performance à des intentions de gouvernance. La mission fondamentale des universités, c’est-à-dire leur socle commun, est traversée par les différentes conceptions, tout en laissant place à une interprétation nuancée qui suit les conceptions dominantes et partagées. Il est à noter que les conceptions proposées se distinguent des types « idéaux », au sens de types « purs », dont les caractéristiques seraient mutuellement exclusives. Il convient également de préciser qu’il ne s’agit pas de types d’université, mais bien de types de conception des universités ; une même université peut ainsi s’inscrire dans plus d’un type de conception. L’article de Larouche et al. (2012) fournit une description plus précise de la typologie. Le tableau 1 présente la typologie optimale résultant du processus de validation adapté de l’anasynthèse.

Tableau 1

Typologie optimale

Source: Larouche, C., Savard, D., Héon, L., & Moisset, J.-J. (2012). Typologie des conceptions des universités en vue d’évaluer la performance: rendre compte de la diversité pour en saisir la complexité. Revue canadienne d’enseignement supérieur, 42(3) p. 45-64

Résultats de la validation de la typologie

Dans cette section, nous présentons les résultats relatifs à la validation de la typologie (étape de la simulation) en fonction des critères retenus.

La clarté

Le critère de clarté est défini comme suit : « Les types doivent être définis avec précision de façon à pouvoir être repérés sans équivoque par tous les usagers » (Sauvé, 1992).

Deux éléments ont permis de déterminer le degré de clarté : l’appréciation formelle des experts sur le prototype présenté et l’analyse de leur discours. Le degré de clarté de chacun des types est illustré au tableau 2.

Tableau 2

Jugement des experts sur la clarté du prototype

Échelle :

4	Clair : aucune modification proposée
3	Assez clair : modifications mineures proposées
2	Peu clair : modifications substantielles proposées
1	Pas clair : propose une autre définition

Dans l’ensemble, le prototype a été jugé assez clair par les experts (moyenne de 2,90). Les conceptions relations humaines, entrepreneuriale, politique et marché, dont les moyennes oscillent entre 2,9 et 3,27, peuvent être classées comme étant assez claires avec peu de modifications proposées. Paradoxalement, il s’agit de conceptions dont l’existence même a été la plus contestée par certains experts.

Un deuxième groupe de conceptions (apprenante et service public), dont les moyennes se situent entre 2,64 et 2,81, sont aussi classées comme assez claires, mais elles ont fait l’objet de légèrement plus de modifications que le groupe précédent. Avec une moyenne à l’indice de 2,45, la conception académique se rapproche de la catégorie « peu clair ». Il est intéressant de souligner qu’il s’agit de la conception la moins contestée et qu’elle est celle qui a été la plus modifiée. Il est ainsi peut-être plus facile d’identifier ce que n’est pas la conception académique que d’en fournir une description précise. Une autre hypothèse voudrait que les experts aient participé plus volontiers à l’amélioration des définitions des conceptions qui se rapprochent le plus de leur conception personnelle.

Le tableau 2 indique les conceptions auxquelles adhèrent les experts. Selon la fréquence d’identification, plus d’un choix était possible.

Tableau 3

Conceptions des universités propres aux experts

Six experts sur 11 se sont identifiés à la conception académique. Expert 5, qui s’est identifié à la conception service public, est celui qui a proposé le plus de modifications à cette conception. Expert 6 et Expert 7, qui ont adopté respectivement la conception apprenante et la conception entrepreneuriale, furent aussi ceux qui ont le plus contribué à la spécification de ces conceptions.

Après avoir arbitré les suggestions de modification de la typologie par les experts, le comité de validation a porté un jugement définitif sur la clarté de la typologie. Le tableau 4 présente l’appréciation des membres du comité de validation sur la clarté de la typologie.

Tableau 4

Jugement du comité de validation sur la clarté de la typologie optimale

Échelle :

4	Tout à fait clair
3	Assez clair
2	Peu clair
1	Pas du tout clair

Le comité de validation a jugé qu’après l’intégration arbitrée des modifications proposées par les experts, les conceptions proposées sont, dans l’ensemble, définies de façon assez claire (moyenne de 3,53).

La consistance logique

La définition du critère de consistance logique s’énonce ainsi : « Les types doivent être de même nature, c’est-à-dire définis à partir des mêmes critères ; les types doivent être clairement différenciés ; lorsqu’il y a un principe d’organisation des types, celui-ci doit être clairement explicité et respecté dans la construction de tous les types » (Sauvé, 1992).

Deux éléments ont permis d’apprécier ce critère. Le premier concerne l’association de réalités signifiantes à chacun des types de conception et la désignation des types les plus représentatifs de la réalité québécoise. Le second porte sur l’appréciation des experts quant à la structure générale de la typologie. Ces données se retrouvent au tableau 5.

Tableau 5

Existence de réalités signifiantes et types les plus représentatifs selon la perception des experts

Légende

U Oui	Universités
D Oui	Disciplines
A Oui	Acteurs
I Oui	Instances
P Oui	Pratiques
Absence	Absence de mention par l’expert

Types les plus représentatifs de la réalité québécoise

Les réalités signifiantes

Tous les experts ont mentionné des réalités signifiantes pour illustrer la conception service public, à l’exception d’Expert 1. Sur les 11 experts, neuf ont identifié des réalités signifiantes comme exemples des conceptions académique et marché. Huit experts ont fait mention de réalités signifiantes de la conception entrepreneuriale. Cinq experts ont relaté des réalités signifiantes décrivant les conceptions politique et relations humaines. Enfin, quatre experts ont indiqué des réalités signifiantes illustrant la conception apprenante.

Les types les plus représentatifs

Selon les experts, les types les plus représentatifs de la réalité québécoise sont :

• la conception académique (sept experts ont identifié des réalités) ;

• la conception service public (six experts) ;

• les conceptions marché et entrepreneuriale (trois experts) ;

• la conception politique (trois experts) ;

• la conception apprenante (un expert) ;

• la conception milieu de vie (aucune mention).

Toutes les conceptions ont été illustrées par un minimum de quatre mentions sur le plan des réalités signifiantes. Six experts citent des réalités signifiantes qui différencient les conceptions marché et entrepreneuriale. Deux experts ont donné des exemples qui permettent de distinguer les conceptions apprenante et relations humaines. À l’exception de la conception relations humaines, toutes les conceptions ont été mentionnées au moins une fois comme conceptions les plus représentatives de la réalité québécoise. Ajouté au critère de la clarté, ce critère permet d’affirmer que la typologie est constituée d’éléments distincts.

Les éléments distincts et la structure de la typologie

Le tableau 6 résume le jugement des experts sur la structure de la typologie.

Les résultats démontrent un accord unanime concernant l’existence des conceptions service public et académique. Neuf experts sont d’accord avec la distinction entre les conceptions marché et entrepreneuriale. Sept experts reconnaissent l’existence de la conception politique, six expriment leur accord avec la conception apprenante et cinq avec la conception relations humaines.

Ajoutés aux critères de clarté et de réalités signifiantes, ces résultats permettent d’affirmer que la typologie est constituée d’éléments distincts et qu’elle peut être considérée comme logiquement consistante. Les choix effectués par le comité de validation de ne pas fusionner les conceptions marché avec entrepreneuriale, ou relations humaines avec apprenante, et de ne pas retirer de conceptions sont justifiés par les fondements théoriques relevés à la recension des écrits, par l’existence de réalités signifiantes associées à chacune des conceptions et par le fait que les experts se sont identifiés à chacune des conceptions, à l’exception de la conception marché.

Tableau 6

Jugement des experts sur la structure générale

L’exhaustivité

Le critère d’exhaustivité est défini de la façon suivante : « L’ensemble des types doit couvrir le plus d’éléments possible de la population concernée ; les critères de classification d’une typologie (ou dimensions) doivent tenir compte de tous les aspects descriptifs pertinents de la réalité concernée » (Sauvé, 1992).

Le tableau 7 présente le jugement des experts sur le critère d’exhaustivité.

Tableau 7

Jugement des experts sur le critère d’exhaustivité

Huit experts considèrent que la typologie est exhaustive, un expert ne peut se prononcer et deux experts proposent l’ajout d’une conception gestionnaire. Le comité de validation a jugé cette proposition assez intéressante pour que la pertinence de l’ajouter à la typologie fasse l’objet de vérification dans des recherches ultérieures.

L’économie

Le critère d’économie[4] correspond à la définition suivante : « Une typologie ne doit contenir que le nombre nécessaire de catégories signifiantes pour classer le plus d’éléments possible » (Sauvé, 1992).

Le tableau 8 décrit le jugement des experts sur le critère d’économie.

Tableau 8

Jugement des experts sur le critère d’économie

Sur la base des fondements théoriques relevés et des argumentaires apportés, le comité de validation a décidé de conserver les éléments suivants :

• la distinction entre la conception entrepreneuriale (goût de l’innovation et du risque) et marché (équilibre de l’offre et de la demande), malgré la proposition de fusionner ces deux conceptions par les experts 1 et 8 ;

• la conception politique, malgré le désaccord des experts 1, 6, 8 et 10 ;

• la conception apprenante, malgré le désaccord des experts 7, 8, 10 et 11 ;

• la conception relations humaines, malgré le désaccord des experts 1, 3, 6, 7, 8 et 10, tout en changeant toutefois son nom pour milieu de vie au lieu de relations humaines.

L’acceptabilité par les usagers

La définition du critère d’acceptabilité par les usagers se lit comme suit : « La probabilité que la typologie soit bien reçue par les usagers selon l’avis découlant du processus de validation par des pairs et des experts » (Sauvé, 1992).

Le tableau 9 illustre le jugement des experts sur le critère d’acceptabilité par les usagers.

Tableau 9

Jugement des experts sur le critère d’acceptabilité par les usagers

Trois experts jugent l’acceptabilité élevée, deux experts la jugent moyenne et un expert la juge très basse. Selon les Experts 1, 3, 4, 5 et 7, l’acceptabilité de la typologie par les usagers dépendra des destinataires ainsi que du contexte de sa présentation et de son utilisation.

L’utilité

La définition du critère d’utilité se lit comme suit : « Une typologie doit comporter des catégories signifiantes. Il s’agit d’un outil d’analyse qui permet entre autres le diagnostic et la prescription ; elle doit être utile à cet effet » (Sauvé, 1992).

Les experts se sont prononcés sur le critère d’utilité en précisant les personnes les plus susceptibles d’utiliser le prototype et en spécifiant différents contextes d’utilisation. Ces données se retrouvent au tableau 10.

Tableau 10

Jugement des experts sur l’utilité du prototype

Selon les experts, les personnes les plus susceptibles d’utiliser cette typologie sont :

• les chercheurs en gestion ;

• les universités et leur conseil d’administration ;

• le gouvernement ;

• les gestionnaires universitaires ;

• les professeurs et les étudiants universitaires.

Un outil de réflexion

Neuf experts ont mentionné que la typologie constitue surtout un outil de réflexion qui permet une meilleure appréhension du réel. Elle peut favoriser la prise de conscience de sa propre identité: reconnaître qui l’on est et identifier ce que l’on veut devenir. Par ailleurs, la typologie peut s’avérer utile pour éclairer le débat public en clarifiant les enjeux et pour légitimer la diversité des conceptions.

La planification stratégique

Trois experts voient dans la typologie un outil utile pour le processus de planification stratégique.

L’évaluation de la performance

Quatre experts sont d’avis qu’elle peut devenir un outil de développement dans une optique d’évaluation institutionnelle et servir à évaluer le degré d’atteinte des objectifs de la conception dominante, tout en considérant les autres conceptions présentes dans un établissement.

La gestion des conflits et la formation des cadres universitaires

Un expert juge que l’utilité de la typologie pourrait résider dans l’identification des enjeux dans un processus de résolution de conflits et dans le perfectionnement des cadres universitaires.

Discussion et pistes de recherche

Il est utile de rappeler ici que l’objectif de cet article est « d’illustrer comment l’anasynthèse a contribué à valider une typologie des conceptions des universités en vue d’évaluer leur performance ». Certaines limites ont déjà été mises en relief plus haut à cet égard (voir la section Introduction et pages suivantes).

À la lumière de la validation réalisée selon le processus d’anasynthèse et en faisant intervenir les critères de validation d’une typologie des résultats présentés, nous avons démontré que :

• la typologie est jugée assez claire par les experts et par le comité de validation ;

• les conceptions sont suffisamment distinctes et porteuses de réalités signifiantes ;

• la typologie a été jugée exhaustive par la majorité des experts, quoique deux experts proposent une huitième conception (gestionnaire) ;

• le nombre de conceptions a été jugé suffisant, bien que deux experts proposent de fusionner les conceptions marché et entrepreneuriale ; cinq experts de retirer la conception relations humaines, quatre experts de retirer les conceptions politique et relations humaines ;

• l’acceptation de la typologie par les usagers dépend du contexte de présentation ; et

• la typologie peut être utilisée dans différents contextes : planification stratégique, évaluation institutionnelle, formation des cadres, gestion de conflits, et compréhension des débats et des enjeux.

Le comité de validation a arbitré les modifications proposées par les experts. Il serait trop long ici de discuter chacune des propositions. Nous invitons donc le lecteur à consulter la thèse de Larouche (2011) pour plus de détails à ce sujet. Il y a lieu de souligner toutefois que, pour juger de l’acceptabilité des modifications, le comité de validation s’est référé à l’ensemble des critères de validation proposés par Sauvé (1992) et s’est appuyé sur la recension des écrits. Par exemple, même si même si parmi les experts consultés certains ont proposé la fusion de deux ou trois conceptions, la modification n’a pas été retenue et la majorité d’entre eux les ont jugées distinctes, ont proposé des réalités signifiantes illustrant chacune des conceptions et se sont aussi identifiés à l’une ou l’autre des conceptions.

Le recours à des experts de l’enseignement supérieur n’est pas une pratique courante, mais cette méthode, comme il a été mis en évidence, apporte un éclairage varié sur des enjeux complexes dans un contexte d’interdisciplinarité. Entre autres, l’analyse, la synthèse et le recours aux experts peuvent permettre la construction de cadres d’interprétation du monde au sens de Muller (2009) dans une perspective d’analyse cognitive des politiques publiques. La méthodologie de l’anasynthèse peut s’avérer utile à la TBE (theory-based evaluation; Chen, 1990) en inscrivant les enjeux d’évaluation de programme dans un cadre d’interprétation plus large permettant de situer l’évaluation et d’éclairer les parties prenantes (Brousselle & Champagne, 2011 ; Weiss, 2000). Les programmes d’évaluation sont souvent construits dans un large ancrage sur les perceptions des gens et sur des fondements théoriques bien identifiés.

De plus, il pourrait s’avérer pertinent de revoir les critères de validation d’une typologie proposés par Sauvé (1992) en fonction de leur adaptabilité au domaine de l’enseignement supérieur.

Cette recherche permet de faire un pas de plus dans la prise en compte de la complexité. Si l’approche systémique appréhende le monde en le compartimentant dans un schéma avec des boucles de rétroaction, cette recherche apporte un éclairage nouveau en intégrant dans une synthèse la problématique des différents points de vue disciplinaires ou autres sur un objet particulier.

Il s’agit aussi d’une avancée pour le champ disciplinaire de l’administration de l’éducation par le fait d’intégrer dans un même référentiel des conceptions des disciplines de l’administration et des conceptions de la recherche et de l’enseignement en vue d’évaluer la performance des universités.

Dans un monde où il y a une demande de spécialistes sur des objets de plus en plus pointus, les chercheurs et les praticiens ont aussi besoin de recherches adoptant une approche globale et qui questionnent le sens de leurs actions.

Enfin, Landry et Auger (2003) ont développé un point de vue critique vis-à-vis de l’anasynthèse. Selon eux, « le processus d’anasynthèse, même suivi rigoureusement, demeure tout de même dans une rhétorique liée au chercheur et pas suffisamment objectivée. … Les résultats obtenus pourraient donc être un modèle parmi un ensemble d’autres modèles possibles à partir des mêmes informations. » Pour Villemagne (2006, p. 135), « il faut néanmoins garder à l’esprit les objectifs poursuivis par chaque recherche. Comme D’Ambroise (1996, p. 73) le remarque si bien, les débats épistémologiques contemporains réintroduisent la notion de subjectivité et sont en voie de considérer comme un mythe la prétendue neutralité du processus de recherche comme la connaissance scientifique qui en résulte. » Dans la présente recherche, le recours aux experts et au comité de validation a permis de situer la typologie dans un espace de discussion, de la partager et d’identifier ses forces, mais aussi ses lacunes.

Conclusion

Méthode reconnue pour le développement de la recherche théorique et pour le développement de modèle, l’anasynthèse a permis de structurer l’ensemble des étapes de cette recherche. Cet article avait pour objectif d’illustrer le recours au processus d’anasynthèse comme moyen de valider une typologie des conceptions des universités élaborée en vue d’évaluer leur performance. La typologie optimale de la présente recherche se fonde sur une recension exhaustive des écrits. Un premier jugement sur sa validité a été posé à l’étape de l’étude pilote. Puis, 11 experts ont été rencontrés individuellement dans le cadre d’un entretien semi-structuré d’une durée moyenne de 90 minutes. Les discours des experts ont été analysés à l’aide de matrices d’analyse de cas en mettant à profit un logiciel d’analyse de contenu. Leurs argumentaires ont été étudiés et mis en relation, en vertu de la technique de la rhétorique en fonction de chacune des dimensions de la typologie et des critères de validité de la typologie. Le comité de validation a porté un dernier jugement sur l’ensemble des résultats.

Tout en étant susceptible de servir d’instrument d’aide à la prise de décision en gestion, la typologie optimale qui s’en est dégagée pourra servir de fondements à des recherches subséquentes propres à l’élaboration d’un modèle complet d’évaluation de la performance des universités.

Notes

• [1] La typologie et sa description ont fait l’objet d’un article. Voir: Larouche, C., Savard, D., Héon, L., et Moisset, J.-J. (2012). Typologie des conceptions des universités en vue d’évaluer la performance: rendre compte de la diversité pour en saisir la complexité. Revue canadienne d’enseignement supérieur, 42(3), 45-64. Le lecteur y trouvera l’explicitation des sept types de conception des universités.
• [2] Pour une description complète, voir Larouche, C. (2011). La validation d’une typologie des conceptions des universités en vue d’évaluer leur performance. Thèse de doctorat inédite, Université Laval, Québec.
• [3] Les services aux collectivités n’ont pas été retenus comme une dimension permettant de discriminer les conceptions.
• [4] Il s’agit en fait du critère de parcimonie.