Corps de l’article

Introduction

Cet article s’intéresse à un sujet peu développé dans la littérature scientifique, notamment en langue française, et qui n’est pas non plus très plébiscité par les partenaires non académiques : l’évaluation de la Recherche-Intervention (R-I) telle que réalisée dans la discipline des Sciences de l’éducation. Les enjeux académiques et praxéologiques de cette thématique sont pourtant majeurs et nous nous proposons de commencer à les investiguer. L’objet de l’évaluation, qui concerne ici une démarche de conduite et d’accompagnement du changement dans son entier, est pour le moins complexe ; il oscille effectivement entre la science et l’action, des demandes sociales et une commande institutionnelle, des donneurs d’ordre et des récepteurs hétéroclites des résultats générés par la recherche, soit des visées et des principes multiples mais néanmoins complémentaires, qu’il devient, de fait, compliqué d’évaluer. Selon cette perspective, l’évaluation de la R-I est difficilement réductible à une vision univoque mais s’actualise, a contrario, à l’articulation d’approches évaluatives différentes, voire contradictoires, qui empruntent leurs ressources tant dans le modèle évaluatif du contrôle, de la gestion que des valeurs. Cette approche plurielle que nous valorisons sera d’abord explorée théoriquement, spécifiée ensuite pour chaque visée et principe de la R-I pour permettre enfin de proposer l’esquisse d’une méthodologie évaluative de cette recherche et même de commencer à l’opérationnaliser. C’est l’ébauche d’un dispositif qui sera donc présenté, avec pour objectif de commencer à amorcer la réflexion sur l’évaluation de la R-I dans notre communauté scientifique, investissement que nous prévoyons de poursuivre dans la conduite d’opérations sur le terrain et la production de publications ultérieures.

1. Pour une caractérisation de la R-I en Sciences de l’Education

La R-I, telle que nous l’investiguons dans ce paragraphe, réfute toute velléité de s’ériger en quelconque norme pour notre discipline. Il s’agit, très modestement, de développer la démarche que nous avons élaborée à Toulouse au sein de notre UMR[1], en combinant, depuis plusieurs années, une diversité d’expériences (dans des contextes diversifiés)[2] et un processus de théorisation jalonné par de nombreuses publications collectivement produites (Bedin, 2013 ; Broussal et al., 2015 ; Marcel, 2015 ; Marcel & Broussal, 2017). Nous n’insisterons pas sur les distinctions qui existent entre la R-I et la recherche action, pour les avoir déjà abordées dans un ouvrage antérieur (Bedin, 2013), après d’autres auteurs d’ailleurs (Mérini & Ponté, 2008). Ce sera donc bien de la Recherche-Intervention dont il sera exclusivement question dans ce texte. Rajoutons également que la R-I n’est pas à confondre, épistémologiquement et méthodologiquement, avec la recherche collaborative comme elle a pu être formellement définie (Desgagné, 1997), même si nous mettons l’accent sur la dimension collaborative de notre démarche, ce qui est différent.

1.1 Une démarche d’accompagnement du changement

La R-I, comme nous la concevons, respecte à la fois les exigences scientifiques (épistémologiques, théoriques et méthodologiques) auxquelles toute recherche est soumise tout en répondant dans le même temps à des demandes sociales par la co-production de recommandations, de dispositifs, de ressources pour aider à penser et à agir autrement, dans le respect des personnes et de leurs contextes d’existence. Théorisée en vue de stabiliser une méthodologie de traitement des recherches commanditées, la R-I se situe institutionnellement à l’interface de la science et des milieux décisionnels ou professionnels. Elle vise ainsi la production de connaissances tout en prévoyant les conditions de leur effectivité dans une perspective de « problématisation pratique » (Berthelot, 1996), garante de la mise en oeuvre d’une démarche d’accompagnement du changement. Le terme de « recherche-intervention » encode clairement la posture de « l’agir entre », du tiers-traducteur, soit du « tiers-espace socio-scientifique » (Marcel, 2010) dans son appellation même et responsabilise ainsi doublement le chercheur-intervenant.

1.2 Une double visée

Ainsi que nous l’annoncions supra, la R-I revendique effectivement de poursuivre deux visées, interdépendantes et non hiérarchisées, une visée académique (le « sur ») et une visée praxéologique (le « pour »).

La visée académique est la visée traditionnelle de la science, inscrite dans l’idéal de progrès de l’humanité, à savoir le développement de connaissances nouvelles « sur » l’objet étudié. Nous pourrions la qualifier d’heuristique mais la dimension académique englobe les contextes au sein duquel cette visée est reconnue et valorisée, les thèses, les colloques, les publications, bref les artefacts de la communauté scientifique.

La visée praxéologique correspond à une relation, sans doute renforcée, avec le champ social. Elle revendique et assume de prendre en charge des demandes diverses (appui, accompagnement, conseil, évaluation, expérimentation, aide à la décision, etc.) émanant de contextes socio-professionnels différents (établissements scolaires, universitaires, de soins, associations, collectivités territoriales, administrations, entreprises, etc.) en lien avec ses domaines de compétences.

Nous pourrions sans doute envisager un volet recherche cantonné au « sur » et un volet intervention limité au « pour ». Mais ce n’est pas le cas, car ce qui caractérise le plus précisément la R-I, c’est son trait d’union[3]. D’abord ces deux volets ne sont pas hiérarchisés entre eux dans les investissements des chercheurs, ni d’ailleurs dans l’évaluation, nous y reviendrons. Ensuite et surtout, ils sont interdépendants, c’est-à-dire que non seulement ils sont étroitement liés entre eux mais ils s’enrichissent surtout réciproquement.

1.3 Deux principes fondateurs

Le refus de hiérarchisation des deux visées s’opérationnalise dans deux principes qui constituent les fondations de la R-I, une dimension participative (le « avec ») et une dimension émancipatrice (le « par »).

Repenser le rapport science-société c’est déjà (ou d’abord) repenser la place consentie aux acteurs sociaux dans nos dispositifs. La R-I mobilise une démarche participative, c’est-à-dire offre à chacun la possibilité de prendre part à l’ensemble du travail. Sans masquer les différences et les spécialités de chacun qui constituent autant de ressources et de richesses, l’ensemble des participants prend part à un projet collectif englobant recherche et intervention. Dans un écrit antérieur (Marcel, 2010), nous avions qualifié le dispositif de tiers-espace socio-scientifique, un tiers-espace qui permet des déplacements par rapport aux positionnements initiaux.

Dans le prolongement du « avec », s’inscrit le « par » qui dote le dispositif d’une coloration sans doute originale mais assez légitimement portée par les Sciences de l’éducation : l’émancipation. Telle que nous la convoquons ici, elle se caractérise prioritairement par trois dimensions :

  • une dimension collective qui en constitue la dynamique essentielle. Elle est basée d’abord sur la constitution d’un collectif[4] autour d’un projet commun, elle est relayée ensuite par l’hétérogénéité des statuts, des spécialités et des acteurs mais elle est surtout dépendante de l’abolition de toute hiérarchie symbolique. Nous reprendrons l’idée de Freire : personne n’émancipe personne, l’émancipation est collective ou n’est pas,

  • une dimension spatiale : le dispositif entend permettre, grâce aux dynamiques collectives, le « déplacement » de chacun des acteurs. Ce déplacement consiste, pour chaque acteur, simultanément à s’extraire du positionnement auquel il se trouvait assigné au départ et à conquérir un positionnement plus conforme à ses aspirations. Ce positionnement peut concerner, pour tout ou partie, des dimensions professionnelles (comme l’accès à de nouvelles fonctions), des dimensions sociales (comme le choix de nouveaux engagements, politiques ou militants), des dimensions individuelles (comme le développement du pouvoir d’agir), des dimensions symboliques (comme l’accès à de nouvelles formes de reconnaissance).

  • une dimension temporelle : l’émancipation repose ici sur un engagement certes intense au sein du collectif mais déployé sur une période courte, celle de la durée du projet. Cette dimension là, outre qu’elle invite à une modestie certaine, est sans doute celle qui caractérise le plus fortement une nouvelle approche de l’émancipation, coupée de grands collectifs stables et permanents à l’image des grands récits dans lesquels ils s’inscrivaient. Ici l’émancipation repose sur l’individu, condamné à reconstruire une dynamique et une cohérence entre des collectifs et des engagements transitoires et temporellement bornés.

1.4 Une globalité intransigeante

Nous avons évoqué l’importance du trait d’union au niveau des deux visées mais il convient d’étendre également cette relation dialectique (autonomie relative / interdépendance) au niveau des principes. Les choix portés par la R-I, qu’ils soient scientifiques, épistémologiques ou politiques requièrent la préservation de la prise en compte du « sur », du « pour », du « avec » et du « par ». Bien sûr cette prise en compte peut, selon les types de dispositifs, moduler le « dosage » de chacun des termes mais en n’aucun cas escamoter l’un d’entre eux. C’est sur leur complémentarité que repose cette redéfinition du lien science-société à laquelle contribue ce chapitre. L’intransigeance, annoncée en titre, ne remet pas en cause le refus de normalisation ; elle ne concerne que le respect de la cohérence de notre proposition.

1.5 Les étapes de la R-I

En prenant en compte des aspects plus techniques et opérationnels, la R-I se décompose en grandes étapes, lesquelles permettent de structurer la démarche réalisée sur une temporalité de moyenne et longue durée le plus souvent, comme l’indique le tableau ci-dessous. L’évaluation s’y positionne de manière transversale et continue car elle peut occuper des moments différents et des fonctions diversifiées dans la démarche de R-I. Pronostique, l’évaluation vient avant les décisions à prendre (orientation de la demande, élaboration des projets, dispositifs…) ; formative, l’évaluation sert à la conduite de l’intervention (pilotage, coordination, régulation, aide à la décision…) ; sommative, elle se place en fin d’action – ou après – pour valider celle-ci (contrôle des objectifs initiaux de la R-I, validation des réalisations a posteriori…).

Tableau 1

Phases de la R-I et place de l’évaluation

Phases de la R-I et place de l’évaluation

-> Voir la liste des tableaux

2. Vers une démarche d’élaboration de l’évaluation d’une R-I

Dans la dynamique de la théorisation de la R-I, il s’agit à présent de stabiliser le volet évaluation de la démarche.

2.1 L’intérêt d’évaluer ce type de recherche

Selon notre vision, l’évaluation vise à donner de la valeur (Lecointe, 1997) à « l’objet » auquel elle s’applique et, à ce titre, elle apporte nécessairement une plus-value à la R-I, même si évaluer dans un contexte qui articule science et commande institutionnelle, théories et pratiques sociales n’est pas exempt de difficultés. Nous identifions plusieurs « qualités » à cette ambition évaluative. Ici, l’objectif n’est pas d’être exhaustif mais seulement de mettre l’accent sur quelques caractéristiques marquantes. L’évaluation permet ainsi de renforcer le processus d’objectivation de la R-I, tant au plan scientifique que plus politique, en apportant des éléments d’expertise sur le rapport entre visées de départ et finalités de l’action, sur l’adéquation à la commande initiale, sur le respect des engagements pris, par exemple. En facilitant les réajustements par une analyse continue des forces et faiblesses, l’évaluation peut également se transformer en outil de changement, au service de l’évolution de la démarche entreprise, dans une perspective de progrès. Et elle constitue évidemment un vecteur de clarification et de valorisation auprès des commanditaires et des partenaires, en offrant des « garanties » sur l’efficacité, l’efficience et la pertinence de l’opération effectuée, sur la réponse aux besoins des participants et des bénéficiaires de la R-I notamment. Si l’évaluation est bien inscrite dans un projet anthropologique, comme on pourrait l’escompter en Sciences de l’éducation, elle ne saurait exclure les parties prenantes de la conception des référentiels de valeurs, des grilles de critères et des systèmes d’indicateurs. Notons que cette préoccupation avait déjà été largement discutée, de manière critique, dans les travaux de Barbier sur la recherche-action (1996), lequel soutenait alors l’idée d’une évaluation en action non instrumentalisée. Dans les conditions qui sont les nôtres, la portée éducative (voire émancipatrice) de la R-I, via l’évaluation, en sera même consolidée. Nous allons continuer à affiner et surtout à complexifier ces premières propositions dans la suite du texte.

2.2 La nécessité d’une vision plurielle de l’évaluation

Se proposer d’évaluer la R-I demande de s’inscrire dans une approche plurielle de l’évaluation, à la jonction de plusieurs modèles évaluatifs (Ardoino & Berger, 1989 ; Bedin, 2009 ; Bonniol & Vial, 1997/2000 ; Figari & Mottier Lopez, 2006 ; Marcel & Savy, 2013…), au regard des caractéristiques propres de ce type de démarche comme nous les avons exposées supra. Effectivement, évaluer séparément et ensemble les deux visées (le « pour », le « sur ») et les deux principes de la R-I (le « avec » et le « par ») nécessite d’articuler plusieurs approches évaluatives, parfois contradictoires, selon des conditions qu’il conviendra bien entendu d’expliciter car cette articulation, malgré le potentiel qu’elle génère, peut aussi relever de la gageure. Trois d’entre elles sont plus particulièrement mobilisées : une première focale proche du « contrôle » et renvoyant alors à un référent « externe » au dispositif (cf. le modèle évaluatif de la mesure), une deuxième focale basée sur le primat du sens et du vécu des acteurs (cf. le modèle évaluatif des valeurs), une troisième focale centrée sur la régulation et le pilotage de la démarche dans une perspective d’aide à la décision (De Ketele, 1986) ou d’accompagnement de l’appropriation des dispositifs et des ressources (cf. le modèle évaluatif de la gestion). Ces deux dernières approches sont les plus complexes à réaliser car la diversité des « participants » en présence (commanditaires, opérateurs, chercheurs-intervenants, sans oublier les partenaires et les « éduqués » – élèves, enfants, formés, etc. –) se double d’une hétérogénéité entre les langages, dotant le dispositif d’un plurilinguisme et de logiques d’action caractéristiques.

2.2.1 « L’évaluation-mesure » 

La première focale de l’évaluation, inscrite dans une pensée positiviste, met l’accent sur une méthodologie scientifiquement justifiée qui confère d’ailleurs à cette approche toute sa légitimité, ce qui n’exclut pas des dérives telles que le contrôle de conformité ou le culte de la performance, par exemple. Diagnostiquer, compter, mesurer des écarts à partir d’un référent et les expliquer en constituent les objectifs essentiels, selon une méthode souvent plus rétroactive que prospective.

Parmi les deux visées de la R-I, celle du « sur », marquée par la démarche scientifique, la logique de la preuve et les impératifs de validité qu’elle implique, est préférentiellement concernée par l’évaluation-mesure. Le chercheur-intervenant a effectivement pour ambition de générer discours et actions les plus vrais possibles sur l’objet de la demande auquel il s’est engagé à répondre. Il saura donc s’armer d’outils, de grilles d’analyse, de critères, d’indicateurs lui permettant d’apprécier la qualité heuristique et praxéologique des connaissances produites.

La seconde visée de la R-I, centrée sur le « pour », et qui prend en compte les exigences de la commande est également concernée par ce type d’évaluation. La convention signée entre les partenaires institutionnels peut faire office de référent initial et l’enjeu sera alors de vérifier que les développements réalisés et ceux anticipés prennent sens dans le cadre contractuel préalablement fixé et que ceux qui s’en éloignent puissent être justifiés. Dans un autre registre, mais en restant toujours dans cette visée du « pour », la mesure de « l’impact » (Guy, 2015) de la R-I, comme son nom l’indique d’ailleurs, relève aussi de ce modèle évaluatif : il s’agira, a posteriori, de contrôler la portée effective des propositions émises ou des dispositifs et ressources élaborés, à l’aide de critères considérés comme significatifs par l’ensemble des récepteurs concernés.

2.2.2 « L’évaluation-valeurs » 

La deuxième focale considère d’abord que l’évaluation ne serait émancipatrice et formatrice qu’à la condition qu’elle permette de mettre au jour des valeurs et de les expliciter, dans le cadre d’une reconnaissance mutuelle entre évaluateurs et évalués (Clavier, 2006). Elle valorise la fonction critique de l’évaluation (Lecointe, 1997), en relation avec l’interrogation existentielle sur le sens donné à l’agir évaluatif et les raisons de son bien fondé, lequel ne saurait exister sans le souci permanent de la réflexivité de tous les acteurs de terrain impliqués. Au total, c’est le développement d’une conscience de l’évaluation, collective et individuelle, qui est ici promue, au sein de laquelle la compétence éthique du chercheur-intervenant revêt une place déterminante.

Dans la R-I, elle concerne plutôt les principes, en particulier celui du « par », à la condition que l’évaluation respecte certaines exigences : être le plus possible élaborée avec les participants, validée par eux et ses résultats démocratiquement discutés. Le terme de « participant » est à concevoir au sens large et ne se limite pas aux macro-acteurs mais intègre également les opérateurs professionnels et même les bénéficiaires effectifs des orientations, actions, développements envisagés. Evaluer la R-I de ce point de vue signifie, par exemple, disposer de critères et d’indicateurs permettant de tenir compte :

  • de l’intentionnalité de ceux qui auront à prendre en compte et à mettre en oeuvre les propositions émises;

  • des connaissances d’expérience portées par des personnes ordinaires et que l’on devrait retrouver dans les modes d’accompagnement proposés ;

  • des enjeux professionnels, sociaux et politiques touchant directement les bénéficiaires de la démarche générée ;

  • d’une critique des éléments qui sont ou qui pourraient devenir aliénants, sous une forme ou une autre, dans les observations réalisées ;

  • des vecteurs de régulation de l’action mobilisant des valeurs considérées comme formatives et/ou formatrices en éducation (équité, altruisme, autonomie, etc.) ;

  • du « devenir de l’oeuvre » que constitue la R-I et de sa force transformative débouchant sur des changements favorables aux personnes : développement personnel, développement professionnel, développement organisationnel...

Selon cette deuxième focale évaluative centrée sur les valeurs, le principe du « par », tout en conservant ses caractéristiques propres, est articulé à celui du « avec ». Nous l’avons déjà suggéré supra en indiquant que l’évaluation devra être le plus possible partagée avec les acteurs impliqués pour que la R-I conserve son potentiel émancipateur à l’égard de ses différents types de participants et utilisateurs de ses résultats.

La visée du « pour » n’est pas non plus exempte de « l’évaluation-valeurs ». Plusieurs arguments peuvent être convoqués. L’analyse de la demande nécessite toujours un travail de recentrage axiologique avant de formaliser la commande de recherche-intervention à proprement parler. La production de matériaux, de ressources, de pistes pour l’action exige également de bien identifier les valeurs et les cultures à l’oeuvre des milieux décisionnels et professionnels qui auront à s’en saisir. Nous pouvons envisager, enfin, que la R-I est une activité formative, voire émancipatrice pour les responsables institutionnels qui s’y impliquent en ce sens que la démarche permet d’optimiser des modes de pilotage, de renforcer des compétences stratégiques, de faire évoluer des structures et des activités, au profit d’une intelligence collective. Le dispositif évaluatif devra par conséquent opérationnaliser les points significatifs de cette visée de la R-I selon l’orientation herméneutique privilégiée ici.

Dans le cadre de « l’évaluation-valeurs », nous inclurons le domaine spécifique de l’éthique du chercheur, celui des arbitrages rendus nécessaires quand les règles déontologiques ne sont plus opérantes. Nous allons développer ce point sensible tant il revêt une importance capitale dans les conséquences de l’évaluation. En effet, ces arbitrages s’effectuent principalement au nom des valeurs individuelles du chercheur-intervenant, même si elles sont parfois mises en débats au sein de collectifs de chercheurs, dans une logique délibérative (et protectrice contre l’isolement).

Bien sûr, ces arbitrages éthiques sont à l’oeuvre tout au long de la démarche de R-I, notamment comme vigilance dans la mobilisation du principe du « avec », car la dimension participative privilégie une intensité et une diversité relationnelle. Pourtant, deux phases nous paraissent plus particulièrement concernées, celle du démarrage et du bouclage :

  • Lors du démarrage, la visée du « pour » requiert une adhésion minimale au projet envisagé par le commanditaire. Le fait d’accepter de l’ériger en partenaire, le fait de contribuer au changement qu’il envisage requièrent un arbitrage qui mettra en jeu la compatibilité des valeurs (politiques, sociales, militantes, etc.) du commanditaire avec non-seulement celles, individuelles, du chercheur-intervenant mais également celles, plus explicites et identitaires de l’Unité de Recherche. Dans ce cadre, le travail de négociation, sis entre la demande et la formalisation de la commande, est propice à ces arbitrages.

  • Lors du bouclage, et en particulier au travers des restitutions (tant orales qu’écrites) ou des livraisons (la version définitive des livrables : dispositifs, ressources, etc.), la vigilance éthique doit s’exercer sur le « par ». Bien sûr, le principe d’une démarche émancipatrice a structuré l’ensemble de la démarche mais il s’agit à présent d’anticiper les conséquences[5] de la dissolution des collectifs mis en place par et pour la R-I. Que va-t-il advenir pour les acteurs concernés ? Sachant que de nouvelles configurations vont émerger, que de nouveaux rapports de force vont s’instaurer, est-ce que ces « participants » seront en mesure d’initier ces déplacements émancipateurs auxquels ils aspiraient et que la R-I, en tant que dispositif, accueillait et soutenait ? Nous percevons ici que la temporalité de « l’évaluation-valeurs » gagnerait à déborder de la durée de la R-I.

2.2.3 « L’évaluation-gestion » 

Au-delà d’une définition comptable du terme de « gestion » dont on ne peut ignorer l’existence et qui insiste alors sur une vision plutôt fonctionnelle et structurelle avec le paradigme de l’efficacité en toile de fond, la troisième focale évaluative peut cependant recouvrir d’autres réalités dans le champ des Sciences de l’éducation. Nous y trouvons « l’évaluation-régulation(s) » dont des formes « d’autorégulation » (Bonniol & Vial, 1997/2000, pp. 309-311 ; Allal, 2006, p. 226 ; Allal & Mottier Lopez, 2007), le processus de « référentialisation » (Figari, 1994, p. 48) notamment. Autant de pratiques qui prennent en compte le partage collectif d’expériences, une complexification des logiques organisationnelles, l’ouverture des démarches évaluatives et leurs évolutions possibles aux réalités des contextes et aux attentes des acteurs de même qu’une approche fictionnelle, symbolique et multi-rationnelle de la décision (Sfez, 1992).

L’envisager de cette manière accrédite l’idée que la visée de la R-I qui privilégie le « avec » relève exactement de cette approche. L’évaluation s’attache, dans ce cas de figure, à apprécier la qualité des échanges croisés et collaboratifs entre participants de la R-I, à rendre compte de la dynamique de coordination et de régulation à l’oeuvre dans les comités de pilotage, à veiller à la qualité des activités du « tenir conseil » (Lhotellier, 2001), garantes de l’aboutissement d’une démarche concertée et délibérative entre parties prenantes. Ces « précautions » permettront d’élaborer des développements, des ressources, des propositions et de s’inscrire alors dans une logique d’accompagnement de projets, de construction ou de consolidation de dispositifs, de production de « conseils » (Bedin, 2007), en privilégiant le choix le plus libre et volontaire possible des différents types d’acteurs impliqués. C’est cette démarche complexe d’accompagnement du changement privilégiant le « avec », comme nous l’avons montré, qu’il s’agira d’évaluer de manière pronostique dans un premier temps et rétrospective dans un second temps, une fois les modes de pensée et d’action élaborés concrètement suivis d’effets, les dispositifs ou ressources effectivement appropriés.

Au regard des propositions qui précèdent, nous comprenons aisément que le principe du « avec » est, une nouvelle fois, fortement associé à celui du « par ». De ce fait, « l’évaluation-régulation » va également constituer un outil pour apprécier les conséquences de la méthodologie participative générée (le « avec ») sur le développement professionnel des participants à la R-I, les bénéfices réels apportés aux bénéficiaires supposés des actions proposées, la valeur émancipatrice du dispositif prévu (soit le « par »). Les critères et indicateurs évaluatifs opérationnaliseront les rapports de causes à effets entre un principe et l’autre, ce qui participe de la régulation de l’ensemble de la méthode.

Enfin, le modèle évaluatif de la gestion, dans ses développements plus institutionnels, autorise à s’intéresser à l’évaluation du pilotage de la R-I, à la supervision de la démarche, dans un souci de pertinence en référence aux objectifs de la commande à atteindre. La visée du « pour » est ici plus directement mobilisée. L’évaluation sert, dans ce cas de figure, à la conduite de l’intervention et peut donc être intégrée dès le début de l’opération ainsi que tout au long de son déroulement. Elle joue ainsi un rôle de régulation-décision et devient, à ce titre, un outil de management de projet, utile au chercheur-intervenant, au commanditaire et plus largement aux partenaires institutionnels associés à la démarche.

2.2.4 Premiers éléments de synthèse

La réflexion menée supra sur l’évaluation de la R-I est résumée dans le tableau qui suit. Cette schématisation constitue une première ébauche qui sera progressivement enrichie au cours des expériences de R-I que nous aurons ultérieurement à réaliser. Le tableau ne présente que de grandes tendances car il va de soi que la réalité des pratiques de R-I et leurs évaluations n’est pas toujours réductible à cette formalisation.

Tableau 2

Rapports entre visées et principes de la R-I et modèles évaluatifs

Rapports entre visées et principes de la R-I et modèles évaluatifs

-> Voir la liste des tableaux

Après ce premier travail d’analyse, quelques éléments retiennent d’ores et déjà notre attention :

  • Les visées sont préférentiellement concernées par « l’évaluation mesure » et les principes par les deux autres modèles. Ce point souligne la cohérence et la consistance générales de la démarche et renforce l’importance de l’évaluation.

  • En revanche, pour les principes, la hiérarchie des priorités est inversée. Le principe du « avec » privilégie « l’évaluation-gestion » tandis que celui du « par » privilégie « l’évaluation-valeurs ».

  • Si la visée du « pour » est concernée par différents modèles évaluatifs, celle relative au « sur » est exclusive, comme si la production de connaissances académiques conservait une spécificité propre, une rationalité irréductible, à la manière d’un noyau dur, celui de l’activité scientifique à proprement parler.

  • « L’évaluation-gestion » (qui privilégie le « avec ») occupe une position intermédiaire entre « l’évaluation-mesure » (qui privilégie le « sur ») et « l’évaluation-valeurs » (qui privilégie le « par »), ce qui souligne l’importance d’un agir communicationnel (polarisé sur le « avec »), lequel facilite alors le passage de la connaissance (polarisée sur le « sur ») à l’usage de cette connaissance (polarisé sur le « par »).

3. Méthodologie pour produire un dispositif évaluatif d’une R-I

La méthodologie de l’évaluation que nous développons en suivant, s’appuie sur une base de travail (une esquisse de dispositif) qui sera ensuite négociée avec l’ensemble des participants pour en stabiliser l’opérationnalisation, puis administrée en les associant (selon le mode de la responsabilité partagée) pour qu’enfin les résultats produits soient soumis à une analyse délibérative. Cette analyse sera enrôlée dans l’élaboration, la stabilisation et la restitution des livrables (recommandations, dispositifs, ressources).

3.1 Une esquisse du dispositif

Le statut de l’amorce d’opérationnalisation du dispositif d’évaluation qui suit n’outrepasse pas celui d’une esquisse, d’une base de travail. Elle résulte de l’analyse présentée dans le paragraphe précédent enrichie par nos expériences sur le terrain (précieuses pour la phase d’opérationnalisation), même si nous ne pouvons pas les convoquer dans le texte, faute de place.

Tableau 3

Esquisse du dispositif d’évaluation de la R-I

Esquisse du dispositif d’évaluation de la R-I

-> Voir la liste des tableaux

3.2 Une co-élaboration négociée

Mettons tout d’abord de côté le volet de l’évaluation-valeur concernant les arbitrages éthiques qui ne relèvent que du chercheur-intervenant (avec l’appui potentiel de quelques membres de son Unité de recherche) qui, s’il relève pleinement de l’évaluation, n’est absolument pas optionnel ni négociable de quelque manière que ce soit.

A partir de là, l’ensemble des autres volets sont à envisager pour évaluer la R-I, mais là encore, il convient de préciser ce qui n’est pas négociable. En effet, la phase de préparation de la commande, celle qui pose les conditions de réalisation de la R-I doit également installer non seulement les conditions de l’évaluation mais les grands axes de ce qui sera évalué. En cela, elle doit s’assurer que les trois modèles seront effectivement pris en compte au travers de l’efficacité du dispositif, la participation des acteurs et les transformations sociales. En revanche, leur opérationnalisation, en critères et indicateurs, constitue précisément l’espace de la négociation.

Cette opérationnalisation adoptera des modalités différentes selon les participants et leur positionnement dans l’organisation et par rapport à la commande. Ainsi, par exemple, les commanditaires pourront mettre l’accent sur certains volets, les membres du comité de pilotage être attentifs à d’autres, les participants au groupe de travail, qui construiront et administreront les outils d’évaluation préservent également une marge d’initiative et les destinataires garderont la possibilité de faire compléter des outils insuffisamment ouverts ou mal adaptés. Dans cette négociation, le chercheur-intervenant, après avoir rappelé la commande, apportera principalement ses compétences méthodologiques relatives à l’évaluation.

3.3 La mise en oeuvre : une responsabilité partagée

Dans le prolongement d’une élaboration négociée du dispositif d’évaluation, chacun des participants assumera sa contribution à l’administration efficace des outils. Ainsi les conditions de l’évaluation, tant pour la phase de collecte (durée d’administration, période et moment de passation, supports, modalités d’expression, publics et effectifs ciblés, etc.) que pour la phase d’organisation (voire de codage) des éléments empiriques collectés seront placés sous une responsabilité collective, dans laquelle celle du chercheur-intervenant n’excèdera pas la dimension technique de la coordination habituelle du groupe de travail.

3.4 Une analyse délibérative des résultats

L’analyse des résultats passe par une première phase nécessitant des compétences méthodologiques que seul le chercheur-intervenant peut posséder. Il s’agit, par exemple, des traitements statistiques descriptifs mais surtout inférentiels (tris croisés, analyses factorielles, classifications, etc.) ou des premières phases d’élaboration des catégories d’analyse (dans les approches qualitatives). Nous considérons cette phase préparatoire, une phase où l’organisation des éléments empiriques est suffisamment accessible à l’ensemble des participants pour qu’ils puissent pleinement élaborer des hypothèses interprétatives. C’est sur la base de la mise en dialogue de ces hypothèses, leur confrontation ou leur convergence, leur contradiction ou leur complémentarité et sur la base d’argumentations que s’élaborera une analyse délibérative des résultats de l’évaluation, une analyse dans laquelle, selon sa position dans l’organisation, selon ses instances d’appartenance, chacun des participants aura la possibilité de faire entendre sa voix, de fournir sa contribution.

3.5 Evaluations et livrables

Cette option délibérative est particulièrement précieuse pour permettre d’anticiper et même de préciser les dynamiques d’acceptabilité des livrables. Les leviers sur lesquels s’appuyer et les points de blocages potentiels pourront être identifiés.

Sur cette base, qui sera d’ailleurs rendue explicite pour les participants, les stratégies d’élaboration (au moins pour partie) mais surtout (et principalement) de restitution, seront adaptées et affinées. Il ne s’agit en rien de censurer quoi que ce soit sur le fond mais il s’agit de travailler la forme pour que les apports de la R-I (entendus au sens large) soient recevables (et sans doute profitables) aux participants. La R-I assume pleinement sa contribution au changement, et donc sans doute à la remise en cause et au désordre. En revanche, elle réfute toute intention a priori subversive, entendue comme « susceptible de bouleverser, de détruire les institutions, les principes ; qui menace l’ordre établi »[6]. La réception de la restitution est pleinement incluse dans la phase de bouclage (Bedin, 2015).

Conclusion : apports et limites de cette contribution

Cet article présente l’intérêt de s’attaquer frontalement à la question de l’évaluation d’un dispositif de recherche finalisée et plus spécifiquement à celui de la R-I telle que nous l’avons définie et qui présente des caractéristiques propres. Ces recherches finalisées sont anciennes et nombreuses en Sciences de l’éducation (recherches-action ou formation, recherches collaboratives ou partenariales, etc.) mais, à notre connaissance, tout au moins de la littérature scientifique francophone, peu de ces propositions auront prolongé leurs réflexions ou théorisations jusqu’au volet évaluatif. Notons que la tradition anglo-saxonne s’avère, par contre, plus sensible à la dimension du « rendre (des) compte(s) » (Stringer, 2004).

Dans un premier temps, cette forme d’« impensé » pose question : comment mettre en place et promouvoir des dispositifs sans prendre en compte les effets ou transformations générés ou produits ? Dans un contexte socio-politique de multiplication d’instances et de modalités d’évaluation de la recherche, c’est d’autant plus problématique : un dispositif non évalué et non évaluable (faute de méthode) trouve peu sa place, de manière significative en tout cas, dans les activités des Unités de Recherche, en France du moins. C’est aussi préjudiciable à l’évolution des Sciences de l’éducation qui, de notre point de vue pour le moins, ont tout intérêt à développer ce genre de démarche (sans abandonner bien sûr d’autres formes de recherche), intérêt aussi bien stratégique qu’identitaire.

Dans un second temps, ce déficit rend notre démarche difficile car elle ne peut pas se confronter à d’autres réflexions, d’autres propositions, d’autres choix évaluatifs. Nous l’avons donc clairement intégrée dans le prolongement de notre proposition de R-I, en privilégiant dans ce texte la réflexion théorique. Bien sûr, nos nombreuses et différentes expériences de R-I[7] ne sont pas absentes de ces réflexions mais elle ne sont ni développées, ni convoquées explicitement en raison des normes éditoriales de la revue.

De ces réflexions consacrées à notre dispositif d’évaluation, nous extrairons et soulignerons quatre points en guise de conclusion :

  1. L’importance de la dimension objectivante. Elle rend compte de la capacité d’analyse, de mise à distance, de balisage que permet l’évaluation, qui, en fixant des points de repère et de référence à des moments stratégiques de la démarche, apporte à la R-I une « rationalité » et une crédibilité tant « en finalité » qu’« en valeur » pour reprendre la terminologie wébérienne. La dynamique de clarification réflexive ainsi enclenchée fixe et valide les énoncés scientifiques (le « sur »), précise et formalise des visées plus politiques (« le pour »), rend visibles et plausibles des principes d’ordre axiologique et éthique (le « par » et le « avec »), dans la perspective de créer les modalités d’un accord certes intersubjectif mais également cognitif entre les participants. Pour répondre à cette exigence d’objectivation, le choix des référentiels, dimensions, critères et indicateurs – soit l’armature épistémologique et méthodologique de l’évaluation – revêt une importante stratégique capitale. La professionnalité de l’équipe des chercheurs-intervenants qui conduit la R-I est ici en jeu, notamment du point de vue de sa compétence évaluative. Nous considérons que cette compétence demande encore à être renforcée dans le cadre des enseignements, des directions de thèses, des séminaires de recherche et formalisée dans des publications, au regard des difficultés toujours rencontrées en expérimentant des dispositifs évaluatifs de R-I.

  2. L’importance de la dimension temporelle. En effet, l’évaluation est constitutive de la R-I et le dispositif qui lui est consacré doit être pensé dès le démarrage (quitte à ne pas formaliser la commande s’il se voit empêché) et sa forme évolutive (comme le montre sa méthodologie) s’érige en fonction structurante de la démarche. En revanche, cette centration sur la temporalité pointe une des principales limites de notre évaluation : le bornage de la R-I, qui se termine par les diverses restitutions, ne permet pas de s’extraire du court-terme. Or le « sur » se traduira par des publications bien après la fin du dispositif, les effets du « pour » s’amplifieront ou s’atténueront dans les mois qui suivront mais, surtout, la dynamique émancipatrice (défendue par le principe du « par ») ne peut être repérable que sur le moyen terme. Cette limite peut être compensée par l’Unité de Recherche qui assurerait une sorte de suivi de ses R-I, selon des modalités à préciser, modalités qui seront nécessairement coûteuses pour elles, mais fortement instructives pour mieux comprendre son rôle « d’acteur social ».

  3. L’importance de la dimension collaborative. Cette dimension temporelle va de pair avec le caractère évolutif de la démarche (même si, nous l’avons vu, la commande pose un cadre stable) : les négociations, concertations, participations, collaborations, délibérations, impulsées par et pour l’évaluation, en cohérence[8] avec le principe participatif (le « avec ») portent ces évolutions mais sont aussi génératrices d’imprévus. Ainsi, l’évaluation souligne et renforce l’importance de la dimension éthique de la posture et des arbitrages des chercheurs-intervenants, au point de devenir un volet, certes spécifique mais à part entière, de son dispositif. Rajoutons que l’éthique du chercheur-intervenant est d’abord individuelle (car liée à ses valeurs et à son histoire) ; des modalités collectives de régulation peuvent s’envisager sous forme de supervision, au sein des Unités de Recherche, pour « r-assurer » les chercheurs-intervenants.

  4. L’importance de la dimension démocratique. Nous avons vu que le dispositif d’évaluation « reconfigurait » la contribution des différents acteurs tout au long de la démarche mais, en particulier, lors du processus de restitution dont ils ne sont plus les destinataires mais les co-auteurs. En fait, elle initie une dynamique démocratique nouvelle au sein de l’organisation.

Avec le volet « évaluation », la R-I apprend à l’organisation à se passer des chercheurs : délibérations, développement, démocratie, émancipations sont en marche et les méthodes pour faire vivre ces dynamiques sont éprouvées par les acteurs. Ainsi, la R-I devient non pas subversive (ce qu’elle réfute), mais plutôt constructrice (voire instituante) et permet de repenser la conduite et l’accompagnement du changement par les Sciences de l’éducation.