Quelle relation entre les approches qualitative et quantitative dans le processus et les résultats de la recherche ? L’exemple du projet Gary What relationship between qualitative and quantitative approaches in the process and results of research? The example of the Gary project Qual a relação entre as abordagens qualitativa e quantitativa no processo e nos resultados da pesquisa ? O exemplo do projeto Gary

Résumé

La recherche Gary a étudié l’évolution des compétences des élèves en lecture d’un texte littéraire et des pratiques de leurs enseignants au fil de la scolarité obligatoire, dans quatre pays francophones. Elle a conçu sa méthodologie de recherche en fonction des possibilités que sa phase exploratoire a permis d’éclairer. Il en est résulté une articulation entre les approches qualitative et quantitative qui a permis d’étayer les résultats de différentes manières. En l’occurrence, la recherche est partie d’une phase exploratoire qualitative, qui visait à fonder des outils d’analyse en vue d’un traitement de données substantielles, pour déboucher sur une étude quantitative et statistique qui a pu, à son tour, être approfondie par une approche qualitative.

Mots-clés :

• approche mixte,
• comparaison internationale,
• compétences de lecture,
• méthodologie,
• pratiques d’enseignement,
• progression curriculaire

Abstract

The Gary research, which studied the evolution of pupils’ literary reading skills and their teachers’ practices over the course of compulsory schooling in four French-speaking countries, adapted its research methodology according to the data collected and their analysis. The result was an articulation between qualitative and quantitative approaches that shed light on the results in different ways. In this case, the research started from an exploratory qualitative phase, which aimed to establish analytical tools for processing substantial data, and led to a quantitative and statistical study which could, in turn, be deepened by a qualitative approach.

Keywords:

• curricular progression,
• international comparison,
• methodology,
• mixed approach,
• reading skills,
• teaching practices

Resumo

A investigação de Gary estudou a evolução das competências dos alunos na leitura de um texto literário e das práticas dos seus professores ao longo da escolaridade obrigatória em quatro países francófonos. Esta autora concebeu a sua metodologia de investigação com base nas possibilidades que a fase exploratória permitiu esclarecer. Isso resultou numa articulação entre as abordagens qualitativa e quantitativa que fundamentou os resultados de diferentes maneiras. A investigação começou com uma fase exploratória qualitativa, que visava estabelecer ferramentas de análise para o tratamento de dados substanciais, levando a um estudo quantitativo e estatístico que, por sua vez, foi aprofundado por uma abordagem qualitativa.

Palavras chaves:

• abordagem mista,
• comparação internacional,
• competências de leitura,
• metodologia,
• práticas de ensino,
• progressão curricular

Introduction

Lancé en 2015, le projet Gary s’est attelé à un triple questionnement. En premier lieu, il s’est agi d’étudier la manière dont les compétences des élèves en matière de compréhension, d’interprétation et d’appréciation d’un texte littéraire évoluent entre les niveaux 4, 7 et 10 de la scolarité (élèves de 9 ans, de 12 ans et de 15 ans[1]). En second lieu, l’équipe a cherché à décrire de quelle manière et à travers quels choix didactiques les enseignants de ces élèves conduisaient les séances collectives de lecture du texte littéraire. Enfin, elle s’est demandé si des relations pouvaient être établies entre certaines performances des élèves et certains choix didactiques de leurs enseignants.

Sur le plan des méthodes de recherche, les chercheurs impliqués se sont orientés vers une approche mixte, très employée actuellement en didactique du français (Falardeau & De Croix, 2023), et qui trouve ses sources dans des travaux anglophones d’autres champs disciplinaires (Creswell, 2003 ; Johnson et al., 2007 ; Teddlie & Tashakkori, 2009). Afin de préciser de quelle manière celle-ci a été mise en oeuvre, cet article montrera comment les démarches qualitative et quantitative ont été articulées l’une à l’autre dans le processus et dans les résultats de la recherche. 

Pour ce faire, nous commencerons par rappeler le contexte général du projet et par préciser le questionnement développé dans le cadre de cet article. Dans un second temps, nous montrerons comment des démarches qualitatives et quantitatives ont pu se succéder et se compléter, de manière à déboucher, au terme de la recherche, sur des résultats robustes.

Contexte

Le projet Gary se fonde sur une démarche doublement comparative, puisqu’il concerne quatre pays ou territoires francophones (la Belgique, la France, le Québec et la Suisse), et trois niveaux d’âge.

Pour faire contraster ces deux variables (pays et degrés scolaires), le protocole de recherche se fonde sur la lecture d’un même texte, qui a ainsi servi de constante et de « réactif » (de support destiné à susciter des pratiques), à savoir la nouvelle de Romain Gary J’ai soif d’innocence, texte littéraire résistant qui présente l’intérêt d’être lisible dans une certaine mesure à différents âges tout en se prêtant à une diversité d’interprétations et d’appréciations. Ce récit met en scène un narrateur lassé du matérialisme de la vie occidentale, qui arrive en Polynésie avec l’espoir d’y trouver les valeurs de l’innocence et de la gratuité, mais, confronté à la découverte de ce qu’il croit être des tableaux de Gauguin, il est finalement repris par l’appât du gain, qui l’amènera à tomber dans le piège d’une escroquerie orchestrée par l’amie polynésienne qu’il pensait avoir dupée.

Le premier ensemble de données concerne les compétences mobilisées par les élèves : pendant une première séance d’environ 50 minutes, ceux-ci ont lu individuellement la nouvelle et ont répondu par écrit à trois questions : « 1) Présente ce récit en détail, comme si tu t’adressais à quelqu’un qui ne le connait pas. 2) Ce texte t’a-t-il plu ? Pourquoi ? 3) Selon toi, que cherche à nous dire l’auteur ? » Ces questions amènent les élèves à faire part de leur compréhension de l’intrigue, puis de leur appréciation et de leur interprétation (en termes de leçon proposée par l’auteur). Pour traiter leurs réponses, l’équipe a examiné dans quelle mesure elles restituaient 17 items de compréhension attendus, cinq critères de jugement mobilisables – en distinguant les appréciations valides (défendables au regard des éléments du texte) et non valides (qui reposent sur une compréhension fantaisiste ou erronée[2]) et 10 interprétations possibles, dont six qui ont été jugées valides (à nouveau au regard des éléments du texte). Ces trois codages ont permis d’établir le score de chaque élève en compréhension, en appréciation et en interprétation, et, ainsi, de comparer les scores moyens entre les niveaux scolaires et entre les contextes nationaux.

Le second ensemble de données concerne les enseignants : pendant une deuxième séance de même durée, ceux-ci ont animé un cours sur la nouvelle en mettant en oeuvre les dispositifs (formats de travail, genres d’activités, scénarios didactiques) de leur choix. Cette séance a été filmée et transcrite, puis soumise à cinq grilles de lecture successives, ce qui a permis d’analyser la place accordée dans la leçon (a) à la stimulation des opérations de lecture relevant de la compréhension, de l’interprétation et de l’appréciation, ainsi qu’à la convocation par l’enseignant d’apports culturels ; (b) aux schèmes de travail transversaux (exposé magistral, cours dialogué, travail de groupe, travail individuel, mise au point méthodologique) ; (c) aux gestes didactiques des enseignants (présentification de l’objet, convocation de la mémoire, régulation-évaluation, institutionnalisation) ; (d) aux 11 genres d’activités scolaires (ou GAS) liés à la lecture distingués par Aeby Daghé (2014) (lecture à haute voix, explication de texte, mise en réseau, débat interprétatif, etc.), et (e) aux 15 aspects du texte (titre, schéma narratif, personnages, narrateur, chute, valeurs…) privilégiés dans les leçons[3].

Sur la base de ces cinq grilles, cinq codages ont ainsi été réalisés pour chaque séance avec une validation interjuges, codages qui ont permis de calculer le pourcentage de temps réservé aux différentes catégories interrogées au sein de la séance. Ces données ont ensuite été traitées et analysées statistiquement, dans l’optique de dégager des tendances, des convergences et des spécificités au sein des choix opérés par les enseignants, parallèlement aux résultats des élèves, puis d’établir des liens entre eux. L’ensemble des traitements (fusion des deux ensembles de données, calculs de scores) et des analyses statistiques (études des distributions, calculs des indicateurs, réalisation des tests) ont été produits à l’aide du logiciel Stata (StataCorp LLC, USA).

Les questionnaires remplis par les élèves et les verbatims des séances menées par leurs enseignants ont donc été analysés. Ces deux ensembles constituent deux recueils de données, présentés de manière détaillée dans le tableau 1 ci-dessous.

Tableau 1

Synthèse des données recueillies

* La récolte des données au Québec ayant été organisée principalement pendant la période de la pandémie de COVID-19, il n’a pas été possible d’accéder aux classes tel que prévu, ce qui s’est traduit par un nombre de séances observées singulièrement plus maigre que dans les autres pays.

Sur le plan méthodologique, la recherche présente notamment les trois spécificités suivantes :

1. la méthode de constitution des cinq grilles de traitement des données (évoquées supra) s’est élaborée au cours de la recherche et non à travers un design fixé d’emblée ;

2. la recherche a connu plusieurs phases qui ont chacune correspondu à un socle de données spécifiques (élèves/enseignant/niveau scolaire/pays). Les choix méthodologiques finaux manifestent ainsi un équilibre entre, d’une part, le souci d’obtenir une densité suffisante de données pour une analyse statistique et, d’autre part, les nécessités liées à la faisabilité du recueil (mobilisation d’enseignants, d’élèves et de chercheurs) et du codage (volume des corpus, définition du grain de codage et nombre de catégories à coder) ;

3. enfin, à chaque étape, et jusqu’au bout des analyses, l’équipe a tenu à développer complémentairement une analyse quantitative permettant de dégager les tendances générales qui ressortaient des données et une analyse qualitative, ou tout au moins une prise en considération qualitative, des éléments les plus significatifs au sein des productions d’élèves, d’une part, et des verbatims des séances de classe, d’autre part.

L’équipe considère en effet, avec Lacelle et al. (2017), que

lorsque le contexte le permet, la combinaison des approches qualitatives et quantitatives offre au chercheur une occasion particulièrement riche et difficilement contournable de dresser un portrait analytique des plus denses, voire holistique, de la situation problématique auquel il s’attaque. […] En bout de course, et donc, de la démarche méthodologique, on parvient alors à une vision plus complexe, nuancée, affinée et complète du problème étudié ().

p. 154-155

C’est ce va-et-vient réitéré entre des démarches quantitatives (codage systématique des données, traitement des résultats à l’aide des outils statistiques) et qualitatives (étude exploratoire préalable, construction inductive des outils d’analyse, exemplification à l’aide des productions verbales des acteurs, interprétation des résultats les plus saillants de l’étude quantitative) qui définit la méthode mixte telle que l’équipe la conçoit.

Du point de vue des démarches de recherche, elle a procédé en trois phases, correspondant chacune à une articulation différente entre approche qualitative et quantitative.

Une première phase, qualitative, visant à préciser et à éprouver les hypothèses de recherche, a permis de fixer les questions qu’elles soulevaient et de formaliser la façon dont serait bâti le matériau pour les valider et ainsi élaborer les outils de traitement. Ceux-ci ont été ensuite mobilisés dans le cadre d’analyses quantitatives. Enfin, un retour au qualitatif a permis de préciser certains résultats obtenus par le traitement quantitatif. Ces trois phases de l’étude ont ainsi progressivement permis de construire des résultats robustes.

Les trois phases de l’étude

Ce mouvement oscillatoire sera décrit en articulation avec la présentation des résultats qu’il a pu susciter.

Du qualitatif au quantitatif : la construction progressive des questions, des méthodologies et des outils de recherche

La première étape a consisté à établir le cadre théorique et méthodologique ainsi qu’à définir la problématique et à formuler les questions de recherche relatives au recueil de données et d’en constituer la cohérence. Cette étape s’est appuyée sur une étude exploratoire et sur une première approche qualitative qui ont permis de mettre au point avec précision la méthode de traitement des données.

Le rôle de la recherche exploratoire : une approche qualitative qui fixe les cadres de la recherche

La recherche exploratoire (Brunel & Dufays, 2015) concernait trois classes d’élèves plus jeunes que ceux de la présente étude (4 ans à 12 ans) et portait sur un autre texte (Le Chat Botté de Perrault). Elle a permis de tester le protocole de recherche consistant à faire lire le même texte littéraire par des élèves de différents niveaux de scolarité, ce texte servant ainsi de constante pour autoriser une étude comparative. À travers cette première expérience, l’équipe a également pu confirmer l’importance de centrer son attention sur trois opérations de lecture, soit la compréhension, l’appréciation et l’interprétation, en observant les compétences liées à ces opérations à l’occasion d’entretiens semi-dirigés menés avec les élèves.

Cette première recherche a aussi permis d’envisager plusieurs ajustements quant au recueil de données : tandis que l’enquête Chat Botté s’appuyait seulement sur des entretiens oraux, la recherche Gary s’est appuyée sur des traces écrites (consistant, pour rappel, en des réponses à trois questions ouvertes), choix à la fois plus réaliste et plus pertinent pour une étude à grande échelle. Par ailleurs, en vue d’optimiser la comparaison (Venturini & Amade-Escot, 2008), l’équipe a fait évoluer le segment d’âge du recueil en choisissant de commencer la récolte à un niveau scolaire où les compétences de base en lecture sont censées être acquises, soit le niveau 4. Enfin, elle a prêté attention parallèlement aux pratiques des enseignants. Les grandes orientations théoriques et méthodologiques de la recherche Gary étaient ainsi fixées.

Une enquête exploratoire nourrie de la sollicitation d’experts

Une fois le projet mis au point et les premières données recueillies, le protocole ainsi que les premiers travaux ont été soumis à trois collègues plus expérimentés qui avaient déjà mené des recherches comparables. Alors que, jusqu’à ce moment, l’attention s’était concentrée sur l’étude des compétences des élèves, d’une part, et sur celles des pratiques d’enseignement, de l’autre, à la suggestion de ces collègues et avec leur aide, l’équipe a décidé de poser sur ses données un troisième regard pour voir si des liens pouvaient être établis entre les compétences des élèves et les pratiques de leurs enseignants.

C’est ainsi que la question de recherche s’est déclinée en trois sous-questions : 

1. Comment les compétences lectorales des élèves progressent-elles au fil des niveaux de la scolarité obligatoire, du niveau 4 au niveau 10 ? (Données : les questionnaires élèves)

2. Quelles sont les pratiques des enseignants à ces mêmes niveaux ? (Données : le film et la transcription des séances de classe)

3. Dans quelle mesure les pratiques d’enseignement s’articulent-elles à la progression des compétences des élèves ? (Croisement des traitements des deux ensembles de données)

Une conséquence méthodologique importante de cette évolution est que, pour traiter la troisième sous-question, il a fallu élargir les outils d’analyse à des méthodes statistiques de recherche de corrélations.

La constitution des outils d’analyse en vue d’une comparaison

La première phase de la recherche s’est conclue par la sélection et la stabilisation des outils de traitement des données. Pour ce faire, après avoir testé une première grille de traitement des questionnaires des élèves, un outil de codage a été mis au point, composé de 32 critères répartis entre les trois opérations étudiées et assortis de cinq scores : celui de la compréhension, celui de l’appréciation en général, celui de l’appréciation valide, celui de l’interprétation en général, celui de l’interprétation valide. Cette grille, présentée au tableau 2, reprend en les spécifiant les trois opérations de lecture présentées supra. Pour chacune d’elles, il s’est agi d’établir des critères relatifs aux enjeux posés par la nouvelle de Gary elle-même. Les critères proposés résultent du choix concerté de l’équipe de recherche, après avoir effectué une analyse à priori (Mercier & Salin, 1988) du texte, confirmée et affinée après un premier dépouillage des réponses écrites des élèves.

Du côté du traitement des séances d’enseignement, la première typologie d’analyse qualitative (Brunel & Dufays, 2017), qui étudiait les dimensions de l’action didactique à travers l’étude des trois genèses – topogénèse, chronogénèse et mésogénèse (Schubauer-Leoni & Leutenegger, 2002) –, a finalement été laissée de côté parce qu’elle ne semblait pas se prêter au traitement quantitatif envisagé. Un instrument de mesure quantifiable retenant les proportions de temps d’enseignement consacré à tel ou tel aspect au sein de la séance de lecture a alors été stabilisé.

Influencée par l’approche multifocale privilégiée par le groupe de recherche pour l’Analyse du Français Enseigné (GRAFE, Genève), l’équipe a cherché à décrire les différentes dimensions de l’activité de l’enseignant à travers cinq prismes d’analyse :

• la première distingue le temps que l’enseignant consacre aux trois opérations de lecture qui faisaient l’objet du questionnaire adressé aux élèves, à savoir la compréhension, l’appréciation et l’interprétation, auxquelles ont été ajoutés les apports de références culturelles ;

• la deuxième, applicable à toutes les disciplines scolaires, étudie le temps que les enseignants accordent aux schèmes transversaux d’organisation des séances, c’est-à-dire au discours magistral, à la mise au point méthodologique (présentation des consignes, des procédures), aux interactions, au travail individuel, au travail de groupe et aux éventuels intermèdes (Bernié & Goigoux, 2005 ; Dufays, 2005 ; Marlair & Dufays, 2009, 2011) ;

• la troisième, empruntée aux travaux de Schneuwly et al. (2005), est celle des gestes didactiques de l’enseignant. Elle permet d’identifier le temps qu’il consacre à la mise en situation dans le temps de l’objet enseigné, à sa présentification au travers de dispositifs didactiques, à la régulation et à l’évaluation des interventions des élèves et, enfin, à l’institutionnalisation des savoirs ;

• la quatrième concerne la place que l’enseignant accorde à différents genres d’activités scolaires (GAS) spécifiques aux leçons de lecture-littérature, tels que les a distingués Aeby Daghé (2007, 2014), à savoir, notamment, la lecture à voix haute, l’explication de texte, la mise en réseau ou le débat interprétatif ;

• enfin, la cinquième dimension s’intéresse à la place que l’enseignant réserve dans la séance aux différents aspects du texte, que ce soit les moments de la narration qu’il privilégie (situation initiale, chute…) ou les unités d’analyse sur lesquelles il choisit de s’attarder (personnages, valeurs…).

Tableau 2

Grille de codage des réponses des élèves

Finalement, 45 critères représentant différentes strates de l’activité d’enseignement constituent les grilles de traitement. Comme la présentation de la grille complète serait illisible dans le format de la présente publication, seul un échantillon concernant le travail des enseignants sur les opérations de lecture (dimension 1 de l’approche multifocale) est présenté dans le tableau 3 ci-dessous.

Ainsi, cette première étape qualitative a débouché sur de premiers résultats qui ont servi d’hypothèses à vérifier ou de points d’attention à développer en vue de la suite du recueil.

Quantitatif et qualitatif : deux approches complémentaires pour établir les résultats

Cette partie montre de quelle manière ont été construits les résultats de la recherche au départ de l’analyse de l’ensemble des données, en liant approche quantitative et qualitative. Pour ce faire, nous présentons tout d’abord les analyses liées à l’approche quantitative, puis nous commentons certains résultats sur le plan qualitatif. Nous nous penchons d’abord sur les données relatives aux compétences des élèves, puis sur celles qui concernent les pratiques enseignantes.

L’analyse des compétences des élèves

L’approche quantitative permet de saisir d’abord l’évolution générale des compétences de lecture au fil des niveaux avant de détailler la situation propre à chaque niveau scolaire.

L’évolution générale cernée par l’approche quantitative

Le graphique 1 synthétise les scores obtenus par les élèves : pour la compréhension, le nombre d’éléments (sur un total de 17) que les élèves ont nommé dans leurs résumés ; pour l’appréciation, le nombre d’appréciations apportées (valides ou non, parmi quatre catégories) ; pour l’interprétation, le nombre d’interprétations (valides ou non) proposées par les élèves. Dans chaque colonne, on a associé les scores moyens obtenus pour chaque niveau scolaire, pour en faciliter la comparaison.

Tableau 3

Extrait de grille de codage des pratiques d’enseignement

Figure 1

Scores des élèves dans les quatre opérations au fil des niveaux, tous pays confondus

Sans surprise, toutes les opérations progressent assez nettement au fil des niveaux. Le score des appréciations valides double entre le niveau 4 et le niveau 10, tandis que les scores de la compréhension et de l’interprétation valide triplent entre ces deux niveaux[4].

Les compétences de compréhension du niveau 4 au niveau 10

Les constats quantitatifs

Les résultats présentés dans le graphique 2 montrent le nombre d’items (17) permettant de restituer la diégèse (l’histoire racontée) identifiés par les élèves. Ainsi, près de 20 % des élèves de niveau 4 (en bleu) ne repèrent aucun de ces 17 éléments, ce nombre déclinant progressivement au fil des niveaux, puisqu’il représente moins de 10 % au niveau 7 (en orange) et qu’il est pratiquement nul au niveau 10 (en gris).

Figure 2

Scores des élèves en compréhension au fil des niveaux (tous pays confondus) en fonction du nombre d’éléments de la nouvelle qui ont été nommés dans les résumés

Finalement, l’évolution de la compréhension est manifeste dans le graphique 2, qui montre que le nombre d’items identifiés[5] progresse au fil des niveaux. Toutefois, il est possible de constater que 25 % des élèves de 15 ans (niveau 10) réussissent moins bien que 30 % de ceux de 12 ans (niveau 7) et que 6 % de ceux de 9 ans (niveau 4) !

Le commentaire qualitatif sur les compétences de compréhension des élèves

Pour compléter l’analyse statistique qui précède, un regard qualitatif a été posé sur les résumés des élèves en examinant le sort qu’ils réservaient aux différents items de la nouvelle de Gary. Cette analyse qualitative montre l’importance aux trois niveaux retenus de deux items qui trament la diégèse de Gary : « la relation entre le protagoniste et Taratonga », ainsi que « les gâteaux emballés dans les toiles ». Le premier de ces deux items rappelle que le « système récit-personnage » (Aeby Daghé & Sales Cordeiro, 2020) est bien une clé d’accès importante à la compréhension du récit. Le second item, également mentionné à un pourcentage élevé aux trois niveaux, montre l’importance dans le travail de compréhension du repérage de l’élément déclencheur de l’action. Il faut d’ailleurs rappeler à ce propos que le schéma narratif est un outil largement répandu dans les pratiques d’enseignement de la littérature (Baroni, 2020 ; Hébert, 2019).

Par ailleurs, sans surprise, lorsque le résumé qui rend compte de la compréhension se fait plus complet, il émane le plus souvent des élèves de niveau 10. Le propos restitue alors davantage les pensées ou les perceptions que les élèves prêtent aux personnages eux-mêmes, comme le montre l’extrait suivant du résumé d’un élève belge (où les normes orthographiques n’ont pas été rétablies) :

Il en reçut 3 au cours des 8 jours suivant mais fut un peu inquiet car les gâteaux venaient maintenant sans être enveloppé. […] il accepta directement mais se sentit obligé de lui offrir un bien en retour […] L’homme choqué de ce qu’il vient d’apprendre se retira dans sa chambre, seul avec sa tristesse.

B10-01-8

La tendance se manifeste à la fois par des choix lexicaux, par la mise à distance des caractéristiques des personnages et par la délégation de la responsabilité d’une pensée à un personnage. Le décentrement opéré est important : il témoigne d’un positionnement de l’élève en tant que sujet conscient de ce qui lui appartient et de ce qui revient aux êtres de papier.

Les compétences appréciatives du niveau 4 au niveau 10

Les constats quantitatifs

Pour ce qui concerne l’appréciation, comme l’indique le graphique 3, quel que soit l’âge, entre 25 et 40 % des élèves n’ont pas formulé d’appréciation ou ont formulé une appréciation non valide[6]. Sur ce point, aucune distinction significative n’est à signaler entre les niveaux 4 et 7. En outre, la majorité des élèves ne mobilise qu’un seul des quatre critères (cognitif, référentiel, éthique ou esthétique), y compris au niveau 10.

En ce qui a trait aux différents critères visant à appuyer son appréciation, le critère cognitif (« j’aime le texte parce que je l’ai trouvé clair », ou au contraire « je ne l’aime pas parce que je ne l’ai pas compris ») décroit au fil des niveaux, à l’inverse des critères esthétique et éthique qui augmentent (« j’aime le texte parce que l’histoire est bien racontée ou que son message me plait »).

Figure 3

Évolution des critères d’appréciation mobilisés par les élèves au fil des niveaux

Les difficultés en appréciation sont particulièrement marquées au niveau 4, où le niveau de performance est très bas, où les écarts entre les classes les plus fortes et les plus faibles sont réduits et où il y a une mobilisation importante du critère cognitif (ce qui semble logique dans la mesure où il est difficile pour un élève d’apprécier un texte qu’il a peu compris ou pas du tout compris).

Les commentaires qualitatifs

Pour affiner ces premières analyses, l’étude qualitative des verbatims est éclairante : elle montre, aux trois niveaux, une certaine ignorance des catégories et des mots qui permettent d’exprimer un jugement de valeur. Elle fait également ressortir un lien entre les appréciations les moins étayées et le manque de gout pour le texte : moins l’élève aime, moins il arrive à exprimer un jugement. À l’énoncé 2 du questionnaire « Ce texte t’a-t-il plu ? Pourquoi ? », les élèves ont répondu « Non », par exemple « parce qu’il n’y a pas d’action et il est compliqué » (B4-02) ou « car je n’ai presque rien compris. Et ce texte était bizzar » (B7-04).

Les compétences interprétatives du niveau 4 au niveau 10

Les constats quantitatifs

En ce qui a trait aux compétences interprétatives, dont l’évolution est illustrée par le graphique 4, les difficultés des élèves de niveau 4 se retrouvent puisque 80 % d’entre eux n’ont pas répondu à la troisième question ou ont proposé une interprétation erronée. Rares sont par ailleurs les élèves à avoir formulé deux interprétations (valides) : aucun au niveau 4, 10 % au niveau 7 et 38 % au niveau 10. L’item désignant l’interprétation valide la plus adéquate au texte, celle de l’« arroseur arrosé », reste inaccessible au niveau 4 (1 %), difficile au niveau 7 (10 %) et encore problématique au niveau 10 (30 %).

Figure 4

Évolution des types d’interprétations mobilisés par les élèves au fil des niveaux

Les commentaires qualitatifs

Pour compléter l’analyse qui précède par un examen qualitatif, un intérêt a été porté aux difficultés interprétatives qui ressortaient des réponses des élèves (Dufays et al., 2020). En l’occurrence, pour interpréter, les élèves semblent confrontés à trois difficultés essentielles, en particulier ceux du niveau 4 :

1. dégager des sens seconds, des intentions, des leçons ;

2. manier l’abstraction ;

3. convoquer des savoirs qui permettraient de « donner du sens au sens ».

Souvent, les énoncés parémiologiques (sortes de vérités générales à forte valeur doxique) servent de ressources interprétatives figées : « Il faut donnait de l’argent au pauvre » (F4-03)[7] ou « l’argent est mal » (CH7-01). D’autres fois, des interprétations sont proposées sans que celles-ci n’éclairent un enjeu du récit : « il faut prendre des vacances et partagez avec les autres » (B7-05) ou « l’amitié vraie vaut plus que tout au monde et que faut se rendre compte de la chance qu’on a » (CH10-07).

Au contraire, l’interprétation peut déboucher sur une réflexion personnelle (Capt et al., 2018). C’est particulièrement le cas lorsque l’élève explicite sa propre opinion : « L’auteur cherche à nous dire que même dans des endroits très peu civilisés, les Hommes s’intéressent quand même à l’argent et que c’est dommage. À mon avis, l’auteur est de l’avis du personnage principal qu’il a créé » (F7-01). Et c’est le cas aussi lorsque l’élève mobilise plus d’une interprétation : « de l’habitant d’un point perdu dans le Pacifique jusqu’aux businessmen des grands gratte-ciels des capitales américaines, nul n’est indifférent au lucre. La nature de l’homme le rattrape toujours. Un total désintéressement ne saurait se maintenir dans le coeur des hommes » (B10-07).

L’analyse des pratiques d’enseignement

Après les compétences des élèves, l’analyse a porté sur les pratiques de leurs enseignants, qui s’appuie sur les cinq dimensions déjà évoquées : 1) l’enseignement des opérations de lecture, 2) les schèmes pédagogiques transversaux, 3) les gestes didactiques, 4) les genres d’activités scolaires et 5) les aspects du texte enseignés.

L’enseignement des opérations de lecture

La première dimension concerne la place accordée par les enseignants aux trois opérations de lecture étudiées dans la section précédente, à savoir la compréhension, l’interprétation et l’appréciation, auxquelles sont ajoutés les apports culturels, qui font souvent l’objet d’une attention spécifique au cours des séances. Pour cette dimension, comme pour les suivantes, les résultats statistiques ont été établis avant que soit effectuée une analyse qualitative basée sur les verbatims des séances.

L’analyse quantitative

Le graphique 5 ci-dessous indique clairement une baisse progressive du travail autour de la compréhension de la nouvelle et une augmentation de celui qui est consacré à l’interprétation.

Figure 5

Évolution des pratiques d’enseignement des opérations de lecture au fil des niveaux

Outre le fait qu’elle est conforme aux préconisations des programmes, cette tendance a été déjà documentée par d’autres études (Louichon, 2020 ; Ronveaux & Schneuwly, 2018).

Par contraste, le travail sur l’appréciation est faible, de façon homogène, ce qui confirme également plusieurs analyses antérieures (Brunel et al., 2018 ; Gabathuler, 2016). Cela n’est pas étonnant compte tenu de la « jeunesse » de cette opération, beaucoup moins sédimentée dans l’histoire des pratiques d’enseignement de la lecture.

De plus, le temps consacré aux apports culturels est plus faible au niveau 7. Les enseignants semblent y avoir davantage recours au niveau 4, comme éléments contextuels pour situer et expliquer, et au niveau 10, où ces apports sont essentiellement littéraires et notionnels : sont notamment avancés les notions d’ironie et de robinsonnade ou encore le topos du paradis perdu.

Enfin, il est frappant de voir que plus de 20 % du temps des séances, tous niveaux confondus, est consacré à autre chose qu’aux opérations de lecture : cela concerne principalement des digressions sur les contenus évoqués par le texte, des consignes relatives à des tâches d’écriture ou d’oralité, ou encore des intermèdes liés à la gestion de la classe.

Les commentaires qualitatifs

Pour compléter les résultats qui précèdent par un regard qualitatif, la manière dont les enseignants sollicitent et combinent entre elles les différentes opérations de lecture a été analysée. En l’occurrence, sur le plan didactique, l’enseignement de l’appréciation provient d’une volonté des enseignants de faire réagir les élèves (implication personnelle) et semble surtout servir à lancer la séance (au contraire de ce qu’ont pu observer Falardeau et Pelletier, 2015, p. 88[8]). Il peut être intéressant de noter que l’appréciation s’articule presque toujours à des activités de compréhension ou d’interprétation. Par exemple, quand un enseignant demande « Qu’est-ce que vous avez pensé du titre ? », il mobilise ses élèves autant pour savoir s’ils ont apprécié ou non le titre que pour susciter des interprétations de celui-ci. L’impression qui se dégage est que le travail sur l’appréciation pour elle-même n’est pas suffisant et que cette opération de lecture n’existe guère de façon autonome du point de vue des pratiques enseignantes (Brunel et al., 2018).

Les schèmes pédagogiques transversaux

Observons à présent le temps consacré par les enseignants aux différents schèmes pédagogiques transversaux qui permettent d’organiser le travail des élèves, à savoir l’exposé magistral, le cours dialogué, la mise au point méthodologique, le travail de groupe et le travail individuel, auxquels ont été ajoutés les intermèdes.

L’analyse quantitative

En ce qui concerne lesdits schèmes, le graphique 6 qui suit montre que trois tendances principales se dégagent du traitement quantitatif des résultats.

Tout d’abord, à tous les niveaux, il y a prépondérance du cours dialogué. En outre, les tendances évoluent au fil des niveaux, passant de la domination plus importante de ce cours dialogué au niveau 4 vers une promotion accrue du travail de groupe au niveau 7, puis du travail individuel au niveau 10. Une certaine logique se dégage ici, allant du plus collectif au plus individuel. Enfin, une relative stabilité de la mise au point méthodologique (10 %, 11 % et 10 % du temps total de la séance) indique aussi que les enseignants jugent ce moment d’explication de consignes et de procédés important, quel que soit le niveau de leurs élèves ou le degré d’autonomie qu’ils lui accordent.

Figure 6

Évolution des schèmes transversaux mobilisés dans les séances au fil des niveaux

Les commentaires qualitatifs

Concernant la place et le rôle que les enseignants attribuent aux schèmes transversaux (Dufays, 2005), trois remarques qualitatives peuvent être formulées. Tout d’abord, l’analyse des verbatims montre que la mise au point méthodologique est fréquemment mobilisée par les enseignants en tout début de séance (nécessité d’établir la communication avec les élèves). Puis, le cours dialogué a essentiellement pour fonction de susciter la construction des connaissances. Enfin, l’exposé magistral, introduit en complément du cours dialogué, sert soit à livrer des éléments de savoirs inconnus aux élèves, soit à introduire des éléments périphériques qui aideront ces derniers à mieux saisir le contexte du texte.

Les gestes didactiques fondamentaux

L’analyse porte ensuite sur le temps dévolu dans les séances aux gestes didactiques fondamentaux de l’enseignant, à savoir, pour rappel, la mise en situation de l’objet enseigné dans le temps, la présentification et l’élémentarisation de cet objet, son institutionnalisation et son évaluation (formative surtout) et sa régulation.

L’analyse quantitative

D’une manière générale, au fil des niveaux scolaires, les gestes de présentification et d’élémentarisation ainsi que les gestes d’institutionnalisation augmentent, tel qu’indiqué dans le graphique 7.

Figure 7

Évolution des gestes didactiques mis en oeuvre au fil des niveaux

Au contraire, le geste d’évaluation et de régulation, qui est très largement le plus mobilisé, diminue. Le graphique montre également que la mémoire didactique (qui correspond à la mise en situation de l’objet dans le temps) est peu mobilisée en fin de séance à travers le bilan des savoirs et des compétences acquises, ce qui confirme certains constats énoncés par Goigoux (2016, p. 20). Cela peut s’expliquer en partie par le caractère contraint des leçons observées (intégration du dispositif de recherche dans une pratique ordinaire et choix du texte imposé), lesquelles constituaient en outre les premières leçons portant sur le texte de Gary.

Les commentaires qualitatifs

Sur le plan qualitatif, en ce qui concerne la manière dont les enseignants mettent en oeuvre les gestes en fonction des niveaux, c’est surtout une spécificité du niveau 4 qui mérite un commentaire[9]. L’accompagnement de l’enseignant y est généralement très soutenu et se manifeste par un suivi linéaire, aboutissant à une restitution collective des éléments essentiels de la diégèse (l’histoire racontée) qui permet d’accéder au sens de la nouvelle. Le temps consacré au geste d’évaluation et de régulation est ici important car les élèves ne parviennent pas à identifier de manière autonome les différentes parties du texte, ce qui confirme un constat de l’enquête PIRLS (Lafontaine, 2018, p. 54-60). Par ailleurs, les enseignants de ce niveau tendent à organiser le travail de lecture selon une logique didactique du « pas à pas », ainsi que l’a montré récemment Louichon (2020, p. 321).

Les genres d’activités scolaires

La quatrième dimension concerne les 11 genres d’activités scolaires identifiés par Aeby Daghé (2014), à savoir le résumé, la lecture à haute voix, l’explication de texte, le travail sur la compréhension, l’attention portée sur des dimensions de grammaire textuelle, la mise en réseau, la présentation de texte, le débat interprétatif, la discussion thématique, l’expression d’un avis sur le texte et la production de texte.

L’analyse quantitative

Le graphique 8 ci-dessous montre les tendances générales qui se dégagent de l’analyse quantitative des résultats.

Figure 8

Évolution des genres d’activités scolaires au fil des niveaux

À propos des différents genres d’activités scolaires, la principale tendance quantitative qui se dégage, tous niveaux confondus, concerne la priorité accordée à l’explication de texte, pratique qu’Aeby Daghé (2014) définit comme « l’exercice traditionnel de l’enseignement de la littérature ». En outre, la lecture à haute voix diminue progressivement à chaque niveau scolaire étudié, tandis qu’inversement augmente la part du débat interprétatif. Ce croisement parait par ailleurs significatif d’une progression générale entre les trois catégories de genres d’activité distinguées par Aeby Daghé (2014). En l’occurrence, les genres d’appropriation (comme le résumé ou la lecture à haute voix) semblent surtout caractéristiques du niveau 4, les genres du commentaire (travail sur la compréhension, dimension de l’objet) semblent surtout mobilisés au niveau 7, et les genres apparentés au discours sur le texte ou la production (mise en réseau ou débat interprétatif), seraient principalement mis en oeuvre au niveau 10.

Les commentaires qualitatifs

Complétons cette analyse par l’examen qualitatif du moment où les genres d’activités scolaires interviennent au sein des séances. À cet égard, bien qu’omniprésente au sein des verbatims, l’explication de texte n’est que très peu mobilisée d’emblée. Il est intéressant de remarquer qu’elle sert régulièrement de tremplin vers d’autres genres d’activités et qu’elle n’apparait donc pas nécessairement comme le point d’orgue, l’étape finale de l’analyse en classe.

En outre, trois genres d’activités scolaires, indépendamment de la durée effective de mobilisation, sont couramment associés : la lecture à haute voix, le travail sur la compréhension et l’explication de texte, comme si un micro-scénario se reproduisait tout au long des séances.

Finalement, le genre de la production de texte, qui peut consister à écrire sa lecture pour améliorer sa compréhension et relève à ce titre des « écrits de la réception » (Le Goff & Fourtanier, 2017), se trouve surtout au niveau 7, tandis qu’il est absent du niveau 4, dans lequel les enseignants ne font pas, le plus souvent, écrire les élèves.

Le traitement des aspects du texte

Pour la dernière dimension d’analyse, observons d’abord les tendances quantitatives qui se dégagent au niveau des 16 aspects du texte retenus, tels que les montre le graphique 9.

L’analyse quantitative

L’analyse quantitative des aspects du texte les plus traités par les enseignants montre que deux aspects sont privilégiés, à chacun des trois niveaux scolaires : la construction narrative et le prisme des personnages. Le premier aspect décroit au fil de la scolarité, tandis que c’est le contraire qui se produit pour le second. L’analyse d’autres aspects du texte montre par ailleurs une augmentation du temps consacré aux valeurs mises en jeu dans le texte et à la mobilisation des référents culturels.

Figure 9

Évolution des aspects du texte enseignés au fil des niveaux

Les commentaires qualitatifs

En observant de quelle manière les enseignants abordent ces deux aspects du texte, quelques précisions peuvent être apportées (Brunel et al. 2021). Tout d’abord, pour ce qui concerne la construction narrative et plus précisément les rôles assignés aux passages liminaires du récit (début et fin), l’appui sur le début sert surtout à rappeler le cadre général de l’intrigue, tandis que l’appui sur la fin sert à interpréter et à témoigner de son appréciation, typiquement pour ce qui a trait à la morale du récit.

Quant aux personnages, plus les élèves avancent dans leur scolarité, plus les échanges à leur sujet sont nombreux et approfondis et vont de pair avec un travail interprétatif, précisément autour des sens à attribuer aux agissements des personnages.

Enfin, les aspects du texte émergents au niveau 10 sont liés à un formatage progressif de la séance de lecture de texte littéraire, qui irait de pair avec une centration sur des connaissances scolaires instituées (morale, valeurs, référents culturels…). Au fil de la scolarité, le texte serait de moins en moins un support à l’exercice de compréhension narrative linéaire et de plus en plus une occasion d’enrichir sa culture générale et théorique.

Des nouveaux résultats quantitatifs révélés par l’analyse statistique grâce à leur approfondissement qualitatif

Si les résultats qui précèdent suffisent déjà à rendre compte de la fécondité de l’articulation entre les approches quantitative et qualitative, il est possible de faire un pas de plus. En effet, l’analyse quantitative des données a permis d’établir trois types de liens ou de corrélations[10] :

1. entre les scores des élèves dans les trois opérations que sont la compréhension, l’interprétation et l’appréciation ;

2. entre les différentes dimensions des pratiques enseignantes ;

3. entre les résultats des volets « élèves » et « enseignement » de l’étude.

Celles-ci justifient à leur tour des interprétations et un nouveau regard qualitatif.

Des liens entre les scores des élèves dans les trois opérations

Afin de préciser les liens entre les scores des élèves dans les trois opérations testées par le questionnaire, une comparaison a été faite entre les moyennes des scores en appréciation et en interprétation des élèves dont les scores sont les plus forts (dernier quartile) en compréhension et celles des élèves qui ont les scores les plus faibles (premier quartile). Cette comparaison a fait apparaitre deux tendances significatives.

La première concerne les liens entre compréhension et appréciation : aux trois niveaux scolaires, les  appréciations référentielle, éthique et esthétique sont nettement moins présentes chez les élèves les plus faibles en compréhension (respectivement aux niveaux 4, 7 et 10 : 0,73 ; 1,07 ; 1,20) que chez les meilleurs (0,97 ; 1,21 ; 1,50), ce qui signifie que la qualité de la compréhension et celle de l’appréciation sont interdépendantes chez les élèves les plus faibles et les plus forts en compréhension.

La seconde tendance est associée aux liens entre compréhension et interprétation : aux trois niveaux, les interprétations fondées sur la « critique du matérialisme » et, plus encore, celles qui privilégient le schéma de l’« arroseur arrosé » sont moins présentes chez les élèves faibles (0,04 ; 0,42 ; 0,96) que chez les élèves forts en compréhension (0,44 ; 1,06 ; 1,46).

Ces résultats amènent donc à constater que, quel que soit le niveau scolaire considéré, les élèves faibles en compréhension sont aussi de moins bons interprètes et appréciateurs en moyenne. Toutefois, il ne suffit pas d’être un bon compreneur pour bien apprécier et interpréter le texte. Autrement dit, si la maitrise de la compréhension apparait comme la condition nécessaire pour pouvoir accéder à une appréciation et à une interprétation pertinente, elle ne suffit pas à les garantir : les élèves forts en compréhension ont besoin, comme les autres élèves, d’être exercés à l’interprétation et à l’appréciation pour pouvoir les mettre en oeuvre avec profit.

Des liens entre les différentes dimensions des pratiques d’enseignement

À côté de celles qui touchent aux opérations des élèves, des corrélations sont apparues entre les différentes dimensions des pratiques d’enseignement.

Entre les opérations de lecture et les schèmes pédagogiques transversaux, d’abord, trois corrélations nettes sont ressorties, concernant les séances du niveau 4 : une corrélation négative (-0,54) entre l’enseignement de la compréhension et l’exposé magistral, une corrélation positive (+0,63) entre les apports culturels et le cours dialogué, et une corrélation négative (-0,56) entre les apports culturels et les mises au point méthodologiques. Autrement dit, l’enseignement de la compréhension ne ferait pas bon ménage avec les longues prises de parole de l’enseignant, tandis que la mobilisation des apports culturels serait l’alliée des interactions dans la classe mais s’avérerait peu compatible avec un temps long consacré à l’exposé de consignes ou à des préoccupations méthodologiques.

Ensuite, entre les opérations de lecture et les gestes didactiques, deux corrélations nettes se dégagent et concernent, elles aussi, le niveau 4 : une corrélation positive (+0,74) entre les apports culturels et l’évaluation-régulation, et une corrélation négative (-0,66) entre les apports culturels et la présentification. En outre, ce résultat semble témoigner de la parenté étroite entre certains schèmes transversaux et certains gestes didactiques. Ainsi, le geste de l’évaluation-régulation s’inscrit au sein du schème du cours dialogué et le geste de la présentification peut être mobilisé au sein d’une séquence temporelle dominée par le schème de la mise au point méthodologique, ce qui a pu être vérifié à de nombreuses reprises dans les verbatims.

Par ailleurs, huit corrélations entre les opérations de lecture et les genres d’activités scolaires sont ressorties et touchent principalement le lien, aux trois niveaux scolaires, entre la stimulation de l’appréciation et l’expression d’avis – ce qui n’a rien d’étonnant –, et le lien, au niveau 10, entre l’enseignement de la compréhension et l’explication de texte.

Enfin, c’est entre les opérations de lecture et les aspects du texte que les corrélations abondent le plus puisque pas moins de 15 ont été dégagées : elles concernent principalement la relation entre la compréhension et la construction narrative (niveaux 4 et 10), entre l’interprétation et les relations entre personnages (niveaux 7 et 10) et entre l’appréciation et le narrateur (niveaux 4 et 7)… autant de liens qui ne surprennent guère et témoignent d’une forme de cohérence dans les choix des enseignants.

Des corrélations entre les volets « élèves » et « enseignement »

Si les liens d’interdépendances internes entre les différentes pratiques des mêmes acteurs ne font que conforter les intuitions qu’il est possible d’avoir à leur propos et ne constituent pas, à cet égard, des révélations, l’équipe était en revanche très curieuse de voir ce qui ressortirait de la mise en relation des productions des élèves et des pratiques de leurs enseignants. Certaines recherches appréhendent les pratiques enseignantes dans leur solidarité avec l’activité des élèves et parlent d’action conjointe (Sensevy & Mercier, 2007), d’autres s’intéressent à la diversité des régulations proposées à l’élève par l’enseignant (Mottier-Lopez, 2012) ou montrent des liens entre les gestes et les postures enseignantes d’étayage et les postures des élèves (Bucheton & Soulé, 2009). La présente étude s’est intéressée aux relations observables entre les pratiques d’enseignement analysées et les compétences des élèves. Les relations dont il sera question n’impliquent pas de rapport causaliste unilatéral entre les deux ensembles de données de la recherche : les liens constatés peuvent refléter aussi bien l’adaptation des enseignants au niveau de leurs élèves (dont ils avaient nécessairement une certaine conscience puisque les données ont été recueillies plusieurs mois après le début de l’année scolaire) que l’effet de l’enseignement sur les réponses des élèves (dans la mesure où ceux-ci ont sans doute été modelés dans une certaine mesure par les pratiques de leurs enseignants). Les relations dont il sera question résultent de la confrontation des deux ensembles de données au plan statistique via le logiciel Stata, présenté supra.

Les constats généraux

Dans un premier temps, l’équipe a regardé si des relations se dégageaient de la comparaison des deux ensembles de données, par pays et par niveau. Cette première analyse s’est avérée relativement décevante puisqu’elle n’a permis d’établir aucune régularité entre les productions des élèves et les pratiques des enseignants dans les classes belges et suisses.

Néanmoins, deux corrélations sont apparues à propos des classes françaises : aux niveaux 4 et 7, ces classes sont à la fois celles où l’enseignant travaille le plus l’interprétation et celles où les élèves ont les meilleures performances de compréhension. Au niveau 10, c’est dans ces classes que l’importance accordée par les enseignants au travail de l’interprétation (à nouveau) va de pair avec des performances d’appréciation plus importantes chez les élèves. Autrement dit, aux trois niveaux scolaires, le temps accordé par les enseignants français à l’interprétation est corrélé avec les performances de leurs élèves dans deux autres opérations : la compréhension chez les plus jeunes et l’appréciation chez les ainés. Cela semble indiquer que les enseignants français travaillent l’interprétation surtout lorsqu’ils oeuvrent auprès d’élèves qui comprennent (au niveau 4) ou apprécient le texte (au niveau 10). Comme ce phénomène est propre aux classes françaises de l’échantillon, il pourrait s’expliquer en partie par deux éléments de contexte, à savoir le poids en France de la tradition de l’explication de texte et la place accordée à la subjectivité dans les programmes actuels de ce pays.

Des relations remarquables entre pratiques d’enseignement et scores des élèves

Pour approfondir l’enquête, les relations entre les pratiques d’enseignement et les scores des élèves ont été observées à propos des quartiles des classes les moins performantes et les plus performantes en compréhension (premier et dernier quartile des moyennes des classes), puis en interprétation. Plus précisément, l’équipe a cherché à savoir si les opérations de lecture occupaient une place différente au sein de ces deux ensembles. Cette méthode s’est avérée particulièrement féconde sur deux plans.

En premier lieu, l’analyse de la place accordée aux pratiques d’enseignement centrées sur la compréhension et sur l’interprétation dans les classes les plus performantes et dans les classes les moins performantes en compréhension, tous pays et niveaux confondus, montre que la compréhension est beaucoup plus travaillée dans les classes des élèves les plus faibles en compréhension et qu’à l’inverse, l’interprétation est bien davantage exercée par les enseignants des classes des meilleurs compreneurs. Les enseignants semblent donc s’adapter aux difficultés de leurs élèves au plan de la compréhension en se concentrant sur le processus qui leur fait défaut, et considérer la maitrise de la compréhension comme une condition pour pouvoir travailler l’interprétation.

En second lieu, l’analyse des pratiques d’enseignement privilégiées dans les classes des meilleurs interprètes et dans celles des plus faibles indique que les seconds sont fortement stimulés à comprendre mais très peu stimulés à interpréter et à convoquer la culture, et cela à chacun des trois niveaux scolaires. On peut pourtant penser que ces élèves auraient davantage besoin de travailler ces aspects-là que les autres.

Ces tendances témoignent d’une conception étapiste de la lecture qui, bien que contestée au plan didactique par de nombreux chercheurs (cf. notamment Tauveron, 1999), semble encore caractériser bon nombre de pratiques d’enseignement aujourd’hui. Pour la majorité des enseignants de l’étude, tous niveaux confondus, la compréhension semble constituer l’opération de lecture clé qu’il s’agit de maitriser avant de pouvoir accéder à d’autres opérations jugées plus complexes, lesquelles sont, souvent, peu travaillées à part entière, quel que soit le niveau scolaire. Ces constats ne peuvent manquer d’interpeler les formateurs d’enseignants. Ils incitent aussi les chercheurs à proposer des pistes pour l’accompagnement des pratiques d’enseignement et pour la formation.

Conclusion

Au terme de cet article, il est possible de relever en quoi le traitement quantitatif des données s’est avéré un levier essentiel tout au long de la recherche. C’est grâce à cette approche qu’il a été possible tout à la fois de dégager des éléments saillants, d’étudier les distributions des scores des élèves (niveaux, items…), d’étudier les proportions de temps de séances allouées aux différentes pratiques d’enseignement, ou encore, d’observer des liens entre les scores des élèves et les temps d’enseignement.

Il importe toutefois de reconnaitre les conditions qu’exige une telle approche : il a fallu choisir un grain d’analyse très précis, ménager un temps de codage important et prévoir aussi dans ce cadre un temps presque aussi considérable pour les accords interjuges.

Le commentaire qualitatif des données, quant à lui, s’est avéré essentiel pour légitimer les pistes de travail suivies, pour poser les questions de recherche et concevoir des grilles d’analyse opérationnelles, mais aussi pour compléter certains résultats quantitatifs en les recontextualisant. Dans ce cadre, cette approche a permis d’illustrer une tendance par des exemples, d’étayer son analyse, de confirmer à double titre (qualitatif et quantitatif) des résultats d’autres recherches, de mettre en perspective des résultats en y ajoutant l’attention à l’assemblage de différents aspects et à l’ordre de ces aspects au sein de scénarios de leçons ou encore d’interpréter ce qui revient à l’enseignant et/ou à l’élève.

Ces différentes fonctions, essentielles, justifiaient pleinement la mobilisation d’une méthode mixte qui seule pouvait aider à répondre aux objectifs de la recherche. En effet, grâce aux analyses qualitatives préalables , l’équipe a mis au point une approche multifocale complexe permettant, dans une finalité exploratoire, la mesure fine des compétences des élèves et une appréhension détaillée des pratiques des enseignants. Enfin, c’est parce qu’elle a pu croiser de manière statistique compétences des élèves et pratiques des enseignants, mais aussi éclairer qualitativement les résultats obtenus en considérant leur contexte général qu’elle est parvenue à poursuivre la finalité explicative de la recherche et à proposer des pistes d’explication des tendances observées.

Pour conclure, il convient de souligner que le cadre restreint du présent article n’a évidemment permis d’esquisser que quelques résultats majeurs issus de plus de six années de recherche. En revanche, le lecteur pourra accéder à l’ensemble des résultats grâce à l’ouvrage qui paraitra en 2024 aux Presses universitaires de Rennes.

Notes

• [1] Il faut préciser que, si le niveau 4 correspond bien dans les quatre pays à la 4^e année du primaire (appelée CM1 en France), le niveau 7 correspond à la 1^re secondaire en Belgique, en Suisse et au Québec et à la 5^e en France, et le niveau 10 correspond à la 4^e secondaire en Belgique et au Québec, mais à la 1^re année du secondaire 2 en Suisse et à la 2^de en France). Par ailleurs, les tranches d’âge renvoient à un parcours ordinaire de scolarisation et pas forcément à l’âge effectif de tous les élèves de notre échantillon.
• [2] Il faut préciser que ce n’est pas le fait d’être positive ou non, ou étayée ou non par des arguments qui rend une appréciation valide, mais le fait de porter ou non sur des données objectives du texte. Par exemple, dire qu’on a aimé le texte parce qu’il célèbre l’amitié est une appréciation invalide.
• [3] Ces concepts ont été choisis parce qu’ils sont applicables de la même manière dans les différents contextes nationaux de l’enquête. Leurs définitions, qui sont détaillées dans nos autres publications, nécessiteraient un espace qui n’est pas disponible ici.
• [4] Il faut prendre garde à l’illusion d’optique que pourrait induire ce graphique : le fait que les scores de la compréhension paraissent beaucoup plus élevés est seulement attribuable au fait qu’ils sont mesurés sur une échelle de 17 items possibles, alors que, pour l’appréciation et l’interprétation, les meilleurs résultats, assez logiquement, n’excèdent pas trois items (c’est-à-dire trois appréciations ou trois interprétations différentes).
• [5] Pour rappel, la première tâche demandait aux élèves de résumer le texte (« Présente ce récit en détail, comme si tu t’adressais à quelqu’un qui ne le connait pas ». Pour évaluer sa réussite, l’équipe a relevé le nombre d’items du récit que les élèves restituaient parmi les 17 items qu’elle avait retenus comme pertinents.
• [6] Comme indiqué plus haut, les appréciations jugées non valides sont celles qui s’appuient sur une compréhension fantaisiste ou erronée, par exemple lorsqu’un élève dit avoir apprécié le texte parce qu’il exalte la valeur de l’amitié.
• [7] Le codage utilisé est composé des initiales du pays (F pour France ici), du niveau de scolarité (4 ici) et du numéro (parmi huit) attribué à la classe (ici la classe 3).
• [8] Les auteurs analysent en effet au contraire que « la compréhension construite avec l’accompagnement de l’intervieweur devient un préalable à l’appréciation du texte » (2015, p. 88).
• [9] Pour plus d’éléments sur l’étude qualitative de l’emploi des gestes didactiques, voir Dufays., Brunel, Capt et Fontanieu, 2020.
• [10] En fonction des caractéristiques des distributions des variables au sein des données relatives aux élèves, puis au sein des données relatives aux classes et enfin des données croisées élèves-classes, l’équipe a d’une part établi des comparaisons de moyennes d’une variable entre premiers et derniers quartiles d’une autre variable, d'autre part étudié les coefficients de corrélations linéaires (Pearson) et/ou de rangs (Spearman) entre deux variables.