L’assurance qualité des traductions : items sélectionnés et évaluation assistée par ordinateur

Kockaert, Hendrik; Segers, Winibert

doi:https://doi.org/10.7202/1012747ar

1. Introduction

Les universités, de plus en plus sollicitées pour faciliter l’insertion de leurs étudiants dans le monde professionnel (dans notre cas celui des fournisseurs de services linguistiques) visent à compléter leurs programmes d’études actuels par des modules de formation liée à l’emploi (Connor et MacFarlane 2007 ; Hills, Robertson, et al. 2003 ; Lucas, Cooper, et al. 2009 ; Orrell 2004). La Faculté de langues et de communication de Lessius et de la KU Leuven a mis sur pied la simulation d’un bureau de traduction proposant un mode d’apprentissage hybride qui assure la combinaison de modules d’apprentissage en ligne (théories, documentation sur le langage sur objectifs spécifiques en question) avec des activités présentielles (traduction et révision).

Afin de simuler au maximum le monde professionnel des fournisseurs de services linguistiques et notamment des prestataires de services de traduction (PST[1]), il a été jugé opportun d’analyser ce secteur à l’aide d’une étude sur le terrain nous permettant de relever les aspects qui méritent d’être privilégiés. Nous nous référons dans ce contexte à deux enquêtes qui ont été menées en Belgique (Barbe et Claes 2006 : 62-64) et dans l’Union européenne (UE) (Boucau 2006), respectivement. Ces enquêtes nous apprennent, premièrement, que des logiciels de traduction assistée par ordinateur (TAO) étaient utilisés dans 50 % des services de traduction en Belgique en 2006. Deuxièmement, une analyse ciblée des activités effectuées au sein des services de traduction considérés nous apprend que toutes les activités relatives à la révision augmentent sans cesse : se succèdent, par ordre décroissant, la traduction[2], la révision et la correction. Ensemble, ces activités couvrent 88 % de toutes les activités enregistrées (Barbe et Claes 2006 : 27).

En posant un regard sur l’objectif que les universités se sont fixé récemment, à savoir favoriser l’insertion de leurs diplômés dans le monde professionnel, nous avons analysé dans quelle mesure l’utilisation de logiciels de TAO et la qualité des traductions sont interdépendantes. Dans ce contexte, nous avons examiné les questions suivantes :

Quel est l’impact de la méthode évaluative (méthode analytique ou par items sélectionnés) sur les résultats de la révision ?
Quel est l’impact de l’utilisation ou non de logiciels de TAO, notamment de mémoires de traduction, sur le processus de traduction ?
Quel est l’impact d’un logiciel d’aide à l’assurance de la qualité (AQ) sur le processus de révision ?

2. Impact de la méthode évaluative : évaluation[3] analytique ou évaluation à l’aide d’items sélectionnés ?

Nous nous référons dans ce contexte à des études antérieures (Anckaert, Eyckmans, et al. 2008 ; Eyckmans, Anckaert, et al. 2009 ; Van de Poel et Segers 2007). Il s’agit en premier lieu d’expliquer les différences majeures entre les modes évaluatifs suivants : évaluation analytique et évaluation à l’aide d’items sélectionnés. Le but était d’aboutir à une évaluation aussi indépendante que possible des points de vue nécessairement individuels et subjectifs de chaque réviseur. L’évaluation dite analytique analyse toutes les erreurs enregistrées dans la traduction tout entière de chaque traducteur (étudiant, candidat à un concours, candidat à un poste vacant, etc.). La note finale est basée sur cette évaluation exhaustive. Or, cette méthode évaluative est souvent critiquée (Anckaert, Eyckmans, et al. 2008). Cependant, en dépit du fait qu’elle ne semble pas garantir une évaluation objective de toutes les traductions effectuées par les candidats à un examen d’admission, par exemple, elle est réputée offrir une rétroaction exhaustive, constructive et individualisée à l’intention de chaque traducteur (Federici 2010 : 175 ; Tryuk et Ruszel 2009 : 178).

Que l’évaluation analytique de traductions soit marquée par une certaine subjectivité est attesté dans la littérature (Eyckmans, Anckaert, et al. 2009). Nous l’avons nous-mêmes observé au cours des deux projets décrits ci-dessous. L’évaluation de traductions semble dépendre largement des préférences personnelles des évaluateurs[4]. Résoudre le problème de la subjectivité par des grilles d’évaluation (LISA QA Model[5], SAE J2450[6], etc.) se révèle n’être qu’une illusion. Le désaccord entre évaluateurs sur la catégorie et le poids de l’erreur provoque souvent des écarts importants. Pour y remédier, nous proposons une deuxième méthode d’évaluation, qui est effectuée à l’aide d’items sélectionnés. Elle devrait permettre de réduire dans une large mesure cette subjectivité.

En général, l’évaluation par items sélectionnés présélectionne un certain nombre de segments de traduction comme candidats à une évaluation ultérieure dans chaque traduction. Ces segments candidats sont issus d’un pré-test mené sur un échantillon des copies soumises par les traducteurs ; les segments mal traduits à plusieurs reprises serviront d’items dans la phase de révision proprement dite. Dans cet échantillon, toutes les traductions erronées de ces items sont relevées, ainsi que leurs traductions correctes. Cette liste préétablie d’items sera à l’origine d’une révision objective, en raison d’une approche évaluative identique visant les mêmes segments de traduction. En même temps, cette méthode réduira significativement le temps de travail des réviseurs.

Afin d’illustrer cette méthode, nous nous référons à l’exemple ci-dessous. Le texte anglais à traduire est un passage tiré du site d’Eurostar :

Nous avons trouvé deux versions françaises différentes de ce passage – une première version sur le site belge d’Eurostar (a), une deuxième version sur le site français (b) :

Ces traductions, sont-elles bonnes ou mauvaises ? Laquelle des deux est la meilleure ? Comment évaluer de façon objective ces deux traductions en français ? Nous appliquons la méthode d’évaluation à l’aide d’items sélectionnés, qui consiste en sept étapes (tableau 1).

Tableau 1

**Méthode d’évaluation à l’aide d’items sélectionnés**

Les candidats qui n’étaient pas échantillonnés pour le pré-test traduisent le texte entier. Ils ne savent pas quels sont les items qui ont été sélectionnés. Les évaluateurs n’évaluent plus les traductions entières, comme c’était le cas avec l’évaluation analytique, mais contrôlent uniquement les items sélectionnés (en gras dans le texte ci-dessous).

Cette méthode d’évaluation a trois avantages :

La méthode est objective : une traduction évaluée indépendamment par deux évaluateurs aura la même note. Par exemple :
1. Traduction 1
  →
  -9/10 = 1/10
1. Traduction 2
  →
  -4/10 = 6/10
La méthode est rapide : l’évaluateur ne doit plus lire la traduction complète ; il contrôle seulement les items sélectionnés.
La méthode permet une évaluation assistée par ordinateur. Il faut intégrer dans la banque de données :
1. les items sélectionnés ;
2. les réponses erronées ;
3. le poids des erreurs.

La méthode est, de plus, facilement applicable et demande un temps d’investissement raisonnable. En plus, il est possible de la peaufiner en appliquant des méthodes statistiques, notamment le calcul de l’indice de difficulté et de l’indice de discrimination. Nous donnerons un exemple du calcul de l’indice de difficulté.

Pour calculer l’indice de difficulté d’un item (valeur p), on divise le nombre de candidats ayant proposé une solution erronée par le nombre total de candidats.

Tableau 2

**Calcul de l’indice de difficulté d’un item (100 candidats ont traduit le texte)**

3. Impact de l’utilisation d’un logiciel de TAO sur l’assurance qualité : les mémoires de traduction

Nous avons évoqué deux méthodes évaluatives ainsi que leurs fonctionnalités divergentes en rapport avec les objectifs de la révision. D’une part, nous retenons que la méthode par items sélectionnés pourra servir d’instrument efficace et performant pour attribuer des notes objectives et à poids identique à des traductions effectuées dans le cadre d’examens de recrutement ou d’admission ; c’est précisément dans ce contexte que l’objectivité et la transparence sont à privilégier. Cette méthode est d’ailleurs parfaitement conciliable avec la révision dans un contexte de TAO. D’autre part, nous nous sommes proposé de revoir la méthode analytique, qui servira d’instrument quasi incontournable quand il s’agira de donner une rétroaction individuelle et exhaustive à des traducteurs-réviseurs débutants, entre autres. Cette méthode s’avérera elle aussi compatible avec la révision en contexte de TAO, du moins telle que nous l’envisageons dans cette étude.

Après la discussion sur les méthodes de révision susceptibles d’être praticables dans le contexte des objectifs susmentionnés, nous avons voulu déterminer dans quelle mesure l’utilisation d’un logiciel de TAO est ou non à l’origine de différents niveaux de qualité traductionnelle. À cet effet, nous avons choisi d’inviter un groupe de 13 étudiants (master en traduction : module Traduction médicale) à effectuer une première traduction sans logiciel de TAO (1) puis un groupe de 9 étudiants à utiliser le logiciel SDL Trados Studio 2009 pour une deuxième traduction (2).

3.1. Hypothèse

Il semble généralement accepté qu’un logiciel de TAO génère non seulement des traductions effectuées plus rapidement, mais aussi des traductions plus cohérentes au niveau des choix terminologiques et phraséologiques, à la faveur de l’acquisition continue des segments de traduction intégrés dans la mémoire de traduction.

3.2. Méthode et procédures (1)

Un groupe de 13 étudiants a traduit d’abord un premier texte (étiquetage et notice de Depakine) du français au néerlandais. Il comptait 250-300 mots et la traduction devait être soumise au bout d’une heure. Ils disposaient de toutes les ressources en ligne ainsi que de dictionnaires électroniques spécialisés. En plus, ils devaient suivre la terminologie du format de l’Agence européenne des médicaments (AEM, ou EMA, European Medicines Agency[11]). Pour la seconde traduction (étiquetage et notice de Betaferon), ils ont utilisé la mémoire de traduction SDL Trados Studio 2009, dans laquelle nous avions stocké les segments de traduction nécessaires issus des documents de l’AEM. Nous avons révisé les deux traductions à l’aide de la méthode analytique : toutes les erreurs enregistrées entraient donc en ligne de compte.

3.3. Résultats (1)

La méthode analytique a été utilisée pour comparer les traductions effectuées à l’aide d’un logiciel de TAO (SDL Trados Studio 2009) avec celles réalisées sans logiciel. Cette méthode évaluative nous a permis de repérer toutes les erreurs, et non une seule liste d’erreurs présélectionnées servant d’items exclusifs. Sur la base des textes cibles, nous avons dressé une liste qui regroupe la plupart des erreurs communes ; ainsi, nous avons pu repérer les différences selon que les traductions étaient assistées ou non par ordinateur. La figure 1 met en évidence les zones d’erreurs communes et montre également que la mémoire de traduction a bien aidé les étudiants pour traduire des mots tels que classe (traduction correcte : categorie ; traduction erronée : klasse). Le mot classe figure dans la mémoire de traduction préalimentée à l’aide de l’apport des formulaires de l’AEM et n’a généré aucune traduction erronée. Par contre, parmi les traductions non assistées par ordinateur, nous avons enregistré 11 traductions erronées (classe est traduite comme klasse). Un deuxième segment présent dans la mémoire est TTC (toutes taxes comprises), qui a généré une distribution d’erreurs comparable : 12 erreurs dans la traduction non assistée par ordinateur contre 1 erreur dans la TAO. Il s’agit une fois de plus d’un segment préalimenté et jugé correct par les professeurs-réviseurs.

Figure 1

**Segments de traduction TAO et non-TAO : nombre d’erreurs enregistrées (13 candidats)**

3.4. Méthode et procédures (2)

Le deuxième groupe comprenait 9 étudiants (master en traduction : module Traduction médicale) auxquels nous avons demandé de réviser un extrait d’un texte médical traduit de l’anglais au néerlandais (Congenital Heart and Blood Vessel Defects[12]). Ils s’étaient répartis en 6 équipes ; nous avons donc reçu 6 textes révisés. L’extrait à réviser comptait 300 mots et était associé à une mémoire de traduction alimentée sur la base du document entier. Les étudiants devaient réviser la traduction générée par le logiciel SDL Trados Studio 2009. Les groupes devaient soumettre la révision après deux heures. En fait, il s’agit plutôt d’un travail de postédition d’une traduction générée par la mémoire de traduction. Dans la mémoire, nous avions inséré intentionnellement cinq segments de traduction erronée (voir figure 2). L’objectif était de voir si les étudiants les repéreraient ou non. Il s’agit des erreurs suivantes : congenital heart disease était correctement traduit par congenitale hartziekte (maladie cardiaque congénitale) ; notre erreur intentionnelle a été d’introduire congenitale hartafwijking (malformation cardiaque congénitale) ; les deux occurrences de congenital étaient traduites par aangeboren (inné) et congenitaal (congénital), ce qui constitue une incohérence terminologique ; third dans le segment A third rare defect […] a été traduit par andere (autre) et représente par conséquent une erreur de traduction. Le segment Down syndrome a été traduit par Down, ce qui pourrait prêter à confusion, voire à l’erreur. Le segment vessel (vaisseau sanguin) a été traduit par slagader (artère), ce qui représente une erreur terminologique, puisque la traduction utilise un sous-ordonné, à savoir artère. Pour cet exercice, notre révision était basée sur l’évaluation à l’aide de cinq items sélectionnés et évalués, l’objectif étant de déterminer si les étudiants-réviseurs repéreraient ou non les erreurs de traduction prétraduites par SDL Trados Studio 2009.

Figure 2

**Erreurs de révision sur la base d’une mémoire de traduction**

3.5. Résultats (2)

Nos étudiants-réviseurs n’ont pas toujours remédié aux erreurs que nous avions intentionnellement insérées dans la mémoire de traduction. Le tableau 3 présente le détails des résultats.

Tableau 3

**Erreurs intentionnelles non corrigées**

Dans le cadre de cette étude, nous avons voulu déterminer dans quelle mesure la mémoire de traduction interfère avec la qualité de textes cibles, traduits et révisés. Dans cette expérience ponctuelle, nous n’avons pu confirmer que la présence de segments de traduction dans une mémoire de traduction augmente la qualité finale du texte cible. Même au niveau de la révision, nous n’avons malheureusement pas obtenu la qualité que nous espérions. Cette expérience nous a menés à repenser l’apport tant glorifié des outils/logiciels de TAO quand il s’agit d’améliorer la qualité générale de traductions, tant au niveau de la traduction à proprement parler qu’à celui de la révision conforme aux normes EN 15038[13] et CAN/CGSB-131[14]. Dans les sections suivantes, nous présentons un logiciel qui, d’après nous, pourrait prendre en charge ce genre de situations.

4. Impact de l’utilisation d’un logiciel d’aide à l’AQ sur le processus de la révision

Le fait que l’évaluation de traductions occupe de plus en plus le devant de la scène est attesté dans la littérature (Anckaert, Eyckmans, et al. 2008 ; van Santen 2007 : 83). C’est particulièrement à cause du nombre croissant de procès intentés contre les évaluateurs ou les réviseurs (souvent professeurs ou recruteurs) pour des évaluations non transparentes, voire non objectives, que l’industrie de la langue a favorablement accueilli le développement de logiciels capables de rendre les évaluations plus transparentes et plus objectives.

Nous nous référons à Kockaert et Makoushina (2008 : 2) et à Nataly, Beninatto, et al. (2008 : 16) ainsi qu’aux normes EN 15038 et CAN/CGSB-131 pour échelonner le processus d’assurance de la qualité (AQ) en différentes étapes qui sont généralement successives, mais actuellement de plus en plus simultanées et « pollinisantes », grâce notamment aux processus traductionnels dynamiques et proactifs :

le contrôle de la qualité (CQ), qui consiste en un dépistage d’erreurs dans le texte final ;
l’assurance de la qualité (AQ) proprement dite, ayant pour objectif d’optimiser la qualité durant le processus de la traduction en apportant les corrections nécessaires de manière proactive ;
la prévention et le contrôle des erreurs éventuelles à l’état embryonnaire, processus dit d’amélioration de la qualité[15].

Nous nous efforcerons cependant d’intégrer ces trois dimensions dans un logiciel d’AQ pour qu’il devienne un outil multifonctionnel capable d’affronter l’ensemble des problèmes surgissant dans le processus traductionnel complet.

L’AQ devra suivre la nature changeante du processus traductionnel, qui consiste jusqu’à présent en trois phases successives, parfois cloisonnées : la traduction, la révision et la correction d’épreuves[16]. C’est toujours le schéma qui prédomine dans les services de traduction et qui est préféré par les clients (Kockaert et Makoushina 2008 : 2).

Figure 3

**Phases successives du processus traductionnel**

Il est actuellement recommandé d’opter pour un processus d’AQ plus dynamique et pollinisant à chacune des phases susmentionnées. En vue de réduire au minimum le taux d’erreurs, il est opportun de travailler sur la base d’un document source exempt d’erreurs, non ambigu, pourvu d’une terminologie cohérente, ainsi que d’une mise en page et d’une typographie correctes. Les documents traduits devront être intelligibles et ne pas « sentir » la traduction. De plus, le formatage et la mise en page devront être identiques dans le document source et le document traduit. Les documents finaux sont identiques aux documents traduits, mais exempts d’erreurs : ce sont les documents bons à tirer, s’approchant d’un degré zéro d’erreurs. Les documents traduits doivent encore être révisés. À chaque phase, les erreurs peuvent être dépistées à l’aide de logiciels d’AQ : cohérence terminologique au sein du texte (intratextuelle) et par rapport à un glossaire associé au client, formatage, contrôle de l’orthographe, etc. Certains logiciels vérifient les nombres ainsi que les segments sautés ou non traduits. Or, il reste vrai que beaucoup de vérifications nécessaires échappent à l’attention de ces logiciels, comme vérifier si le document traduit contient des expressions propres à la langue cible, des cas de polysémie indue ou des cas d’ambiguïté. Pour ces situations, les réviseurs devront toujours revérifier le document traduit de manière non automatisée. Concluons que chaque phase évaluative comprend nécessairement des actions automatisées et non automatisées. Le tableau 4 permet de visualiser cette situation.

Tableau 4

**Actions liées à l’AQ lors des différentes phases de l’évaluation**

Par ailleurs, la qualité de la traduction ne dépend plus exclusivement d’une haute qualité des traduisibles, mais aussi d’une haute qualité de tous les autres types de documents impliqués. Ainsi, les mémoires de traduction doivent être pourvues, dès les premières entrées, de paires de traduction de haute qualité et les segmentations devront être correctement effectuées. Les glossaires doivent contenir les termes appropriés, validés et intégrés dans un système conceptuel adéquat. Les instructions du client doivent être elles-mêmes claires et appliquées correctement dans les traductions. Il serait par ailleurs utile d’intégrer les manuels de référence dans les mémoires de traduction. Ces mémoires de traduction et ces glossaires doivent être adaptés et actualisés sans cesse pour qu’ils soient toujours corrects. Le tableau 5 donne un aperçu (non exhaustif) des différentes actions effectuées lors du processus traductionnel.

Tableau 5

**Opérations liées à l’AQ effectuées lors du processus traductionnel**

Cependant, le tableau 5 ne nous offre toujours pas une image exhaustive de toutes les opérations impliquées dans le processus traductionnel complet. Ce qui ne figure pas dans ce tableau, mais qui influe directement sur la qualité, c’est la qualité des ressources, à savoir les traducteurs, les réviseurs et les relecteurs-experts mêmes. Les critères à observer à cet effet figurent notamment dans les normes EN 15038 et CAN/CGSB-131, qui sont largement harmonisées. Nous n’entrerons cependant pas dans les détails, étant donné l’objectif spécifique du présent article.

Le tableau 6 a pour objet l’inventaire des opérations d’AQ nécessaires, qu’elles soient associées ou non à des logiciels d’AQ capables de les effectuer automatiquement.

Tableau 6

**Opérations nécessaires pour assurer l’AQ**

4.1. L’AQ effectuée par les logiciels

Avant d’entrer dans les détails quant aux différentes fonctionnalités apportées par les logiciels d’AQ, il est important de rappeler quelques points essentiels relativement à la qualité même d’une traduction. Évidemment, une traduction ne sera jugée correcte qu’après acceptation entière par le client. Entrent en jeu la grammaticalité, la ponctuation, l’orthographe, le fait que tous les segments de traduction ont été traduits, etc. En plus, le texte cible doit se lire comme si c’était un texte rédigé dans la langue d’arrivée.

Cependant, l’AQ comporte en fait d’autres dimensions : vérification que ni le texte source, ni le texte cible n’ont été endommagés au cours du processus, élimination d’espaces doubles ou de deux points finaux, vérification du parallélisme entre le glossaire du client et la terminologie utilisée dans la traduction. Il ne s’agit ici que de quelques exemples où aucune maîtrise des langues source et cible n’est requise. Ces dernières années, l’AQ automatisée a connu un essor considérable, comme en témoignent les logiciels de TAO en général. Par exemple, la possibilité de créer des segments de traduction de type correspondance floue (fuzzy match) dans les mémoires de traduction constitue un risque pour la qualité requise. Les traducteurs ne peuvent reproduire ces segments comme des traductions correctes sans plus. Dans ce contexte, les outils d’AQ peuvent ajuster le degré de correspondance floue, voire le supprimer, afin de garantir une traduction présentant une correspondance complète (100 %). À titre d’exemple, une correspondance floue entre deux segments de traduction pourrait se situer au niveau des chiffres, ce qui pourrait être à l’origine d’erreurs impardonnables quand il s’agit de doses létales de médicaments.

Ces erreurs, qui échappent souvent à l’oeil humain des réviseurs les plus avertis ou les plus méticuleux, sont facilement détectables par les logiciels actuellement disponibles. Des logiciels intégrés ou autonomes sont de plus en plus équipés de fonctionnalités de repérage automatisé de ces types d’erreurs.

Le tableau 7 ci-dessous indique la disponibilité de logiciels capables d’effectuer les opérations d’AQ que nous avons évoquées. Nous nous référons ici à Gerasimov (2007), Kockaert et Makoushina (2008) et Zetzsche (2007). Il en ressort que différents logiciels sont conçus pour dépister des erreurs de manière automatisée. Quant au repérage non automatisé, il faut insister sur le fait que celui-ci est relativement nouveau. Comme nous le montrons plus loin, il est possible de gérer de manière efficace des erreurs qui ne sont pas détectables automatiquement.

Tableau 7

**Disponibilité de logiciels effectuant les opérations d’AQ**

4.2. Quelques trésors cachés des logiciels d’AQ

Les logiciels d’AQ actuels offrent diverses fonctionnalités permettant de peaufiner l’AQ, ce qui permet de réduire le bruit et de repérer davantage d’erreurs formelles. Ainsi, la fonctionnalité revêt la forme d’un repérage de déviations dans le texte cible par rapport aux spécifications du client. La fonctionnalité la plus performante consiste en un ensemble d’expressions régulières, qui sont fondées sur un langage de programmation et qui permettent de repérer exactement ce qui doit être évalué (caractères invalides ou répétitifs, mots, etc. ; pour plus de détails sur les expressions régulières, voir Friedl 2006).

4.3. Les logiciels d’AQ : de l’état présent au développement futur

Le repérage automatisé d’erreurs formelles, les mémoires de langage ciblé, le langage contrôlé et le dépouillement de termes constituent à l’heure actuelle les fonctionnalités les plus sollicitées des logiciels d’AQ. De plus, ces logiciels évolueront vers des outils capables d’améliorer, de diversifier et de personnaliser leurs fonctionnalités. Ce que nous n’avons pas encore vu, c’est leur capacité de repérage (semi-)automatisé et systématique d’erreurs non formelles.

Une enquête a été menée à la Faculté de langues et de communication de Lessius et de la KU Leuven, avec, pour objectif, l’identification des fonctionnalités les plus sollicitées d’un logiciel d’AQ appliqué à la traduction (Kockaert, Makoushina, et al. 2008). Il en est ressorti qu’un logiciel d’AQ vraiment opérationnel devrait être doté d’un dispositif intégré permettant de stocker, à l’instar d’une mémoire de traduction, les commentaires, les corrections et les actions correctives apportés par les réviseurs et éventuellement par les relecteurs-experts. De cette manière, une mémoire de révision se construit petit à petit sur les copies (textes cibles) successives des candidats, des étudiants, des traducteurs, etc., pour aboutir à une sorte de mémoire évaluative pouvant servir plus tard dans le cadre d’autres projets. Il convient ici de préciser qu’une telle mémoire fonctionnerait mieux au sein d’un même langage spécifique, au sein d’un même domaine spécialisé. Un logiciel d’AQ de ce genre pourrait stocker toutes les opérations formelles offertes par les logiciels d’AQ automatisés, avec en plus les opérations portant sur les erreurs de natures linguistique et stylistique, non repérables par un logiciel exclusivement automatisé.

La mémoire des révisions pourra en outre stocker des liens externes renvoyant à des références qui relèvent du domaine de spécialité auquel appartient la traduction et qui ont été introduites par l’évaluateur. Dans une phase ultérieure du développement d’un tel outil, nous avions jugé qu’il serait opportun d’y intégrer des fonctionnalités statistiques en vue de dresser un tableau détaillé des types d’erreurs et de leur fréquence, tableau qui serait associé à l’attribution d’un score transparent et justifié. Cette fonctionnalité serait parfaitement bien adaptée aux deux méthodes d’évaluation discutées plus haut. Le logiciel d’AQ, que nous avons baptisé RevisionQ[18], offrira la possibilité de mettre au point des stratégies évaluatives et correctives sur la base de ces statistiques, qui s’avéreront utiles dans tout processus traductionnel à visée pédagogique (université) ou professionnelle (service de traduction). Les services de traduction au sein des organisations internationales, telles que l’ONU, l’UE ou l’OTAN, ainsi que les universités et les écoles supérieures offrant des programmes en traduction ont déjà exprimé leur intérêt à l’égard de ce projet. La possibilité de pouvoir insérer et gérer des données statistiques personnalisables dans un logiciel d’AQ est ce qui a soulevé le plus d’intérêt, car cela permet de maximiser la compatibilité avec les normes EN 15038 et CAN/CGSB-131. L’outil RevisionQ pourra être opérationnel à chaque phase évaluative du processus traductionnel, ce qui profitera indubitablement à son déroulement.

Du point de vue technique, les répondants ont préféré une application indépendante de tout autre logiciel, afin que des traductions réalisées avec Microsoft Word puissent être révisées sans l’intermédiaire d’une mémoire de traduction logicielle. Toutefois, pour des raisons techniques de développement logiciel, la première version prévue fera exclusivement partie d’un logiciel intégré.

L’enquête susmentionnée a permis de mettre en relief certains desiderata. Les évaluations formelles devront être complétées par un processus assisté par ordinateur qui permettra de repérer les erreurs non formelles et qui dialoguera avec des activités intrinsèquement humaines au niveau de l’évaluation de traductions (ce processus pourra même les supplanter partiellement). Nous pensons, dans ce contexte, à la richesse qu’apportent les évaluateurs humains en ce qui concerne les annotations stylistiques et linguistiques complexes. Ces apports seront enregistrés aussi bien dans les textes cibles (traduction) que dans les textes sources, parce que RevisionQ pourra fonctionner en même temps comme un logiciel de rédaction en langage contrôlé ou en langue spécialisée. Il s’agit par conséquent d’un outil qui traitera d’erreurs qui ne sont pas déclenchées automatiquement par les logiciels actuels, mais qui devront être corrigées et stockées dans la mémoire évaluative par un évaluateur humain. En d’autres termes, RevisionQ se distingue des autres logiciels d’AQ par sa capacité à enregistrer et à régénérer des actions correctives de tout genre (révision, relecture, correction d’épreuves, etc.) de manière semi-automatisée : il s’agit en fait d’un système hybride qui fusionne les fonctionnalités de correction formelle et les réflexions humaines des évaluateurs en chair et en os.

4.4. Du désir platonique vers une approche pragmatique ?

Les fonctionnalités de RevisionQ sont précisées dans ce qui suit. L’évaluateur commence par apporter ses commentaires et ses corrections dans la copie du traducteur (étudiant, stagiaire, candidat à un concours, etc.) pour consultation ultérieure par ce dernier. En réalité, l’évaluateur constitue petit à petit un stock, une mémoire, de commentaires à la manière du Suivi de modifications dans un document Word. À chaque traduction subséquente du même texte source, ou d’un texte du même domaine spécialisé, l’évaluateur pourra se référer aux commentaires qu’il a précédemment introduits dans la mémoire, ou encore dans le suivi des modifications stockées. Cette mémoire évaluative affichera un menu fugitif ou incrusté à chaque fois que le curseur glisse sur un élément (segment traductionnel, mot, expression, etc.) dans le texte cible où l’évaluateur a inséré un commentaire dans une copie antérieure. Les repères de l’apparition du menu s’accumulent désormais au fur et à mesure en fonction des copies évaluées. Le repérage automatisé des endroits où l’évaluateur a déjà apporté des commentaires est donc crucial. C’est pourquoi chaque copie sera appariée au texte source ainsi qu’à la mémoire elle-même. Un élément sur lequel l’évaluateur aura apporté antérieurement un commentaire va générer un menu fugitif ou incrusté qui affichera tout ce qu’aura apporté l’évaluateur.

Le logiciel RevisionQ pourra ainsi assurer une évaluation cohérente de toutes les copies. Finies les corrections isolées et parfois arbitrairement sévères ou laxistes au gré de l’état d’âme de plusieurs évaluateurs ou du même évaluateur. Dans le contexte d’examens ou de concours, les candidats pourront désormais s’attendre à recevoir leurs copies avec des corrections et des suggestions identiques, et sanctionnées de manière équitable, grâce au module statistique. En même temps, les corrections d’ordre purement formel (correspondance de nombres, ponctuations, segments non traduits, etc.) se feront automatiquement grâce à l’intégration d’un logiciel d’AQ traitant de ces types d’erreurs.

Si l’évaluateur veut encore modifier ou supprimer un commentaire quand il a atteint sa énième copie, il pourra le faire sans problème et le logiciel l’adaptera automatiquement à rebours dans toutes les copies précédentes, ainsi que dans la mémoire. Cette fonctionnalité accentuera la flexibilité du logiciel sans pour autant influer sur le temps de travail de l’évaluateur. La charge de travail sera réduite parce que l’évaluateur ne devra insérer qu’une seule fois un commentaire qui servira dans toutes les copies successives où surgira la même erreur. Si nous nous référons à l’importance accrue du caractère transparent et objectif, chiffrable et justifiable de toute évaluation, nous sommes convaincus que RevisionQ apportera un gain significatif dans ce domaine.

De plus, RevisionQ permettra de faire d’une pierre deux coups parce qu’il permet d’appliquer les normes EN 15038 et CAN/CGSB-131. Le dispositif statistique comptera et affichera les erreurs dans des catégories, sur la base de la sévérité, en accord avec différentes matrices évaluatives, tel le SAE J2450 préétabli ou une matrice individuellement ajustable qui est proposée par Van de Poel et Segers (2007). Les repères de sévérité appliqués dans les normes internationales (SAE J2450, LISA) pourront être intégrés dans RevisionQ et serviront ainsi de base pour l’attribution des notes définitives à chaque traducteur s’il s’agit de classer objectivement les candidats à un poste de traducteur à la Commission de l’UE ou au sein d’autres institutions.

RevisionQ pourrait enfin fonctionner comme une aide à la traduction destinée au traducteur dès les premières phases du processus traductionnel : le traducteur se sert de la mémoire des commentaires pendant qu’il traduit un texte. Il va sans dire que l’efficacité de la mémoire est directement liée à la similarité des textes sources et des textes cibles et aux domaines spécialisés en question.

4.5. Questions diverses

Si nous voulons suivre les dernières tendances relatives aux processus traductionnels en milieu communautaire (Beninatto et DePalma 2007), le logiciel RevisionQ pourra-t-il être intégré ultérieurement dans un tel environnement ? Oui, à condition de bien déterminer les droits d’accès des différents utilisateurs qui participent aux diverses étapes du processus traductionnel, depuis la traduction jusqu’à la relecture-expertise et la correction d’épreuves.

5. Conclusion

Avec l’outil RevisionQ, nous avons voulu montrer que l’assurance qualité pourra elle aussi profiter d’une automatisation sensée au niveau des processus traductionnels. Finies les corrections exclusivement formelles ! Nous espérons avoir démontré que ce logiciel d’AQ pourra marier harmonieusement l’expertise humaine des évaluateurs et les corrections purement formelles. La fusion des processus assistés par ordinateur et des réflexions humaines dans une mémoire évaluative pourra aboutir à un système évaluatif non seulement plus polyvalent et efficace, mais aussi plus humain, aussi bien pour les traducteurs que pour les évaluateurs. Non seulement ce logiciel rendra les évaluations plus objectives et plus transparentes (recours à une évaluation avec items sélectionnés), mais il constitue également un instrument de travail offrant une rétroaction constructive et stockable (recours à une évaluation analytique). Enfin, il permettra de nous intégrer, le cas échéant, dans les contextes de traduction communautaire, grâce à sa capacité de communiquer et d’actualiser sans cesse son histoire de corrections.

L’assurance qualité des traductions : items sélectionnés et évaluation assistée par ordinateur

Résumé

Abstract

1. Introduction

2. Impact de la méthode évaluative : évaluation[3] analytique ou évaluation à l’aide d’items sélectionnés ?