Corps de l’article

Ce qui compte ne peut pas toujours être compté, et ce qui peut être compté ne compte pas forcément.

Albert Einstein

Introduction

Récemment entrés sur la scène statistique, les indicateurs sont rapidement devenus des outils centraux de l’action politique. Une fois créé, il est d’ailleurs courant qu’un indicateur « devienne la chose elle-même » (Desrosières, 1993). Il devient « une convention durable non imposée » (Gadrey et Jany Catrice, 2004). Mais auparavant, il aura parfois été nécessaire, pour les différents acteurs chargés de cette élaboration, de débattre longuement, voire de renoncer à mesurer l’entité abstraite que l’on vise à saisir… Ce moment où des institutions différentes mettent en débat une notion centrale pour leur fonctionnement est rarement saisi, bien qu’il permette d’appréhender tous les enjeux de la quantification[1], enjeux qui sont parfois cruciaux si les chiffres sont destinés à être rendus publics.

À travers l’histoire des tentatives d’élaboration d’un indicateur de sécurité des services de contrôle de la navigation aérienne, nous aborderons plusieurs questions liées à la production de chiffres. Les enjeux de la mesure et de la quantification sont des enjeux épistémiques : chercher à mesurer une entité abstraite implique souvent dans le même temps de définir l’objet que l’on veut mesurer. L’exemple le plus emblématique est celui du PIB, considéré comme un indicateur de richesse, désormais très controversé. La construction d’un indicateur renvoie en effet aussi bien à des questions techniques, sur les modalités de recueil des données, de pondération de facteurs, qu’à des questions politiques, mais aussi philosophiques, morales. Idéalement, le choix des diverses variables qui composent un indicateur et le choix de leur pondération doivent être avant tout l’enjeu de débats publics sur « ce qu’il faut compter et ce qui compte le plus » (Gadrey et Jany Catrice, 2004 : 21). Ainsi, l’histoire de l’élaboration d’un indicateur est aussi le reflet de configurations institutionnelles, du jeu des acteurs et de leurs stratégies.

Lazarsfeld (1958) a proposé, dans un texte fondateur consacré à l’opérationnalisation des concepts sociologiques, la description de différentes étapes du processus de « fabrication » d’un indicateur : traduction du concept en ses différentes dimensions, décomposition de ces dimensions en variables dont certaines seront retenues à titre d’indicateur, et enfin agrégation des différents indicateurs en un indice synthétique. C’est ce dernier seulement qui « exprime », en l’opérationnalisant, le concept que l’on cherche à appréhender.

Mais la rigueur de cette démarche, élaborée, rappelons-le, dans un contexte scientifique de vérification de concepts sociologiques, est très éloignée de ce qui peut être observé dans l’élaboration des indicateurs telle qu’elle se pratique couramment dans le monde industriel comme dans les sphères étatiques. Une littérature critique dénonce à juste titre une tendance générale qui, en lieu et place d’un processus d’élaboration d’indicateurs rigoureux et prudent, se borne le plus souvent à réduire une qualité complexe à ce qui peut en être mesuré facilement (à l’une de ses dimensions si l’on reprend la terminologie de Lazarsfeld). Ce pis-aller n’est pas toujours dénué de cynisme. Comme le dénonce vigoureusement O’Neill (2002 : 55) : « Même ceux qui conçoivent les indicateurs savent qu’ils sont au mieux (souligné par elle) des substituts pour les objectifs réels. Personne, après tout, ne pense sérieusement que le nombre d’examens réussis est la seule preuve d’un bon enseignement ou que les taux de crimes élucidés sont la seule preuve d’un bon système policier. »

Cependant, si de telles critiques font désormais partie du paysage des indicateurs, les cas plus radicaux de résistance à la mesure et de renoncement à la quantification ne sont pas légion. Les réflexions proposées ici abordent la question de la quantification de la sécurité aérienne à partir d’une enquête de type ethnographique[2] menée dans un groupe d’échange rassemblant plusieurs États européens. À partir de l’analyse des échanges et de l’évolution des jeux d’acteurs, sont abordées ensuite des réflexions plus générales sur la mesure ou quantification de toute qualité abstraite, et sur les conditions qui peuvent mener à renoncer à cette mesure.

Le contexte de l’enquête

Le contrôle de la navigation aérienne[3]

Chaque jour, des avions décollent et atterrissent, survolent de longues distances, non pas tels des oiseaux, mais en suivant des routes aériennes car ils sont guidés par des systèmes de radionavigation au sol, ou des systèmes satellites. Si des processus dits « stratégiques » permettent de limiter a priori l’encombrement du ciel, un processus tactique reste nécessaire pour assurer « l’ordonnancement sûr et efficace des avions ».

Les contrôleurs de la navigation aérienne assurent ce travail, à l’aide d’un système technique complexe qui associe le suivi radar de chaque avion et des informations dites « plan de vol » qui décrivent la trajectoire prévue de l’avion. Si l’espace aérien est découpé selon les frontières nationales, des règles de sécurité internationale imposent des séparations minimales entre les avions[4]. La mise en oeuvre et le suivi constant de cette séparation réglementaire sont assurés par un travail complexe d’analyse des situations et d’anticipation des trajectoires des avions.

Le ciel unique européen

Depuis sa naissance, le contrôle de la navigation aérienne est assuré par des organismes étatiques fournissant pour chaque pays les fonctions de contrôle de la navigation aérienne (les fournisseurs de contrôle de la navigation aérienne, ou les États dans la suite de ce texte). À la fin des années 1990 et au début des années 2000, l’Union européenne prend l’initiative de la création d’un ciel unique européen, visant à harmoniser, puis dans un second temps à rassembler les différents systèmes nationaux. Cependant, la première étape consiste à mettre en place quelques directives et notamment la séparation entre des « fournisseurs de service de contrôle de la navigation aérienne » et des « autorités indépendantes », chargées de leur surveillance. L’agence EUROCONTROL joue un rôle important dans ce contexte. Elle a en effet été mandatée pour l’établissement d’un cadre réglementaire en matière de sécurité. Plusieurs directives sont émises, dont l’une, consacrée à la sécurité, stipule que « que les informations pertinentes en matière de sécurité sont communiquées, collectées, stockées, protégées et diffusées. L’objectif exclusif des comptes rendus d’événements est la prévention des accidents et incidents et non la détermination de fautes ou de responsabilités[5]. »

L’agence est également chargée du suivi de la mise en oeuvre de ces réglementations européennes dans les différents États membres, et elle joue de facto le rôle du régulateur européen, en attendant la mise en place complète de l’EASA (Agence Européenne de la Sécurité Aérienne).

Une nouvelle réglementation : des incidents plus visibles

Un des règlements européens rend obligatoire la notification des incidents par les organismes nationaux. Il s’agit de mettre en oeuvre des « systèmes harmonisés de notification et d’analyse des événements » (qui) « apporteront une visibilité plus systématique sur les événements liés à la sécurité et à leurs causes[6] », ce qui permettra, in fine, d’améliorer la sécurité des vols.

Ce règlement promeut la visibilité des incidents qui se produisent à l’extérieur des organisations opérationnelles et l’harmonisation des modalités de recueil et d’analyse. En effet, l’agence EUROCONTROL est consciente de différences importantes selon les pays, et elle entend également organiser les modalités d’une transparence sur les incidents, dans un cadre européen qui exige une mise en commun de l’information sur la sécurité aérienne. Quelques caractéristiques de l’incident doivent être ici rappelées.

Un accident peut se décrire (de façon simplifiée) comme un évènement qui entraîne un décès (ou un blessé grave) ou un dégât structurel de l’aéronef. Un incident est défini quant à lui de façon très large comme un « événement, autre qu’un accident, lié à l’utilisation d’un aéronef, qui compromet ou pourrait compromettre la sécurité de l’exploitation[7] ». Les principaux types d’incidents dont nous parlerons ici sont les « pertes de séparation » entre les avions, c’est-à-dire l’enfreinte des normes de séparation : l’accident redouté dans ce cas est la collision en vol.

Il faut noter enfin que l’incident de type perte de séparation est par nature peu visible en dehors du binôme de contrôleurs « responsables » de cet incident. Certes, les contrôleurs disposent en effet, dans la majorité des centres de contrôle, d’un outil d’alarme qui se déclenche lorsque la norme de séparation a été enfreinte. Cette alarme peut être vue, dans certains cas, par les autres contrôleurs de la salle de contrôle. Mais cet incident ne sera connu en dehors de la salle de contrôle que dans le cas où il sera déclaré (notifié selon le vocabulaire en vigueur) par les contrôleurs au service chargés de la sécurité. Notons enfin qu’il existe des systèmes de détection automatique qui permettent d’enregistrer systématiquement les pertes de séparation et de transmettre ces données, en dehors de la salle de contrôle, à un service national de surveillance de la sécurité par exemple ; cependant, peu de pays en Europe sont équipés de tels systèmes. Retenons pour l’essentiel une « opacité structurelle » des incidents au sein du monde du contrôle aérien, élément d’importance dans le contexte de demande de « transparence » par les autorités de sécurité aérienne européennes, contexte que nous allons maintenant exposer.

Les acteurs institutionnels

Dans le cadre de cette élaboration réglementaire, deux acteurs institutionnels vont jouer un rôle majeur au sein de l’agence EUROCONTROL :

La Commission d’examen des performances, dont le mandat est d’établir un système indépendant d’examen des performances couvrant tous les aspects du contrôle de la navigation aérienne. Un de ses principaux rôles consiste à préparer des rapports annuels de performance des organisations de contrôle de la navigation aérienne, rapports qui sont rendus publics, ainsi que d’élaborer des recommandations adressées à la commission permanente d’EUROCONTROL. Quatre domaines sont ainsi évalués : la sécurité, les retards, l’efficacité économique et le rendement des vols.

La Commission d’examen de la sécurité se focalise quant à elle uniquement sur la sécurité des vols, notamment à travers la mise en place d’un groupe d’amélioration de la sécurité. Il s’agit d’un groupe d’échange sur les problèmes de sécurité dont le mandat principal est d’aider à la mise en place de la réglementation sur la déclaration d’incidents. Les membres de ce groupe sont, en règle générale les responsables nationaux de la sécurité de chaque pays représenté.

Une ethnographie des débats

Notre approche

Dans le cadre d’un travail de thèse[8], nous avons eu l’opportunité d’assister aux réunions de ce groupe d’amélioration de la sécurité. Cette possibilité s’est révélée une occasion privilégiée d’assister à des débats sur les enjeux proprement sociaux de l’usage de statistiques, puisqu’il s’agissait notamment, pour les experts nationaux, de communiquer des données quantifiées sur la sécurité aérienne. Cette immersion (suivi des débats au cours des réunions, qui se sont succédé sur une période de trois années, nombreux entretiens avec les différents acteurs…) a été consignée dans des carnets ethnographiques qui retranscrivent de façon très précise les nombreux échanges entre les différents acteurs nationaux et les responsables de l’agence EUROCONTROL animant ces débats.

Les temps du débat

À partir du matériau ethnographique rassemblé, trois « temps forts » ont été extraits dans ce qui suit. Cette structure permet de rendre plus lisible la succession de différentes étapes alors que les experts de la sécurité aérienne ainsi réunis sont invités à communiquer sur les incidents survenus dans leur espace aérien, et notamment à fournir des chiffres précis sur ces incidents. Nous proposons, pour chaque extrait du matériau ethnographique (une retranscription détaillée des discussions) quelques pistes de lecture volontairement centrées sur les travaux de Desrosières. En effet, les concepts proposés par Desrosières articulent les arguments cognitifs et politiques de la statistique. Ces deux questionnements sont souvent abordés de façon disjointe. Dans notre étude empirique, on verra que se conjuguent inextricablement des questions liées à la difficulté et sans doute à une impossibilité de mesurer une qualité abstraite (la sécurité aérienne) et des questions plus politiques liées à la publicisation des indicateurs. Dans ce qui suit, nous avons fait le choix de nous centrer sur quelques notions de la sociologie des conventions, avec l’objectif de donner à voir avant tout l’évolution de cadres de pensée au sein d’un collectif, et l’émergence d’une compréhension commune.

Temps 1 : des chiffres « sensibles »

Un flottement certain…

Les premières réunions des responsables de la sécurité de chaque pays se caractérisent par un certain flottement. Force est de constater que le mandat de ces réunions d’experts n’est pas défini de façon très précise : selon l’agence, il s’agit d’encourager la diffusion d’informations concernant les incidents, ce qui devrait permettre à la Commission d’examen des performances d’avoir une meilleure vision des problèmes liés à la sécurité dans les différents pays d’Europe, de dégager des tendances, de prendre des mesures. Cependant, la tonalité générale des réunions est celle d’une certaine réserve de la part des participants, encore peu nombreux. Invités à parler de leurs problèmes de sécurité aérienne, les responsables de la sécurité restent le plus souvent très généraux. Ils insistent par exemple sur la mise en place de processus qualité, sur des réorganisations internes permettant la mise en place d’un système de gestion de la sécurité, qui est l’objet d’une autre réglementation de l’agence.

Ces réunions sont aussi l’occasion pour les organisateurs d’expliquer la mise en place des bilans de sécurité annuels, que devront désormais fournir les États. Un système d’informations est fourni gratuitement aux États afin de faciliter la communication des données. Il « suffit » ainsi aux différents fournisseurs de services de contrôle aérien de consolider les incidents déclarés par les différents centres de contrôle aérien et de les transmettre. Ce bilan comprend le nombre d’incidents annuels, leur catégorisation en types d’incidents, et les causes identifiées.

Une réglementation de l’OACI (Organisation de l’aviation civile internationale) rend obligatoire la notification des incidents, mais cette réglementation reste très inégalement appliquée. De nombreuses raisons peuvent expliquer cette absence de déclaration d’un incident par les contrôleurs aériens. D’abord parce que les processus de retour d’expérience (permettant d’identifier les incidents, puis, à partir de leur analyse, d’en identifier les causes et de prendre les mesures nécessaires) sont faibles ou inexistants dans la majorité des États. En outre, dans certains pays, les contrôleurs ne sont guère encouragés à notifier un incident dans lequel ils seraient impliqués. Ils risquent en effet la perte de leur « licence » de contrôleur (une sorte de mise à pied plus ou moins longue) et, dans certains cas, leur mise en examen pour faute professionnelle, même dans les cas où ils n’ont commis qu’une banale erreur.

Durant les premières réunions, plusieurs participants vont déclarer qu’ils n’ont « très peu » ou « aucun » incident. Dans une enquête menée dans différents centres de contrôle aérien[9] (Fassert, 2001) lors de cette première période, nous rencontrons une certaine défiance. Ainsi, lors d’un entretien avec le responsable de la sécurité d’un pays de l’est de l’Europe, « que dire de notre sécurité ? je dirais… elle est absolue, d’ailleurs nous n’avons aucun incident[10] ».

Deux représentants, le représentant Français et celui du Royaume-Uni, se montrent dès les premières réunions plus enclins à communiquer leurs problèmes de sécurité opérationnelle et ils expliquent leurs processus de retour d’expérience. Ils communiquent oralement quelques chiffres et donnent des éléments d’analyse des principaux problèmes liés à la sécurité, identifiés sur la base de l’examen de ces incidents.

Des chiffres confidentiels ou publics ?

Pendant ce temps, la Commission de revue des performances a entrepris l’élaboration d’un rapport annuel des performances du contrôle de la navigation aérienne en Europe. Il s’agit notamment de publier et de suivre des indicateurs clefs de performance. S’il est relativement aisé de présenter des données concernant trois de ces indicateurs (les retards, l’efficacité économique et le rendement des vols), l’exercice est visiblement plus difficile pour ce qui concerne la sécurité. Des demandes d’abord informelles, ensuite plus pressantes sont adressées à la Commission d’examen de la sécurité, et au responsable du groupe d’amélioration de la sécurité, censé être détenteur d’informations pertinentes… Il lui est notamment demandé de communiquer le nombre d’incidents fourni par chaque État. Ce dernier est embarrassé et évoque la confidentialité assurée aux participants quant aux informations échangées durant ces réunions. La tonalité générale du premier rapport publié par la Commission d’examen des performances sur le thème de la sécurité est indubitablement critique, avec une référence explicite à l’absence de transparence de la part des fournisseurs de service de contrôle aérien. Ainsi, la première page du rapport, qui présente des graphiques et des tableaux de synthèse pour tous les domaines, affiche à la rubrique « sécurité » un gros point d’interrogation, avec la mention : « en l’absence d’indicateurs essentiels de sécurité, la tendance n’a pas pu être déterminée[11] ». Mais cette absence de transparence est également reprochée à la commission d’examen de la sécurité, qui entend assurer aux États cette confidentialité des données transmises. Le rapport martèle : « La Commission d’examen des performances considère que l’état d’application des normes par les États devrait « relever du domaine public, et ne pas être couvert par un quelconque principe de confidentialité[12]. »

Ainsi, on retrouve au sein de la même organisation EUROCONTROL deux instances dont les objectifs sont sensiblement différents et se révèlent même incompatibles pendant une courte période. Pour la Commission d’examen de la sécurité, il s’agit à travers la création du groupe d’amélioration de la sécurité d’améliorer les échanges au niveau européen et de préparer la mise en place d’une réglementation visant à synthétiser, au niveau européen, les principaux problèmes de sécurité. Pour la Commission d’examen des performances, il s’agit de rendre compte au public des « performances » des systèmes de contrôle aérien, la sécurité étant considérée comme l’une de ces dimensions jugées a priori aussi mesurables que le sont, par exemple, les coûts économiques de chaque fournisseur de services ou les retards des vols qui lui sont imputables. Cette tension au sein de l’agence participera notamment à la difficulté d’atteindre une interprétation instituée, à partir de laquelle la communication de données sensibles est plus facile pour les représentants des différents États.

Un Indicateur implicite

Que peut-on dire, à ce premier stade, du lien entre le nombre d’incidents et la sécurité ? Il nous semble qu’un lien s’établit initialement très naturellement et implicitement entre le nombre d’incidents et la sécurité. Ce lien est frappé du sceau de l’évidence, et il s’établit sans que jamais ne soit formulée explicitement l’équation : les organisations sûres sont celles qui ont peu d’incidents. Nous verrons plus loin que, pour certains experts, cette équation ne tient pas.

Que peut-on dire de l’indicateur qui se dessine ici ? Nous proposons la notion d’« indicateur implicite ». Le nombre d’incidents étant une donnée (à peu près) disponible, il est « capté » par un ensemble d’acteurs comme une mesure de la sécurité, comme si le nombre d’incidents ne pouvait pas « ne pas dire » quelque chose sur la sécurité d’un fournisseur de contrôle de la navigation aérienne. Comme nous allons le voir maintenant, ce lien va être déconstruit. Il ne s’agit donc, pour nos protagonistes, ni d’oublier ni de dénoncer le caractère « discutable », il s’agit d’abord de l’identifier comme tel, ce qui n’est pas possible tant que la catégorie « incidents » (des incidents, rappelons-le, que l’on collecte) reste une catégorie « naturelle ».

Au début de la mise en place de la réunion du groupe amélioration de la sécurité, l’idée selon laquelle un faible nombre d’incidents est le signe d’un bon niveau de sécurité prévaut largement. Il n’existe cependant pas de formulation explicite d’un lien entre nombre d’incidents et sécurité, ni de la part de l’agence EUROCONTROL lorsqu’elle réclame ces chiffres, ni de la part des fournisseurs de services de contrôle aérien. En fait, la notion d’interprétation n’est même pas convoquée, car la lecture des chiffres n’est pas l’objet d’un questionnement.

Rien ne vient attester non plus, cependant, l’existence d’une compréhension unifiée et univoque du nombre d’incidents au sein de la petite communauté des responsables de la sécurité. Des entretiens menés dans le cadre d’une enquête parallèle dans plusieurs centres de contrôle montrent effectivement que certains responsables de la sécurité sont persuadés qu’un faible nombre d’incidents est la preuve d’une « bonne sécurité » vis-à-vis de l’extérieur, et notamment de l’agence. Mais il existe aussi des visions plus averties. Ainsi, très vite, le représentant français, lorsqu’il expose ses chiffres, rappelle en préambule les modalités qui sont mises en place en France, notamment l’existence d’un outil de détection automatique des pertes de séparation dans tous les centres de contrôle français. Il se montre relativement confiant que ses chiffres élevés ne lui seront pas reprochés. « Celui qui me dit : « Moi je n’ai que 10 ou 12 incidents par an «, alors je lui réponds : « Non, mais attendez… nous on a OPERA (note : l’outil de détection automatique), on a fait des formations pour que les contrôleurs notifient leurs incidents… il ne faut pas mélanger des choux et des carottes, bon j’espère qu’à EUROCONTROL, ils le savent « … »

Temps 2 : des chiffres « énormes »

« Jouer la transparence »

Dans la succession des réunions, il existe des moments clefs, qui marquent de nouvelles étapes. L’épisode relaté dans ce qui suit est l’un de ces moments particuliers, à partir duquel va émerger, certes de façon encore fragile, une nouvelle compréhension du nombre d’incidents, et de leur relation avec la sécurité.

Lors de cette nouvelle réunion du Groupe européen d’amélioration de la sécurité, le ton adopté par l’organisateur est d’emblée directif. Il demande explicitement aux différents représentants nationaux de communiquer chacun à leur tour leurs problèmes majeurs de sécurité. Le tour de table commence et les interventions seront pour le moins variées. Le représentant tchèque se lance dans une très longue description de diverses réorganisations internes à l’aviation civile de son pays peu en lien avec la question posée… Au bout d’une trentaine de minutes, bruissements et soupirs dans la salle…, l’organisateur de la réunion a du mal à cacher son agacement. Au terme de cet exposé, il précise pour les orateurs suivants qu’il s’agit d’être concis et surtout de se « concentrer sur les aspects sécurité utiles à communiquer aux autres membres de la réunion ». Le ton est un peu sec et on comprend clairement à qui s’adresse la leçon.
Le responsable de la sécurité danois explique avec satisfaction comment grâce à l’abrogation d’une loi particulièrement punitive pour les contrôleurs ayant généré un incident, les notifications volontaires sont passées d’une quantité proche de zéro à plusieurs dizaines en une seule année. Son exemple est considéré comme très intéressant, emblématique des problèmes juridiques qui sont un frein à la notification des incidents. Cependant, les autres intervenants sont peu diserts, et se contentent souvent de généralités sur la mise en place de leur système de gestion de la sécurité.
Deux exceptions de taille cependant. Les représentants anglais et français, qui communiquent tous deux avec une certaine prodigalité leurs incidents. Les chiffres sont donnés et ils sont « énormes » : de l’ordre de plusieurs dizaines de milliers alors que certains participants avouent à grand-peine quelques incidents, au plus une centaine. De toute évidence, ces deux participants ont choisi de « jouer » la transparence.
Le bilan anglais est nourri et détaillé. Chiffres, causes, remèdes, tout y est. Le représentant du fournisseur de service de contrôle et le représentant de l’autorité de régulation s’expriment chacun à leur tour, cas unique de double représentation dans cette réunion.
Le représentant français distribue à tous les participants son bilan annuel de sécurité, un rapport très détaillé sur l’ensemble des incidents (airproxs déclarés par les pilotes, mais aussi incidents automatiquement enregistrés par le système OPERA) ainsi qu’une analyse des causes. Il en présente une rapide synthèse : ce bilan évoque de vrais problèmes de sécurité, qui n’ont pas été évoqués par d’autres participants. Bien que le bilan soit en français, et par conséquent compréhensible par une partie seulement des participants, ce geste est tout de même salué dans la salle par quelques murmures de surprise et d’intérêt.
Un des représentants anglais exprime sa grande satisfaction, et promet de lire le rapport. L’organisateur de la réunion remercie chaleureusement et de façon très appuyée « la France » et glisse une formule permettant de saluer l’exemplarité de cette attitude, unique pour l’instant au sein du groupe.

Une clef de lecture des chiffres

Cette réunion, marquée par des attitudes affirmées des Anglais et encore plus des Français, va accuser une rupture. Dans la réunion qui va suivre cet épisode, les différents responsables de la sécurité communiqueront avec beaucoup plus de clarté leurs chiffres. Entre cette réunion et la suivante, relatée ci-dessous, les responsables de la sécurité auront d’autres occasions de se rencontrer et d’échanger car ils travaillent en parallèle sur une définition de la méthode d’évaluation de la gravité des incidents dans des « ateliers ». EUROCONTROL a en effet établi que les méthodes utilisées varient d’un pays à l’autre, qu’elles sont plus ou moins formalisées. Une petite expérimentation a montré qu’un même incident n’était pas classé dans la même catégorie de gravité selon les responsables de la sécurité. La France et le Royaume-Uni ont des visions sensiblement différentes et chacun défend sa méthode avec pugnacité.

Mais ces deux « grands » fournisseurs de service de contrôle aérien, ces deux « grands » pays, par ailleurs un peu frères ennemis lorsqu’il s’agit de se mettre d’accord sur une méthode d’évaluation de la gravité des incidents, sont ici parfaitement congruents dans la communication des incidents et ont visiblement choisi de « jouer » la transparence, et d’assumer des chiffres « énormes ». La portée symbolique est grande, dans la mesure où ceci va permettre à EUROCONTROL de donner implicitement les clefs de lecture qui seront désormais les siennes quant au nombre d’incidents. L’accueil favorable des exposés des représentants français et anglais, les félicitations au représentant français pour ses quelque cent pages d’analyse d’incidents distribuées sont des messages clairs de la part du chairman du groupe. Il est désormais bien plus clair qu’un nombre élevé d’incidents est lu comme signe de transparence et non de performances médiocres en sécurité aérienne. En miroir, désormais, un faible nombre d’incidents ne sera jamais lu autrement que comme une quasi-preuve d’opacité de la part du pays en ce qui a trait aux incidents survenus dans son espace aérien, bien que, pour des raisons de diplomatie, un tel jugement ne soit jamais émis explicitement au cours des réunions.

Temps 3 : des chiffres « construits »

Les données sur les données

Entre cette réunion et la suivante, des ateliers vont permettre de continuer à travailler sur la méthode d’évaluation de la gravité des incidents. Pour apprécier l’ampleur de ce qui s’est produit pendant cette réunion, il faut cependant attendre la réunion suivante, quelques mois plus tard, comme on va le lire dans l’extrait suivant :

La réunion du « groupe d’amélioration de la sécurité » qui suit marque une rupture. Le responsable de la réunion a décidé de remettre à plus tard les discussions épineuses et complexes de l’harmonisation des méthodes d’évaluation des incidents. Cet aspect est désormais délégué à un atelier séparé pour tenter de valider, une dernière fois, une méthode commune.
En revanche, un temps important est prévu pour le tour de table sur les aspects sécurité. L’agenda précise sans ambages : « Vous êtes censés couvrir tous les thèmes, et répondre aux questions suivantes : quelles causes ? Quelles solutions utilisez-vous et voulez-vous partager ? » Le ton un peu directif n’échappe à personne. Plus question de grommeler quelques vagues chiffres, ou pire, de se lancer dans la description formelle de l’organigramme d’un système de gestion de la sécurité, pour éviter le difficile sujet. Voilà nos représentants sommés, de façon désormais explicite, de faire preuve d’un peu plus de transparence à l’égard de leurs homologues européens.
Chacun va se prêter de façon plus ou moins diserte à cet exercice. Les chiffres (annuels) sont presque toujours communiqués et restent extraordinairement variés, même si on les rapporte bien sûr au trafic surveillé, c’est-à-dire au nombre de « mouvements » (décollages, atterrissages, survols), lui-même très variable d’un État à l’autre. Le représentant tchèque déclare cinq incidents, ce qui fait aussitôt bondir mon voisin, le représentant français : un chiffre aussi bas témoigne d’une opacité quasi complète… Je lui rappelle qu’à la réunion précédente, seulement six mois auparavant, la même personne n’avait donné ni chiffre, ni aucune information sur les incidents. Elle avait terriblement agacé le chairman d’EUROCONTROL et une grande partie de l’assistance en se lançant dans une description particulièrement détaillée et laborieuse de l’organigramme de son système de gestion de la sécurité, sans fournir bien sûr la moindre information sur ses incidents ou ses problèmes liés à la sécurité en général. « Avouer » cinq incidents est peut-être un bon début…
L’Autriche déclare 289 notifications, dont 22 pertes de séparation. Certains incidents sont dus à la structure de l’espace aérien, avec un mélange de vols IFR et VFR[13] dans certaines zones. La redéfinition de l’espace qui permettrait de protéger davantage les IFR se heurte au lobby des pilotes privés, très puissant. Il n’y a pas d’incidents de turbulence de sillage et pas de péril aviaire, mais, ajoute-t-il : « Il n’est pas exigé de notifier ce type d’incidents dans nos procédures. »
La Grèce vient pour la première fois à cette réunion, elle déclare « environ 46 incidents » ; la Finlande : 500 notifications obligatoires, et 630 volontaires ; le Danemark : environ 400. Le représentant hongrois vient pour la première fois également. Il déclare 5 ou 6 incidents, mais ajoute aussitôt que ce nombre concerne bien les incidents déclarés. Le représentant slovaque mentionne en préambule que son système de gestion de la sécurité est récent et qu’il est « fier de déclarer 9 notifications en 2003 ». Il en avait 125 en 2002, et il explique cette différence par la baisse du trafic… Les Allemands ne donnent pas de chiffres globaux mais déclarent 126 incursions de piste. Le pilote représentant l’European Cockpit Association[14] insiste : « Et les pertes de séparation, vous en avez combien ? » « Plutôt beaucoup », répond l’allemand… la salle rit et on n’insiste pas. Le centre de Maastricht : 210 notifications. Son représentant explique à propos des alarmes TCAS[15] : il y a, depuis le 11 septembre 2001, beaucoup plus d’avions militaires s’approchant de vols civils « à vérifier »… ceux-ci déclenchent des TCAS et certaines compagnies se plaignent que « ça n’arrête pas de sonner ! ». Il faut donc interpréter prudemment cette soudaine augmentation des alertes TCAS. Skyguide (Suisse) : 63 pertes de séparation. À propos de la catégorie « pénétration d’espace aérien », il précise aussitôt : « on en a de plus en plus parce qu’on a de plus en plus de notifications volontaires ».
Le représentant français déclare ses 18000 évènements sécurité dont 660 analysés en profondeur. Il a fait l’effort de retravailler sa catégorisation pour la mettre en adéquation avec la typologie d’incidents proposée par EUROCONTROL. Ce qui lui a demandé un travail colossal de « traduction » à propos duquel il a de nombreuses questions. Il interpelle le responsable d’EUROCONTROL animant la réunion : « Où mettez-vous les TCAS ? Dans les « pertes de séparation « ? … « ah, nous avons une catégorie à part entière ! » Le reproche (une alerte TCAS est plus qu’une simple perte de séparation et mérite sans doute d’être singularisée) est à peine voilé[16]. Il détaille ses différents chiffres en suivant scrupuleusement, pour l’essentiel, la typologie d’EUROCONTROL, en émettant parfois des réserves sur la « réalité » du chiffre communiqué : « Peu de CFIT[17], je veux dire notifiés. » Enfin, il tient visiblement à bien mentionner un sous-ensemble des pertes de séparation dont il a déjà regretté le caractère trop peu différencié. À ce sujet, la mention de 5 « Überlingen style[18] » (avec un pilote ne suivant pas son avis de résolution TCAS) provoque un émoi certain dans la salle. Il insiste sur le caractère très préoccupant de cette catégorie d’incidents : on n’a visiblement pas appris d’un accident.
Le Portugal déclare 12 pertes de séparation, les Italiens, 110.
Le représentant anglais fait un rapport à part, très détaillé, et fait état de son impressionnante base de données. Les incidents sont classés par catégories, les analyses commentées et argumentées, les mitigations actions et les remedial actions décrites. « Can you explain why you are much better than the rest of the world ? » demande, un tant soit peu lyrique, l’animateur EUROCONTROL au représentant anglais, tout en embrassant la salle du regard…
Le représentant français à côté de moi se plonge dans ses papiers et fait quelques calculs : « Tiens, avec les Anglais, rapportés aux mouvements, on a des chiffres à peu près similaires… remarque, c’est normal, on a les mêmes outils, le même niveau de développement… » Je note qu’il ne dit pas : « On a le même niveau de sécurité. »

La réunion qui vient d’être relatée introduit bien une rupture dans la dynamique des relations qui s’étaient instaurées entre les acteurs. C’est la première réunion durant laquelle les chiffres sont communiqués par tous les participants. Pendant celle-ci, on remarque une absence de commentaires sur la « signification » du nombre d’incidents en relation avec la sécurité, mais il est patent qu’un nombre élevé d’incidents n’est pas l’indicateur d’un niveau faible de sécurité. Les responsables de la sécurité parlent davantage des problèmes de sécurité, et se détachent des aspects quantitatifs pour s’intéresser aux types, aux catégories d’incidents. Ils construisent des classes d’équivalence à partir des évènements singuliers que sont les incidents (Desrosières, 2008 : 43). Ils racontent également des « histoires » d’incidents ou de quasi-incidents qui rendent concrets et vivants les risques dans leurs organisations.

Mais il faut surtout noter que les participants révèlent spontanément les « mécanismes de constitution des chiffres » (Dodier, 1993). Les chiffres sont donnés, mais ils sont accompagnés (certes, sobrement, comme on peut le lire dans les verbatims cités dans le carnet qui vient d’être exposé) d’éléments explicatifs. Quelques éléments de discours sont à souligner : les chiffres « très faibles » sont assortis par exemple d’explications qui montrent que le responsable de la sécurité n’est pas dupe : les incidents ne sont pas tous déclarés par les contrôleurs. Pour les chiffres qui sont, à l’autre extrême, « énormes », les dizaines de milliers déclarés par la France et le Royaume-Uni, les représentants rappellent l’existence de systèmes qui enregistrent automatiquement la perte de séparation[19] entre aéronefs. Enfin, une augmentation d’incidents dans une catégorie peut s’expliquer par une augmentation de la notification volontaire des incidents par les contrôleurs (davantage sensibilisés et coopératifs).

Les étapes du « renoncement » à quantifier

À partir de ces trois « temps forts » des débats, nous proposons dans ce qui suit de discuter plus précisément des différentes étapes qui ont amené les responsables de la sécurité, mais aussi les représentants de l’agence réglementaire EUROCONTROL, à renoncer à une mesure de la sécurité, et comment l’importance initialement accordée aux chiffres (nombre d’incidents) s’efface devant d’autres échanges, davantage porteurs de sens pour des experts de la sécurité aérienne.

De l’indiscutable au discutable

Desrosières a proposé une formule qui résume bien la question transversale à l’élaboration de statistiques, à la communication de chiffres en général : discuter sur les statistiques, c’est « discuter l’indiscutable » (Desrosières, 1993). La statistique est à la fois transitoirement indiscutable (si on veut pouvoir en faire un objet de référence dans un débat public : on parle d’indicateurs de chômage, de pauvreté, de qualité de vie, etc.) et elle est aussi discutable (car il arrive toujours un moment où les mécanismes de constitution des chiffres vont être attaqués, discutés, et parfois dénoncés). Ce double statut de « référence » et de « débat », défend Desrosières, est au coeur de toute discussion des statistiques au sein de l’espace public.

Le mouvement observé ici est, en quelque sorte, inversé : on est passé d’un « indiscutable » à un « discutable ». Et ce, notamment parce que l’on se trouve au sein d’un groupe restreint (des experts en sécurité dans un univers technique) et non pas sur la place publique. Les responsables de la sécurité deviennent constructivistes et, bien qu’ils continuent à parler de la collecte d’incidents, ils discutent désormais de la catégorie même d’incidents (qui recouvre des évènements différents selon les pays) et du nombre d’incidents (en donnant des éléments expliquant les variations observées). Le nombre d’incidents n’est plus un indicateur implicite de la sécurité puisque les « meta-données » permettant d’obtenir ces chiffres sont désormais globalement comprises et communiquées.

Une lecture commune mais encore fragile

Une compréhension commune émerge peu à peu : ne déclarer aucun incident n’est pas le signe d’un bon niveau de sécurité, les organisations les plus développées sur le plan de la gestion de la sécurité vont présenter proportionnellement davantage d’incidents que celles qui sont plus opaques, ou aveugles quant à leurs risques. Cependant cette nouvelle lecture n’est pas davantage « instituée » par l’agence EUROCONTROL, ce qui la rend encore fragile. Examinons un moment de la réunion suivante.

Le représentant belge est l’un des premiers à communiquer ses chiffres : forte augmentation des incidents cette année en comparaison de l’an passé : « Nous sommes passés de 65 à 210 incidents. » On entend aussitôt dans la salle de nombreux murmures et soupirs de désapprobation, et même un « hou… » ponctué de rires. Le représentant s’indigne : « Alors là vous me décevez, vous réagissez comme des managers. Si on a plus d’incidents, c’est bon signe, c’est parce qu’on a mis en place une campagne de sensibilisation sur les incursions de piste, et plus généralement que l’on a encouragé les contrôleurs à faire du retour d’expérience, donc à notifier davantage. » Cette fois-ci, murmures d’approbation dans la salle, on se « souvient » qu’une augmentation du nombre d’incidents n’est pas interprétable comme une dégradation de la sécurité, d’autres explications sont possibles. Le ton sera donné, et les chiffres annoncés ensuite ne feront plus l’objet de réactions intempestives. Les problèmes de sécurité seront abordés sans détour par une majorité de participants.

D’autres réunions et ateliers se sont succédé. À propos de ces chiffres, du nombre d’incidents, les discussions ont mis au jour peu à peu de nouveaux mécanismes de construction des chiffres, allant du plus local au plus général. Au fur et à mesure des réunions, et de l’enquête qui est menée en parallèle dans plusieurs centres de contrôle aérien (Fassert, 2009), la liste de tous les paramètres qui peuvent faire varier le nombre d’incidents semble s’allonger sans cesse. Ainsi, dans un centre de contrôle aérien, l’arrivée d’un nouveau chef de service chargé de l’analyse des incidents, davantage apprécié que son prédécesseur, a entraîné une augmentation significative de la notification volontaire d’incidents et par conséquent une augmentation du nombre d’incidents… La sensibilisation à de nouveaux risques opérationnels entraîne elle aussi une notification d’incidents qui n’étaient pas notifiés auparavant. Ainsi, une large campagne de sensibilisation au risque d’incursions de piste menée à l’initiative de l’agence EUROCONTROL (affiches dans les salles de contrôle, briefings d’équipes de contrôleurs, auprès des pilotes, etc.) a été suivie d’une augmentation soudaine et significative du nombre de déclarations d’incursions de piste, donc d’incidents. Dans certains aérodromes, la campagne a permis la prise de conscience de ce risque, dans d’autres endroits, elle a relancé l’intérêt des contrôleurs, et leur notification de ce type d’incidents.

Mesurer un non-évènement ?

Mesurer (ou quantifier) la sécurité des opérations de contrôle aérien sur la base du nombre d’incidents a été rapidement abandonné. La question d’un indicateur plus synthétique, la recherche d’éléments plus stables (comme les Airproxs, notifiés par les pilotes) ont été également explorées. Mais l’idée d’élaborer un indicateur de sécurité a finalement été abandonnée. Peu après le terme de cette enquête, un responsable de la sécurité résume clairement la difficulté de mesurer cette notion.

« La littérature aéronautique propose, pour le terme de « sécurité », différentes définitions. Une description souvent lue est « absence de risque excessif «. Ce qui appelle forcément la définition du mot « excessif « Qu’est-ce qui est « normal », « modéré » ou « acceptable » et à partir de quand peut-on parler d’« excessif » ? La difficulté réside dans le fait que la sécurité est un terme absolu, pour ainsi dire un non-événement, une absence de fait. Or, l’époque actuelle exige des données mesurables. Des « Key performance indicators (KPI) » ont pour vocation de nous donner une valeur, de permettre de constater quelque chose de tangible, surtout autour de tendances. Ainsi peut-on dire qu’on recherche le KPI d’un non-événement[20]. »

Dans ce cadre, le nombre d’incidents notifiés (on ne parle pas ici du nombre total d’incidents, incluant par exemple les enregistrements automatiques des pertes de séparation) peut présenter une signification qui a un lien avec la sécurité, qui peut être clarifié en rendant explicite un certain modèle normatif de ce qu’est la sécurité. « Le nombre de comptes rendus déposés ne représente en soi qu’une indication chiffrée. Si ce nombre augmente, on ne peut pourtant l’interpréter directement comme une meilleure sécurité, c’est uniquement l’indice d’une meilleure « culture de compte rendu », qui à son tour pourra faire la part belle à une “learning culture”, deux préalables essentiels à l’intensification de la “safety culture”. » Le nombre d’incidents déclarés est ici le témoin d’une dynamique organisationnelle au sein de laquelle les contrôleurs ont à coeur de participer au processus de retour d’expérience, ce qui contribue à l’instauration d’une culture de sécurité.

Quelques années plus tard, on s’éloigne encore davantage de la référence au nombre de comptes rendus d’incidents, qui devient un élément, parmi bien d’autres, témoignant de l’existence de procédures de retour d’expérience. Ainsi, dans le rapport de la Commission d’examen des performances 2010[21], deux indicateurs de sécurité sont mentionnés : le nombre d’accidents dont la définition est univoque[22] (il n’y en a eu aucun en 2010), et surtout le niveau de maturité en matière de sécurité du fournisseur de services de contrôle et de son instance de régulation nationale. Il s’agit d’un indicateur composite, qui reprend un ensemble de critères liés essentiellement à la gestion de la sécurité[23]. Il s’agit clairement de mesurer des moyens plus que des résultats. À noter que le rapport ne mentionne pas le niveau de maturité atteint par chaque fournisseur de service de contrôle aérien, mais qu’il mentionne des objectifs à l’échelon européen : « porter le niveau de maturité des cadres de sécurité des fournisseurs de contrôle aérien et des instances nationales de réglementation à 70 % au minimum dans chaque État d’ici la fin 2008 ».

Les usages sociaux de l’indicateur dans les organisations « à risques »

À partir de cette enquête, il est possible de revenir sur deux questions d’ordre plus général.

Instituer une interprétation

La première concerne les mécanismes de partage ou d’institution de l’interprétation de chiffres. On peut opérer une différence entre des chiffres dont l’interprétation est d’emblée partagée, parce qu’ils offrent une lecture univoque, et d’autres types de chiffres dont l’interprétation, plus délicate, doit être instituée. L’exemple relaté du nombre d’incidents permet de réfléchir au jeu des acteurs impliqués dans la compréhension et la publicisation des chiffres.

Plusieurs étapes se succèdent, dont une première durant laquelle un chiffre (le nombre d’incidents) est considéré comme un indicateur implicite d’une qualité (la sécurité) : implicite parce que ne faisant l’objet d’aucune explicitation ou délibération préalable. Cet « allant de soi », ce « bon sens » sont toutefois remis en question. Il faut noter le rôle de deux États (la France et le Royaume-Uni) qui vont donner le la : en communiquant des chiffres très élevés, ils introduisent une nouvelle norme (il est « bon » d’avoir des incidents) avec laquelle les autres fournisseurs de services de contrôle devront désormais composer. Cependant, et paradoxalement, le problème de l’interprétation des chiffres n’est pas explicitement posé. Les chiffres, durant la période qui suit la remise en question de la compréhension initiale, s’inscrivent dans cette zone grise où cohabitent au sein d’un groupe des visions plus ou moins averties, parce que plus ou moins conscientes du conventionnalisme de la mesure. Une vision avertie conclut que le nombre d’incidents ne dit rien sur la sécurité, mais dit en revanche beaucoup sur les mécanismes techniques et sociaux qui permettent d’identifier les incidents. À ce titre, un nombre élevé d’incidents témoigne d’abord de l’existence, dans ces organisations, d’une gestion de la sécurité explicite et sophistiquée, comprenant, notamment, la mise en place d’outils de détection automatique de pertes de séparation entre aéronefs.

Cependant, cette vision ne sera pas explicitée oralement par le responsable de la réunion par exemple, et encore moins écrite par EUROCONTROL. Il faut noter enfin la fragilité de cette nouvelle interprétation, avec l’exemple d’un représentant qui est chahuté lors de la communication de l’augmentation du nombre de ses incidents, alors qu’il croyait pouvoir désormais compter sur une lecture tout à fait différente. Le nombre d’incidents comme indicateur potentiel de la sécurité reste en effet pendant une période délicate dans un entre-deux : il est déconstruit d’une certaine manière dès lors que deux grands fournisseurs ne peuvent pas être taxés de présenter un niveau de sécurité médiocre, alors que d’autres états à la « réputation » moins établie présentent peu d’incidents ; cependant, l’annonce d’une augmentation du nombre d’incidents provoque tout de même une bruyante réprobation dans le petit groupe.

Il s’agit bien d’instituer une interprétation, le terme fort est ici employé à dessein, car les enjeux de l’interprétation sont importants. En effet, les responsables de la sécurité se situent dans la perspective d’une publicisation des chiffres dans les rapports de la Commission d’examen de la performance d’EUROCONTROL. Les enjeux au moment de cette enquête sont à la fois des enjeux de réputation (avec la perspective toujours redoutée d’un journaliste s’emparant de ces chiffres et en tirant des conclusions discutables sur le mauvais niveau de sécurité aérienne de tel ou tel pays) et des enjeux politiques : le « ciel unique européen » prôné par la Commission européenne fait planer la perspective de fournisseurs de services privatisés qui pourraient à terme se regrouper, se concurrencer, etc.

Cependant, instituer trop clairement une lecture équivaudrait, pour le chairman du groupe d’amélioration de la sécurité, à clairement accuser certains participants d’opacité, ou de faible développement de leur système de gestion de la sécurité, ce qui est peu compatible avec le minimum de diplomatie requis dans le cadre européen. En outre, ce groupe se donne pour objectif d’améliorer les échanges entre des responsables de la sécurité qui, pour la plupart, connaissent grâce à ce groupe la première occasion d’échanger avec leurs homologues européens. La collecte de chiffres, même si elle fait partie de la mise en place de la réglementation, n’est qu’une partie marginale de ce mandat. En revanche, la mise en commun de problèmes de sécurité implique que se construise un climat de confiance. Une certaine rhétorique de la confidentialité mise en avant par le chairman permet que se mette en place après quelques atermoiements l’instauration d’échanges ouverts, abordant les risques vécus au quotidien sans langue de bois.

Il existe cependant un paradoxe de taille. De façon bien sûr involontaire, EUROCONTROL va maintenir l’idée que communiquer le nombre de ses incidents n’est pas anodin, que les chiffres ne sont pas dénués de sens. La « rhétorique » de la confidentialité affirmée par la Commission d’examen de la sécurité reste en effet très présente, avec notamment l’absence d’identification des fournisseurs de service dans les comptes rendus de réunion.

Au sein d’une même organisation, deux entités poursuivent des objectifs opposés. La Commission d’examen des performances souhaite obtenir le nombre d’incidents par pays. La Commission d’examen de la sécurité entend pour sa part maintenir l’engagement de confidentialité pris auprès des participants au groupe d’amélioration de la sécurité. Le chairman de ce dernier groupe choisit alors d’agréger les données par zone géographique regroupant plusieurs pays avant de les transmettre à la Commission d’examen des performances. Des moyennes sur des données avec des variances (au sens statistique) très grandes se traduisent alors par de nouveaux chiffres qui n’ont vraiment plus aucun sens. Cependant, refuser de transmettre les chiffres tels qu’ils sont à la Commission d’examen des performances au motif d’assurer la confidentialité des performances en sécurité des différents pays, n’est-ce pas laisser croire que ces chiffres pourraient « vouloir signifier » quelque chose quant à la sécurité ? En effet, si les chiffres ne signifient véritablement rien en dehors de leur contexte, en dehors des mécanismes de constitution, pourquoi les dissimuler en opérant une sommation entre plusieurs pays ? Proposer d’agréger les données, afin de dissimuler celles de chaque fournisseur, transmet involontairement le message que les données initiales ont un sens… L’agence EUROCONTROL semble par conséquent à la fois adhérer à l’idée que les chiffres ne signifient rien de clair sur la performance en sécurité des fournisseurs de services de contrôle aérien, et en même temps, répondre à la pression des quelques fournisseurs de services de contrôle aérien qui s’inquiètent de la façon dont les chiffres sont lus. À ce moment des débats, les messages contradictoires de l’agence sont donc peu lisibles et font miroir aux prises de conscience très variables de ces aspects conventionnels dans la constitution des données.

Pourquoi et à quelles conditions renoncer à la quantification ?

La seconde question qui émerge de cette enquête concerne le rôle « créateur » de la statistique (Desrosières, 1998) : dans cette perspective, l’indicateur devient « la chose elle-même », ce qui a pour effet de « créer la réalité ». Comme nous l’avons vu, la sécurité du contrôle aérien ne se met pas, quant à elle, à exister comme nouvel objet. Le nombre d’incidents peine fortement à devenir l’indicateur de sécurité, et nos responsables de la sécurité deviennent au fil des réunions, à des degrés divers, de plus en plus conscients de ce qui joue sur la constitution du chiffre (nombre d’incidents) obtenu. Le choix final consistera à se contenter de mesurer la maturité du processus de gestion de la sécurité, et reconnaîtra explicitement l’impossibilité de mesurer la sécurité. La statistique échoue donc parfois à « créer la réalité » : la sécurité du contrôle aérien semble à ce stade être demeurée une « chose muette et hors de portée » sans qu’un indicateur n’en devienne le « représentant », le « porte-parole », ou la « fiction utile ».

La sécurité aérienne, ce « non-évènement », est certes bien peu tangible. Cependant, notre société moderne n’a pas renoncé à mesurer d’autres entités, pour le moins aussi abstraites et intangibles, comme le bien-être ou même le bonheur. Il est vrai qu’il existe une tradition critique de ce type de quantification. Par exemple, à propos de l’Indicateur de développement humain créé par le PNUD, Supiot ironise : « Selon cet indicateur, les Norvégiens sont les gens les plus heureux de la terre » (Supiot, 2006 : 25). Au sein des organisations, l’enjeu de la quantification est particulièrement palpable, comme l’ont montré Power et sa « société de l’audit ». Dans une veine particulièrement polémiste et revigorante, nous l’avons vu dans l’introduction, O’Neill stigmatise des indicateurs « choisis pour leur facilité de mesure et de contrôle plutôt que parce qu’ils mesurent la qualité de la performance avec précision ». Tout en admettant la légitimité de l’obligation de rendre des comptes (elle parle d’« accountability »[24]), O’Neill dénonce le recours grandissant à la quantification, souvent liée à « des formes d’« accountability » fausses ou qui provoquent des distorsions au sein des organisations[25] » (O’Neill, 2002 : 25).

Renoncer à quantifier « ce qui ne peut être compté » n’est donc pas si facile. Quelles sont les conditions qui amènent alors à cet abandon ? On peut faire l’hypothèse, dans le cas de l’indicateur de sécurité du contrôle aérien, qu’il s’agit d’abord de raisons intrinsèques, épistémiques. Ainsi, une étude menée quelques années après cette enquête dans le domaine nucléaire nous a permis d’entendre un discours remarquablement congruent, à savoir qu’il n’était pas possible de mesurer la sécurité, et surtout pas en se basant sur le nombre d’incidents. « Les incidents ne sont jamais un indicateur de résultat. Ce serait inciter à ne pas être transparents. Arriver à zéro serait mal vu par les autorités de contrôle », explique par exemple un responsable dans une centrale nucléaire française. Mais il nous semble que les raisons qui poussent à la résistance à la quantification tiennent aussi à l’existence d’une communauté qui se sent suffisamment légitime pour défendre son point de vue, et à la possibilité de solutions de rechange facilement disponibles (ici la possibilité de définir un indicateur de maturité de la gestion de la sécurité) qui permettent de trouver une solution honorable. Il existe cependant d’autres facteurs, dont la dimension plus spéculative ne se laisse pas saisir facilement. Ainsi, au-delà de ces configurations organisationnelles, il faut sans doute convoquer des dimensions proprement symboliques : l’imaginaire de l’aéronautique (Gras, 2001) ne bénéficie-t-il pas, dans le public, d’un potentiel de confiance, ce qui lui permet de résister, dans une certaine mesure, à l’emprise des dimensions chiffrables de l’auditabilité[26] (Power, 2005) ? Il serait ainsi possible de résister à la tyrannie de la transparence (Strathern, 2000), mais les conditions générales de cette résistance sont encore à élucider.

Conclusion

L’élaboration et l’usage des indicateurs s’insèrent dans des dispositifs de contrôle institutionnels au sein desquels ils constituent des enjeux de pouvoir, mais aussi de sens. Une approche ethnographique nous a permis d’examiner au plus près les tentatives d’élaboration d’un indicateur de sécurité et cette immersion nous a permis de comprendre finement les débats et les enjeux qui étaient liés à ce travail de mise en visibilité d’une valeur centrale pour ces organisations, car la mission principale d’un fournisseur de services de contrôle de la navigation aérienne est bien d’assurer la sécurité des vols. Il n’est donc pas anodin qu’une autorité réglementaire renonce à quantifier ce qui constitue la raison d’être de ces organisations qu’elle « régule ».

Une particularité de notre enquête est de relater un cas de renoncement à la quantification, alors même que la quantification initiale semblait « aller de soi » : les acteurs avaient à leur disposition un indicateur implicite de la sécurité à travers le nombre d’incidents. Les cas de renoncement à la quantification et l’examen précis des étapes de cet abandon nous paraissent porteurs d’enseignement. Peut-on repérer dans d’autres enquêtes empiriques examinant des cas de résistance ou d’échec de la quantification, au-delà des dimensions épistémiques, des configurations d’acteurs, des types d’institutions ou encore des dimensions politiques spécifiques ? Quelle place doit-on accorder à des explications macroscopiques qui prennent appui sur des concepts tels que la confiance, ou la légitimité des institutions en présence ? À partir de cette enquête, un dialogue pourrait s’ouvrir avec d’autres histoires d’échec, de renoncement, de résistance à la quantification, histoires qui sont partie prenante d’une sociologie des usages de la statistique.