Évaluation ! Depuis quelques années, le mot ponctue, comme un leitmotiv, textes et discours, sonnant tantôt comme une injonction, tantôt comme l’invocation d’une solution propre à résoudre tous les problèmes, tantôt comme règle de bonne pratique. Cette évocation, omniprésente dans des contextes multiples, crée un bruit de fond qui, tout en maintenant les consciences en alerte sur «l’ardente nécessité» de l’évaluation, finit par brouiller le sens du message.
De quoi parle-t-on finalement ? Les auteurs de ces discours qui, tour à tour, convoquent, récusent ou redoutent l’évaluation, lui accordent-ils la même signification ? De quelles représentations, de quelles attentes et de quels enjeux le mot est-il porteur ? Cet engouement récent est-il un effet de mode, une pure rhétorique ou le témoin d’une transformation en cours dans la gestion des actions publiques ?
Pour tenter de répondre à ces questions, la parole sera d’abord donnée aux acteurs impliqués dans le domaine de l’évaluation. Les citations rapportées dans le texte sont extraites d’entretiens conduits auprès de ces acteurs pour la réalisation d’un document multimédia sur l’évaluation |1|.
L’évaluation : paroles d’acteurs
Comment définir l’évaluation ?
Définir l’évaluation est une tâche ardue car le mot, isolé, donne peu de prises à une traduction concrète. Les tentatives d’explicitation s’accompagnent le plus souvent d’une qualification portant sur les objets (évaluation de politiques, de programmes, de projets, de pratiques professionnelles, de réseaux…), sur les finalités (évaluation récapitulative ou formative (1)), sur la discipline principalement mobilisée (évaluation épidémiologique, évaluation économique…), sur le mode opératoire (évaluation externe, interne, autoévaluation) ou encore, selon une formule plus générique, sur la nature de l’exercice (démarche, méthode, processus d’évaluation).
On recense autant de définitions que de théoriciens qui, jonglant avec quelques mots clés, se sont confrontés à l’exercice. Plus de cent définitions de l’évaluation étaient déjà répertoriées il y a une vingtaine d’années |2|.
Posée aux acteurs, la question suscite une variété de réponses: regard sur soi, sur les autres, sur le système (opérateur), guide (opérateur), moyen de progresser (opérateur), immense miroir (opérateur), exigence technique et démocratique (fonctionnaire d’ État), démarche d’amélioration de la qualité (décideur, responsable de programme), démarche participative (responsable de programme), aide à une meilleure gouvernance (décideur), mesure de l’écart entre ce que l’on voulait faire et ce que l’on a fait (décideur), démarche qui vise à éclairer des choix publics (décideur), processus d’apprentissage collectif (décideur, expert), démarche à chaque fois nouvelle et créative (évaluateur), posture plus qu’un métier (évaluateur), outil (évaluateur), processus d’interaction et de négociation (expert/évaluateur). Plus qu’une définition, ce sont là leurs propres attentes que livrent les acteurs.
Avoir un regard sur son action afin d’améliorer ses pratiques relève bien d’une préoccupation d’animateur de projet. Mieux gérer, décider rationnellement de l’utilisation des fonds publics, en est une autre, tout aussi légitime, de décideurs. Quant aux évaluateurs (2), ils insistent sur les dynamiques induites par la démarche.
À quoi sert l’évaluation ?
Interrogés plus spécifiquement sur les finalités de l’évaluation, ces mêmes acteurs déclarent: s’interroger sur le projet (opérateur), valoriser ce qui a été fait (opérateur), rendre explicite ce qui est implicite (formateur/accompagnateur), rendre des comptes à son administration et aux citoyens (fonctionnaire d’ État), prendre des décisions (décideur), vérifier si la politique produit des résultats ou va dans le sens fixé (élus), prendre conscience des succès et des échecs (élu), réécrire les objectifs du programme (responsable de programme), communiquer avec les acteurs de terrain et témoigner de leurs inquiétudes auprès des décideurs (responsable de programme), piloter l’action (expert), produire de la connaissance en même temps que des changements dans l’action (expert). Ces propos inspirent trois commentaires.
Premièrement, on note que les réponses diffèrent peu dans le contenu, quelle que soit la question posée: c’est principalement l’usage des résultats de l’évaluation qui est évoqué. Deuxièmement, ils illustrent les interactions entre les perceptions qu’ont les acteurs de l’évaluation, leurs attentes et les responsabilités qu’ils occupent. Enfin, ils confirment l’intérêt de procéder, dès lors qu’un travail d’évaluation est engagé, à la mise à jour des représentations de l’ensemble des protagonistes. Méfions-nous des évidences !
Dans le milieu des évaluateurs, la définition de l’évaluation est attachée à la notion de valeur, au sens de valeur ajoutée par l’action, conformément à son étymologie. « Évaluer, c’est émettre un jugement sur la valeur » écrivait Patrick Viveret dans le rapport fondateur de l’évaluation des politiques publiques en France |3|. Pour la Société française de l’évaluation, « l’évaluation vise à produire des connaissances sur les actions publiques […] dans le double but de permettre aux citoyens d’en apprécier la valeur » |4|. De jugement sur la valeur à jugement de valeur, le glissement sémantique qui a pu s’opérer parmi les acteurs de terrain explique leurs réticences à s’exposer dans ce type de démarche et les inquiétudes sur la sanction supposée l’accompagner. À l’opposé, une professionnelle insistait sur l’opportunité, à travers l’évaluation, de « mettre en valeur » le travail réalisé avec et par les bénéficiaires de l’action.
À qui profite l’évaluation ?
Aux décideurs pour «décider» ou «améliorer la gestion publique»
Avant d’opter pour la reconduction d’une intervention(3), un décideur recherchera principalement, pour éclairer son choix, des arguments sur son utilité et son efficacité. La démonstration de l’efficacité est la question d’évaluation la plus difficile à résoudre car elle requiert la mise en évidence de la relation de causalité entre les effets observés ( par exemple: un recours plus précoce aux services de soins ) et l’intervention réalisée ( des ateliers de groupe pour la revalorisation de l’estime de soi ); cela suppose de parvenir à isoler les effets propres et attendus de l’intervention ( la modification de comportement ) d’autres effets qui ne lui seraient pas liés ( augmentation des revenus, relation privilégiée avec une personne facilitant l’accès aux services… ). En l’absence d’un cadre de recherche approprié, fiable et valide, le défi n’est pas relevé; la prise de décision est rarement étayée sur la base de l’efficacité stricto sensu. Pour autant, l’évaluation est-elle inutile? Certainement pas, les analyses contextuelles permettant de comprendre les conditions de succès ou d’échec de l’intervention apportent des informations très utiles pour la décision. Par ailleurs, une description détaillée et argumentée de la mise en œuvre de l’intervention et des réalisations peut satisfaire à l’exigence de rendre compte de l’utilisation des fonds alloués.
Aux opérateurs pour «améliorer l’action»
Pour les opérateurs, l’évaluation est surtout considérée comme une activité intégrée à l’action dans le but de procéder à des ajustements réguliers afin d’améliorer l’action. Une intervention, projet ou programme, n’est pas une structure figée; elle évolue au gré des aléas de sa mise à l’épreuve du terrain, des acteurs en présence et du contexte dans lequel elle s’inscrit. L’interrogation sur le sens de l’action est présente, nourrie de réflexions internes et des retours d’informations des bénéficiaires. Pratique réflexive en équipe, « regard dans le rétroviseur », procédure plus ou moins formalisée, les évaluations sont de facture variable, fonction des exigences et des ressources dévolues.
… Avec des acquis partagés
En réalité – et la somme des discours recueillis lors des entretiens le valide – l’évaluation remplit une pluralité de fonctions |5| au service de tous: accumuler de la connaissance, estimer la valeur de l’action accomplie, produire du changement, susciter un débat avec l’ensemble des acteurs engagés, les faire progresser collectivement, mobiliser et contribuer à l’appropriation de l’intervention. En effet, l’apport de connaissances quasiment toujours recherché dans les questionnements évaluatifs, qu’il s’agisse d’accumuler des indications sur l’intervention ou de documenter une expérimentation, est au profit de tous. De surcroît, l’évaluation donne l’opportunité de récapituler l’histoire d’une politique, d’un programme ou d’un projet, avec le rapport d’évaluation comme support de cette mémoire reconstruite. En restituant la participation des acteurs impliqués, elle constitue une forme de reconnaissance du travail accompli et favorise l’appropriation par les différents partenaires tant des conclusions de la production évaluative que de l’intervention évaluée.
L’évaluation : une démarche audacieuse et contestataire !
Réduire l’implicite
Exercice ponctuel ou continu, en cours ou en fin d’intervention, externe ou interne, tout travail évaluatif doit se soumettre au rituel d’un questionnement préalable: évaluer, pourquoi? quoi? avec qui? pour qui? pour quoi faire? comment? L’explicitation des objectifs, la définition du champ de l’évaluation, la clarification du questionnement et la définition des modalités de travail sont des épreuves incontournables de la première étape du parcours évaluatif. Il s’agit là de « rendre explicite ce qui est implicite ».
Cette réflexion initiale doit permettre de s’entendre sur l’utilisation de cette évaluation, les questions à poser et les critères de jugement. En effet, la spécificité de l’évaluation relève de la mise en perspective de l’analyse avec l’angle de vue collectivement choisi: le système de référence de l’évaluation dont les critères sont l’élément majeur. Sur quelle(s) base(s) apprécier l’intervention ? Par exemple, l’adhésion des acteurs à un projet sera-t-elle estimée sur leur présence aux réunions, sur leur participation à un travail commun ou sur une transformation conséquente de leurs pratiques au regard des principes du projet ? Sur quels éléments décider qu’un projet est réussi et/ou en voie d’autonomisation ? Sur quelle base affirmer qu’une action a amélioré la confiance en soi des élèves ? Le choix des critères n’est pas neutre. Il relève d’un acte collectif – et non pas de la seule responsabilité de l’évaluateur- et engage l’ensemble de la démarche.
Enfin, le travail préliminaire contribuera à mettre à jour les enjeux de l’évaluation, à savoir les conséquences prévisibles pour l’intervention (la poursuite de l’intervention est-elle dépendante des conclusions ?), les problèmes ou conflits latents susceptibles d’émerger, les opportunités (la mise en valeur de l’action, des opérateurs), afin de dissiper les malentendus, de minimiser le risque de déception quant aux résultats de l’opération (l’obtention de réponses aux questions posées) et d’anticiper les difficultés au cours de l’exercice (notamment les résistances à participer à l’évaluation…).
Poser des questions dérangeantes
L’évaluation suscite des réticences parce qu’elle est par essence, un processus de contestation, en raison de la (re)mise en question(s) de l’intervention. L’intervention permet-elle de satisfaire les besoins des populations visées ? Sur quels fondements théoriques a-t-elle été construite ? A t-on conduit les actions avec professionnalisme ? Aurait-on pu faire mieux ? Les effets attendus se sont-ils produits ? Tout de l’intervention (structure, déroulement, acteurs, résultats) peut être disséqué et soumis à l’analyse critique. Mais tout ne fera pas l’objet d’une étude approfondie; des choix devront être négociés en vue de l’usage présumé des résultats de l’évaluation.
Ouvrir un espace de controverses…
Les buts déclarés de l’évaluation influencent le champ mais aussi la nature de la démarche, notamment, en ce qui concerne l’étendue des acteurs (des responsables aux partenaires et aux citoyens) à associer à la réflexion et la place à leur accorder. Lors d’un colloque de la Société française de l’évaluation, un panel de citoyens sollicité pour produire un avis sur la place des citoyens dans l’évaluation des politiques publiques justifiait une telle orientation au nom de trois arguments: leur triple légitimité d’usagers, d’habitants, de contribuables; leur proximité directe avec les résultats de la politique; leur intérêt pour les changements à venir du fait des conclusions de l’évaluation. Il soulignait également l’intérêt d’un autre regard précisément parce qu’il permet de relier toutes les finalités de l’évaluation |6|. Les influences s’exercent aussi de la part des acteurs sur le processus d’évaluation.
… et de (ré)conciliation
Opter pour une évaluation participative suppose d’accepter le risque de la controverse et de s’engager à créer les conditions d’un dialogue équilibré entre les différents points de vue. Ainsi conçue, l’évaluation crée un espace de débat et une tribune à différentes catégories d’acteurs qui, à cette occasion, pourront exprimer des conceptions, des préférences, des incompréhensions voire des revendications. Conduite sur un mode concerté, l’évaluation favorise des échanges aptes à faire converger des préoccupations particulières voire contradictoires, à concevoir et partager des références communes. Les évaluations des programmes régionaux de santé du début des années 2000 témoignaient de ce rassemblement opéré, là où la dynamique de concertation avait précisément permis la mise en place d’un processus participatif |7|. L’évaluation est un espace favorable à la réconciliation de catégories à première vue opposées, experts et profanes, décideurs et acteurs de terrain.
L’évaluateur : un personnage à plusieurs facettes
L’évaluateur responsable de la conduite du processus peut être l’artisan de ces rapprochements. Les situations évaluatives lui confèrent une variété de rôles. Dans le cadre d’une évaluation interne, il se confond avec l’acteur de l’action. Dans une évaluation externe, il est dégagé de tout lien avec l’intervention, avec toutefois, des postures variables en fonction des objectifs avoués de l’évaluation et de la proximité recherchée avec les responsables de l’intervention. Interpellé pour répondre à des questions sur l’impact de l’intervention, il adoptera une position distanciée compatible avec la neutralité attendue de l’expert. Sollicité pour accompagner des acteurs de terrain dans leur propre évaluation, il s’intégrera au mieux dans l’environnement pour faire émerger les questions, être la ressource propre à accompagner – plus que guider- le processus d’évaluation: reconstituer la logique d’action, clarifier les objectifs, aider au choix ou à la construction des outils de recueil et d’analyse des données.
L’évaluation : une activité sociale au service de l’apprentissage collectif
L’évaluation reste difficile à définir, à cerner, à expliquer parce qu’elle ne se résume pas à une seule opération intellectuelle. Inscrite dans un système de relations dynamiques entre des acteurs, des pratiques, des intentions, un contexte, elle est, avant tout, une activité sociale et à chaque fois singulière. La pluralité de ses applications, combinée à tous les autres paramètres qui la façonnent, génère une variété de configurations incluant sur un large registre des formes d’évaluation parfois bien contrastées: évaluation de la conformité, évaluation managériale, recherche évaluative, évaluation d’expertise, évaluation compréhensive, évaluation pluraliste…
Ainsi que le rapportait Bernard Perret (4), « Quand on essaye de définir l’évaluation, on met toujours l’accent sur un aspect particulier, alors qu’en fait, il faut avoir une vision équilibrée des différentes fonctions, de prise de décision, de formation, de médiation, de diagnostic partagé. L’expression qui intègre le mieux les différentes fonctions, c’est celle d’apprentissage collectif ».
Progressivement, forte de l’accumulation des expériences et des acquis qu’elle génère, l’évaluation s’intègre peu à peu dans les pratiques, laissant penser que derrière le bruit de fond, il y a bien plus qu’une simple rhétorique.
Ce texte a été publié initialement dans ‘La Santé de l’homme’, n° 390, juillet-août 2007
Références
|1|Jabot F. Regards croisés sur l’évaluation . Rennes: ENSP, 2006.
|2|Patton MQ. Creative Evaluation, Sage Publications , Nexbury Park, CA, 1986, 2e edition.
|3|Viveret P. L’évaluation des politiques et actions publiques . Paris: La Documentation française, 1989.
|4| Charte de l’évaluation des politiques publiques , Société française de l’évaluation, version révisée, juin 2006
|5| Petit guide de l’évaluation des politiques publiques, Conseil scientifique de l’évaluation . Paris: La documentation française, 1996.
|6|Avis du groupe de citoyens relatif à «La place des citoyens dans l’évaluation des politiques publiques», 7e journées françaises de l’évaluation , Lyon 20-21 juin 2006.
|7|Jabot F. L’évaluation des programmes régionaux de santé . ADSP, la revue du Haut Comité de santé publique, n°46, mars 2004.
|8|Perret B. L’évaluation des politiques publiques . Paris : La Découverte, coll. Repères, 2001: 128 p.
(1) Voir le glossaire au centre de ce numéro.
(2) Le terme évaluateur s’applique ici aux praticiens de la méthode.
(3) Nous utiliserons le terme «intervention» comme un terme générique pour désigner diverses formes d’actions, qu’il s’agisse d’actions isolées, de projets, de programmes ou de politiques.
(4) Ancien membre du Conseil scientifique de l’évaluation, membre de la SFE, auteur d’un ouvrage sur l’évaluation des politiques publiques |8|