Comment passer de la réalisation d’un projet ou du suivi d’un service au niveau microsocial (l’évaluation des actions menées par les acteurs de terrain sur un territoire local) à une évaluation au niveau macrosocial (le pilotage d’un programme ou d’une politique sur un territoire plus étendu qui englobe ce territoire local) ? Le pilotage de politiques à l’échelle d’une province, d’une région, d’une ville peut-il (devrait-il) se fonder sur les informations produites par des porteurs à l’échelle locale (un milieu de vie, une catégorie de population, un quartier) ? Ces questions se posent dans plusieurs cas de figures, qui ont pour point commun le besoin d’une vision intégrée des territoires et des acteurs. Nous en avons choisi deux à l’échelle du territoire de la Fédération Wallonie Bruxelles.
Le premier cas de figure est l’encodage des données des bilans de santé par les services de promotion de la santé à l’école (SPSE). Ce travail est une mission décrétale des services (« L’établissement du recueil standardisé d’informations sanitaires doit contribuer à une définition des besoins locaux en matière de santé et à l’élaboration d’une politique communautaire pour la santé des jeunes »). Les données doivent donc servir un double but, le pilotage de la politique de la Fédération Wallonie-Bruxelles ainsi que la mise en place et le suivi des projets des services.
Cette mission et ce double but semblent aller de soi : les services sont en contact avec les enfants en âge scolaire, ils sont en bonne position pour observer; il leur suffirait d’utiliser ces informations à leur niveau et de relayer à un organisme centralisateur. Cependant, cela ne va pas sans questionnement sur le sens, les moyens et l’usage de ces données. Les résultats des bilans de santé sont des informations de nature épidémiologique. Suffisent-elles pour construire un projet de service ou piloter un territoire ? Si les indicateurs sont définis et standardisés, la manière de les recueillir et les outils de ce recueil ne sont pas standardisés. Les services disposent de logiciels différents. Aussi existe un questionnement sur l’uniformisation des techniques permettant l’encodage. Tous n’ont pas les ressources et les compétences pour le traitement et l’analyse des données. Certains services s’interrogent sur l’utilisation de ces données dans le cadre de leur projet local: pour l’ensemble des élèves, pour certaines écoles ou pour toutes. La qualité variable des données interpellent certains experts sur la possibilité d’en tirer des informations valides à l’échelle du territoire.
Le deuxième cas de figure est celui de la diversité des porteurs de projet dans un secteur qui fonctionne essentiellement par projets subventionnés. Cette diversité, qui est un vivier de créativité et de qualité, semble assez peu miscible avec les exigences d’une évaluation globale, formalisée qui permettrait un pilotage du secteur. C’est cette difficulté qui est pointée dans l’audit du secteur commanditée par la ministre de la santé. Pour être plus précis, prenons le cas de l’appel à projets communaux pour réduire les inégalités sociales de santé. Comment à la fois soutenir une évaluation solide des projets au niveau des communes en tenant compte d’un budget et d’un laps de temps très limités et en tirer des informations utiles pour une politique de réduction des inégalités sur l’ensemble du territoire de la Fédération Wallonie-Bruxelles ?
Ces deux cas de figures témoignent des enjeux liés à l’emboîtement des acteurs concernés par l’évaluation ou impliqués par elle sur un territoire donné. L’article aborde successivement trois enjeux de l’évaluation face à la question des territoires: la diversité et l’emboîtement des territoires, la négociation et la participation des parties prenantes dans les différentes composantes de l’évaluation que sont l’identification des données, la construction et l’uniformisation des outils, l’analyse et l’utilisation des résultats et, enfin, la temporalité de l’évaluation.
De la diversité et de l’emboîtement des territoires
Le premier enjeu concerne la signification donnée au territoire et la manière dont on se représente l’emboîtement des territoires à diverses échelles. Quel est le territoire en cause ? Depuis le quartier (le plus petit ?) jusqu’à l’Union européenne (le plus grand ?), les différents territoires sont-ils la somme de leurs parties ? Ou bien chaque territoire ne devrait-il pas être considéré comme une entité à part entière ayant ses propres objectifs, qui ne recouvrent que partiellement les objectifs de ses plus petits ou de ses plus grands composants ?
Une première distinction à faire est de ne pas confondre espace et territoire. Définir un espace géographique de référence doit nécessairement renvoyer à des acteurs. Sans acteurs en capacité de dire et d’agir sur cet espace, il ne saurait y avoir de territoire. Dès lors si certains territoires disposant d’un niveau d’action politique et administratif (communes, régions, états) sont relativement faciles à identifier, il n’en va pas toujours de même pour un service ou une association. Quel est le territoire d’une école ? L’espace physique de l’établissement ou l’espace d’origine des élèves ? Quel est le territoire d’un service de promotion de la santé à l’école ? L’ensemble des territoires des écoles, des élèves, de son pouvoir organisateur ? Il n’y a pas de réponse simple, mais poser la question fait entrevoir la difficulté de la relation entre évaluation et territoires.
L’emboîtement des territoires pose aussi des questions spécifiques. Dans les deux cas cités ci-dessus, pour simplifier, nous n’avons considéré que deux niveaux. Mais, dans l’usage des données statistiques, la question de l’agrégation de ces dernières se pose sans cesse. La donnée d’un service de prise en charge d’un usager toxicomane va ainsi cheminer du service local (cet usager peut d’ailleurs n’avoir aucun lien géographique direct avec ce service), à la Région, puis au niveau fédéral avant d’alimenter enfin le niveau européen, voire mondial.
Et dès lors, les informations doivent-elles nécessairement parcourir le chemin du plus petit au plus grand, du plus local au plus global ? On rejoint ici le présupposé que la vérité serait dans le contact direct avec la réalité. Moins il y aurait de filtres entre la réalité et sa traduction sous forme de données, plus ces données seraient vraies, mieux elles reflèteraient la réalité.
La mobilisation des partenaires et des citoyens apparaît souvent comme une réponse à cette question «comment gérer le plus grand en exploitant les compétences et les capacités des acteurs des plus petits territoires ?». Cependant, il est important de tenir compte des possibilités de chacun à participer à ce processus d’évaluation et/ou de collecte des données. On surévalue souvent les possibilités de collecte d’informations offertes par la proximité des acteurs avec le terrain. Les contraintes organisationnelles, techniques et éthiques sont nombreuses qui entravent la faisabilité et la validité d’une telle collecte.
Si l’on essaie d’échapper à ces présupposés, les questions se posent en d’autres termes.
De quelles informations un territoire donné a-t-il besoin pour évaluer/piloter/réguler ses actions ? Ces données sont-elles disponibles auprès des acteurs de terrain ? Quel est l’intérêt des acteurs de terrain pour récolter et transmettre ces informations ? Quelles sont les capacités et les possibilités pour les acteurs de terrain de récolter des informations utiles pour le pilotage d’un territoire plus large que leur territoire d’action ? La diversité des intérêts en jeu et des objectifs des différents territoires rend nécessaires la négociation et la concertation.
Trois composantes de la négociation et de la participation : l’identification des données, la construction d’outil et la communication des résultats
Dans un système d’évaluation «territorialisé», ces trois composantes devraient être animées par un mouvement de «va et vient».
Identifier les données
L’enjeu est d’identifier les données qui répondent à trois exigences: disponibilité, faisabilité et validité (sens) à la fois pour les acteurs de terrain et les acteurs territoriaux. Toute donnée «théoriquement» disponible à l’échelle locale doit être interrogée en termes de faisabilité et de sens pour l’acteur local comme pour l’acteur d’un territoire plus large. Certaines données qui ont du sens à une échelle territoriale ne devraient pas nécessairement être recueillies au niveau local, si la faisabilité ou l’utilité en sont trop faibles à ce niveau.
Quelles sont les données que les acteurs de terrain peuvent injecter dans une évaluation à l’échelle d’un territoire ? Quelles sont celles qui ne sont pas accessibles autrement et qui seront utiles à une évaluation en vue du pilotage d’un territoire plus large ? La réponse doit venir des acteurs territoriaux, qui, le plus souvent sont aussi les financeurs, mais cette réponse doit être construite avec la collaboration des acteurs locaux.
Pour ce faire, il est indispensable d’interroger les pratiques d’évaluation des acteurs de terrain. Ainsi, par exemple, à l’occasion d’une évaluation du Programme régional de la santé des jeunes en Région PACA (France), les porteurs de projets ont été interrogés sur le type de données qu’ils récoltent spontanément et les contenus sur lesquels elles portent. Ce sont des données quantifiables (nombres de participants aux réunions), des données qualitatives (modification de comportement), des observations indirectes et l’émergence d’outils. Ces données sont celles qui sont à la fois les plus accessibles et les plus faciles à observer pour les porteurs de projet. Parmi les observations spontanées, pour peu qu’elles soient formalisées et validées, quelles sont celles qui pourraient servir à l’évaluation d’un territoire englobant ?
Construire et formaliser des outils
D’une part, les actions menées sur le terrain par les porteurs de projets locaux sont génératrices de données d’évaluation qui, par manque de moyens, de temps et de compétences, restent souvent inexploitées. D’autre part, une évaluation qui agglomère les informations de plusieurs territoires locaux ne peut être menée sans le recueil systématisé de données valides liées à des indicateurs standardisés. L’utilisation de données issues du terrain pour une évaluation globale ne peut donc se concevoir sans une formalisation des outils de récolte des données pour garantir la comparabilité. Cette construction formelle d’outils doit permettre la récolte, la transmission et l’analyse des données/informations standardisées.
Ce travail de formalisation comporte deux écueils. Le premier écueil est celui de la cohérence de la formalisation avec la perception que les porteurs de projet ont de leur action. L’outil formalisé propose (impose parfois) une grille de lecture qui ne peut pas être appliquée telle quelle par les porteurs de projet sans le risque de modifier soit leur action soit les données introduites (on remplit une obligation en biaisant les réponses, en «remplissant les cases»). Sans précautions, l’évaluation ne reflète pas l’action ou pire elle induit l’action. Dans les deux cas l’information récoltée a peu d’intérêt pour le pilotage d’un programme. En effet, nous pouvons nous interroger sur la validité des données fournies et sur la justesse des analyses et des conclusions qui en sont issues.
Des méthodes existent pour formaliser un recueil de données au départ de la complexité des observations des acteurs de proximité.
Par exemple, l’ethnométhodologie permet de faire émerger les données à partir du vécu et de l’expérience des acteurs. Partant d’un relevé écrit des incidents et situations considérés par une équipe comme des indicateurs de la pertinence et de l’impact de leur action, des «allers et retours» ont été réalisés entre trois points: la formulation de critères en relation avec ces énoncés, l’approbation de cette analyse par l’équipe et enfin la mise en relation avec les objectifs généraux du programme. Au final, ces «allers et retours» ont assuré la construction participative d’une grille d’évaluation ayant un sens pour les acteurs de terrain de cette équipe. Si l’ensemble des acteurs concernés adoptent la grille, elle permettrait de recueillir des données valides et fiables qui pourraient être intégrées dans l’évaluation d’un programme sur un territoire global (G. Absil, Santé de l’homme, n° 390, 2007).
Le deuxième écueil est celui de l’intégration des outils dans la pratique ou dans le temps de travail. On a vu ci-dessus que si la formalisation est très éloignée de la perception que les porteurs de projet ont de leur action, les outils ne seront pas utilisés. Ils le seront encore moins si les porteurs de projets ont le sentiment que l’application de ces outils «vole» du temps qui serait mieux investi dans l’action. Pour pallier cette difficulté, les outils doivent leur permettre d’engranger des informations nécessaires à l’évaluation de leur propre projet. Enfin, pour être utilisables au quotidien, les outils doivent offrir une possibilité d’encodage équilibrée entre systématisation et homogénéisation d’une part (diminuer les différences interindividuelles ou temporelles dans la sélection des informations à encoder) et souplesse (laisser place à une certaine spécificité pour prendre en compte des cas très particuliers, ne pas forcer l’encodage quand ce n’est pas adéquat).
Analyser et utiliser les résultats
L’exploitation des données à un niveau global soulève aussi des questions: celle de l’analyse et du retour vers l’échelle locale, celle de la possibilité pour les porteurs de projet de se situer par rapport aux indicateurs globaux ou des acteurs territoriaux de situer l’action locale, et enfin la transparence sur la prise de décision à partir de ces analyses.
Ainsi, les acteurs, locaux et territoriaux, injectent des informations sur des objets dans le système d’évaluation en fonction de leur utilité pour un programme territorialisé (local et global). En échange, l’évaluation devrait fournir aux acteurs locaux des informations qui fassent sens pour leur action locale et leur permettent d’identifier les questions posées par le pilotage local.
L’évaluation peut aussi permettre aux porteurs locaux de comparer leurs actions par rapport à l’indicateur global. Cette comparaison peut être porteuse de nouvelles questions évaluatives ou de réorientation des actions. Mais elle peut aussi permettre une relativisation des résultats. Les acteurs locaux pourraient ainsi constater que ce n’est pas leur action en elle-même qui n’est pas performante mais qu’une tendance plus lourde indépendante de l’action, est à l’oeuvre.
Par ailleurs, une évaluation territoriale construite sur la base de données locales comparables peut offrir au pilote global une vision fine des phénomènes et de leurs évolutions pour des impulsions beaucoup mieux adaptées à la variabilité des situations. Mais il importe que les acteurs locaux puissent appréhender comment ces informations s’intègrent dans le pilotage d’un niveau territorial plus global. Un processus «d’aller et retour» doit donc être mis en place entre les données issues des pratiques du terrain et leur utilisation en termes de décision par les territoires globaux.
À l’échelle d’un territoire donné, il est nécessaire de penser la communication des résultats de l’évaluation et des prises de décision qui en découlent. «Vous avez participé à tel forum sur, à telle enquête sur… voilà ce que nous en traduisons et voilà les décisions que nous prenons» (dans une version plus élaborée, une étape «Êtes-vous d’accord avec notre traduction» devrait être envisageable avec des modalités en fonction de la taille du territoire).
Une évaluation explicite communique comment les résultats ont mené à une prise de décision. L’explicitation répond à une volonté de transparence, certes. Mais surtout, nous pensons qu’elle permet de rendre un pouvoir de décision aux acteurs de terrain. Une fois les données transmises, le processus d’analyse tend à leur échapper. Expliciter le lien entre les données et la prise de décision revient à donner aux acteurs de terrain un droit de regard sur l’utilisation des données qu’ils produisent. C’est aussi montrer que les données ne sont pas lettre morte, qu’elles nourrissent une évaluation qui sert la société et ses acteurs.
Temporalité de l’évaluation
Fernand Braudel percevait la réalité historique comme la présence simultanée de durées qu’il distinguait scientifiquement: une longue, multiséculaire; une courte, pouvant comprendre quelques décennies; et une événementielle, d’une année ou même d’un mois. L’analyse historique devait se confronter ainsi à des rythmes différents afin de percevoir ce qui est structurel, conjoncturel ou, simplement, événementiel. L’évaluation devrait elle aussi se confronter à ces rythmes.
Certes, l’implantation, les effets et les impacts d’une politique de santé peuvent se mesurer à intervalles réguliers. Cependant, il est souhaitable que les procédures d’évaluation correspondent à l’échelle temporelle du territoire, c’est-à-dire à l’échelle de la pérennité des institutions qui le définissent et pas seulement à l’échelle des gouvernements qui en ont la gestion. Or l’évolution des territoires s’inscrit plutôt dans une temporalité très longue. Dans cette temporalité propre au territoire, le paysage des acteurs de terrain est mouvant. Comment gérer la disparition de certains et l’arrivée d’autres? Comment le processus d’évaluation pourra-t-il mettre en place une pédagogie qui permette aux nouveaux de trouver une place dans un système qui aura été créé sans eux ?
Réfléchir l’évaluation à partir des territoires
En conclusion, il nous semble nécessaire de distinguer les évaluations de projet et l’évaluation des politiques publiques qui ne reposent pas identiquement sur les mêmes critères, indicateurs et données. L’enjeu est alors de définir quelles sont les données utiles pour chaque niveau de politique et de mettre en place un système efficace de transmission d’informations standardisées vers les centres de décisions ainsi qu’un retour vers les acteurs ou les citoyens sous forme de décisions motivées. La construction d’outils pourrait permettre aux acteurs d’apporter des données utiles et valides pour l’évaluation de politiques publiques. Nous plaidons donc pour la mise en place d’évaluations territorialisées co-construites par les acteurs, tenant compte de la nature des données (épidémiologiques, d’activités, de résultats…), de leurs modes de récolte et d’analyse et des niveaux territoriaux impliqués. Croire qu’un enregistrement en routine d’information sur le fonctionnement des services peut servir à la fois à un contrôle comptable, au pilotage d’un programme et à la gestion d’une politique reste encore trop fréquent.
Par ailleurs, la participation des acteurs de terrain à une évaluation de politique publique devrait inclure des acteurs diversifiés (décideurs, professionnels, citoyens) représentatifs de la diversité des territoires. Pour ce faire, il serait nécessaire de faire précéder l’évaluation de sensibilisations et de formations, avec l’objectif d’inscrire une culture de l’évaluation entre les acteurs sur un même territoire.
Cet article est une version actualisée d’un texte posté sur E-Colloque 3: les enjeux de l’évaluation (E-colloques pour une Charte Sociale Wallonne), 2005
Gaëtan Absil , APES-ULg, Michel Demarteau , PhD, Observatoire de la santé du Hainaut