Le 22 novembre 2005, à l’occasion de son 25e anniversaire, l’APES-ULg organisait une journée de colloque consacrée à «L’évaluation en promotion de la santé: pratiques et défis». Sept ans plus tard, à la veille d’un changement du paysage de la promotion de la santé en Fédération Wallonie-Bruxelles, nous vous proposons un recueil de textes se situant dans la continuité des échanges réalisés lors de cette journée.
Depuis 2006, en effet, peu de choses ont changé en matière d’évaluation en Communauté française de Belgique, les moyens consacrés au soutien à l’évaluation ont d’ailleurs été réduits. Les impulsions politiques ont été peu nombreuses dans ce domaine à l’exception de la commande de l’évaluation des dispositifs de politique de santé. (1)
Alors que ce rapport pointe les faiblesses du pilotage des dispositifs de politique de santé et une absence d’évaluation des programmes et plans définis pour la Fédération Wallonie-Bruxelles, il reconnaît néanmoins l’existence et la qualité des pratiques d’évaluation internes, accompagnées, développées par les opérateurs.
Dans la foulée de ces constats, ce numéro «Succès de l’évaluation en promotion de la santé» se veut donc optimiste. Il est conçu comme un passage de relais, il tente de montrer qu’une continuité est possible entre la culture d’autoévaluation centrée sur la qualité des interventions et le développement de l’évaluation des politiques publiques. L’organisation de cette continuité est un chaînon essentiel d’un meilleur pilotage de la politique de promotion de la santé en Fédération Wallonie-Bruxelles.
Affirmer la possibilité de cette transition ne relève pas de la naïveté. Il ne s’agit pas d’en ignorer les pièges et les difficultés, par ailleurs bien illustrées dans l’interview que Julien Nève a réalisée du philosophe Yves Charles Zarka, publiée dans le numéro précédent de cette même revue (2).
Il s’agit d’affirmer un engagement à promouvoir des démarches, des méthodes, des outils qui font la place aux points de vue des différentes parties prenantes, mais surtout qui ne se substituent pas in fine à la délibération et au choix collectif par celles-ci; et enfin qui n’oblitèrent pas les «démarches qualité» menées par la diversité des acteurs concernés par la promotion de la santé.
Un bref retour sur l’évolution des pratiques d’appui à l’évaluation animées depuis trois décennies par l’APES-ULg, en étroite collaboration avec les acteurs de promotion de la santé et en synergie avec l’évolution des cadres décrétaux, montrera que les prémices d’une telle transition existent.
Au fil du temps, l’APES-ULg, en collaboration avec ses partenaires, a développé des méthodes et des outils pour les interfaces: interfaces entre opérateurs et monde de la recherche (par exemple des outils d’autoévaluation, l’appui méthodologique, la formation); interface entre acteurs institutionnels et opérateurs (par exemple, la grille d’appréciation des demandes de subvention), interface entre institutionnels et évaluateurs (modalités de construction de cahiers des charges, ou approche ethno-méthodologique de l’évaluation ex ante de dispositifs, formations de chefs de projets de services publics).
Ces expériences, méthodologies et outils, déjà connus d’un certain nombre d’acteurs représentent autant de pierres qui pourraient consolider un dispositif d’évaluation intégré et continu mis en place dans le cadre du renouvellement de la politique de promotion de la santé en Communauté française.
Quelques modèles d’appui et d’intervention en évaluation utilisés par l’APES-ULg depuis sa création
Le premier modèle (1980 à 1988) est fondé sur l’existence d’une médiation entre recherche et action au travers d’une cellule de conseil en méthodologie et en évaluation. Le but en est d’améliorer la qualité des actions, en mettant à disposition des opérateurs le savoir-faire technique et réflexif des équipes de recherche.
De 1989 à 1997, ce modèle évolue vers l’accompagnement. Il s’agit d’organiser la rencontre entre expert de l’évaluation et expert de l’action. Petit à petit, un accent privilégié est placé sur l’élaboration conjointe des critères et indicateurs qui soutiennent le jugement évaluatif. Pour qu’une évaluation soit efficace, elle doit s’appuyer sur l’expertise du terrain pour identifier les critères d’évaluation qui sont pertinents. Alors seulement, le technicien de l’évaluation peut intervenir avec des instruments de recueil et de traitement de l’information. En final, c’est de nouveau l’expert de terrain qui peut le mieux définir ce qui lui semble le plus pertinent pour réorienter son action.
Cette période culmine avec la définition de l’accompagnement reprise ci-après dans la rubrique «Les acteurs aux commandes». Effectivement il s’agit d’une forme d’évaluation habilitante qui, à l’occasion de la réalisation d’une évaluation dont ils sont demandeurs et dont ils restent les maîtres, transfère aux acteurs des compétences et des outils utiles. Durant cette période les méthodologies et outils utilisés se diversifient, notamment avec le recours aux approches qualitatives et la construction d’instruments de suivi de l’activité (tels que la fiche commune de gestions de demandes pour tous les «Services aux éducateurs»).
Le décret de 1997 organisant la promotion de la santé et la médecine préventive en Communauté française de Belgique définit les missions des Services communautaires de promotion de la santé. Il s’agit d’assurer un appui logistique et méthodologique non seulement aux acteurs, mais aussi aux différentes autorités, instances et services du Gouvernement concernés par la promotion de la santé.
Les logiques des décideurs viennent s’immiscer entre le chercheur et l’acteur de promotion de la santé. L’implantation de ce décret coïncide avec une thèse de doctorat réalisée par le directeur de l’APES (3). Celui-ci définit l’évaluation au croisement de trois composantes (la collecte d’information, l’élaboration du jugement et l’utilisation de celui-ci pour la décision) et de trois enjeux (un enjeu social, un enjeu stratégique et un enjeu technique). La position sociale et les intérêts des différents acteurs font de l’évaluation une pratique sociale.
En exploitant les résultats de ces travaux, l’APES-ULg confirme son inscription dans les évaluations de quatrième génération. Les périodes précédentes avaient vu se développer les évaluations coproduites entre un évaluateur et un opérateur. Durant les années 2000, l’équipe développe des démarches et des outils qui favorisent la négociation entre les parties prenantes d’une évaluation (4). Les objets et critères d’évaluation sont éclaircis et négociés avec les acteurs à partir de trois éléments: d’abord les buts de l’évaluation (les finalités), ensuite les questions des acteurs et enfin, le cadre logique (ou structure) du projet ou programme (les objectifs, stratégies et activités).
La posture attendue des chercheurs de l’APES-ULg est alors amenée à évoluer : l’appui méthodologique devient aussi appui stratégique, fondé sur l’analyse des enjeux et des possibilités de compromis entre les parties prenantes. Ce type de posture se concrétise particulièrement quand on soutient des acteurs institutionnels dans l’élaboration d’un cahier des charges pour l’évaluation d’une politique ou d’un programme. Enfin, en position d’évaluateur externe, l’appui méthodologique s’efface, mais l’appui stratégique s’amplifie. Parfois même, il s’agit d’organiser l’apprentissage mutuel dans le champ d’expertise des diverses parties prenantes.
En outre, l’analyse des enjeux dépasse souvent celle des intérêts et nécessite des clarifications impliquant les valeurs et modèles de référence (la conception de la santé et de ses déterminants, la vision de la société et la vision de l’homme qui sous-tend les projets et politiques). Il s’agit alors pour l’évaluateur de multiplier les possibles: attacher à l’évaluation un ensemble de valeurs éthiques, sociales et politiques, et puis fournir des outils techniques qui permettent de rencontrer ces valeurs (5) (6) (7).
Perspectives
Ce bref parcours dans l’histoire récente nous montre que les ingrédients sont réunis pour que la Fédération Wallonie-Bruxelles, dans son souci d’améliorer le pilotage et la visibilité de ses politiques de promotion de la santé et de prévention, évite d’accentuer les évaluations de type managérial, mais rentre de plein pied dans les évaluations de quatrième, voire de cinquième génération, fondées sur des dispositifs participatifs.
La mise en place à grande échelle de ce type de dispositif nécessitera de dépasser la compréhensible méfiance mutuelle entre acteurs institutionnels, acteurs politiques, opérateurs professionnels et société civile, qui ne partagent pas toujours les mêmes intérêts ni les mêmes temporalités.
Elle nécessitera aussi que les évaluateurs et les opérateurs à différents paliers améliorent encore leurs compétences au service d’une conception, d’une réalisation pertinente et efficace de ce type d’évaluation. Les évaluations de quatrième et cinquième génération sont fondées sur les principes du constructivisme, dont Baron et Monnier (8) énoncent clairement les conséquences sur les pratiques d’évaluation.
Il n’existe pas de réalité objective mais bien des vérités relatives. En conséquence, l’évaluateur ne peut porter un jugement sur une action publique sans prendre en considération les différents points de vue que portent sur cette action les groupes qu’elle concerne.
Un programme public, dès lors qu’il intervient sur un système social, est un ensemble complexe d’interactions entre ses actions, les réactions des acteurs et son contexte; il ne peut donc être étudié indépendamment de son contexte ni de façon partielle. Un évaluateur peut interagir avec les acteurs de ce contexte, sans que la rigueur de son travail soit remise en cause.
Finalement, le plus grand défi restera de développer des méthodes et outils qui permettent de mettre en place, sur une large échelle, des évaluations émancipatrices. Celles-ci «impliquent les populations concernées par un programme public dans toutes les phases de son évaluation». Elles supposent que ces groupes soient en capacité d’accéder à la connaissance qui sera produite au cours du processus évaluatif. Allant plus loin, elles «utilisent les concepts, des techniques et des découvertes de l’évaluation pour nourrir le développement et l’autodétermination».
Ce type d’évaluation est encore très peu développé; il est souvent limité à l’étape d’analyse de la situation ou du diagnostic. Certains opérateurs tels «Les Pissenlits» ont tenté d’aller plus loin, impliquant le public dans l’évaluation de l’ensemble de leur projet. Aller au-delà de ces exceptions nécessite que les autorités soutiennent (aussi) des évaluateurs qui puissent adopter des rôles progressifs aux côtés des acteurs et de la population : «Former; Faciliter; Défendre; Éclairer; Libérer».(9) Dans cette optique, la formation préalable intègre un travail des compétences de prise de parole et d’analyse. Les évaluations s‘appuient sur des méthodologies qualitatives ou mixtes pour que même les groupes les plus démunis puissent assimiler questionnements et informations.
(1) Perspective Consulting et Effisciences, Communauté française de Belgique: Évaluation des dispositifs de politique de santé, 31 mars 2011.
(2) ‘La folie évaluatrice’, entretien de Julien Nève avec Yves Charles Zarka, ´Éducation Santé n° 282, octobre 2012, http://www.educationsante.be/es/article.php?id=1511
(3)Demarteau M, Les pratiques d’action en promotion de la santé et leurs modes d’évaluation: réflexions critiques et questions pour la recherche , in Évaluer l’éducation pour la santé: concepts et méthodes, Vanves, INPES, 2002 (http://www.inpes.sante.fr/CFESBases/catalogue/pdf/885.pdf)
(4) Promotion de la santé: Un réseau en action – Démarche d’évaluation et résultats – Actes de la première journée liégeoise de promotion de la santé – Liège, 18 octobre 2002. 2002, 50 p
(5) Keith Tones K, Green J, Health Promotion: Planning and Strategies, Sage publications, 2004
(6) Kuty O, La Négociation des valeurs. Introduction à la sociologie, De Boeck Université, Ouvertures sociologiques, 1998, 384 p.
(7) Vandoorne C, Intérêts et limites des pôles de ressources, services d’appui comme nouveaux outils de la gouvernance? Congrès SFPS « La nouvelle gouvernance en Santé », Nantes octobre 2009
(8) Baron G, Monnier E., Une approche pluraliste et participative: coproduire l’évaluation avec la société civile, Revue Informations Sociales N° 110, septembre 2003.
(9) Fetterman D., Kaftarian S.J., Wandersman A.: Empowerment Evaluation: Knowledge and Tools for self assessment and accountability. Sage publications,1995