Plan wallon de Prévention et de Promotion de la santé : des indicateurs d’évaluation des objectifs transversaux co-construits avec les acteurs

Depuis 2019, ESPRIst-ULiège accompagne la Fédération wallonne de promotion de la santé (FWPSanté) pour définir des indicateurs d’évaluation pertinents, qui permettent de rendre compte des pratiques de ses membres auprès du pouvoir subsidiant. Ce dernier avait proposé un canevas d’évaluation dans lequel les acteurs peinaient à refléter leurs activités. L’appui à l’évaluation réalisé par ESPRIst se traduit par la conduite de la réflexion en concertation avec la Fédération, depuis la construction d’une culture commune en matière d’évaluation jusqu’à la construction d’un canevas commun de collecte des informations.

Les membres du GT Evaluation de la FWPSanté sont : Patricia Bernaert (Prospective Jeunesse asbl), Manu Condé (Comme chez nous asbl), Martin de Duve (Univers Santé asbl), Christian Dongmo (Observatoire du Sida et des Sexualités), Amandine Felten (Service éducation pour la santé asbl), Estelle Georgin (ESPRIst-ULiège), Valérie Hubens (Fédération des maisons médicales), Hélène Lambert (UCL-Réso), Philippe Mouyart (CLPS – Charleroi-Thuin), Maryline Nicolet (CLPS Brabant wallon), Caroline Rasson (FARES asbl), Chantal Vandoorne (ESPRIst-ULiège), Rocco Vitali (Infor Drogues asbl)

Contexte et origine de la démarche

En 2019, la FWPSanté a lancé une réflexion sur l’évaluation avec ses membres. Un groupe de travail (GT) évaluation a alors été mandaté pour formaliser le travail sur la définition d’indicateurs communs et concertés pour les objectifs transversaux du Plan wallon de Prévention et de Promotion de la santé (WAPPS). Le groupe de travail est composé d’une dizaine de membres aux activités et publics variés. Ainsi, les trois niveaux d’intervention sont représentés : la première ligne au contact direct avec la population, la deuxième ligne agissant auprès des professionnels et relais, et enfin la troisième ligne à l’interface entre les acteurs de première et seconde ligne et les politiques et administrations. Ainsi, le GT est représentatif de la diversité qui constitue le secteur de promotion de la santé, de façon transversale au niveau des pratiques et également de façon spécifique sur les thématiques et champs d’action qu’il couvre (assuétudes, tabac, drogues, milieu carcéral, rue…).

Ce travail a été réalisé à un moment charnière pour le secteur de la promotion de la santé en Wallonie. Alors que les opérateurs sont dans l’attente d’une révision du Décret Promotion de la Santé et de sa traduction opérationnelle dans un arrêté du Gouvernement, ils se sont engagés dans une réflexion commune sur les modalités d’une évaluation qui soit porteuse de sens pour chacun en regard de ses principes d’actions, des activités et des thématiques privilégiées. L’objectif du GT évaluation était aussi de trouver une façon de rendre compte des actions qui offre un juste reflet des pratiques et fondamentaux de la promotion de la santé, et ce, en cohérence avec le WAPPS.

Une méthodologie de co-construction inductive et itérative

En 2019, la FWPSanté a sollicité l’appui méthodologique et scientifique d’ESPRIst-ULiège, afin d’amorcer la construction d’une culture d’évaluation commune. A cet effet, une enquête en ligne a été adressée aux membres afin d’avoir une vision des informations quantitatives ou qualitatives dont ils disposent selon le type d’activités qu’ils mènent (réseaux, formation, accompagnement, construction d’outils, centre de ressources, etc.). Les résultats ont été enrichis par l’organisation d’une journée de rencontre. Au cœur des discussions, étaient : les buts et finalités de l’évaluation, les modalités utilisées pour rendre visibles les actions et les résultats, les critères d’évaluation, et enfin les outils et démarches d’évaluation.

En 2020, le pouvoir subsidiant a soumis aux membres un canevas standardisé de plan d’action dans lequel les opérateurs ont peiné à refléter la complexité de leurs interventions. Le GT de la FWPSanté oriente alors son travail sur la proposition d’une alternative, un dénominateur commun à tous. La piste de travail dans laquelle s’engage le GT est la formulation d’indicateurs d’évaluation pour les 12 objectifs transversaux du Plan, délaissés par les autorités par manque de substance objectivable. En effet, ces objectifs reflètent les pratiques diversifiées de la plupart des opérateurs en promotion de la santé, en revanche, bon nombre d’opérateurs ne peuvent refléter les interventions transversales au travers des objectifs thématiques du Plan. Cela est symptomatique de la difficulté qu’ont les opérateurs de visibiliser les effets de leurs pratiques sur la santé des populations.

En 2020, le GT évaluation s’est réuni régulièrement lors de rencontres préparées par ESPRIst-ULiège. Pour chaque objectif transversal, une série de dimensions-clés (critères de qualité), identifiées dans la littérature scientifique et grise, étaient proposées et soumises à la réflexion du GT.

Dans un premier temps, ces dimensions étaient expliquées, sélectionnées puis reformulées. Très vite, la nécessité d’utiliser un vocabulaire commun pour parler d’évaluation a été identifiée. Le GT s’est alors accordé sur une proposition de glossaire qui a balisé la rédaction des dimensions-clés. Ce glossaire a été transmis aux membres de la Fédération et aux autorités de tutelle.

Dans un second temps, ESPRIst-ULiège a réalisé une sélection de ces dimensions-clés afin d’en limiter le nombre et d’éviter les doublons, des reformulations ont de nouveau été nécessaires. Vingt-deux dimensions ont finalement été sélectionnées. Le GT a alors travaillé sur base de propositions d’indicateurs au départ des données d’enquête auprès des membres de la FWPSanté ainsi que de la littérature grise et scientifique. Il était demandé aux membres du GT de se positionner par rapport à la pertinence des indicateurs et à leur portée quantitative ou qualitative. ESPRIst-ULiège a recueilli l’ensemble du travail réalisé par le GT et proposé un canevas contenant 86 indicateurs d’évaluation, assortis d’un document descriptif de chaque dimension-clé. Ces fiches descriptives des dimensions-clés reprennent une courte description de la dimension-clé ainsi qu’un tableau avec les critères et les indicateurs associés. Les critères sont les caractéristiques plus précises qui, ensemble, permettront de juger de la rencontre de la dimension-clé par les opérateurs. Les indicateurs sont les manifestations concrètes de ces critères. Les indicateurs définis sont de trois types : indicateurs de processus, indicateurs de réalisations et indicateurs de résultats. Ils peuvent être quantitatifs ou qualitatifs.

La logique est renversée par rapport à la proposition de l’administration compétente. Le point d’entrée ne sera plus les objectifs mais bien les dimensions-clés.

Le canevas se présente sous la forme d’un tableau qui reprend les indicateurs par dimension-clé. L’opérateur a le choix de les documenter ou non en fonction de leur adéquation à ses projets, activités ou actions. Pour limiter les ambiguïtés et homogénéiser le remplissage du canevas, le type d’indicateur y est directement spécifié. Dans la mesure du possible, des catégories d’informations ou des questions sont suggérées afin de guider l’opérateur dans la façon de rendre visibles et concrètes les caractéristiques de ses actions.

Les objectifs de santé tout comme les objectifs transversaux, y seront associés dans un second temps. Les membres de la FWPSanté ont pu prétester le canevas durant l’été 2021. 

Implication des membres de la Fédération

Dès le départ, il importait que ce travail soit porté et validé par les membres de la Fédération wallonne de promotion de la santé. C’est pourquoi, deux rencontres ont été organisées pour les membres et leurs équipes. Une première rencontre avait pour objectif de présenter le travail du GT évaluation et son aboutissement sous forme d’un canevas d’indicateurs. La seconde rencontre avait pour objectif de présenter le prétest du canevas et d’amorcer l’appropriation du canevas proposé lors d’ateliers en sous-groupe. Les membres participants ont pu prétester le canevas durant l’été 2021.  

Ces rencontres, au même titre que le prétest, ont permis de préciser la description des dimensions-clés pour qu’elles soient le juste reflet des pratiques du plus grand nombre.

Les principaux résultats et enseignements du prétest

Le prétest a permis d’identifier les points forts et les points faibles de la proposition de canevas d’indicateurs. Quatorze opérateurs aux activités variées ont prétesté le canevas. Cet exercice consistait à sélectionner quelques actions au sein d’un projet et à documenter les indicateurs jugés pertinents pour en rendre compte. Le nombre d’indicateurs à documenter n’était volontairement pas précisé afin de laisser aux opérateurs l’occasion de s’approprier pleinement le contenu du canevas. Il ressort que certaines dimensions ont été plus documentées que d’autres. Les dimensions moins documentées ne sont pas pour autant à éliminer de la liste, il restera à définir pourquoi elles ont été moins sélectionnées. Permettent-elles de refléter les spécificités de certains opérateurs ? Sont-elles trop écartées des actions mises en place par les opérateurs ? Est-il pertinent de mieux les développer à l’avenir ?

Les dimensions les plus documentées reflètent les stratégies de promotion de la santé largement partagées au sein du secteur, parmi lesquelles : la santé dans toutes les politiques au travers des relations qui se créent avec des organismes qui ne sont pas issus du secteur de la promotion de la santé, les interventions universelles, le renforcement des aptitudes de professionnels-relais sur les déterminants sociaux de la santé, la couverture territoriale des activités, le partenariat et le travail en réseaux sur des aspects de diversité et de participation.

La plus-value de l’exercice a été soulignée par les testeurs, d’une part pour sa valeur formative et d’autre part, pour l’utilité de disposer d’une liste d’indicateurs comme réservoir d’idées dont il n’est pas obligatoire de se servir dans son entièreté. En effet, cet exercice a permis aux opérateurs et à leurs équipes de marquer un temps d’arrêt et de questionner leurs projets et activités. La liste d’indicateurs devient alors un soutien à la formalisation structurée de ce temps d’arrêt.

La volonté n’est pas d’imposer aux opérateurs de s’astreindre à un travail fastidieux de rapportage en dépit des activités de terrain qu’ils mènent au quotidien. Les testeurs ont par ailleurs relevé le caractère chronophage du passage systématique par tous les indicateurs et la perte de vision globale qui en relève. De plus, certains indicateurs nécessitent une collecte de données en routine que tous les opérateurs ne sont actuellement pas en mesure de réaliser, faute de temps ou d’accessibilité aux données. Le modèle adopté pour le prétest se devra d’être revu afin de permettre un remplissage plus dynamique et spontané. L’idée d’une plateforme informatique a par ailleurs été soulevée par les testeurs.

A la suite de ce prétest, le GT a pu finaliser la liste des indicateurs d’évaluation pour les objectifs transversaux du plan. Cette liste prend la forme de fiches descriptives par dimension-clé. Une fois le travail validé par l’AG de la Fédération wallonne de promotion de la santé, il a été transmis au pouvoir subsidiant, accompagné de certaines balises en vue de sa mise en œuvre concrète pour les opérateurs de promotion de la santé.

Un canevas d’indicateurs d’évaluation, pour qui, pour quoi ?

L’évaluation est toujours synonyme de questionnements pour les opérateurs. Quelles sont les finalités de l’évaluation ? A quoi et à qui vont servir les résultats ? En vue de quelles décisions évalue-t-on ? S’agit-il d’un monitoring ou d’une évaluation des projets ?

Ces questions ont également coloré le travail du GT Evaluation de la FWPSanté. En effet, l’enjeu était de définir des indicateurs qui soient porteurs de sens pour les opérateurs et leurs publics, et utiles au pilotage du WAPPS pour les autorités de tutelle. Dans la réflexion sur les instruments qui seront envisagés dans les futurs arrêtés d’application, l’utilité du prétest serait d’anticiper les écueils qu’un tel outil pourrait soulever.

Afin d’éviter les difficultés dans l’adoption d’un tel outil, les membres de la FWPSanté ont défini quelques balises à adopter. La contextualisation des projets s’avère primordiale et déterminante dans le rapportage et l’évaluation réalisées par les opérateurs. L’appropriation d’un set d’indicateurs conséquent demande un temps d’appropriation non négligeable qui nécessitera sans doute un accompagnement. La réponse à un nombre limité d’indicateurs (une dizaine) semble réaliste pour les opérateurs. Ces indicateurs pourraient être choisis en concertation avec l’Administration. Chaque opérateur pourrait alors répondre aux indicateurs pertinents en regard de ses projets, actions ou activités. De cette façon, l’évaluation du WAPPS reviendra à interpréter une constellation d’indicateurs qui seraient fournis par un ensemble d’opérateurs. Le choix de ces indicateurs pourrait dès lors évoluer en cours de projet.

L’intégration des indicateurs proposés par la FWPSanté est dans les mains des autorités compétentes. Avec le soutien des opérateurs, cette liste pourrait prendre pleinement sa place dans le pilotage du WAPPS.

Exemples de dimensions-clés

Pour illustrer davantage le propos de l’article, découvrez ici deux extraits de dimensions-clés.

Dimension-clé 2.2: Concevoir l’intervention selon différentes intensités et modalités en fonction du gradient
socio-économique (universalisme proportionné)

In Objectif transversal 2 : Adapter les stratégies pour faire face aux ISS.

Description de la dimension-clé
L’universalisme proportionné met en place des interventions universelles qui concernent toute la population avec une intensité (« le combien ») et des modalités (« le comment ») proportionnelles aux besoins des différents groupes de la population et aux obstacles d’ordre socio-économique auxquels ils se heurtent. Les actions mises en place selon ce principe sont adaptées au contexte local, le but étant de les rendre les plus accessibles aux personnes qui en ont le plus besoin[1]. Le gradient socioéconomique fait référence à l’association entre la position socio-économique et la santé dans l’ensemble de la population. Ainsi, plus une personne ou un groupe est socialement avantagé, meilleure est sa santé. Réduire le gradient dans cette perspective revient à améliorer l’état de santé des plus défavorisés sans réduire le niveau de santé des personnes qui bénéficient d’une meilleure santé (nivellement par le haut).

[1] LUTZ A., ZUERCHER K., NANCHEN D., PASCHE M. (2019). Vers un universalisme proportionné en promotion de
la santé et prévention : réflexions et pistes d’action. Rev Med Suisse 2019 ; 15 : 1987-90

critères	indicateurs
L’opérateur décline les interventions universelles avec des intensités et des modalités en fonction du gradient socio-économique des publics-cibles ou de leurs vulnérabilités	2.2 a) Oui-Non. Si oui, expliquez les déclinaisons. Par exemple en vous référant aux caractéristiques des publics-cibles listées ci-dessous. (Réalisations)
Le développement des initiatives de transition intègre les préoccupations pour l’équité	2.2 b) Proportion d’initiatives de transition auxquelles l’opérateur a participé (voir exemples ci-dessous). (Réalisations)
Des activités ciblées sur certains publics qui cumulent des désavantages ont été prévues en plus des dispositifs universels	2.2 c) Oui-Non. Quelles sont les caractéristiques des publics qui ont été touchés ? (Réalisations)

Informations nécessaires
Caractéristiques des populations concernées par les actions* et/ou les activités*

• Groupes d’âge (p. ex., petite enfance, adolescence, âge adulte, personnes âgées, etc.)
• Incapacité (p.ex., physique, surdité, déficience auditive, visuelle, intellectuelle/développementale, apprentissage, maladie mentale, dépendances/ usage d’alcool ou de drogues.)
• Sans-abri (y compris les groupes marginalisés, les mal-logés, etc.)
• Groupes linguistiques (p. ex., personnes qui ont des difficultés à parler français ou dont la faible alphabétisation nuit à la communication, etc.)
• Personnes à faible revenu (p. ex., chômeurs, sous-employés, etc.)
• Populations rurales, éloignées ou de quartiers urbains défavorisés (p. ex., isolement géographique ou social, zones mal desservies, etc.)
• Genre (p.ex., personnes de sexe masculin, de sexe féminin, hommes, femmes, transsexuels, transgenres, bi-spirituel, etc.)
• Orientation sexuelle (p. ex., lesbiennes, gais, bisexuels, etc.)
• Autre : à préciser …

Exemples d’initiatives de transition

• La mise à disposition d’une alimentation bio est généralement plus accessible aux populations nanties qu’aux populations précarisées.
• Promouvoir la mobilité douce par le vélo, les populations plus précaires vivent généralement plus loin des quartiers qui sont aménagés pour une mobilité sécurisée et il faut avoir les moyens de s’équiper.
• Economie sociale et solidaire : solidarité avec les maraichers qui travaillent dans une perspective durable, ces produits sont-ils accessibles aux personnes plus précaires ?
• Au niveau environnemental : isolation des habitations, l’enjeu est que les personnes à faible revenu habitent dans des habitations mieux isolées.

Dimension-clé 4.2: Dans le cadre d’un projet à moyen terme, veiller à actualiser régulièrement le diagnostic

in Objectif transversal 4 : Veiller à l’efficience des actions et instaurer une culture d’évaluation continue

Description de la dimension-clé
Actualiser régulièrement le diagnostic consiste à faire le point à intervalles réguliers pour réorienter les interventions en cours de projet*. Cette actualisation est pertinente en regard de l’ampleur et du dynamisme du projet. En effet, elle s’applique davantage dans le cadre d’un accompagnement à plus long terme que dans le cadre d’une intervention unique. Cette dimension est l’occasion de mettre en lumière les liens qui peuvent exister entre les besoins dans votre population cible et des objectifs de santé du WAPPS. Il est question de discuter de la pertinence et de l’efficience du projet et de son adaptabilité à l’évolution du diagnostic.

Critères	Indicateurs
Evaluation continue des besoins des publics-cibles (relais et finaux)	4.2 a) Une évaluation des besoins a été réalisée en amont de l’action (Oui-non + Descr quali) (Réalisations) 4.2 b) Les publics-cibles expriment leurs attentes et besoins au travers des activités menées par l’opérateur (Oui-non + Descr quali) (Résultats) 4.2 c) Adaptation des stratégies d’action à l’évolution du contexte et des besoins des publics cibles (Oui-non + Descr qualitative) (Processus)
Confrontation des diagnostics avec les objectifs du WAPPS	4.2 d) Le diagnostic en cours de projet met en évidence la nécessité d’incrémenter de nouvelles actions dans le WAPPS (Oui-non + Descr qualitative) (Réalisations)
Prise en compte des dimensions de genre	4.2 e) L’analyse des besoins tient compte des rapports de pouvoir et des inégalités femmes-hommes (sociales, économiques, politiques et culturelles). (Oui-Non + Descr quali) (Processus) 4.2 f) L’analyse des besoins tient compte de la norme hétérosexuelle et des discriminations à l’égard des sexualités minoritaires. (Oui-Non + Descr quali) (Processus)
Prise en compte des ISS dans le diagnostic	4.2 g) Oui-Non + Description qualitative (exemples : problématiques liées au niveau d’éducation, au statut socio-économique, au territoire, au milieu de vie…) (Réalisations)