Un exemple d’évaluation participative et négociée : La Biennale Ensemble pour la santé – Samen voor gezondheid 2017

Par SCPS APES-ULiège, CARE ESPRIst ULiège

La Biennale, le projet

Les 1^e et 2 décembre 2017 avait lieu la première Biennale « Ensemble pour la santé » – « Samen voor gezondheid », une initiative de la Plateforme d’Action Santé et Solidarité (PASS). Le projet initial est né de la réflexion d’une trentaine d’organisations flamandes, wallonnes et bruxelloises, issues du secteur de la promotion de la santé, mais aussi des soins primaires, du logement, de la mobilité, de la culture… Une dynamique de co-construction est alors lancée pour mener à bien ce projet.

Ces partenaires partagent une même préoccupation : réduire les inégalités sociales de santé, améliorer la santé et le bien-être de la population. La problématique des inégalités sociales de santé est complexe : elle mobilise une multitude de facteurs sociaux et économiques, plus communément appelés les déterminants sociaux de la santé. Elle est donc intersectorielle et transversale[1].

Dès lors, pour contribuer à la réduction des inégalités sociales, la priorité est mise sur la collaboration et la mobilisation d’acteurs issus de secteurs variés. La volonté s’est rapidement dégagée de privilégier les projets locaux innovants et mis en œuvre par une démarche participative. Ces initiatives représentées lors de la Biennale ont été sélectionnées pour leur contribution à une meilleure santé et à une plus grande justice sociale.

Dans cet esprit de décloisonnement de la santé, les organisateurs souhaitaient que se créent des ponts entre les acteurs exerçant sur le terrain local, la recherche et les acteurs politiques.

La Biennale, les objectifs

1. Mettre en évidence les facteurs sociaux (logement, culture, environnement, éducation…) comme déterminants majeurs de la santé.

2. Mettre en valeur les dynamiques et stratégies d’action qui ont un impact sur ces déterminants sociaux de la santé, qui sont mises en œuvre à un niveau local et à travers des démarches participatives. Il s’agissait de contribuer à la visibilité et la reconnaissance de ces démarches, par le grand public et par les élus et d’être un moment d’interpellation du politique pour montrer que des alternatives existent et fonctionnent, en vue d’obtenir son soutien.

3. Permettre l’échange de savoirs et d’expériences entre acteurs dans le but de renforcer les compétences et les actions.

4. Mettre en valeur l’impact des actions locales et participatives à travers la recherche scientifique (existante ou à mettre en œuvre).

5. Créer des liens solidaires entre acteurs, citoyens, professionnels et élus, provenant des différentes régions de Belgique et de différents secteurs. Ces liens se baseront sur des valeurs communes dans le but d’un mieux-être pour tous.

6. Identifier les conditions nécessaires au développement des actions locales et notamment mettre en évidence les stratégies mises en œuvre à différents niveaux de décision (fédéral, régional, communautaire, communal).

La Biennale, une évaluation participative et négociée

Le projet étant d’organiser ces rencontres sous la forme de Biennales, une évaluation a d’emblée été jugée nécessaire. Les finalités en étaient multiples, allant d’une prise de décision sur l’opportunité de mettre en place la biennale suivante jusqu’aux constats de résultats en terme de développement de pratiques et politiques nouvelles visant à agir sur les déterminants sociaux de la santé. Et cela, en passant par une analyse de la satisfaction des participants, une analyse des éléments des contenus des échanges à valoriser et une analyse des processus de co-construction parmi les organisateurs. Dès le début du processus de construction du projet, l’APES-ULiège (Appui en Promotion et Education pour la Santé) a donc été associée à la réflexion.

En concordance avec cette dynamique participative et de co-construction, une démarche d’évaluation participative et négociée a été mise en place. On entend par évaluation participative toute évaluation qui engage les différents protagonistes d’un projet dans la planification et la réalisation de l’évaluation[2].

Dès lors, sa particularité est d’inclure un panel varié de parties prenantes dans le processus évaluatif, depuis la formulation des questionnements évaluatifs jusqu’à la diffusion des résultats[3].

Les enjeux rencontrés par les approches d’évaluation participative sont nombreux, ils s’organisent autour de trois axes. L’axe politique orienté sur les acteurs, met l’accent sur l’autodétermination, l’émancipation des acteurs, le renforcement de leurs capacités, la justice sociale et l’équité ou la démocratisation de la décision publique. L’évaluation émancipatrice (Fetterman) fait partie de cette catégorie d’évaluation participative. L’axe opérationnel est orienté sur le processus évaluatif et l’accent est mis sur l’utilisation des résultats et l’amélioration de l’efficacité des programmes et politiques, comme par exemple, l’évaluation axée sur l’utilisation (Patton). L’axe pluraliste ou constructiviste met l’accent sur la qualité et la pertinence de la connaissance produite par l’intégration des aspirations, valeurs et préoccupations de la diversité des acteurs de l’évaluation (Stake).

Construction d’une démarche d’évaluation

Appliquer une démarche d’évaluation participative et négociée allait de soi pour être en convergence avec la volonté de co-construction de cet événement. Ce projet d’évaluation a suscité la participation et une réflexion importante d’un grand nombre de parties prenantes de cette organisation. Remarquons toutefois que mener un tel processus, du début à la fin, nécessite un investissement en temps important de la part des personnes impliquées. Dans le cas présent, cet investissement a été fluctuant, la mise en place des processus participatifs de la journée et du recrutement des participants ayant déjà mobilisé de nombreuses énergies. Effectivement, face à l’ampleur du travail, les parties prenantes mettent la priorité sur la préparation de l’évènement plutôt que sur la préparation de l’évaluation.

Néanmoins, une des richesses de ce processus a sans aucun doute été la diversité des acteurs et des parties prenantes ayant participé à la co-construction de cet évènement et de son évaluation. Cette participation élargie d’acteurs aux profils variés a permis une meilleure compréhension du sens et des objectifs du projet.

En vue de mieux préparer l’évaluation, plusieurs réunions ont eu lieu soit avec le Comité de pilotage soit avec un groupe restreint de parties prenantes issues dudit Comité. En mars 2017, une réunion du Comité de pilotage a été consacrée à l’évaluation. Le but était de donner aux parties prenantes la possibilité de s’engager activement dans le processus en leur permettant d’exprimer leurs attentes à ce propos.L’appui méthodologique de l’APES-ULiège a été facilitateur dans la réalisation des étapes du processus décrites ci-dessous.

Définition du contenu de l’évaluation

Les premiers comités de pilotage, sortes de brainstorming d’idées sur les modalités de co-construction des journées et sur les contenus thématiques ont abouti à la définition des objectifs et des attentes de la Biennale.

Lors du Comité de pilotage sur l’évaluation, les participants ont identifié les résultats attendus selon les acteurs concernés, ainsi que les objets et les critères d’évaluation. Les objectifs ont également été examinés en vue de nourrir et de formuler les questionnements évaluatifs. Ces derniers étant les questions auxquelles l’ensemble des activités d’évaluation tente de répondre. La co-construction de la réflexion sur les critères et sur les indicateurs en a assuré l’appropriation par les participants. De plus, ce travail a garanti la pertinence de la collecte et de l’analyse des données.

Ainsi, les questionnements évaluatifs ont été élaborés progressivement sur base des différents acquis de la participation et également en concordance avec les objectifs définis par le Comité de pilotage. Les membres du groupe de travail « évaluation » ont été impliqués dans la définition finale des questions auxquelles ils souhaitaient obtenir des réponses à l’issue de cette évaluation.

Au total, 12 questions évaluatives (QE) ont été formulées, cinq d’entre elles portaient sur des éléments de processus et de résultats à court terme à la fin des deux journées. Une enquête de satisfaction a été réalisée en vue de répondre à ces questionnements. Les autres questions évaluatives portaient sur le contenu des réalisations des participants durant les deux journées.

Questionnements évaluatifs ayant fait l’objet d’une enquête de satisfaction auprès des participants

QE 1. La biennale a-t-elle été un lieu d’échanges et de contacts ?QE 2. Ces échanges et contacts ont-ils permis :

• De découvrir (des idées pour l’action) des stratégies/dynamiques locales et participatives qui ont un impact sur les déterminants sociaux ?
• De renforcer la motivation pour agir de cette manière (localement, en intersectoriel, sur des déterminants sociaux) ?

QE 3. Quels ont été les apports respectifs de chacun des types d’activités ?

QE 4. Les participants ont-ils apprécié les choix organisationnels, d’animations de la journée ?

QE 5. L’organisation de ces deux journées répond-elle aux objectifs : La vision des déterminants sociaux de la santé est élargie, la « santé » est restée la thématique principale des échanges de cette biennale, les initiatives locales et participatives ont été mises en valeur

Questionnements évaluatifs relevant des éléments traités par la capitalisation

QE 6. Quels déterminants de la santé ont été évoqués ?

QE 7. Quels leviers ont été identifiés et à quel niveau ? (Local, Régional, Intermédiaire, Fédéral, International)

QE 8. Quelles modalités de valorisation ont été évoquées ou présentées ?

QE 9. A-t-on parlé d’EIS ou de pratiques similaires ?

QE 10. Quelles collaborations intersectorielles ont été citées ?

QE 11. A-t-on identifié des questions, des domaines qui devront faire l’objet de recherches ?

QE 12. Quelles modalités de mobilisation des parties prenantes ont été évoquées, illustrées par des cas concrets ?

Les outils de recueil des données

La variété d’informations collectées par différents intervenants et canaux a participé à enrichir les données d’évaluation tout au long du processus. Les différentes sources d’informations identifiées sont développées ci-dessous.

Une enquête de satisfaction par questionnaire a été distribuée aux 189 participants de la biennale, en français et en néerlandais (version papier et électronique). 55 participants francophones et 10 néerlandophones ont répondu à cette enquête, soit approximativement un tiers des participants. Ces données ont été analysées qualitativement et quantitativement et ont fait d’objet d’un rapport technique[4]. En aval de la Biennale, les résultats de l’enquête de satisfaction ont été commentés lors d’un comité de pilotage.

L’analyse des contenus produits au cours de la biennale a été réalisée sur base du rapport de « valorisation des supports de la Biennale » produit par l’UCL-RESO[5].

Sur base des données administratives disponibles (notamment les inscriptions et les présences), une analyse des caractéristiques des participants, des contributeurs, des partenaires a été établie. Effectivement, ce travail était surtout utile pour définir plus finement les relations intersectorielles créées durant l’évènement.

A la suite de la Biennale, une analyse structurée des processus sous forme d’un focus group a été organisée avec le comité de pilotage et avec les participants aux divers groupes de travail. Cette rencontre fut l’occasion de recueillir les impressions et témoignages des personnes ayant participé activement à l’organisation de ces deux journées en décembre 2017.

Les retours évaluatifs informels en suivi de la Biennale, en ce compris une série de mails et articles (n=8) et une réunion « évaluation à chaud » du 14 décembre 2017 (n=14) ont constitué une autre source d’informations en terme de résultats mais également de processus. En outre, des participants citoyens ont été accompagnés par des organisations communautaires en amont et en aval de la Biennale. Après l’évènement, ces citoyens et organisations ont participé à un entretien de groupe évaluatif qui portait sur les objectifs et la méthodologie du Réseau Cureghem Marolles (RCM) dans l’accompagnement des citoyens à la participation à la Biennale.

L’analyse des données et la construction du rapport d’évaluation

A la suite des deux journées, il importait de faire l’inventaire des données dont nous disposions. Dans une démarche de co-construction, avantages et aléas se mêlent, en résultent des données éparses mais non moins riches. Dès lors, la nécessité est apparue de valoriser au maximum cette variété de données.

Comme détaillé précédemment, les différentes collectes de données ont fait l’objet de rapports spécifiques. C’est le cas pour la valorisation des productions (UCL-RESO), pour l’évaluation citoyenne (RCM) et pour le rapport technique sur les résultats de l’enquête de satisfaction (APES-ULiège).

Le défi à rencontrer dans la réalisation du rapport final d’évaluation était de mettre de la cohérence dans les informations. Les résultats issus des différentes sources ont été confrontés afin d’en établir les convergences, et les spécificités éventuelles. Ainsi, pour chaque objectif, les données ont été retracées pour enrichir l’analyse finale. Les données ont donc été articulées les unes avec les autres pour répondre aux questions que se posaient les organisateurs et partenaires sur la pertinence et l’efficacité de cette organisation et sa réplication dans deux ans, selon cette formule ou selon une formule modifiée. La synthèse des résultats a été présentée par objectif en regard de la source des informations et de la question évaluative concernée[6].

L’analyse de l’objectif 3 : « Permettre l’échange de savoirs et d’expériences entre acteurs dans le but de renforcer les compétences et les actions » illustre particulièrement cette combinaison de sources. Effectivement, l’enquête de satisfaction et l’évaluation citoyenne nous apprennent que les rencontres intersectorielles ont été favorisées par les choix organisationnels et les modes d’organisation. Les retours évaluatifs divers et la capitalisation apportent également des éléments de réponse, par exemple ; le rôle de la mixité et de la diversité des profils des participants dans la richesse des échanges, reconnu comme une des principales réussites de la Biennale.

L’objectif 5 montre un autre exemple de cette construction de résultats. Plusieurs sources se rejoignent quant au fait que la Biennale ait été un lieu de création de liens solidaires entre les acteurs, citoyens et professionnels. Des retours par mails et des témoignages de participants sur des sites d’associations indiquaient explicitement que des collaborations étaient nées. Les données de l’enquête de satisfaction confirmaient également que les participants avaient développé des partenariats ou étendus leurs carnets d’adresses. La capitalisation des contenus a défini les alliances avec un réseau étendu de partenaires comme un levier dans la mise en place de projets en faveur de la santé pour tous. Et enfin, l’entretien de groupe réalisé avec les initiateurs de la Biennale a mis en lumière la richesse du processus en lien avec la diversité des profils autour des mêmes valeurs de « santé pour tous ».

L’utilisation des résultats

Les analyses diverses réalisées durant l’année 2018 ont été diffusées et présentées lors d’un Comité de pilotage ouvert à toute personne intéressée, fin 2018. L’accent est mis sur la continuité de ce projet. Une volonté marquée d’intégrer davantage de citoyens dans cette organisation s’est traduite par une forte participation à ce Comité de pilotage.Le moment est arrivé d’utiliser l’ensemble des résultats pour co-construire une seconde Biennale, d’examiner les résultats de manière critique pour en extraire les messages-clés. L’objectif est de maintenir et de renforcer les acquis en tenant compte des conclusions de l’évaluation.

Les principales questions auxquelles il faudra répondre sont : « Comment mobiliser ? » « Comment s’organiser ? » et « Que faire pour la deuxième édition ? ». Cette réflexion est d’ores et déjà en cours au sein du Comité de pilotage.

Conclusion : L’évaluation, une étape essentielle

La démarche d’évaluation décrite dans cet article se caractérise par la contribution directe des parties prenantes. Celles-ci ont participé aux différentes étapes du processus ; initiation de l’évaluation, constitution d’un groupe de travail « évaluation », définition des questions évaluatives, définitions des critères et indicateurs, collecte des données, diffusion et utilisation des résultats.

L’évaluation a été intégrée dès le début de la réflexion sur la co-construction de cet évènement. Il s’agissait donc d‘une étape essentielle, voulue, discutée et négociée pour être cohérente et utile au vu des objectifs fixés par les membres du Comité de pilotage.

On ne peut pas faire abstraction des aléas de la co-construction et de la complexité qui en résulte dans la réalisation d’un projet d’évaluation. Effectivement, cette évaluation a fait face à un manque de construction commune des outils. Seul le questionnaire a été approuvé par la Comité de pilotage après sa création par l’équipe de l’APES-ULiège. Le rapport final d’évaluation résulte donc en une compilation de sources hybrides. Notons toutefois que, nonobstant les contraintes méthodologiques engrangées, la variété des sources de données réunies pour enrichir les analyses en ont fait la richesse. Cela a été possible grâce à la bonne collaboration entre les parties prenantes engagées dans le processus.

Une majorité des résultats de la Biennale ont été rencontrés. La Biennale a été un levier dans les rencontres entre les participants aux profils variés, en terme de prise de contacts voire de futurs partenariats. L’objectif de santé et de bien-être pour tous s’est révélé être une préoccupation commune, quel que soit le secteur ou le profil des participants. La dynamique est maintenant lancée, il reste à transformer les acquis de la participation en plaidoyer, notamment au niveau politique. Il faudra également veiller a suscité l’intérêt de la recherche scientifique pour la mise en valeur de l’impact des actions locales et participatives.

L’évaluation a été une étape essentielle, mise au service de la qualité des interventions en vue de l’amélioration de la santé de la population. Les résultats de l’évaluation ont montré la pertinence de cet évènement et poussent les membres organisateurs à continuer en ce sens en ajustant les processus de préparation et d’organisation.