L’évaluation de projets, de programmes ou encore de politiques est une préoccupation récurrente, que ce soit à la demande de commanditaires ou par volonté des acteurs d’améliorer leurs pratiques. En 2019, quatre séminaires sur l’évaluation en promotion de la santé ont eu lieu sur le territoire wallon. Ces rencontres avaient pour but de susciter les échanges et les réflexions sur les questions d’évaluation. Plus particulièrement, au travers d’apports théoriques et de présentations de cas concrets, il s’agissait de permettre aux participants d’appréhender les contours d’une évaluation, d’échanger des questionnements ou des expériences, de découvrir des repères pratiques pour des évaluations réalistes et efficaces. Au vu de l’expertise de l’APES-ULiège en évaluation participative et négociée, c’est cette démarche qui a été privilégiée pour traiter les différentes questions abordées en séance.
Le premier séminaire avait pour but de mettre sur pied le programme pour l’ensemble du cycle. La technique du world café a été utilisée pour faire émerger les questionnements et représentations des participants au sujet de l’évaluation. De plus, un questionnaire de satisfaction, distribué en fin de séance, a permis de cerner leurs préférences méthodologiques et thématiques. Celles-ci ont été prises en compte pour affiner le programme de l’année. Ce premier séminaire a fait l’objet d’une synthèse disponible sur le site internet de ESPRIst-ULiège.
Lors du second séminaire, deux intervenants ont présenté l’implication des parties prenantes dans une évaluation selon deux positionnements différents. La LUSS a présenté le processus d’évaluation mis en œuvre au sein de l’ASBL et Le centre de cure et de postcure Les Hautes Fagnes a témoigné du positionnement de l’évaluation interne au sein d’un centre thérapeutique.
Le 3e séminaire avait pour objet la construction d’indicateurs. Cette question méthodologique fréquente a été abordée sous l’angle des démarches participatives et inductives. Après un bref rappel théorique, deux cas d’évaluation menés antérieurement par l’APES-ULiège ont été présentés. Plus particulièrement, l’évaluation d’un programme transfrontalier de promotion de la santé mentale (PPSM) et l’évaluation du dispositif des cellules bien-être (CBE). En petits groupes, les participants ont pu manipuler la grille d’évaluation des actions de promotion de la santé mentale et ensuite, le questionnaire d’évaluation des CBE. Ce séminaire avait pour but de stimuler les réflexions sur différentes démarches de construction des indicateurs. Les participants se sont montrés désireux d’assister à une séance d’exercices pratiques sur la construction d’indicateurs.
Le 4e séminaire était organisé en collaboration avec le CLPS du Brabant wallon. Ainsi, le CLPS et l’APES-ULiège ont lié leurs expertises et leurs expériences en évaluation et en intelligence collective. Différentes techniques d’intelligence collective ont été mises en œuvre pour approcher les questionnements des participants au sujet de l’évaluation.
2019, quelques éléments de bilan
Les séminaires ont donné lieu à des productions diverses. Le présent document de bilan reprend les éléments d’évaluation collectés lors des séances, à savoir les réponses aux questionnaires de satisfaction et les débriefings à chaud. Les données collectées lors des exercices et des clôtures de séance ont également été intégrées.
Les acteurs ont répondu présents
Les séminaires 2019 ont mobilisé 85 personnes, issues de secteurs variés, et actives en promotion de la santé à différents niveaux institutionnels. Au total, 56 organismes ont été représentés. Des acteurs de terrains étaient présents ainsi que des membres de plusieurs administrations. La variété des secteurs présents a amené une diversité dans les échanges autour des questionnements communs au sujet de l’évaluation. Cette richesse est également liée à la variété des territoires d’action et des publics-cibles. Quelques secteurs représentés : santé communautaire, promotion de la santé à l’école, santé mentale, sports, soins, prostitution, participation citoyenne, milieu carcéral, handicap, aide à la jeunesse, enseignement…Pour permettre à chacun de participer, les séminaires se sont tenus à différents lieux sur le territoire wallon. De même, les jours et les heures de déroulement des séances étaient variés. Cette diversité caractérisera également le programme de 2020.
Par ailleurs, il apparait une certaine récurrence dans la participation des acteurs, ainsi, trois personnes ont été particulièrement assidues, elles ont participé à l’ensemble du cycle 2019. Dix personnes ont participé à deux séances et dix autres à trois séances. Enfin, 62 personnes ont assisté à un des quatre séminaires.
Une formule qui suscite l’intérêt
Chaque séminaire fut l’occasion de préciser les questionnements et les attentes des participants. Le principe de base de ces séminaires est resté identique à toutes les séances : combiner des présentations de cas concrets d’évaluation avec des pistes méthodologiques et des cadrages théoriques. Ces séances se veulent participatives et indépendantes les unes des autres pour permettre au plus grand nombre d’y assister selon ses intérêts et ses disponibilités.Toutefois la formule comporte des limites, combiner des présentations de cas et de notions théoriques avec des exercices pratiques est un réel challenge sur une demi-journée. Le timing serré constitue une difficulté dans l’appropriation des cas exposés et la réalisation des exercices.
En 2020, pour répondre à cette attente, ESPRIst-ULiège consacrera certains séminaires à des questions plus précises, ils seront davantage axés sur des questions théoriques et sur la mise en pratique au travers d’exercices. De plus, le format des séminaires variera entre journée complète et demi-journée.
Les apports de séminaires selon les participants
La majorité des participants témoignent des apports des séminaires, certains éléments pourront être transposés dans leur pratique, qu’ils soient théoriques, pratiques, ou méthodologiques.
Certains participants utiliseront les apports des séminaires dans leur pratique professionnelle, au niveau personnel. Par exemple, poursuivre sa réflexion personnelle sur l’implication des parties prenantes dans l’évaluation, renforcer son positionnement lors de ses évaluations, approfondir ses connaissances théoriques, impliquer les opérateurs dans les évaluations, réfléchir à l’évaluation dès le début, mener à bien des évaluations…D’autres y voient une utilisation en interne, au sein de leur équipe. Par exemple, réorganiser un comité de pilotage existant, évaluer leurs projets plutôt que leurs actions, poursuivre la réflexion en équipe, mettre en place un système d’évaluation participative au sein de l’ASBL, préparer une évaluation avec des membres du personnel ayant différentes fonctions…Les participants étaient satisfaits d’avoir assisté à la présentation de cas d’évaluation pratiques. Ils témoignent de l’importance du concret pour pouvoir transposer des éléments de réflexion dans la pratique. Lier et confronter théorie et pratique lors des séminaires semble être apprécié de tous. Les exercices ont permis à certains de mesurer l’ampleur d’un travail d’évaluation et du temps qu’il nécessite.
Les séminaires ont amené des éclaircissements ou des pistes de réflexion sur l’évaluation participative. Effectivement, la notion d’évaluation participative n’était pas connue de tous, « les témoignages des participants et intervenants ont offert une vision pragmatique du processus évaluatif ». Certains y ont vu un « éclaircissement quant aux enjeux concrets de l’évaluation des services par rapport à la tension entre une démarche d’amélioration interne et le regard des autorités mandantes et contrôlantes sur le sujet ». D’autres se questionnent sur la façon de mener une évaluation participative sans l’associer au contrôle. Les participants ont découvert des méthodes et des outils pour impliquer les bénéficiaires, les participants, les parties prenantes dans le processus d’évaluation. Le but étant in fine d’inclure mieux les parties prenantes dans l’évaluation et de rencontrer leurs attentes respectives.
Les contenus des séminaires
Un aperçu transversal des contenus abordés en 2019
Les séminaires 2019 ont été l’occasion d’appréhender la participation des parties prenantes sous divers angles. Ainsi, la démarche d’évaluation participative et négociée présentée par la L.U.S.S. a montré de façon exhaustive les différentes étapes du processus évaluatif auxquelles les parties prenantes ont été impliquées.
La définition des questionnements évaluatifs avec les parties prenantes a été illustrée via le processus d’évaluation au sein de la L.U.S.S. et au travers des méthodes d’intelligence collective. Les questions d’enjeux de pouvoir et de légitimité dans une démarche d’évaluation peuvent trouver une réponse dans la définition d’un cadre de confiance avec l’ensemble des personnes concernées. De plus, le positionnement en tant qu’évaluateur interne illustré par le Centre des Hautes Fagnes montre la nécessité de rappeler ce cadre et le positionnement de l’évaluateur en lien avec sa mission.
L’ensemble des séminaires a pu mettre en lumière la diversité des parties prenantes qui peuvent être associées au processus évaluatif ; commanditaires, usagers, experts, évaluateurs… Les cas présentés ont montré le rôle primordial d’une instance d’évaluation constituée des acteurs concernés par l’évaluation dans la réalisation et le suivi du processus évaluatif.
Rassembler les parties prenantes autour de l’évaluation, insuffler une culture d’évaluation est un processus long qui demande du temps. Comme l’expliquait H. Henrard, le temps de l’évaluation n’est pas concomitant au temps de l’action. Les méthodes d’intelligence collective peuvent être utilisées pour créer une dynamique autour de l’évaluation.
Objectiver des données qualitatives peut sembler complexe, la grille d’évaluation PPSM donne un exemple de démarche de construction d’un outil permettant de définir des critères et des indicateurs au plus près du terrain. Pour valider les outils utilisés, comme pour valider d’autres étapes de l’évaluation comme les questions évaluatives, les méthodes de collecte, le rapport d’évaluation, etc., différentes techniques d’intelligence collective peuvent être soutenantes : consentement, consensus …L’évaluation du dispositif Cellules Bien-être a illustré les avantages d’un processus d’évaluation participatif, en privilégiant les moments de clarification et de construction commune de l’évaluation. De plus, avec la technique des récits, la collecte des données selon une trame commune se fait au rythme des acteurs qui évoluent dans des contextes variés. Ainsi, l’évaluation rend compte des expériences des acteurs constituant un matériau ancré dans le terrain.
Les quelques cas mobilisés durant les séminaires étaient caractérisés par l’utilisation de différentes méthodes et outils de collecte de données. Cela montre l’utilité de combiner ces méthodes et/ou outils en fonction du terrain et du type d’information recherché.
Les questions à approfondir
Certains participants sont en demande de contenus plus précis soulevés par un processus d’évaluation : exemples de questions évaluatives, de données collectées, de rapport d’évaluation, de réflexions, d’outils, etc. Le rapport d’évaluation pose question : Comment est-il construit ? Quel est son statut ? Qui y a accès ? Quel lien avec un processus politique ? Certains projets restent en partie confidentiels, ce qui ne permet pas une diffusion complète des matériaux.
Au-delà de l’évaluation, les participants marquent leur intérêt quant à l’utilisation des résultats et les changements auxquels cela a abouti.
La position de l’évaluateur et sa légitimé au sein des organismes évalués questionnent les participants, qu’il s’agisse d’un évaluateur interne ou externe. Avec quel type d’outils peut-on établir une relation avec les évalués ? Comment insuffler une démarche d’évaluation dans une pratique professionnelle qui n’en a pas la culture ? Comment rendre ça intéressant, attirant et motivant ? Quels sont les enjeux de pouvoir dans l’intégration de tous dans un processus d’évaluation ?Les frontières et les objets de l’évaluation sont multiples, les acteurs sont face à une diversité de projets à évaluer, allant de la satisfaction des participants à un évènement à l’évaluation d’un programme de longue durée. De plus, le temps qui est consacré à l’évaluation peut être restreint ou imposé, ce qui laisse à penser que les démarches d’évaluation participative ne seraient pas applicables dans ces cas.
Pour certains projets, les acteurs doivent fournir des évaluations à des autorités subsidiantes. La validité et la pertinence d’une évaluation participative et négociée dans ce cadre reste une interrogation.
Suite au séminaire du 10 décembre, quelques questions ont émergé quant aux différences entre les techniques d’intelligence collective et les méthodes participatives et leur utilisation en tant que méthode dans le cadre d’une évaluation. Quelle est l’influence potentielle d’une méthode sur la construction d’un projet et son processus ? L’intelligence collective comme méthode se place-t-elle systématiquement dans un cadre qui comprend des objectifs décrits et des items d’évaluation ?
En route pour 2020
En 2020, l’APES-ULiège proposera un nouveau cycle de cinq séminaires. Cette séquence sera construite sur base des questionnements évolutifs des participants, avec des partenaires et des acteurs souhaitant proposer des cas concrets d’évaluation. Au menu, une première journée de rencontre permettra aux participants d’approfondir des dimensions illustrées en 2019. Pour les autres séminaires, différents contextes et méthodes en lien avec la promotion de la santé seront travaillés en regard de l’évaluation participative et négociée. Une séance portera plus particulièrement sur la découverte d’outils d’analyse de projets ou d’actions en regard d’enjeux sociétaux et bénéficiera de l’expérience d’utilisation de personnes ressources. Les thèmes-clés en projet pour cette année 2020 : les démarches communautaires, les questions de genre, les inégalités sociales de santé, la promotion de la santé à l’école, les assuétudes, la santé des jeunes…