Pour nombre d’acteurs associatifs, la question de l’évaluation est encore sujette à réticences. Par manque de temps ou de maîtrise, elle est parfois reléguée au second plan ou entrevue seulement au travers de la nécessité de fournir des preuves du bon usage des deniers publics dont ils bénéficient. Cet article tente d’illustrer comment une réflexion au sein d’une équipe peut créer une dynamique faisant de l’évaluation un outil formatif pour une meilleure organisation de l’action et de l’institution, ainsi qu’un investissement pour l’avenir.
Questionnement et genèse du processus
Cultures&Santé se situe au croisement de différents secteurs : la promotion de la santé, l’éducation permanente et la cohésion sociale. Différents programmes d’actions financés par les pouvoirs publics y sont menés. Chacun de ceux-ci possède des objectifs, des moyens et des cadres d’exigence spécifiques qui, tous, entendent nourrir notre objet social centré sur la réduction des inégalités sociales de santé (1).
Avec cette particularité, un ensemble d’autres caractéristiques de l’association (équipe pluridisciplinaire, actions coordonnées en première et en deuxième ligne, réseau intersectoriel, histoire de l’organisation…) nous permet de cultiver une approche globale des problématiques et d’appréhender leur complexité, ce qui s’avère un atout pour agir sur les déterminants sociaux de la santé.
Néanmoins, nous avons pu nous rendre compte que la coexistence de ces différents programmes déterminés par les prescrits des pouvoirs subsidiants et les demandes du terrain, nous a parfois menés, le nez dans le guidon, à une multiplication d’actions rendant moins évident le sens de leur articulation et pouvant parfois mettre en péril leur efficacité.
En 2010, le financement par la Fédération Wallonie-Bruxelles d’un nouveau programme triennal de promotion de la santé nous a permis d’impulser une analyse critique plus profonde de notre travail. Nous nous sommes, suite à cela, orientés vers une appréhension des actions moins en termes de services qu’en termes de projets, avec la volonté de se soucier de ce qui peut rendre compte à la fois de la qualité de notre action et de ses résultats.
Dans le prolongement de cette réflexion, nous avons pris conscience de la nécessité de prendre à bras le corps la question de l’évaluation qui, au sein de l’institution, était jusqu’alors trop peu investie ou plus exactement trop peu méthodique, construite et aboutie. Chaque travailleur en avait sa propre représentation et expérience. Même si elle s’exerçait de manière ponctuelle et réfléchie, un langage et des outils communs faisaient défaut. Nous avons décidé de mettre le pied à l’étrier et de nous donner le temps et les moyens pour travailler à une culture d’évaluation, présupposant par là le fait qu’un travail d’équipe permettrait de redonner une vision (interne et externe) plus cohérente à notre action, de remettre en question ou de confirmer certaines stratégies institutionnelles prises et d’optimiser une démarche qualité.
Formation d’équipe
La première des étapes de ce parcours fut d’engager une collaboration pour l’animation d’une formation d’équipe avec le Service communautaire de promotion de la santé APES-ULg, en charge de l’accompagnement des opérateurs de la Fédération Wallonie-Bruxelles notamment en matière d’évaluation de leur programme. Trois journées de formation en mai 2011 ont permis aux différents chargés de projets, documentalistes et coordinateurs de réfléchir au sens que l’évaluation peut revêtir, ses enjeux et de mettre en regard nos pratiques et les bases théoriques actuelles en promotion de la santé la concernant.
À partir de notre expérience, une série de balises a pu être travaillée : l’agencement des objectifs, le cadre logique et l’analyse causale, l’établissement de critères et d’indicateurs, la distinction entre mise en œuvre et résultat…
Ce temps de formation a constitué le premier pas d’une appropriation collective et de l’élaboration d’outils propres. Il aura eu un impact quasi direct sur les démarches d’évaluation entreprises par les chargés de projets. Par exemple, sur les projets de cohésion sociale que nous mettons en œuvre en partenariat avec des associations de la Région bruxelloise, l’évaluation était déjà une préoccupation s’inscrivant dès l’entame des projets. Mais désormais elle se réalise avec des canevas plus structurés s’appuyant sur des concepts précis et partagés. Chaque étape du projet est évaluée et cette évaluation est pensée dès le départ avec le partenaire. L’évaluation soutient le projet, produit des données, le capitalise, permet d’effectuer des ajustements nécessaires en cours de route et implique plus intensément les parties prenantes dans le processus.
Cadre logique
Désireux de s’appuyer sur la dynamique instaurée et ressentant le besoin de consolider l’agencement des stratégies d’action et la cohérence de l’évaluation, nous avons sollicité l’APES-ULg pour un accompagnement à plus long terme, se concrétisant par des réunions de travail bimestrielles impulsant les réflexions au sein de l’association.
Avant de mettre en exergue des critères et des indicateurs d’évaluation, il s’est d’abord agi de réorganiser les objectifs, de caractériser et expliquer les liens entre ceux-ci et les actions, et ce en se posant les bonnes questions. Par exemple, en quoi et comment les moyens que l’association mobilise, depuis plusieurs années, dans la création d’outils pédagogiques adaptés aux professionnels travaillant avec un public fragilisé peut-il avoir un impact sur les pratiques de ceux-ci et sur la réduction des inégalités sociales de santé ?
À travers un inventaire réflexif, une chaîne causale a pu progressivement être façonnée, mettant en harmonie différents axes stratégiques d’actions existants ou créés et différents niveaux d’objectifs. Ainsi, pour reprendre l’exemple évoqué, la création d’un outil pédagogique pour être en lien avec les objectifs généraux doit à la fois reposer sur une base empirique, sur des critères d’adaptabilité aux publics et donc sur une analyse ou une expérience de terrain, mais aussi sur un projet ciblé de diffusion et sur un accompagnement à son utilisation. Autant d’axes stratégiques d’action mis en œuvre au sein de l’association et s’articulant en faveur de notre visée. Cet exercice qui a abouti à une représentation graphique a particulièrement clarifié la structure de notre programme. Chaque action est désormais reliée à un niveau d’objectifs impactant plus ou moins directement sur notre finalité.
Ce cadre permet de mieux délimiter notre rayon d’action, de mieux déterminer les priorités, le phasage des projets, les dispositifs à mettre en place pour ceux-ci, les types de demandes sur lesquelles investir plus ou moins de moyens… Envisageant de manière synthétique et simple la complexité de notre programme, il devient également un outil de communication au sein de l’équipe et avec des partenaires extérieurs mais aussi un outil de gestion dans le sens où il permet, entre autres, d’associer des profils de fonction à une réalité d’action.
Notons que le cadre logique esquissé dépasse le périmètre du programme de promotion de la santé et est adapté à l’ensemble des projets de l’association (cohésion sociale, éducation permanente), offrant, par-là, une manière de saisir les articulations entre les secteurs d’activité.
Indicateurs, critères et collecte des données
L’étape suivante consistait à définir des critères et des indicateurs permettant d’éclairer un résultat ou d’authentifier la qualité d’un processus. Pour cela, nous nous sommes basés sur l’architecture récemment élaborée et sur l’existant en la matière. La tâche s’est surtout concentrée sur la formulation des indicateurs c’est-à-dire arriver à parler en termes d’absence ou de présence, d’accroissement ou de tassement, sous la forme d’un nombre ou d’un taux. Chaque indicateur choisi en fonction de son utilité, de la faisabilité de son analyse et de sa proximité avec la réalité étudiée a été relié à un critère, à un niveau d’objectif, à un axe stratégique d’action mais aussi à une source de données.
Par exemple, à la suite d’une formation autour d’un outil pédagogique, il nous faut évaluer le critère «sentiment d’auto-efficacité du professionnel à utiliser l’outil». Pour ce faire, nous devons essayer de savoir si l’outil pédagogique est évoqué par le professionnel comme un élément mobilisateur, soutenant ou sécurisant sa pratique, de savoir s’il se dit capable de l’utiliser voire s’il en a l’intention. Le critère d’utilisation et d’appropriation de l’outil pourra s’évaluer à moyen terme en ayant des informations concernant le nombre d’utilisations, leur contexte et les éventuelles adaptations qu’il aura pu y apporter.
Différents systèmes de récolte de données sont déjà fonctionnels à Cultures&Santé : registre des demandes parvenant à l’association, registre de diffusion des outils pédagogiques, enquête qualitative concernant les outils pédagogiques, questionnaires d’évaluation des formations ou des événements, comptes rendus de réunion, tableau de bord de projets… Beaucoup de données sont donc à disposition ou peuvent facilement être relevées.
L’accompagnement avec l’APES a permis l’optimisation de ces outils, en cernant leurs manquements mais surtout en travaillant à leur configuration de telle sorte qu’ils puissent faire ressortir opportunément et facilement les données motivant les indicateurs formulés. Le processus mené collectivement au sein de l’organisation sur l’évaluation a permis de redonner du sens et une légitimité à des pratiques qui ont pu sembler routinières voire, à certains moments, mises de côté: remplir des fiches de demandes, relever les identités des demandeurs, rédiger des PV, tenir à jour des listings… Des réunions au sein de l’association ont été mises sur pied afin de créer des outils de travail quotidiens et les conditions pour que le recueil des données se fasse de manière systématique et cohérente à l’aune des indicateurs d’évaluation.
Conclusion
Nous ne pouvons avoir actuellement qu’un regard à court terme sur un processus toujours en cours. Les étapes à suivre comprendront, notamment, la mise en œuvre de l’évaluation proprement dite, l’opérationnalisation de sa transversalité et l’analyse des résultats. À ce niveau-ci, nous retiendrons surtout, outre l’augmentation des compétences méthodologiques en matière d’évaluation et une tendance à l’harmonisation des pratiques dans l’équipe, un regard plus éclairé sur l’activité, son sens, lui fournissant par là une certaine assise mais également un nouveau potentiel de développement.
Les liens entre les différentes activités, plus explicites, démontrent un gain de cohérence qui trace la voie vers un impact plus important. Le travail sur l’évaluation se profile clairement comme un moteur pour l’actualisation des pratiques. Il participe au renforcement de notre spécificité et de notre identité aujourd’hui clairement liée à la réalisation d’outils pédagogiques et à une préoccupation particulière pour les personnes en situation de précarité.
Nous insisterons également sur le cadre décrétal actuel de promotion de la santé en Fédération Wallonie-Bruxelles qui offre aux acteurs associatifs s’y inscrivant un accompagnement (ici, à travers les services de l’APES) et un espace de liberté leur permettant de construire leurs propres outils et de mettre en adéquation des moyens d’évaluation avec leurs besoins. Ce dispositif dont Cultures&Santé bénéficie a justement fertilisé cette démarche d’autoévaluation qui entend contribuer, à travers l’augmentation de l’efficacité de ses programmes d’action, non seulement à l’atteinte de son objet social mais aussi à produire des informations et pratiques utiles pour le pilotage des politiques de réduction des inégalités sociales de santé à l’échelle de la Fédération.
(1) Pour plus d’information sur l’activité de l’association, se référer à l’article «Cultures&Santé: un accès à la santé pour tous» de Carole Feulien, Marjolaine Lonfils et Denis Mannaerts paru dans le n°263 d’Éducation Santé ou (http://www.educationsante.be/es/article.php?id=1335) sur www.cultures-sante.be.