Les acteurs et les enjeux au coeur de l’évaluation

Le colloque d’Amiens, dont Carine Lafontaine a donné un large écho dans un des précédents numéros de cette même revue (1), a illustré les promesses et les défis des approches territoriales en santé. Parmi celles-ci, on compte, en France, les Programmes Régionaux de Santé (PRS) et les PRAPS (Programme Régionaux d’Accès à la Prévention et aux Soins). Nous avons pu constater qu’ils fournissent un cadre intéressant pour mettre la promotion de la santé au service de priorités de santé publique. Mais ils sont aussi l’occasion d’approfondir le questionnement autour de l’évaluation dans les domaines de la promotion de la santé et de l’éducation pour la santé.
C’est ainsi qu’une initiative parmi d’autres a été prise par les CRES-PACA (Comité Régional d’Education pour la Santé de la Région Provence – Alpes – Côte d’Azur). A l’automne dernier, il a organisé quatre séminaires de formation à l’évaluation pour 92 acteurs des PRS Jeunes et du PRAPS: porteurs de projets du monde associatif, bénévoles, infirmières scolaires et médecins d’académie, mais aussi conseillers méthodologiques des Comités Départementaux d’Education pour la Santé, ou encore décideurs des Caisses d’Assurances Maladies ou des Directions Départementales/Régionales des Affaires Sanitaires et Sociales.
Ces séminaires, financés par l’Assurance Maladie, avaient pour objectif de développer une culture commune de l’évaluation. Ces formations se sont articulées autour de trois temps forts: la confrontation des expériences et des représentations, la découverte de démarches favorisant l’utilisation de l’évaluation et la définition de méthodes.
A l’occasion de ces séminaires, les formateurs ont pu expérimenter l’intérêt du modèle d’évaluation conçu par Michel Demarteau (1997) pour dédramatiser l’évaluation et fédérer, dans un projet commun de développement de l’évaluation, des acteurs situés à divers niveaux de responsabilité sur un même territoire et dans un même programme de santé publique. Nous vous proposons ci-dessous de découvrir ce modèle et les modalités d’application préconisées par l’APES-ULG au travers d’un article écrit pour le journal des programmes régionaux édité par le CRES-PACA (Priorité santé n° 3, janvier/février/mars/avril 2002). La pression s’accentue pour que toute attribution de fonds publics, qu’ils viennent de l’Etat, des collectivités locales, ou d’organismes publics divers, donne lieu à une évaluation. Au-delà de cette nécessité de contrôle, de cette recherche de légitimité et d’efficacité, les services et acteurs de la promotion de la santé souhaitent aussi que les évaluations soient utilisables et utilisées pour améliorer la qualité de leurs interventions, pour assurer la continuité des programmes, voire pour adapter les orientations politiques en santé publique ou en promotion de la santé. Ceci a été particulièrement illustré par le relevé des intérêts et contraintes de l’évaluation formulés par une centaine d’acteurs de la région PACA lors des formations à l’évaluation de novembre et décembre dernier (voir encadré).
En matière de qualité des interventions, les pratiques de promotion de la santé mettent particulièrement en avant les stratégies de partenariat et de participation, elles accordent de l’importance au plaidoyer pour des politiques publiques saines aussi bien qu’aux modifications des milieux de vie ou qu’au développement des aptitudes individuelles et sociales.
Des évaluations qui soient utiles pour piloter les projets/les programmes et en améliorer la qualité, des évaluations qui soient dynamisantes pour le partenariat, qui influencent les décisions politiques, qui respectent voire qui mettent en cohérence les contraintes et les enjeux des institutions et des services impliqués, voilà le défi auquel nous sommes confrontés.
Dans ce contexte, il importe de trouver de nouveaux modèles de référence en matière d’évaluation. En effet, si elles restent d’actualité, les notions d’efficacité, d’efficience,… les distinctions entre évaluation de processus et évaluation de résultats, d’effets ou d’impact,… ne suffisent plus à rencontrer ces attentes. Les paradigmes issus de la recherche expérimentale et épidémiologique se révèlent peu adaptés: il sont orientés vers la connaissance plus que vers l’action, ils cherchent à neutraliser les sources de variation plutôt qu’à les intégrer, ils se développent sur un rythme propre lié au respect des critères méthodologiques et s’adaptent difficilement à la logique temporelle des programmes et projets.
Le modèle APEP (Analyse des Pratiques d’Evaluation de Programmes) conçu par Michel Demarteau (1997) et les modalités d’application proposées par l’équipe de l’APES-ULG permettent d’aborder l’analyse ou la construction de plans d’évaluation en mettant au centre les enjeux et les acteurs. En effet, les nouvelles pratiques de développement de programmes évoquées plus haut rendent nécessaire la conception d’une évaluation interactive et participative. Elles impliquent que les acteurs et l’évaluateur puissent négocier leurs perceptions et leurs référentiels; la performance du programme est alors jugée à partir de critères définis par les acteurs.

Le modèle APEP
Analyse des Pratiques d’Evaluation de Programmes

Pour comprendre et enrichir nos pratiques d’évaluation, il est utile de comprendre ce qu’est l’évaluation. De nombreuses définitions existent.
Selon les cas, elles mettent l’accent sur
– la récolte d’informations qui décrivent un programme ou ses conséquences;
– la mesure de la valeur d’un programme;
– l’utilisation de l’évaluation pour conduire l’action, pour prendre des décisions sur le programme.
L’intérêt de la définition proposée par Demarteau est de considérer que ces trois composantes sont présentes dans tout acte d’évaluation:
‘L’évaluation est le processus par lequel on délimite, on obtient et fournit des informations utiles permettant de produire un jugement de valeur pour conduire une action par des décisions.’
En conséquence la conception d’un plan (ou projet) d’évaluation devrait s’attacher à décrire avec plus ou moins de précision (expliciter/formaliser) ces trois composantes. C’est la description de chacune d’entre elles qui fait apparaître la dynamique propre à un projet d’évaluation. Au centre de cette dynamique convergent trois types d’enjeux: un enjeu social, un enjeu stratégique, un enjeu technique.

Un enjeu social: rendre explicite chacune des composantes

L’explicitation est indispensable à une appropriation de l’évaluation par les acteurs et par les décideurs. C’est une opération fondamentale, préalable à toute autre.
Expliciter une composante, la formuler, lui permet de venir au jour, d’acquérir une visibilité et donc de devenir objet de dialogue, de concertation, de décision pour les acteurs. Cette opération permet aussi de débusquer des pratiques d’évaluation qui existent sans être ainsi nommées et qui entraînent des modifications de la conduite du programme sans que cela soit bien compris. Le plus fréquemment, les évaluations sont très explicites sur la composante processus (récolte d’informations) mais laissent dans l’ombre les valeurs de référence, les critères de jugement qui serviront de filtre à l’interprétation de ces résultats. Très souvent aussi, le lien entre les décisions et les résultats de l’évaluation ne sont pas formulés.

Un enjeu stratégique: identifier les intérêts des acteurs qui interviennent dans chacune des ces composantes

Chacune de ces composantes peut être aux mains d’un acteur différent: le recueil d’informations, le jugement sur les résultats, les décisions peuvent être opérés par des personnes différentes, externes ou internes à l’équipe qui gère le programme: des financeurs appartenant à différentes institutions, des partenaires institutionnels incontournables, des partenaires associatifs, les coordonnateurs de l’équipe de projet ou les intervenants de terrain de cette même équipe, des évaluateurs externes, etc. sans oublier les bénéficiaires de l’action, qui devraient aussi pouvoir être associés à l’évaluation. L’intervention des uns et/ou des autres aux différentes étapes du processus d’évaluation est porteuse d’enjeux stratégiques.

Un enjeu technique: prévoir une définition et des modalités opérationnelles pour chacune de ces composantes

Assurer le recueil de données de manière systématique, rigoureuse et précise, c’est la préoccupation que partagent déjà bon nombre d’acteurs; c’est aussi la partie de l’évaluation qui nécessite le plus souvent un accompagnement par un évaluateur chevronné, rompu à une variété de techniques et aux critères scientifiques de la construction d’outils et de l’analyse des résultats.
Mais l’on envisage beaucoup moins souvent de formaliser l’élaboration des critères de jugement, la préparation de l’exploitation des résultats: il s’agira d’un côté de définir des indicateurs qui soient cohérents avec les valeurs/critères de référence du jugement des différents acteurs et de l’autre de mettre en place de façon planifiée des conditions qui favorisent une utilisation de l’évaluation par les différents acteurs.
Parmi les conditions qui augmentent la probabilité qu’une évaluation soit utilisée, on notera les points clés suivants:
– l’évaluation fournira des réponses aux questions que se posent les utilisateurs;
– ces réponses comprendront des informations ou des pistes concrètes et utilisables;
– elles seront fournies dans un délai et sous une forme qui permettent aux utilisateurs de les exploiter pour les décisions sur la suite du programme;
– elles comprendront des informations d’ordres différents qui s’adaptent à la culture professionnelle et aux intérêt des différents utilisateurs;
– on veillera à l’appropriation progressive par les utilisateurs des éléments de réponses qui seront formalisés par les conclusions de l’évaluation;
– pour ce faire, on favorisera les contacts entre l’évaluateur et les utilisateurs ainsi que leur implication mutuelle respectivement dans la construction des décisions et dans l’évaluation.
C’est sur l’appropriation de techniques et d’une démarche pour expliciter critères de jugement et décisions qu’a porté la formation à l’évaluation organisée dans le cadre du PRS Jeunes et du PRAPS en région PACA. Présentons brièvement les étapes de la démarche proposée aux participants.

Une démarche pour préparer un plan d’évaluation, proposée par l’APES-ULG

Première étape
Qui utilisera les résultats de l’évaluation ? (Acteurs)

Quels sont les utilisateurs potentiels de l’évaluation? Il s’agit d’identifier et lister les institutions et personnes qui pourraient être intéressées concrètement par les résultats de l’évaluation.
On considère souvent que l’évaluation est avant tout un outil pour le promoteur du projet et/ou pour le financeur puisqu’elle permet (elle a permis) de prendre des décisions en cours de projet ou au terme de celui-ci. Mais, elle peut aussi être utilisée par les bénéficiaires de la formation, des experts, des institutions, des partenaires du projet, des relais souhaitant se lancer dans le même type de projet, d’autres services travaillant dans le même secteur, des commanditaires, des pouvoirs subsidiants, etc.

Deuxième étape
A quoi l’évaluation va-t-elle servir? Qu’est-ce qu’on en attend?(Utilisation-décision)

A quelles décisions devraient mener l’évaluation? Il s’agit d’identifier les questions auxquelles chacun de ces utilisateurs potentiels souhaiterait obtenir une réponse. Par exemple, le financeur peut se poser la question de savoir s’il va continuer à financer le programme; le promoteur peut se poser la question de savoir s’il va changer ou modifier ses stratégies, ses outils; le relais peut se poser la question de savoir s’il va s’inscrire dans le programme, avec quels partenariats il va s’associer, quels investissements humains et matériels il va faire…

Troisième étape
Quelles sont les valeurs de référence, les critères de jugement? (Jugement)

Les valeurs de référence, parfois aussi appelées ‘critères de jugement’ sont les éléments fondamentaux qui sous-tendent le jugement sur base duquel sera prise la décision. Les valeurs identifiées peuvent, par exemple, être: l’efficacité, la visibilité, l’acceptabilité, la faisabilité, la satisfaction des attentes, la participation ou le partenariat, la rencontre des priorités définies en santé publique…

Quatrième étape
Quels sont les objets d’évaluation rencontrés par ces critères de jugement ainsi que par les objectifs et stratégies du programme? (Structure et contenus du programme)

Après avoir analysé le point de vue des acteurs, il importe de porter le regard sur la structure du programme ou du projet concerné, sur les objectifs et activités annoncés. Des modèles sont ici introduits pour permettre d’opérer des distinctions entre évaluation de processus ou de résultats; évaluation à court, moyen ou long terme; évaluation d’objectifs de santé, comportementaux, de modifications du milieu de vie; d’objectifs éducatifs; d’objectifs organisationnels, réglementaires ou stratégiques, etc.
La classification des objectifs et activités du programme, qui sont le point d’entrée et de référence habituels en évaluation est ici enrichie par une comparaison avec les critères de jugement issus de l’analyse par acteurs (troisième étape).

Conclusions

La mise en œuvre de ces quatre étapes représente une sorte d’analyse de situation préalable à la définition précise d’un plan d’évaluation. Après cette phase préparatoire, il s’agira de choisir des priorités pour l’évaluation, de définir des indicateurs sur base des critères énoncés, puis d’élaborer des méthodes de récolte et d’analyse des informations; il s’agira enfin de prévoir comment diffuser les résultats.
Cependant, c’est l’attention accordée à ces étapes préalables qui permettra aux acteurs à divers niveaux de construire des protocoles d’évaluation adaptés à leurs enjeux respectifs, aux objectifs et stratégies de l’action, aux ressources et moyens de leur projet ou de leur institution.
Au terme de cette formation, il reste évident qu’une telle démarche d’évaluation participative et négociée, pour attrayante qu’elle soit, nécessite quelques réflexes techniques, de la rigueur et de l’entraînement. Tout cela est en effet plus facile à exposer qu’à réaliser au quotidien! C’est pourquoi, l’idée d’un accompagnement à l’évaluation est de plus en plus à l’ordre du jour: il s’agit de mobiliser une personne ou une équipe externe, non pour lui confier l’évaluation, mais pour fournir aux acteurs le soutien technique et méthodologique nécessaire à la préparation puis à la réalisation du plan d’évaluation.
Chantal Vandoorne , APES-ULG
Adresse de l’auteur: APES-ULG, Sart Tilman B23, 4000 Liège.
(1) Lafontaine C., Penser globalement, agir localement, in Education Santé n° 167, mars 2002, p. 1 et 2.

Références

CHAMBERLAND C., BILODEAU A., Identité et légitimité de la promotion de la santé: la nécessaire conjugaison des paradigmes de recherche et d’action, Ruptures – revue transdisciplinaire en santé, vol 7 n°1, 2000, pp 138-149.
DEMARTEAU M., Les pratiques d’action en éducation pour la santé et leurs modes d’évaluation: réflexions critiques et questions pour la recherche sur l’évaluation., Communication au Colloque ‘L’évaluation en éducation pour la santé: entre épidémiologie et sciences humaines’, Bordeaux, 15-17 septembre 1998.
McQUEEN D., ANDERSON L., Données probantes et évaluation de programmes en promotion de la santé, Ruptures – revue transdisciplinaire en santé, vol 7 n°1, 2000, pp 79-97.
LIESSE A., VANDOORNE C., L’approche expérimentale est-elle adaptée à l’évaluation des actions d’éducation pour la santé? Education santé, n°143, novembre 1999, pp 5-8
VANDOORNE C., GRIGNARD S., Des repères pour construire et négocier une évaluation de programmes: le cas de ‘Diabolo Manque’, Communication à la XVIIe Conférence mondiale de l’IUHPE, Paris, 15-19 juillet 2001.