Impossible d’échapper à l’évaluation pour savoir si les campagnes de prévention ont réellement eu les effets escomptés. En connaître les pièges permet de mieux les déjouer et de manoeuvrer pour opérer efficacement.
Des mois durant, le cultivateur surveille ses plantations, leur santé, leur croissance. Au terme de la récolte, il compte ses sacs de blé. Si leur nombre est insuffisant, il cogite pour trouver le moyen d’améliorer son rendement l’année suivante. Cette logique de contrôle bienveillant vaut également pour la santé publique, n’en déplaise à ceux que l’exercice rebute. Évaluer les campagnes de prévention est une nécessité. «Une exigence», estime Thanh Le Luong , directrice de l’Institut national de prévention et d’éducation pour la santé (Inpes), et ce à plusieurs titres: pour «justifier, au regard du contribuable, la dépense des fonds publics» , pour «en tirer des enseignements, et ainsi toujours améliorer nos interventions, nos stratégies et nos pratiques» et enfin pour «mesurer l’évolution des connaissances et des comportements des publics ciblés» .
Mais parce que la tâche est complexe, l’évaluation est à la prévention ce que la prévention est à la santé: son parent pauvre, souvent à cours de crédits, de temps, de compétences disponibles, de méthodes ou de données.
Les pays pionniers de l’évaluation, parmi lesquels la Grande-Bretagne, les États-Unis ou encore l’Australie figurent en bonne place, ont jeté les bases d’une culture qui ne demande qu’à s’étendre et s’étoffer par-delà les océans et les frontières. Une poignée de publications récentes dans des revues prestigieuses telles que le Lancet (1) laissent à penser que la discipline est en train d’acquérir ses lettres de noblesse dans le champ scientifique. L’évaluation en tant que science s’appuierait alors sur l’observation, la rigueur méthodologique et la créativité de ses pratiquants. Cela suppose en outre de travailler par hypothèses et d’accepter que celles-ci soient confirmées ou réfutées…
L’évaluation? Quelle évaluation?
L’évaluation en santé publique ne répond pas à une mais à de multiples définitions qui lui dessinent des contours flous et des déclinaisons plurielles. La plupart mettent toutefois en avant le fait qu’il s’agit d’un processus en lien direct avec l’action, qui se déroule au fil d’une période donnée et repose sur la collecte d’informations dans le but ultime de prendre une décision. L’Inpes juge ainsi, et elle n’est pas la seule, que «l’évaluation doit étayer un choix: poursuivre un projet ou une action, l’améliorer ou en renforcer certains aspects, développer des axes d’intervention, réviser une stratégie. Pour construire ce jugement, l’évaluation se fonde sur une comparaison entre l’avant et l’après, entre l’ici et l’ailleurs, entre une intervention et l’absence d’inter¬vention ou encore entre un projet et un référentiel (ou une norme) préétabli» .
Si vous demandez autour de vous en quoi consiste l’évaluation, il y a fort à parier que les réponses évoqueront le jugement porté sur les résultats d’une action, ce qui correspond effectivement à la définition de l’évaluation somative ou finale. Quid du volet qui se concentre sur le processus (évaluation formative)? «On ne peut pas regarder uniquement le résultat comme on mesure l’audimat pour un programme de télévision. Il faut s’enfoncer dans la campagne pour la comprendre et identifier pourquoi ça marche ou pas.» Dominic Mc Vey fait partie de ceux qui plaident pour développer une description riche de tous les aspects de la mise en place d’une campagne, y compris ce qui se passe autour d’elle, notamment dans le monde politique, la sphère sociale et économique.
Il insiste par ailleurs sur la nécessité de vérifier si le projet planifié est bien conforme à celui réalisé. «On peut condamner une campagne sur la base de résultats jugés mauvais alors que ce qui a été fait ne correspond pas à l’intention initiale.» Les évaluations en cours de campagne sont également utiles pour détecter tant qu’il est encore temps d’éventuels effets indésirables voire contre-productifs des messages, comme celui que le Pr Hornick appelle ‘l’effet boomerang’: lors d’un programme anti-drogues à gros budget destiné aux adolescents, une exposition massive aurait eu pour conséquence de convraincre les jeunes du fait que beaucoup d’entre eux devaient consommer ces produits, d’où un regain d’intérêt pour ces derniers!
Dépasser les sacro-saintes ECR
L’évaluation de résultats n’a de sens que si ce qu’on en attend a été défini préalablement. De l’avis général, la définition des objectifs à atteindre ne souffre pas l’à-peu-près. La première des dix étapes déclinées dans la méthode COMBI (COMmunication for Behavorial Impact – communication pour agir sur les comportements) utilisée par l’Organisation mondiale de la santé (OMS) s’énonce ainsi: «Ne faites rien… avant d’avoir défini précisément les objectifs spécifiques comportementaux souhaités.» Aucune affiche, aucune brochure, aucun site web ne sortent avant d’être au clair sur le but à atteindre, dont la formulation débute nécessairement par un verbe d’action. Pour Dominic Mc Vey, il importe en plus que ces objectifs soient réalistes, c’est-à-dire atteignables. Cela va sans dire mais tout de même mieux en le disant.
Le Pr Robert Hornick scrute depuis trente ans l’évaluation des campagnes de prévention américaines. Aussi a-t-il eu à maintes reprises l’occasion de constater les limites des études contrôlées randomisées (ECR) dans ce domaine. La méthode érigée en référence pour évaluer l’efficacité d’un protocole de recherche expérimentale ou épidémiologique (voir encadré) perd de sa superbe face à la complexité des campagnes médiatiques de prévention et à la multitude de facteurs impliqués dans les effets qu’elles produisent.
ECR
Les habitués des publications scientifiques dans le champ de la médecine ne connaissent que lui tant il est incontournable. L’ essai contrôlé randomisé (en anglais, ‘randomized controlled trial’ ou RCT), bien que long et coûteux, est la fine fleur de la recherche clinique. Contrôlé, il l’est dans la mesure où il repose sur une comparaison entre un groupe ayant bénéficié du traitement étudié (un médicament, un geste chirurgical, un protocole de soins, etc.) et un groupe témoin (le groupe contrôle) qui reçoit un placebo ou le traitement de référence. La mention “randomisé” indique que les participants à l’étude ont été tirés au sort puis répartis de manière aléatoire dans l’un ou l’autre groupe sans qu’ils sachent lequel. Lorsque cette répartition est également inconnue de l’expérimentateur, on parle d’essai en double aveugle. Au terme d’une période de suivi, les résultats apportent matière à discuter de l’efficacité d’un traitement ou de sa supériorité sur un autre.
La constitution d’un groupe témoin, non exposé à la campagne et à ses messages, est une première difficulté. «Les campagnes de prévention diffusent des conseils, des informations, de la connaissance, des normes sociales. Tout ce bruit autour du thème visé est difficile à contenir pour mener à bien des études expérimentales» , analyse Dominic Mc Vey. Les ECR détecteraient également mieux les grands effets que les petits, de surcroît lents à se manifester. «Or ce sont bien les effets des campagnes dans la vie réelle des gens que l’on veut observer» , rappelle Robert Hornick.
Par ailleurs, les ECR conviennent mal pour observer des changements sociaux ainsi que l’évolution des sentiments, des croyances ou des représentations. D’autres outils le permettent bien mieux qu’elles, par exemple les enquêtes KABP (Knowledge, Attitudes, Beliefs and Practices) menées à intervalles réguliers.
L’enjeu consiste à ne pas prendre le risque de répondre à côté de la question. Pour y parvenir, beaucoup d’approches alternatives aux ECR existent: enquêtes avant/après (ou pré/post), études de cohortes, comparaisons inter-communautés géographiques, séries temporelles interrompues ou encore études cas-témoins. Elles gagnent à être combinées pour contourner leurs points faibles, par exemple le coût élevé des études de cohorte ou dans le cas des enquêtes avant/après, le fait que d’autres déterminants peuvent être impliqués dans les modifications de comportements observées.
(1) Use of mass media campaigns to change health behaviour. The Lancet, 2010, vol. 376, n°9748: p. 1261-1271
Référence
Les études d’évaluation à l’Institut national de prévention et d’éducation pour la santé, Inpes, rapport évaluation 2007