Pour vous mettre l’eau à la bouche…
Cet article présente les grandes lignes d’une brochure, coéditée par l’APES-ULg et par la Maison du Social de la Province de Liège, et intitulée «Diabolo-Manques – Une exploration à la découverte de soi – L’évaluation d’un programme de prévention des assuétudes en Province de Liège». Cette brochure d’une vingtaine de pages décrit de façon synthétique et intégrée les différentes phases d’évaluation de ce programme ainsi que leurs résultats.
Cette évaluation s’est déroulée entre fin 1999 et fin 2003. Depuis lors, le programme «Diabolo-Manques» a évolué. L’intérêt actuel de ce document réside donc surtout dans la découverte d’une démarche d’évaluation participative et négociée, telle que l’équipe de l’APES-ULg la propose. Vous y trouverez également des exemples concrets et utilisables d’outils d’évaluation.
De façon plus globale, cet exemple montre qu’il est possible de travailler sur l’évaluation d’un programme de prévention des assuétudes. L’évaluation dans ce domaine représente certes un défi. Les participants à l’atelier «Evaluation» du Premier Congrès International de la Francophonie en Prévention des Assuétudes (mai 2006) ont documenté les principales problématiques et les principaux enjeux liés à cette question (Absil G., Vandoorne C. et al, 2006). Un défi donc, mais un défi qui peut être relevé, pour autant qu’on y consacre les moyens et la rigueur nécessaires.
Par ailleurs, les auteurs de cette brochure espèrent que les résultats présentés enrichiront vos réflexions et vous encourageront à mettre en question diverses modalités d’intervention en matière de prévention des assuétudes…
Le texte intégral est disponible à l’APES-ULg et dans les CLPS /points d’appui assuétudes, dans le cadre de la collection «Stop, j’agis». Il est aussi téléchargeable sur http://www.apes.be .
En voici donc un avant-goût…
En parallèle à cette brochure, l’article ci-dessous est constitué de trois parties principales:
-une introduction exposant à la fois les grandes lignes du programme «Diabolo-Manques» et les caractéristiques de l’évaluation proposée (évaluation négociée, organisée en trois phases cumulatives);
-une brève partie méthodologique fournissant des informations sur les questions d’évaluation étudiées ainsi que sur les outils de recueil de données;
-une présentation des principaux résultats, présentation structurée en fonction des questions d’évaluation retenues.
Présentation du programme «Diabolo-Manques»
En octobre 1999, était inaugurée à Liège une exposition itinérante, intégrée dans un programme de prévention des assuétudes destiné au milieu scolaire. «Diabolo-Manques» a depuis lors fait le tour de la Province de Liège, entraînant dans son sillage élèves (essentiellement du niveau secondaire inférieur mais aussi de 5e et 6e primaire), professeurs, éducateurs, intervenants de terrain en prévention… et évaluateurs.
La visite du bus «Diabolo-Manques», support attractif et hautement symbolique, s’intègre dans une multitude d’autres démarches:
-création (ou renforcement) d’un partenariat entre diverses associations de terrain spécialisées en prévention des assuétudes (dites «associations-partenaires») afin d’initier la démarche dans les écoles (volontaires) de la région;
-formation des enseignants, par les associations-partenaires, dans les écoles participantes;
-visite de l’exposition par les élèves (visite proposée, dans certains cas, à l’ensemble de la communauté éducative, y compris les parents);
-exploitation de la visite par les enseignants formés, en étroite collaboration avec les associations-partenaires;
– forum, rassemblant les acteurs ayant participé au projet, et dont l’objectif est de lancer une dynamique concrète et des projets dans l’école.
Une évaluation participative et négociée
Dès le départ, les promoteurs du programme ont souhaité consacrer un budget et de l’énergie à l’évaluation du programme. Ils se sont adressés à l’APES-ULg pour cette évaluation, qui a été voulue négociée et participative. Elle a été négociée sur le plan du choix des objets d’évaluation, de la construction des outils de recueil de données et de la diffusion des résultats. Chaque protocole d’évaluation a été négocié avec les promoteurs et les principaux acteurs impliqués dans la construction du programme «Diabolo-Manques». Cette négociation a permis:
-d’assurer la pertinence et la faisabilité du travail de récolte et d’analyse des données;
-de favoriser l’utilisation des résultats;
-de favoriser l’acceptation de la présence sur le terrain d’un évaluateur externe;
-de stimuler l’implication des intervenants de terrain dans l’évaluation.
L’évaluation a été participative, car les intervenants de terrain encadrant le programme ont été activement impliqués dans le recueil et l’interprétation des données.
Au total, trois phases d’évaluation ont permis de poser sur le programme un regard nuancé et, surtout, ont fourni aux promoteurs et aux intervenants des pistes concrètes pour l’action.
Une évaluation itérative
La première phase de l’évaluation (2000) s’est déroulée pendant la première année d’implantation du programme; elle a essentiellement porté sur des éléments de processus et d’implantation.
Après deux années de fonctionnement (2002), les promoteurs ont souhaité que soit réalisée une évaluation à moyen terme des résultats. On s’est surtout intéressé, lors de cette deuxième phase, au suivi à moyen terme (lancement d’actions, ouverture vers l’extérieur, modifications positives ressenties au sein de l’école…), à la qualité et la richesse du partenariat, à l’implication de l’équipe éducative, ainsi qu’à la formulation et l’atteinte d’objectifs.
En 2003, l’impact à court terme du programme auprès des élèves a été étudié. En concertation, cette troisième phase d’évaluation a porté sur l’impact immédiat de la visite du bus et des animations, soit sur trois catégories d’objectifs: des objectifs portant sur l’expression et le dialogue, sur l’implication et la participation, ainsi que sur l’élargissement des représentations.
Les huit questions d’évaluation retenues
Contraintes techniques et institutionnelles
Quelles ont été les difficultés organisationnelles et les contraintes techniques? Dans quelle mesure ce programme est-il facile à mettre en place?
Niveau de participation de la communauté éducative
Quelle était la motivation à participer? Quelle a été la qualité / l’intensité de la participation et des partenariats?
Travail des associations-partenaires
Quelles difficultés ont-elles rencontrées? De quel soutien auraient-elles besoin pour appliquer le dispositif? Quel intérêt ont-elles eu à participer au programme?
Eléments moteurs sur lesquels construire les pistes d’avenir du programme
Les différents acteurs ont été interrogés sur leur opinion quant à quelques pistes de développement du programme.
Impact à court terme du programme dans l’école
Dans quelle mesure le programme a-t-il permis une progression de l’école quant à la prévention des toxicomanies ou à d’autres objectifs du projet d’établissement?
Impact à moyen terme du programme dans les écoles
Dans quelle mesure le passage du bus «Diabolo-Manques» a-t-il laissé des traces dans l’école durant l’année ou les deux années qui ont suivi celui-ci?
Impact du programme au niveau des élèves
Les objectifs portant sur les élèves ont-ils été atteints? Cette évaluation a porté sur certains objectifs seulement.
Visibilité du programme
Dans quelle mesure l’action a-t-elle été visible auprès du grand public?
Les conclusions intégrées des trois phases d’évaluation
L’évaluation donne de «Diabolo-Manques» une image globalement positive…
Le programme est mobilisateur ; il suscite la participation d’un grand nombre de personnes; il rencontre du succès auprès des élèves, qui pour la plupart estiment qu’il a permis l’instauration d’un dialogue et d’un climat de confiance. La majorité des écoles expriment leur satisfaction quant à l’outil «Bus» pour son effet dynamisant, l’ouverture qu’il apporte dans le dialogue, le repositionnement qu’il entraîne chez les enseignants et les éducateurs, la visibilité qu’il donne à l’intérêt d’un établissement pour la prévention des toxicomanies…
Le programme stimule le partenariat: en grande partie, il a atteint ses objectifs de renforcer le travail d’équipe, de créer des partenariats dans et à l’extérieur de l’école, de favoriser le dialogue et la communication…
Le programme a des effets concrets : son impact dans les écoles est réel. Les principaux effets mis en évidence sont les suivants:
-la naissance d’une réflexion approfondie et d’une approche critique sur ce sujet;
-la dédramatisation et l’élargissement des conceptions des adultes concernant la toxicomanie;
-la mise en place de collaborations internes à l’école;
-la création d’un groupe-relais au sein des écoles;
-l’ouverture d’un dialogue avec les élèves;
-la mise en place de projets de prévention concrets et l’implication des jeunes dans ceux-ci.
Le programme comporte une formation pertinente pour les associations de terrain: les résultats de la première phase de l’évaluation avaient pointé toute une série de difficultés rapportées par certaines associations-partenaires. Les conclusions de l’évaluation suggéraient l’organisation d’une formation à l’encadrement du programme. Cette formation a très rapidement été mise en place et est proposée chaque année depuis lors.
Cette image positive est néanmoins assortie de quelques réserves et points faibles à améliorer si l’on veut qu’elle concerne une plus grande proportion d’écoles participantes …
Une planification mieux prévue: les différents partenaires doivent avoir la possibilité de s’engager dans le programme suffisamment tôt avant la venue du bus.
Une convention à conserver et à clarifier: la convention qui lie les écoles et la Province facilite la participation car les écoles, en s’inscrivant, s’engagent en connaissance de cause.
Certains éléments pourraient cependant être revus:
-adapter la convention selon que l’école accueille ou non le bus;
-clarifier l’information à donner aux parents et l’implication souhaitée de ceux-ci;
-insister sur certaines conditions favorables à une plus grande implication des enseignants.
Une continuité dans l’encadrement: il est important que les personnes inscrites participent à toutes les séances de formation et encadrent les élèves lors du déroulement du programme. Inversement, les personnes encadrant les élèves doivent avoir suivi la formation depuis le début.
Tous reconnaissent la difficulté à mobiliser de façon suivie la communauté éducative sur le long terme. Divers éléments pourraient être mis en place pour contourner cette difficulté:
-ne pas planifier de visite du bus durant les derniers mois de l’année scolaire, car dans ces situations, il est difficile d’organiser un suivi;
-valoriser l’investissement des professeurs, qui très souvent sont en petit nombre et s’investissent sur la base du volontariat;
-favoriser la reconnaissance de l’action de certains professeurs par la direction et par le reste du corps enseignant; pour ce faire, il faut qu’une stratégie de communication soit établie au sein de l’école afin de renforcer la visibilité interne de l’action;
-augmenter les moyens matériels et humains: subsides particuliers, formations complémentaires du personnel enseignant, collaboration avec d’autres intervenants ou associations…
Finalement, l’évaluation laisse une question classique en suspens: quelle place pour une approche des produits?
Un nombre non négligeable d’établissements (et d’élèves) regrettent le manque d’informations sur les produits et craignent un excès dans la dédramatisation du thème des toxicomanies. On constate ainsi que plusieurs établissements ont organisé, en complément du programme «Diabolo-Manques», la visite d’autres expositions ou des informations par la gendarmerie, centrées sur les produits.
La participation au programme «Diabolo-Manques» n’a donc pas résolu entièrement la rupture classique entre les demandes explicites de la population (enseignants, élèves, parents) et le projet des professionnels de la prévention et de la promotion de la santé, qui situent clairement la prévention par rapport aux comportements et situations de consommation plus que par rapport aux produits.
Les professionnels de promotion de la santé évaluent l’impact de leurs interventions en prévention des assuétudes à l’aune des effets sur la santé globale de la personne. Selon le programme quinquennal de promotion de la santé de la Communauté française, la prévention des assuétudes poursuit ainsi les objectifs suivants:
-développer les compétences favorisant la santé mentale et relationnelle et promouvoir un équilibre de vie qui ne soit pas dépendant de la consommation régulière de substances psycho-actives;
-aider les jeunes à se situer personnellement par rapport à la consommation de substances psycho-actives, en prenant en compte les projets de vie personnels des jeunes et leurs conditions de vie, mais aussi la réalité sociale.
Ainsi, la rencontre entre d’une part des demandes persistantes d’information sur les produits et d’autre part des pratiques professionnelles jugées efficaces en prévention des assuétudes, constitue un défi sans cesse renouvelé. Pour continuer à documenter celui-ci, nous vous donnons rendez-vous dans un prochain numéro pour l’évaluation d’un autre type de programme de prévention des assuétudes.
Sophie Grignard et Chantal Vandoorne , APES-ULg
Adresse des auteures: APES-ULg, Sart Tilman, Bât B23, 4000 Liège.
Bibliographie
-Grignard S., Vandoorne C. «Diabolo-Manques»: rapport d’évaluation de la première année. Liège: Université de Liège, juillet 2000.
-De Waele A., Grignard S., Vandoorne C. «Diabolo-Manques»: rapport d’évaluation de la troisième année. Liège: Université de Liège, novembre 2002.
-Garot J. «Diabolo-Manques»: évaluation auprès des élèves [mémoire de fin d’études]. Liège: Université de Liège, année scolaire 2002-2003.
-Grignard S., De Waele A., Garot J., Vandoorne C., en collaboration avec la Maison du Social de la Province de Liège et la Commission provinciale de Prévention des Assuétudes . «Diabolo-Manques», une exploration à la découverte de soi: l’évaluation d’un programme de prévention des assuétudes en Province de Liège. Liège: APES-ULg [coll. Stop J’agis]. Mai 2006.
-Grignard S., Vandoorne C. L’évaluation d’un programme de prévention des assuétudes en milieu scolaire: un exemple d’évaluation participative et négociée. Communication présentée au Colloque international de Promotion de la santé, Luxembourg, 2007.
-Absil G., Vandoorne C., Coupienne V., Leva C., Anceaux P., Bastin P., Anciaux G., Dungelhoef C., Humblet D. L’évaluation des projets de prévention des assuétudes. L’Observatoire. 2006. N° 51-52. pp. 139-145.
-Scruel, S. Contribution à l’évaluation d’un outil de prévention des assuétudes: le labyrinthe des toxicomanies. Mémoire présenté en vue de l’obtention du titre de Licencié en Sciences de la santé publique, orientation Promotion de la santé, section Prévention et Education pour la santé. Année académique 2006-2007. Liège: Université de Liège, 2007, 36 p.