PETIT GUIDE D'ÉVALUATION PARTICIPATIVE À L'INTENTION DES INITIATIVES DE DÉVELOPPEMENT DES COMMUNAUTÉS
Cas Val-Pin-en-santé
imprimante

Cas Val-Pin-en-Santé

 

Haut de pageL'expérience de développement des communautés de Val-Pin-en-santé
(Section Le guide en un coup d'oeil )

Val-Pin, un village d'environ 2 000 habitants, est situé à une vingtaine de kilomètres d'un centre urbain régional. Attirant depuis peu de nombreux travailleurs de la ville voisine, certains membres du Conseil municipal étaient préoccupés par le fait que les nouveaux arrivants mettaient du temps à s'intégrer au milieu et qu'on les voyait rarement dans les comités ou les activités locales.

Un élu ayant entendu parler du mouvement Villes et Villages en santé, il propose que la municipalité adhère au Réseau québécois, entreprenant ainsi une démarche de développement des communautés dans son milieu.

On organise une rencontre publique à laquelle sont conviés des organismes et institutions pour présenter l'idée d'un comité intersectoriel Val-Pin-en-santé. À l'issue de cette discussion, un comité est formé. Il rassemble: deux citoyens, deux élus, des représentants de cinq organismes/institutions, dont l'agent de développement de la Municipalité régionale de comté et de l'organisateur communautaire du Centre de santé et des services sociaux. On émet le souhait que le comité travaille en concertation avec tous les acteurs du milieu et que les citoyens soient impliqués le plus possible dans les activités réalisées. Le projet « Val-Pin-en-santé » prend ainsi son envol.

Après discussion au sein du comité, un premier projet nommé « Bienvenue chez vous! » est mis en branle. Il vise à développer le sentiment d'appartenance chez les nouveaux arrivants tout en renforçant celui des citoyens installés depuis plus longtemps. On organise alors des activités comme un pique-nique annuel et un réseau de parrainage civique.

Après un certain temps, même si les activités du projet « Bienvenue chez vous » semblent être très appréciées de plusieurs nouveaux arrivants, on constate que l'on n'arrive pas à intéresser les nouveaux venus à plus faible revenu, attirés par un coût du logement moindre que dans la ville voisine. On tente alors de les rejoindre de manière plus spécifique afin qu'ils s'impliquent pour développer des activités adaptées à leurs besoins. À partir d'une proposition d'Action Solidarité, un organisme communautaire du territoire engagé dans le soutien des personnes à faible revenu et membre du comité Val-Pin-en-santé, on décide de mettre en place un projet de cuisine collective. On parle même de développer un système de transport collectif en collaboration avec des collectivités voisines.

Avec l'ajout de nouvelles activités, les membres du comité ont conscience de donner une orientation quelque peu différente à leur projet initial. Ils veulent prendre un moment d'arrêt pour voir ce qu'ils ont accompli et pour mieux planifier l'avenir. L'idée de faire une évaluation est alors avancée, sans que l'on sache de manière précise ce qu'on veut dire par cette démarche, ni ce qu'on en attendrait.

 

Haut de pageLe comité Val-Pin-en-santé veut évaluer son projet
(Section comment faire ?, module 1)

Le comité Val-Pin-en-santé organise une rencontre spéciale pour parler de l'évaluation. On se pose alors deux questions: pourquoi voulons-nous évaluer et comment pourrions-nous le faire? On réfléchit également sur les conditions gagnantes d'une évaluation à partir d'un outil que la responsable du comité a trouvé dans la trousse d'accompagnement de démarches du Réseau québécois des Villes et Villages en santé et a adapté aux besoins de son comité.

icone Les conditions gagnantes d'une évaluation

 

Après discussion, on constate que les attentes et les besoins des uns et des autres sont passablement différents. Ainsi, une personne souhaite que l'évaluation fournisse des données pour démontrer que le projet fonctionne, notamment pour obtenir du financement d'un organisme provincial; une autre veut que l'on se penche sur le fonctionnement du comité, puisqu'elle sent un certain essoufflement chez ses membres. D'autres encore veulent que l'évaluation contribue à orienter la suite du projet de meme qu'à stimuler l'adhésion de nouveaux partenaires.

Avant d'aller plus loin, les membres du comité Val-Pin-en-santé se demandent aussi s'ils vont eux-mêmes faire toute l'évaluation ou s'ils vont demander du soutien extérieur. Pour réfléchir à cette question, ils utilisent l'outil « Qui va faire l'évaluation »?

icone Qui va faire l'évaluation à Val-Pin-en-santé

 

Pour poursuivre la réflexion, le comité Val-Pin-en-santé décide de mandater deux de ses membres (Julie, une jeune citoyenne très engagée dans le projet, et Normand, l'organisateur communautaire) afin d'explorer la meilleure formule pour répondre aux préoccupations énoncées par le groupe. Julie et Normand contactent différentes ressources susceptibles de les éclairer en évaluation (une agente de recherche à la Direction de santé publique de leur région et un chercheur de l'université voisine). Ils lisent aussi quelques documents sur l'évaluation dont « L'évaluation a votre portée » et le Guide d'évaluation.

Étant donné le moment particulier où est rendu leur projet et leur volonté de se donner une vision partagée de l'avenir, ils pensent que l'évaluation de processus telle que présentée dans le document « Sait-on bien travailler ensemble? » pourrait convenir au comité.

Le comité Val-Pin-en-santé se réunit ensuite pour prendre connaissance des différentes options explorées par Julie et Normand, et notamment de leur proposition de faire une évaluation de processus. En plus de s'intéresser aux façons de travailler ensemble (intéret ayant été exprimé par un membre du comité), cette approche permettrait de se donner une vision partagée de ce qu'on veut faire et arrimerait l'évaluation au processus de planification et de réalisation du projet.

Quant à savoir qui fera l'évaluation, les membres du comité Val-Pin-en-santé veulent demeurer maîtres d'ouvre de tout le processus d'évaluation, mais ils souhaiteraient etre soutenus par une personne plus ferrée en évaluation.

 

Haut de pageLe comité Val-Pin-en-santé se tricote une équipe d'évaluation
(Section Comment faire ?, module 2)

Le désir du comité étant de rester lui-même responsable de son évaluation, on décide de former une petite équipe composée de quelques membres plus intéressés par l'évaluation qui prendra la responsabilité de réaliser l'évaluation, tout en informant régulièrement le comité Val-Pin-en-santé.

Julie et Normand ayant déjà réfléchi à l'évaluation sont intéressés à faire partie de ce comité d'évaluation. Georges, un bénévole à la retraite, accepte de leur donner un coup de main. Le professeur d'université contacté au départ, monsieur André, ayant semblé intéressé par la démarche du comité, on lui demande d'appuyer l'équipe au besoin.

Étant donné l'intérêt plus poussé de Julie en ce qui à trait à l'évaluation, on lui confie le leadership de cette évaluation.

Il est convenu que même si c'est l'équipe d'évaluation qui a le mandat de concevoir et de réaliser toute la démarche d'évaluation, celle-ci travaillera en étroite collaboration avec le comité Val-Pin-en-santé.

 

Haut de pageVal-Pin-en-santé identifie les dimensions qu'il veut étudier
(Section Comment faire ?, module 3)

Se donner une vision partagée
Dès leur première rencontre, les membres de l'équipe d'évaluation s'entendent pour dire que la première étape à franchir consiste à développer une vision partagée de la suite du projet. Pour eux, l'ensemble du comité Val-Pin-en-santé devrait être alors partie prenante de cet exercice.

On organise donc un atelier d'une journée pour bâtir la « théorie de l'action » qui sous-tend toute la démarche de Val-Pin-en-santé; l'exercice sera animé par monsieur André, le professeur d'université, qui donne un coup de main ponctuel à l'équipe d'évaluation. Cette théorie de l'action illustre la vision partagée que les membres du comité Val-Pin-en-santé ont du projet. Elle met également en évidence trois préoccupations centrales du comité: la concertation au sein du comité, le renforcement du sentiment d'appartenance des gens à leur municipalité et la participation des arrivants à faible revenu à l'amélioration de leurs conditions de vie. Elle permet également de préciser le cheminement nécessaire pour aborder ces préoccupations, notamment les éléments qui apparaissent comme plus importants. Julie compile, à l'aide d'une figure synthétique, les composantes de la théorie de l'action du groupe.

micro La théorie de l'action de Val-Pin-en-santé

 

Identifier les dimensions
À partir de cette théorie de l'action, le comité se penche sur les dimensions qu'il veut approfondir dans le contexte de l'évaluation. On décide de regarder le fonctionnement de la concertation au sein du comité (règles communes, relations de confiance); l'évolution du sentiment d'appartenance et la capacité des nouveaux arrivants à faible revenu à améliorer leurs conditions de vie.

Les membres de ce comité sont conscients qu'évaluer ces trois éléments demandera beaucoup de temps (on suggère généralement 1 ou 2 dimensions au maximum), mais ils estiment qu'en se partageant le travail, suffisamment d'informations pour chacune des trois dimensions pourront être recueillies.

Après avoir choisi les dimensions, il s'agit maintenant de les définir de manière opérationnelle et de préciser les éléments qui feront l'objet de la collecte de données. L'équipe d'évaluation organise donc une deuxième rencontre avec le comité Val-Pin-en-santé. Après de nombreuses discussions, on arrive à s'entendre sur les éléments qui seront finalement évalués.

micro Les dimensions retenues à Val-Pin-en-santé

 

Haut de pageL'équipe d'évaluation bâtit son plan d'évaluation
(Section Comment faire ?, module 4)

L'exercice de sélection des dimensions et des éléments à évaluer a permis à l'équipe d'évaluation de savoir quel type de données elle aurait à recueillir. L'étape suivante consiste à réfléchir aux méthodes a utiliser pour collecter ces données, ce qui est fait lors d'une réunion de l'équipe. Ensuite, Julie s'efforce de préciser les ressources qui seront requises et de fixer le calendrier des travaux, afin d'en discuter en équipe. Cette dernière a maintenant son plan d'évaluation qu'elle présente au comité Val-Pin-en-santé.

cle Le plan d'évaluation de Val-Pin-en-santé

 

Les méthodes de collecte
Dans ce projet, plusieurs méthodes pouvaient convenir à la collecte d'informations. Pour les données nécessitant une observation continue, notamment celles relatives aux modes de fonctionnement du comité de projet, l'équipe d'évaluation décide de monter un mini-journal de bord. Normand propose qu'on fasse deux versions: une individuelle, permettant aux membres de Val-Pin-en-santé d'y consigner leurs informations, et une collective qui rassemblera les points de vue individuels. Les données de nature factuelle portant sur la participation à des activités seront recueillies par le biais d'un tableau de bord. Quant à celles portant sur l'opinion des nouveaux arrivants autour du sentiment d'appartenance et sur la participation, on choisit de procéder par un questionnaire et faire quelques entrevues.

micro Le mini-journal individuel de Val-Pin-en-santé

micro Le journal collectif de Val-Pin-en-santé

 

L'échéancier
L'idée étant de faire une évaluation continue, l'équipe pense que les données doivent être compilées pendant plusieurs années. Toutefois, pour se donner un objectif concret et l'aider à se motiver, elle décide de planifier la collecte des données pour une période initiale de 2 ans. Un bilan sera ensuite fait et le comité décidera alors de la pertinence de poursuivre la collecte de donnée de façon permanente.

Les responsables de la collecte
La collecte des données concernant le fonctionnement du comité Val-Pin-en-santé sera sous la responsabilité de Julie, qui en est membre et qui s'intéresse à son fonctionnement et à sa dynamique. On convient que tous les membres du comité Val-Pin-en-santé (et ceux-ci ont donné leur accord) consigneront leurs observations dans un mini-journal individuel fourni à cet effet. Julie verra à compiler les points de vue de chaque membre dans un journal collectif et à encourager la discussion entre les membres du comité à partir de cette compilation.

Pour la compilation des données relatives à la participation à certaines activités, ce sera Georges, le responsable du projet « Bienvenue chez vous! », qui tiendra le tableau de bord. Les entrevues et le questionnaire seront réalisés par une stagiaire proposée par monsieur André.

 

Haut de pageL'analyse des données à Val-Pin-en-santé
(Section Comment faire ?, module 5)

Une fois les données recueillies, l'équipe d'évaluation de Val-Pin-en-santé veut maintenant découvrir la signification de ces informations, comprendre ce qu'elles peuvent leur apprendre. Elle s'engage donc dans l'étape d'analyse des données.

En fait, l'équipe constate qu'un premier niveau d'analyse des données a déjà été réalisé lors des discussions régulières liées à l'entrée des données dans les mini-journaux, et ce, tant au sein de l'équipe d'évaluation qu'avec le comité Val-Pin-en-santé. Julie, aidée de Normand l'organisateur communautaire, veillait à ce que les échanges autour de l'évaluation soient réguliers et stimulants.

Après deux ans de collecte des données, l'équipe estime qu'il est nécessaire (ce qui avait été d'ailleurs prévu au début de l'évaluation) de faire un bilan des données recueillies. Dans un premier temps, on rassemble dans une grille de compilation les informations recueillies, au fil du temps, dans les journaux périodiques (10 journaux sur une période de 2 ans), et ce, pour chacune des dimensions.

microGrille de compilation de Val-Pin-en-santé

 

On compile également les informations sur la fréquentation des activités, collectées par le biais du tableau de bord; même chose pour les réponses au sondage et les propos recueillis lors des entrevues (la compilation des entrevues étant faite par l'étudiante de monsieur André).

L'équipe a maintenant en main de nombreuses informations provenant de plusieurs sources; elle demande à Julie de les regrouper autour de chacune des dimensions retenues au départ. Julie choisit de rassembler les données de façon informatique en créant un fichier pour chacune des dimensions et en y mettant toutes les informations relatives à ce sujet. L'information est alors organisée de façon chronologique, c'est-à-dire que l'on voit, dans le temps, ce qu'on a dit et observé sur chaque dimension. Elle peut ensuite imprimer ces fichiers et les fournir aux autres membres de l'équipe.

On organise alors une rencontre spéciale regroupant l'équipe d'évaluation et certains membres du comité Val-Pin-en-santé. Cette rencontre est animée par monsieur André, qui suggère de prendre les données relatives à chaque dimension et d'en faire ressortir les constats. Chacun exprime son point de vue et on en discute de façon à retenir deux ou trois constats principaux pour chacune des dimensions.

Suite à la rencontre, Julie se propose pour compiler les résultats de l'analyse afin de les resoumettre à l'équipe et au comité pour validation. En guise de synthèse finale, le comité propose de construire un tableau de cheminement.

micro Tableau de cheminement de Val-Pin-en-santé

 

Les principaux constats sont les suivants :

  1. Concernant le fonctionnement du comité :
    • De façon générale, les membres sont satisfaits du mode de fonctionnement du comité : on a pris le temps de se connaître et la confiance s'installe graduellement.
    • Un certain malaise existe quant à la cohabitation de citoyens et de directeurs d'institutions. Leur motivation et leurs attentes divergent souvent. De plus leur habileté a faire passer leurs idées n'est pas la meme et certaines personnes s'en trouvent genées.
  2. Concernant le sentiment d'appartenance
    • Le comité a beaucoup cheminé sur le sentiment d'appartenance, notamment à travers l'atelier sur ce concept et le sondage. On en a mieux compris la complexité.
    • Le projet de parrainage a vu le jour assez rapidement. On a réussi a mobiliser la communauté pour planifier ce projet; il reste à voir comment il s'implantera réellement.
    • Alors que certains membres trouvaient que toutes ces actions faisaient perdre du temps, on s'est finalement rendu compte de l'importance de prendre un temps de réflexion avant de se mettre en action.
  3. Concernant la participation des nouveaux arrivants a faible revenu
    • Cet objectif a été travaillé seulement au cours de la derniere année.
    • Les appuis du CSSS et de l'organisme Action Solidarité ont été déterminants, puisqu'on était un peu démuni pour savoir comment identifier et rejoindre ces nouveaux arrivants.
    • Le projet de cuisine collective est rassembleur et motivant. Ce sera un des moteurs du comité Val-Pin-en-santé pour les prochains mois.

 

Haut de pageVal-Pin-en-santé fait connaître les retombées de son projet et utilise ses résultats d'évaluation
(Section Comment faire ?, module 6)

Diffusion des résultats de l'évaluation
À partir de l'analyse des données et du tableau de cheminement réalisé par Julie, l'équipe décide, avec le comité Val-Pin-en-santé, de rédiger un court texte à insérer dans le journal local.

On profite également d'un brunch communautaire à Val-Pin pour présenter les résultats des deux ans d'évaluation et de faire s'exprimer les gens sur les pistes d'action qu'ils peuvent inspirer.

On profitera aussi d'une rencontre organisée, dans la ville voisine, sur les initiatives communautaires pour faire connaître les conclusions de l'évaluation à l'ensemble du territoire.

Utilisation des résultats
Même si la participation des membres du comité Val-Pin-en-santé a fourni de nombreuses occasions d'échange sur leurs actions et leurs façons de faire, ils souhaitent que les conclusions de l'évaluation servent à revoir leur démarche. Les membres du comité d'évaluation organisent donc une rencontre avec le comité Val-Pin-en-santé pour faire le bilan de leur évaluation et voir, à partir des constats de l'évaluation et des idées émises lors de la rencontre publique, comment orienter leur démarche.

On s'entend pour dire que le fait de s'arrêter régulièrement sur certaines dimensions (celles de l'évaluation de leur projet) a permis au comité Val-Pin-en-santé de garder le cap. Au fur et à mesure que se présentaient de nouvelles informations, ils pouvaient en discuter et modifier ou réorienter leurs actions. Comme ils avaient choisi de documenter le fonctionnement de leur comité, cet exercice les a aidés à s'intéresser à cette dimension, plutôt que de tenir pour acquis que les choses se passeront d'une certaine façon. Cette réflexion a contribué à surmonter certains défis tels que le départ du CSSS du comité Val-Pin-en-santé et la cohabitation de membres de provenance très diverses.

La rencontre publique a par ailleurs mis en évidence la nécessité de poursuivre le travail sur le renforcement du sentiment d'appartenance. On a aussi constaté que si la cuisine collective constitue un projet intéressant en soi, elle est aussi une belle occasion d'amener les personnes à faible revenu à faire connaître leurs besoins et à identifier de nouveaux services ou activités qu'elles souhaiteraient.

Suite à cette discussion, on revoit la vision partagée du projet que l'on s'était donnée lors du lancement de l'évaluation, il y a deux ans.

 

Ce que je pense du guide Je propose un outil Version PDF du guide