Lutter contre les causes de la pauvreté - Guide sur la pauvreté à l’intention des fondations communautaires

Méthodes d'évaluation

Leçons à retenir : Cadre d'évaluation de Hamilton et de Winnipeg

The Winnipeg Foundation

Contexte : le Centennial Neighbourhood Project

En 2004, The Winnipeg Foundation a entrepris un vaste programme quinquennal de développement communautaire ciblant le quartier Centennial, dans la partie nord de la ville.

Le Centennial Neighbourhood Project (CNP) se fonde sur le principe que la réduction de la pauvreté et les changements locaux passent par l'amélioration des perspectives et des retombées de l'éducation des enfants du quartier. La vision générale du programme est de«démontrer qu'avec un soutien scolaire et municipal adéquat, il est possible d'améliorer grandement les perspectives d'avenir des élèves de l'un des quartiers les plus défavorisés de Winnipeg». Le programme met tout en ouvre pour trouver des solutions aux réalités et défis propres au quartier. Son action se concentre en grande partie sur l'école primaire Dufferin.

Le programme comporte quatre objectifs principaux destinés à en mesurer les retombées:

  • Améliorer les perspectives des élèves du quartier Centennial par le biais d'une initiative d'alphabétisation familiale, d'activités avant et durant l'école et d'initiatives de soutien locales plus globales ;
  • Aider au besoin l'école Dufferin à améliorer ses programmes à l'intention de ses élèves et de leur famille;
  • Soutenir les résidants et les services municipaux dans leurs efforts pour améliorer la qualité de vie dans le quartier Centennial ;  
  • Identifier les pratiques les plus efficaces afin qu'elles soient appliquées à d'autres quartiers défavorisés par le biais de politiques publiques.  

Pour l'aider à évaluer le programme, The Winnipeg Foundation a travaillé en étroite collaboration avec Leskiw and Associates et Chris Leskiw.


Travail préparatoire - Premières étapes

L’évaluation du CNP a été conçue pour être menée de concert avec le programme, de telle sorte qu’il permet de suivre, de soutenir et de comprendre les changements qui s’opèrent au sein de la collectivité et les retombées des diverses interventions.

La première étape clé du processus d’évaluation, effectuée en 2003, a consisté à tracer un portrait contextuel du quartier : base de données démographiques de référence ; sommaire des perceptions et des commentaires des personnes qui travaillent ou vivent dans le quartier ; et description visuelle avec photos. Dans un premier temps, on a également consulté les leaders des résidants pour identifier et prioriser les objectifs, et formé des comités. Ces comités ont identifié les changements précis à apporter, les indicateurs et témoignages de ces changements, les retombées souhaitées ainsi que l’engagement du CNP et de ses partenaires face à ces changements et à la capacité du programme à ouvrir de nouvelles perspectives pour les enfants et les jeunes.

Principes directeurs

Dès le début, le processus d'évaluation du programme a suivi certains principes directeurs :

  • L'évaluation sera menée par les représentants des résidants et de la localité. Elle visera à améliorer leurs connaissances et leur compréhension des enjeux afin de pouvoir mieux intervenir et orienter l'action du CNP.
  • Les activités de recherche et d'évaluation seront ciblées et non intrusives. Il est crucial qu'elles ne transforment pas le quartier en laboratoire.
  • L'évaluation soutiendra l'établissement d'une compréhension mutuelle entre les résidants et les «structures», notamment les ministères et agences gouvernementales, les services municipaux et les organismes de financement, qui peuvent favoriser les changements au sein du quartier.
  • L'évaluation restera souple afin de pouvoir tenir compte des occasions et contraintes qui se présenteront au fil du programme, de façon à suivre les changements au moment où ils surviennent. Le cadre d'évaluation sera adapté aux changements apportés au plan d'action.

Méthode d'évaluation

Leskiw and Associates et The Winnipeg Foundation ont adopté une méthode d'évaluation participative qui favorise la collecte d'information et la diffusion des connaissances afin d'aider le programme, les leaders locaux et les organismes d'encadrement à mieux cerner leur rôle. 

La cueillette et l'analyse de l'information se font de façon continue, avec une intensification et des rapports à deux moments précis de l'année: un rapport de fin d'année sur l'évolution de l'ensemble des activités et un rapport spécifique à chaque volet du programme.


Activités d'évaluation

  • Des indicateurs de santé extrapolés à partir des données de la Winnipeg Regional Health Authority ;
  • Des indicateurs de sécurité : statistiques des services de police de Winnipeg et statistiques du Service national de prévention du crime ;
  • Information sur l’évolution du secteur de l’habitation et l’état des immeubles, fournie par la ville de Winnipeg ;
  • Les investissements et dépenses liés au programme par The Winnipeg Foundation (pour chaque secteur prioritaire) et par tous les partenaires officiels et informels et les sources de financement ;
  • Les services de soutien récréatifs et sociaux assurés par la municipalité, ainsi que ses partenaires gouvernementaux et privés ;
  • Des données qualitatives sur les perceptions de changement des résidants, des organismes et des partenaires dans des secteurs tels que :
    • Enjeux généraux et spécifiques liés à la qualité de vie
    • Sentiment de sécurité, propreté des lieux et facteurs de fierté du quartier
    • Possibilités pour les enfants sur le plan de leur développement
    • Force de la famille et de la collectivité
    • Stabilité du quartier
    • Changements dans la capacité des résidants à orienter et à créer leurs propres possibilités
    • Réactions des gouvernements et services municipaux
    • Connaissance du quartier par les « structures »
  • L’information préliminaire a été obtenue par le biais des activités suivantes :
    • Travail avec les comités
    • Sondage local mené auprès d’environ 100-150 foyers (permettant de joindre 250-400 personnes)

Entrevues avec des représentants des gouvernements, des agences de financement et des services municipaux

Par exemple, un rapport d’évaluation semestriel, effectué en janvier 2006, a porté sur l’évolution des perspectives éducatives des enfants du quartier. Ce rapport s’appuyait sur les sources d’information qualitative suivantes :

  • Rapports du CNP, infolettre du quartier et rapport de fin d’année de l’école 
  • Groupe de discussion réunissant des enseignants de l’école
  • Entrevues avec les cadres scolaires
  • Groupe de discussion réunissant des parents
  • Résultats d’un sondage auprès des parents

Rapports

Les rapports du Centennial Neighbourhood Project portent sur quatre grands thèmes :

  • Les principaux changements survenus: constats
  • Les actions et interventions ayant généré ces changements: facteurs contributeurs
  • Les retombées cumulatives du CNP sur les perspectives des enfants du quartier: effets et répercussions
  • Leçons à retenir pour maintenir ces changements à long terme

Un comité d'évaluation a été mis sur pied pour coordonner tout ce travail. Ce comité réunit des représentants des partenaires les plus engagés dans les volets prioritaires. Le rôle général de ce comité est de :

  • Suivre le processus d'évaluation et aider à la cueillette de l'information
  • Servir de lien avec leur organisme, ministère ou service et le quartier afin de faciliter le partage d'information
  • Favoriser l'information aux résidants sur les fonctions de leur organisme, ministère ou service
  • Résoudre les problèmes au besoin