Méthodes d'évaluation

Leçons à retenir : Cadre d'évaluation de Hamilton et de Winnipeg

Hamilton Community Foundation: Tackling Poverty Together

Contexte

Au début de 2004, la Hamilton Community Foundation a alloué trois millions $ sur quatre ans à son programme anti-pauvreté Tackling Poverty Together. Le but de ce programme est d'identifier et de soutenir les stratégies de prévention de la pauvreté et de mettre en place des moyens pour la population à faible revenu de Hamilton de se sortir de la pauvreté. En plus de s'inscrire dans les multiples rôles d'une fondation communautaire, le programme comporte plusieurs volets :

Subventions : le fonds communautaire continue de subventionner tous les secteurs, mais l'ensemble de ces subventions contribue à la réduction de la pauvreté en s'attaquant aux conditions sous-jacentes à la pauvreté.
Leadership : la HCF utilise ses propres ressources pour inciter les décideurs au dialogue et faire en sorte que leurs décisions contribuent à la lutte anti-pauvreté. Elle cherche aussi à rassembler tous les intervenants, décideurs, philanthropes, activistes locaux, universitaires, consommateurs et prestataires de services, de façon à ce que les efforts de chacun soient complémentaires, alimentent l'action de la fondation et parviennent à des solutions.
Communications : la HCF utilise ses propres ressources pour insuffler au sein de la population de la compassion à l'endroit de ceux qui vivent dans la pauvreté et pour mettre en lumière les besoins, les stratégies et les solutions.
Acquisition de connaissances : la HCF suit de près les tendances locales, élabore un plan d'analyse pour guider son travail et celui des autres et mesurer le succès de ses interventions, et acquiert de nouvelles connaissances qu'elle partage avec les autres.

Méthode d'évaluation

La Hamilton Community Foundation a évalué son programme de subventions Tackling Poverty Together (TPT) en 2005, à mi-parcours environ, au moyen d'un cadre élaboré par Arnold Love, PhD. Ce cadre d'analyse porte sur trois niveaux :

Niveau 1 : les retombées obtenues auprès des participants visés (les bénéficiaires) de chaque initiative de TPT, notamment les initinérants qui disposent maintenant d'un lieu d'hébergement sécuritaire.
Niveau 2 : les effets intermédiaires obtenus à l'échelle des organismes subventionnés (sur le plan de l'efficacité, notamment) et de la collectivité (amélioration de l'engagement citoyen, développement du potentiel, etc.)
Niveau 3 : l'amélioration du rendement de la fondation en matière de gestion, de subventions et de connaissances.

Les éléments précis ayant fait l'objet de cette évaluation de mi-étape relèvent de ces trois niveaux. Ensemble, ces éléments ont permis d'obtenir l'information suivante :

Retombées liées à l'action des organismes subventionnés
Information des changements d'attitude, de comportement, de responsabilité et de retombées observés par les organismes subventionnés
Commentaires sur le développement du potentiel des organismes et de la collectivité
Commentaires sur les changements de politiques et de stratégies inspirés par le programme TPT
Commentaires sur le processus d'allocation des subventions et sur les orientations stratégiques de la HCF dans le cadre du TPT

Au niveau 1 (Retombées), les organismes subventionnés sont responsables de l'obtention des retombées et de la réalisation des objectifs spécifiques du programme. Ces organismes mènent leurs propres évaluations et font rapport à la fondation. La HCF avait veillé à fournir aux organismes les moyens de procéder à ce travail d'évaluation. Pour plus d'information à ce sujet, consultez la section Soutien au travail d'évaluation des organismes subventionnés.

Pour le niveau 2 (Développement du potentiel et acquisition de connaissances), la HCF a organisé des rencontres afin d'inciter les organismes subventionnés à discuter ensemble de l'évaluation de leurs interventions et des leçons à en tirer sur la réduction de la pauvreté. Ces rencontres ont permis d'évaluer l'effet des subventions du programme TPT sur l'efficacité des organismes subventionnés. Des entrevues réalisées auprès d'informateurs clés ont aussi aidé à déterminer si le programme avait eu une incidence sur l'appui à la lutte contre la pauvreté et influencé les décideurs, les organismes de financement, les leaders d'opinion et la population de Hamilton à l'égard de la pauvreté.

En ce qui a trait au niveau 3 (Fonctionnement et stratégie de la fondation), la HCF a évalué son processus d'allocation des subventions et son influence sur l'ensemble de la stratégie anti-pauvreté de Hamilton et la stratégie de subventions globale de la fondation. Pour obtenir cette information, elle a réalisé trois sondages auprès de bénéficiaires de subventions TPT, de tous les organismes s'étant vu refuser leur demande dans le cadre du programme TPT et d'organismes qui auraient pu déposer une demande, mais qui ne l'ont pas fait.

Soutien au travail d'évaluation des organismes subventionnés

La HCF a jugé raisonnable d'adapter ses attentes en matière d'évaluations à fournir par les organismes bénéficiaires à l'importance et à la durée de la subvention ainsi qu'à leurs ressources.

Les organismes subventionnés ont été répartis en deux catégories:

La catégorie 1 comprenait ceux dont la subvention s'étalait sur plusieurs années
La catégorie 2 comprenait ceux qui recevaient une subvention modeste ou qui ne portait que sur une année.

Les bénéficiaires de la catégorie 1 devaient évaluer leurs retombées à la lumière de changements qualitatifs et quantitatifs au moyen de modes d'évaluation fiables et reconnus. À cette fin, la HCF a alloué des fonds à la formation en groupe de ces organismes. Au milieu de 2005, la fondation a organisé un atelier d'une demi-journée sur l'évaluation. Le spécialiste Arnold Love a exposé les fondements de l'évaluation des retombées, tandis que la fondation a expliqué ses attentes en matière de rapports.

Une deuxième rencontre tenue au début de 2006 a permis aux organismes d'échanger sur leurs expériences respectives et d'améliorer leur capacité à suivre et à évaluer leurs programmes. M. Love a traité des défis de l'évaluation et des questions soulevées par leurs rapports à la HCF. Il a également préparé pour chaque organisme une affiche décrivant son programme et ses progrès. Dans le but de toujours améliorer les compétences des organismes sur le plan de l'évaluation, la HCF a tenu un troisième atelier animé par Sherri Torjman, destiné à examiner l'effet de l'action des organismes subventionnés sur les politiques et les façons de mesurer les retombées de leur action collective.

Les bénéficiaires de la catégorie 2 devaient fournir à la HCF un rapport intérimaire et un rapport final sur les réalisations de leur intervention et les leçons à en tirer. Ils n'avaient pas à effectuer d'évaluations poussées.

La HCF souligne que ce travail de formation en évaluation auprès des bénéficiaires de subventions TPT a favorisé des relations plus étroites et plus souples entre eux et la fondation. Il a également contribué à renforcer les liens entre les organismes bénéficiaires et améliorer leur vision des retombées de leur action collective.