Santé Canada
www.sc-hc.gc.ca
Liens de la barre de menu commune
Liens institutionnels
Guide à l'intention des Premières nations sur l'évaluation des programmes de santé
Si vous avez besoin d'aide pour accéder aux formats de rechange, tels que Portable Document Format (PDF), Microsoft Word et PowerPoint (PPT), visitez la section d'aide sur les formats de rechange.
(Version PDF - 88 Ko)Table des matières
- Introduction
- Information de base relative à l'évaluation des programmes
- Lien entre l'évaluation et la gestion des programmes
- Comment préparer l'évaluation des programmes
- Préparer un plan d'évaluation
- Gérer les évaluations
- Annexe :
- Références
Introduction
Ce guide est publié par la Division des modes de financement en matière de santé, Transfert des programmes, Direction des Politiques, de la Planification et de l'Analyse stratégiques, Direction générale de la santé des Premières nations et des Inuits (DGSPNI), Santé Canada. Ce guide procure de l'information de base sur l'évaluation des programmes de santé aux communautés des Premières Nations qui prennent en main leurs programmes de santé en vertu de l'initiative de transfert du ministère de la Santé.
Ce guide n'est pas un manuel complet sur l'évaluation des programmes de santé dans les communautés des Premières Nations. Il aide plutôt ces dernières à comprendre ce qu'est l'évaluation et son fonctionnement. Il explique aussi l'importance de l'évaluation et le rôle qu'elle peut jouer lorsqu'il s'agit de mieux gérer les programmes de santé communautaire.
L'évaluation consiste à examiner de près les programmes afin de déterminer s'ils répondent aux attentes. Cela signifie aussi déterminer si le temps et l'argent consacrés par les communautés à ce programme particulier en valaient la peine.
Les rapports des évaluateurs sont une composante importante du processus d'évaluation; ces rapports sont le produit définitif ou résultat du travail d'évaluation. La plupart de l'information nécessaire aux évaluateurs pour rédiger le rapport doit provenir des communautés et non des évaluateurs. La participation active des communautés est importante. Ces dernières doivent donc élaborer et recueillir l'information relative aux programmes bien avant que ne commence l'évaluation afin de la faciliter.
Pour de plus amples renseignements sur le transfert du contrôle des programmes de santé aux communautés des Premières Nations et Inuit, veuillez consulter les manuels suivants :
Passation du contrôle des programmes de santé aux Premières Nations et aux Communautés Inuit : Guide 1 - Introduction à trois approches une introduction au transfert du contrôle des programmes de santé et résumé des politiques de la Direction générale de la santé des Premières nations et des Inuits (DGSPNI) en matière du contrôle des programmes de santé par les communautés des Premières Nations et Inuit à l'échelle du Canada.
Passation du contrôle des programmes de santé aux Premières Nations et aux Communautés Inuit : Guide 2 - Transfert des services de santé procure l'information relative au processus du transfert des services de santé ainsi que des procédures et politiques au regard de la planification en vertu de l'approche de transfert.
Passation du contrôle des programmes de santé aux Premières Nations et aux Communautés Inuit : Guide 3 - Après le Transfert - le nouvel environnement explique ce qui survient une fois le transfert complété.
Information de base relative à l'évaluation des programmes
Ce chapitre répond à deux questions relatives à l'évaluation des programmes, à savoir qu'est-ce que l'évaluation et pourquoi elle est nécessaire ?
Qu'est-ce que l'évaluation des programmes ?
L'évaluation des programmes est une façon de mesurer si les programmes répondent aux attentes. L'évaluation signifie recueillir l'information relative à l'efficacité de l'activité du programme puis comparer les résultats escomptés aux résultats obtenus. Chaque programme peut avoir un ou plusieurs objectifs. Les évaluations permettent aux communautés de constater si leurs programmes atteignent leurs objectifs.
Pourquoi les communautés doivent-elles évaluer leurs programmes de santé ?
Les évaluations aident les communautés à comprendre comment leurs programmes de santé fonctionnent. Tout au long des programmes, les communautés doivent savoir si les programmes répondent aux attentes. Le cadre du transfert exige donc qu'une évaluation soit complétée tous les cinq ans. Ces évaluations traitent de l'efficacité des programmes et de leurs objectifs. Elles identifient également les modifications de l'état de santé des membres de la communauté. Les communautés acceptent de déposer leurs rapports d'évaluation auprès du ministre avant que ne se termine la période de transfert de cinq ans afin de permettre des discussions et analyses mixtes avec la DGSPNI avant le renouvellement des ententes de transfert.
Les évaluations font ressortir ce qui fonctionne dans certaines communautés particulières. Par exemple, un programme prénatal peut avoir eu des répercussions très positives sur les grossesses dans une communauté. D'autres communautés voudront savoir comment faire de même. Les évaluations décrivent ce qui survient au sein des programmes et permettent aux communautés de tirer profit des expériences des autres et d'adapter ces réussites à leurs communautés.
Les évaluations démontrent au personnel ce qu'il fait. Les gens oeuvrant dans ces programmes ont besoin de voir leur travail reflété dans un profil d'ensemble. Il est parfois difficile de voir plus loin que les défis quotidiens. Les évaluations peuvent indiquer aux gens si leur travail fait une différence ou non. Bien faites, les évaluations peuvent dispenser beaucoup d'information aux communautés au sujet de leurs programmes et en permettre l'amélioration. L'ensemble des membres de la communauté en tire donc profit.
Lien entre l'évaluation et la gestion du programme
Comme nous l'avons mentionné un peu plus tôt, l'évaluation est une activité essentielle qui révèle si les programmes ont de bons résultats. Le schéma 1 ci-dessous indique comment l'évaluation s'insère dans le plan de santé communautaire et souligne le lien entre l'évaluation et la gestion du programme.
Schéma 1
Évaluation des besoins en santé communautaire
Les évaluations des besoins font partie de la planification des programmes et identifient les priorités au chapitre de la santé communautaire. L'évaluation des besoins aide les communautés à comprendre ce qui suit :
- quel genre de problèmes de santé les communautés expérimentent-elles;
- quelle en est la cause;
- de quelles ressources dispose-t-on pour traiter de ces problèmes de santé;
- quels buts et objectifs la communauté doit-elle envisager afin de résoudre ces problèmes de santé;
- de quels membres de la communauté doit-on s'occuper d'abord et avant tout; et
- comment le mieux combler les besoins des membres de la communauté.
Plan de santé communautaire (PSC)
Le PSC est la première étape lorsqu'il s'agit de planifier ce que les programmes de santé communautaire veulent dispenser à leurs membres. Lorsqu'elles élaborent le PSC, les communautés doivent commencer à songer à l'évaluation. Le PSC devrait préciser les quatre points suivants, connexes à l'évaluation :
- programmes et activités que les communautés ont l'intention de gérer;
- buts et objectifs de chacun d'entre eux;
- indicateurs utilisés par les communautés lors de l'évaluation afin de mesurer de quelle façon les programmes répondent aux objectifs; et
- dossiers quotidiens et autre information d'évaluation (données) que le personnel recueille alors que les programmes sont en fonction.
- Dans le cadre du PSC, les communautés doivent planifier en vue de l'évaluation dès « le premier jour ».
Lorsque les communautés gèrent des programmes de santé communautaire, elles doivent s'assurer que le personnel des programmes recueille la bonne information sur le fonctionnement des programmes. Les membres du personnel doivent recueillir cette information tous les jours. Les communautés doivent identifier les ressources, les gens, l'argent, le matériel et le temps nécessaires à obtenir les résultats voulus. Si les communautés ne recueillent pas cette information quotidiennement, elles ne peuvent donner aux évaluateurs les outils nécessaires pour juger l'amélioration des programmes en santé communautaire. En d'autres mots - « pas d'information, pas d'évaluation ».
Les questions suivantes sont le coeur de l'évaluation et s'appliquent à tous les genres d'activités de santé communautaire.
Avons-nous fait ce que nous avions dit?
Les réponses à cette question décrivent le travail effectué au regard des programmes et sa pertinence à répondre à leurs objectifs. Les indicateurs fournissent les critères que les communautés peuvent utiliser afin de mesurer le degré de réussite du programme.
Qu'avons-nous appris?
Les réponses à cette question donnent aux communautés les raisons de leur réussite dans la gestion des programmes. Trouver ce qui a bien fonctionné dans les programmes encourage la participation à l'évaluation qui met l'accent sur la réussite, l'apprentissage et l'initiative. Les prodigueurs de soins de santé, les usagers et les autres parties intéressées doivent participer activement à toutes les phases de l'évaluation. Leur participation fait en sorte que l'évaluation comprenne des façons d'utiliser les résultats pendant toute la durée des programmes. La participation à l'évaluation favorise le droit de propriété, met l'accent sur les besoins de la communauté et encourage le suivi.
Ce travail a-t-il fait une différence?
Les réponses à cette question mesurent les réussites du programme lorsqu'il s'agit de modifier la connaissance, les attitudes, les compétences et le comportement. Les indicateurs de réussite du programme identifient les avantages que les communautés espèrent tirer du programme. Ils procurent également les critères permettant de mesurer les modifications pendant toute la durée des programmes.
Que pourrions-nous faire différemment?
Les évaluations aident les communautés à apprendre; bien souvent, la meilleure façon d'apprendre consiste à examiner les défis que posent les programmes.
Comment allons-nous utiliser nos constatations pour l'apprentissage continu?
La participation de la communauté à l'évaluation assure que les résultats seront utilisés pendant toute la durée des programmes.
Tenter de trouver des réponses à ces questions clés guide le processus d'évaluation pendant toute la durée des programmes. En répondant aux questions, les communautés apprennent comment façonner les programmes actuels et futurs.
Haut de la pageUtiliser les résultats de l'évaluation
Les résultats de l'évaluation peuvent aider les communautés à prendre des décisions relatives à leurs programmes, leur indiquer où et comment elles doivent revoir les plans de santé communautaire et générer de nouvelles idées de programmes.
Reformulation et modification des programmes
L'évaluation des programmes procure aux gestionnaires les faits dont ils ont besoin pour prendre des décisions informées au regard des programmes communautaires. Le schéma 2 ci-dessous indique que l'évaluation est un processus qui se poursuit pendant toute la durée des programmes.
Schéma 2
Comment préparer l'évaluation des programmes
Si les communautés ont élaboré un PSC, elles ont déjà posé les fondations pour évaluer leurs programmes de santé. Un PSC complet énumère les programmes et les activités, les buts et les objectifs ainsi que les indicateurs de chaque programme et activité. Il énumère aussi l'information ou les données relatives aux résultats des programmes.
Les communautés peuvent utiliser les points figurant aux pages suivantes à titre de liste de vérification afin de s'assurer que leur PSC est complet et à jour. Si les communautés n'ont pas encore complété leur PSC, cette information les aidera à en préparer un.
Les évaluateurs doivent connaître le but de chaque programme. C'est pourquoi les membres de la communauté doivent poser les questions suivantes pour chacun de leur programme de santé communautaire :
- Ce programme répond-il à un besoin?
- Quel est le but de ce programme?
Par exemple, si la grossesse chez les adolescentes préoccupe la communauté, inclure au PSC un programme de grossesse chez les adolescentes. Si cela n'est pas une préoccupation, les programmes traitant des grossesses chez les adolescentes sont une perte d'argent et de temps. Demander si les programmes répertoriés au PSC répondent aux besoins de la communauté est une étape importante de son évaluation.
Les définitions suivantes portent sur les évaluations.
Les buts sont de vastes énoncés décrivant ce que les programmes ou les activités devraient accomplir. Par exemple, le but des programmes de diabète pourrait être « aider les membres de la communauté atteints de diabète à mener une vie plus confortable par le biais de l'apprentissage des avantages d'une meilleure alimentation et de l'exercice régulier ».
Les objectifs énoncent clairement ce que les programmes devraient faire. Les objectifs sont des initiatives identifiables et mesurables devant être complétées à un moment précis. Lorsque les objectifs sont énoncés dans des termes mesurables et précis, les évaluateurs peuvent constater si les objectifs ont été atteints ou non. L'exemple suivant fait ressortir un objectif de programme :
Le Programme de santé maternelle et de l'enfant aura l'objectif de base suivant : « d'ici décembre 1999, réduire de 40 % le nombre de blessures mortelles et non-mortelles chez les enfants de moins de 10 ans ».
Une activité est une initiative des communautés visant à réaliser les objectifs du programme. Les activités appuient les programmes et sont en fait des mini-programmes. Les programmes peuvent comprendre une ou plusieurs activités; elles sont les fondations qui façonnent les programmes. Les quatre activités ci-dessous aideraient à réaliser l'objectif suivant : « d'ici décembre 1999, réduire de 40 % le nombre de blessures mortelles et non mortelles chez les enfants de moins de 10 ans ».
- Diriger des cours à l'intention des parents afin de les instruire sur la prévention au regard des empoisonnements, des brûlures et des blessures chez les enfants et chez les occupants de véhicules à moteur.
- Commencer l'inspection des établissements scolaires et des aires de jeu afin d'identifier et de supprimer les menaces à la sécurité de l'enfant.
- Organiser des séances d'information et de counselling à l'intention des enseignants sur la façon d'enseigner la sécurité aux enfants d'âge scolaire.
- Déposer un rapport sur les blessures mortelles et non mortelles chez les enfants auprès du Conseil de la bande en recommandant qu'il mette en oeuvre des règlements locaux visant à prévenir les blessures chez les enfants qui marchent à l'extérieur.
Les indicateurs d'évaluation sont des signes, des événements ou des statistiques qui mesurent la réussite des programmes ou des activités lorsqu'il s'agit de réaliser leurs objectifs. Chaque programme devrait comprendre un ou plusieurs indicateurs de réussite. Plus on a d'indicateurs, plus on aura de « règles » disponibles pour mesurer l'efficacité des programmes ou des activités lorsqu'il s'agit d'améliorer la santé des membres de la communauté. Par exemple, un indicateur de réussite d'un programme prénatal pourrait être la diminution du nombre de complications pendant ou après l'accouchement pour les mères et les bébés.
Indicateurs tangibles et intangibles
Les indicateurs tombent sous deux catégories : les indicateurs « tangibles » et les indicateurs « intangibles ». Les indicateurs durs se fondent sur les chiffres - ils sont quantitatifs. Par exemple, une diminution du nombre de cas d'une maladie particulière est un indicateur tangible. Les indicateurs intangibles ne se fondent pas sur les chiffres - ils sont qualitatifs. Par exemple, la satisfaction qu'ont exprimé les membres de la communauté envers un programme ou une activité.
Indicateurs à court terme et à long terme
Les indicateurs à court terme sont des signes qui apparaissent après quelques semaines ou quelques mois une fois les programmes ou activités commencés et qui révèlent le progrès vers la réalisation des objectifs. Les indicateurs à long terme sont des signes qui peuvent prendre plusieurs mois ou plusieurs années avant de révéler le progrès.
Les données sont les informations au regard des programmes et activités communautaires recueillies dès que débute un programme. Les statistiques, les dossiers, les sondages, les réunions communautaires et les entrevues qui fournissent de l'information au regard des programmes en sont des exemples. L'information relative au client, l'information au regard de l'immunisation et l'information sur l'usager recueillies par le biais de sondages et de questionnaires auprès de la communauté sont des exemples de données recueillies.
Système de gestion de l'information
Un système de gestion de l'information (SGI) est un logiciel informatique qui recueille, emmagasine et traite des données des programmes de façon efficace. En recueillant les données, les gestionnaires des programmes devraient tenir compte de ce qui suit :
- quelle information recueillir;
- qui recueillera l'information et comment;
- quels indicateurs faudra-t-il mesurer;
- quels rapports faudra-t-il rédiger;
- comment emmagasiner les données de façon sécuritaire;
- comment restreindre l'accès aux données; et
- comment le personnel peut-il utiliser le système de données pendant les heures de travail.
Dans le cadre d'un partenariat avec les Premières Nations, la DGSPNI a développé un système d'information informatisé appelé le Système d'information de la santé (SIS). Ce système aide les Premières Nations à établir leurs priorités au regard des programmes et leur permet de gérer indépendamment les questions de santé communautaire.
Les exemples ci-dessous soulignent comment les programmes, les buts, les objectifs, les activités, les indicateurs et les données se lient à certains programmes typiques.
Programme
Prévention des blessures chez les enfants
- But
Réduire le nombre de blessures chez les enfants en modifiant la façon de penser des membres de la communauté dans ce domaine. - Objectif
D'ici décembre 1999, réduire de 40 % le nombre de morts et de blessures chez les enfants de moins de 10 ans. - Activité
- Cours à l'intention des parents
- Inspection des établissements scolaires et des aires de jeux
- Former l'enseignant
- Indicateur
Diminution du nombre de morts et de blessures chez les enfants - Donnée
- Nombre de morts et de blessures chez les enfants
- Nombre de participants aux cours à l'intention des parents
Programme
Diabète chez les adultes
- But
Réduire le nombre de complications à la suite du diabète chez les adultes. - Objectif
D'ici décembre 1999, réduire de 60 % le nombre de diabétiques se présentant à la clinique ou à l'hôpital parce que leur niveau de sucre dans le sang est trop élevé. - Activité
Dispenser information et counselling aux membres de la communauté souffrant de diabète sur la diète, le contrôle du poids, l'exercice et les soins personnels - Indicateur
Nombre d'adultes diabétiques nécessitant des soins à domicile, à la clinique ou à l'hôpital afin de stabiliser leur niveau de sucre dans le sang - Donnée
- Nombre de diabétiques recevant un traitement
- Nombre de personnes recevant du counselling
Programme
Immunisation
- But
Éliminer la fréquence de maladies infantiles évitables par le biais de l'immunisation - Objectif
D'ici décembre 1999, immuniser complètement 90 % des bébés et des enfants d'âge préscolaire selon le protocole d'immunisation provincial. - Activité
- Exploiter régulièrement des cliniques d'immunisation
- Lors de visites prénatales et post-natales, favoriser l'immunisation des enfants auprès des mères et des prodigueurs de soins
- Encourager les établissements scolaires à exiger une immunisation à jour avant l'inscription à l'école
- Indicateur
- Clinique du bien-être de l'enfant
- Nombre de contacts, contenu des discussions, connaissance accrue, attitude et pratique de la mère ou du prodigueur de soins
- Existence d'une politique scolaire exigeant la pleine immunisation
- Augmentation du pourcentage des niveaux d'immunisation
- Donnée
- Nombre d'enfants vaccinés dans les cliniques communautaires
- Nombre de mères recevant de l'information au sujet de l'immunisation
- Nombre d'enfants vaccinés à l'école
Ce chapitre s'est penché sur les fondations de l'évaluation - programmes, activités, objectifs, indicateurs et données. L'information sur la façon dont les objectifs, les indicateurs et les données relatives aux programmes et activités communautaires s'insèrent au processus d'évaluation devrait fournir aux communautés assez d'information pour commencer à travailler sur les plans d'évaluation. Le chapitre suivant portera sur ce sujet.
Préparer un plan d'évaluation
Dans l'année suivant la signature de l'Entente de transfert, les communautés devront élaborer un plan d'évaluation. Ce plan souligne la stratégie proposée pour mener à bien l'évaluation des programmes de santé communautaire, dont des échéanciers précis et ce qu'il en coûtera. Ce chapitre souligne comment élaborer un plan d'évaluation.
Les communautés peuvent vouloir embaucher des experts-conseils pour les aider et mener à bien l'évaluation. Les communautés devront cependant collaborer de près avec les experts-conseils. Ainsi, l'évaluation répondra aux besoins des communautés et informera les membres des communautés sur ce qui les intéressent davantage au sujet des programmes.
Lorsque les communautés élaborent des plans d'évaluation, il peut s'avérer utile de mettre sur pied des comités d'évaluation qui seront responsables des activités suivantes :
- élaborer les termes de référence pour l'évaluation des programmes;
- maintenir l'évaluation des programmes dans le cadre de l'échéancier; et
- assurer que le plan d'évaluation reflète les buts et objectifs de la communauté.
Ces comités peuvent comprendre des membres du comité/conseil de santé et des usagers des programmes de santé communautaire. Le comité peut aussi inclure ceux qui connaissent la planification et l'évaluation, même s'ils ne participent pas aux programmes de santé communautaire.
Composantes du plan d'évaluation
Un plan d'évaluation devrait inclure les composantes suivantes :
- termes de référence et questions d'évaluation;
- approche d'évaluation;
- indicateurs et sources de données; et
- plan de travail de l'évaluation.
Termes de référence et questions d'évaluation
Les termes de référence sont les instructions des communautés qui indiquent aux évaluateurs quels programmes examiner. En plus, les termes de référence répertorient les principales questions auxquelles devra répondre l'évaluateur. Les termes de référence et les questions d'évaluation doivent refléter les objectifs définis et les priorités élaborées au Plan de santé communautaire (PSC).
Approche d'évaluation
L'approche d'évaluation souligne comment mener à bien l'évaluation. Elle identifie les outils ou méthodes à utiliser afin d'obtenir l'information nécessaire pour répondre aux questions soulevées aux termes de référence. L'approche d'évaluation comprend le modèle qui structure l'étude de l'évaluation. Il faut identifier le modèle d'évaluation ou de conception choisi et il faut clairement établir les méthodes et les procédures. (Veuillez consulter un exemple du modèle logique à l'annexe.)
Indicateurs et sources de données
Le PSC doit répertorier les indicateurs utilisés afin de mesurer l'efficacité des programmes et des activités. Les données sont l'information portant sur chaque programme ou activité devant être disponible pour chaque question figurant aux termes de référence. Le PSC doit identifier les sources des données pour chaque question figurant aux termes de référence et expliquer comment recueillir ces données.
Plan de travail de l'évaluation
Un plan de travail de l'évaluation est un plan structuré et précis visant à mener à bien l'évaluation des programmes. Les comités d'évaluation doivent collaborer avec les évaluateurs afin d'élaborer un plan de travail pour mener à bien ces évaluations. Le plan de travail de l'évaluation devrait répondre aux questions suivantes :
- Qui gérera l'évaluation?
- Qui accomplira chaque tâche d'évaluation?
- Quel est l'échéancier pour compléter chaque tâche de l'évaluation?
- Quel est l'échéancier pour produire l'ébauche et les rapports finaux?
- Qui recevra des exemplaires des rapports?
Enfin, le plan de travail de l'évaluation devrait faire mention des coûts de l'évaluation, qui s'élèvent habituellement à 5 % des coûts des programmes et des activités. Les lignes directrices au regard du financement appuyant l'achèvement des rapports d'évaluation pour les communautés régies par les ententes de transfert sont disponibles à la Direction générale de la santé des Premières nations et des Inuits (DGSPNI).
Liste de vérification au regard du plan d'évaluation
Introduction
L'objectif de cette liste de vérification est d'évaluer le plan d'évaluation. Elle couvre les points suivants :
- termes de référence et questions d'évaluation;
- approche d'évaluation;
- indicateurs et sources de données;
- plan de travail de l'évaluation; et
- dissémination et utilisation des résultats de l'évaluation.
Termes de référence et questions d'évaluation
Les termes de référence de l'évaluation sont-ils clairement établis ? Oui __ Non __
Les programmes de santé communautaire et les activités ont-ils été clairement identifiés et décrits ? Oui __ Non __
Les buts et objectifs des programmes de santé communautaire ont-ils été rédigés clairement ? Oui __ Non __
Approche d'évaluation
Le modèle d'évaluation ou la conception ont-ils été identifiés ? Oui __ Non __
Les méthodes et les procédures ont-elles été clairement établies ? Oui __ Non __
Indicateurs et sources de données
Tous les programmes de santé communautaire sont-ils dotés d'indicateurs de réussite mesurant les résultats liés à l'amélioration de l'état de santé de la communauté ? Oui __ Non __
Un système de gestion de l'information devant recueillir l'information a-t-il été établi ? Oui __ Non __
Les sources de données telles les statistiques, les dossiers, les questionnaires, les entrevues et ainsi de suite ont-elles été identifiées? Oui __ Non __
Plan de travail de l'évaluation
Le gestionnaire de l'évaluation a-t-il été identifié? Oui __ Non __
Les personnes devant effectuer les tâches relatives à l'évaluation ont-elles été identifiées ? Oui __ Non __
Existe-t-il un échéancier pour chaque activité? Oui __ Non __
Le budget couvrant les coûts de l'évaluation est-il inclus ? Oui __ Non __
Dissémination et utilisation des résultats
Comment les résultats de l'évaluation seront-ils communiqués aux membres de la communauté?
Comment les résultats seront-ils utilisés afin d'améliorer les programmes de santé communautaire?
Qui recevra un exemplaire du rapport d'évaluation?
Gérer les évaluations
Ce chapitre porte sur le processus d'évaluation et la nécessité de communiquer les constatations de l'évaluation aux communautés. Il souligne aussi comment utiliser l'information et les recommandations figurant aux rapports des évaluateurs afin d'améliorer les programmes communautaires.
Voici les quatre tâches principales lorsqu'il s'agit de mener à bien les évaluations :
- recueillir les données;
- répondre aux questions d'évaluation posées aux termes de référence et faire des recommandations;
- analyser pourquoi un programme réalise ou non ses objectifs ou produit les résultats escomptés; et
- rédiger l'ébauche et le rapport d'évaluation final.
Les quatre principales tâches de l'évaluation
Étape 1 : Recueillir les données
Les évaluateurs ont besoin de données ou d'information - statistiques, dossiers, questionnaires et résultats des entrevues recueillis depuis le début des programmes et des activités.
Étape 2 : Analyser les données de l'évaluation
Les évaluateurs étudient les données disponibles afin de recueillir autant de faits que possible au sujet des programmes ou des activités. C'est ce que les évaluateurs appellent des constatations d'évaluation. Examiner ces constatations permet aux évaluateurs de répondre aux questions d'évaluation comme celle qui suit :
Existe-t-il de bonnes raisons de poursuivre le programme de santé maternelle de la même façon?
Voici les faits ou les constatations de l'évaluation :
- Les nouvelles mères participent régulièrement aux cliniques prénatales.
- Les membres de la communauté se sont montrés positifs envers le programme.
- Les complications pendant la grossesse et dans les deux premières semaines suivant la naissance sont moindres qu'elles ne l'étaient avant que ne débute le programme.
- Il y a une liste d'attente pour les inscriptions aux classes prénatales.
L'évaluateur conclue que le programme fonctionne bien. Les admissions à l'hôpital ont chuté de 40 % et les coûts ont diminué. La liste d'attente révèle la nécessité d'élargir les classes prénatales. Autrement, poursuivre le programme tel quel.
Dans cet exemple, l'évaluateur a répondu à la question d'évaluation et a fait une recommandation visant à élargir le programme.
Étape 3 : Expliquer les conclusions
L'analyse des constatations de l'évaluation et les conclusions constituent l'information la plus utile que fournit l'évaluation. Cette analyse explique pourquoi les programmes ou les activités ont réussi ou pas. Il est surtout important de savoir pourquoi les programmes n'ont pas produit les résultats escomptés. Par exemple, ils peuvent ne pas avoir répondu aux objectifs parce que les gens n'en connaissaient pas l'existence ou parce que les objectifs n'étaient pas réalistes. Les communautés peuvent utiliser ce genre d'information afin d'apporter les correctifs nécessaires.
Étape 4 : Rédiger le rapport d'évaluation
Le rapport final est le produit de l'évaluation. Ce rapport doit contenir une information utile aux communautés afin qu'elles puissent améliorer les programmes.
Les comités d'évaluation devraient discuter de l'ébauche des constatations de l'évaluation avec les évaluateurs. Les comités devraient se mettre d'accord pour que toute critique des rapports soit juste et raisonnable et présente un profil exact des programmes de santé. Ils devraient discuter de tout problème concernant l'ébauche des rapports avec les évaluateurs et ceux-ci devraient tenir compte des commentaires du comité au moment de rédiger le rapport final. Les rapports d'évaluation doivent être utiles aux chefs, aux conseils et aux conseils de santé parce qu'ils sont responsables envers les membres de la communauté lorsqu'il s'agit de combler les besoins en soin de santé.
Les plans de travail qui font partie des plans d'évaluation doivent clairement établir l'information que doit contenir le rapport final. La liste suivante indique les composantes essentielles d'un rapport d'évaluation.
Sommaire
Le sommaire se trouve au début du rapport d'évaluation et procure l'information suivante :
- Il indique les questions auxquelles a répondu l'étude tel que requis en vertu des termes de référence.
- Il présente les constatations les plus importantes et les conclusions de l'étude en deux ou trois phrases.
- Il indique les méthodes ou les approches utilisées afin d'obtenir les réponses. (Par exemple, revoir les dossiers de l'hôpital, les rapports des représentants en santé communautaire, les sondages communautaires et les entrevues avec le personnel médical et non médical.)
Introduction
L'introduction décrit brièvement chaque programme, l'objectif et la durée, ainsi que le nombre de travailleurs et leur poste.
Approche
L'approche énumère les indicateurs de chaque programme ou activité. En outre, elle ajoute des détails sur les méthodes et sur les approches. (Par exemple, comment les évaluateurs ont recueilli l'information et l'information utilisée pour chaque indicateur.)
Constatations de l'évaluation et conclusions
Cette section présente les constatations au regard du programme obtenues par l'étude des données et tire les conclusions.
Voici un exemple indiquant comment présenter les constatations et les conclusions dans un rapport d'évaluation :
Le programme de santé maternelle a contribué à améliorer la santé prénatale des mères. La participation aux cliniques prénatales est élevée et ne cesse de s'accroître, comme l'indiquent les dossiers cliniques. Les mères acceptent le programme et déclarent qu'il les a aidé à en apprendre davantage au sujet de la nutrition et des soins à donner aux nouveaux-nés, tel que le révèle le sondage effectué en juin 1998. A partir de ces constatations, nous concluons que nous devrions continuer d'exploiter le programme tel quel.
Analyse
L'analyse devrait indiquer pourquoi un programme a fonctionné ou pas. L'information statistique (données tangibles) est utile mais les commentaires de la communauté (données intangibles) sont l'une des meilleures façons de savoir pourquoi les choses se sont déroulées tel quel. C'est pourquoi il faut vous assurer que le système de gestion de l'information puisse recueillir les commentaires de la communauté. Assurez-vous aussi que les sondages sont inclus dans l'approche de l'évaluation.
L'exemple suivant indique comment les commentaires de la communauté peuvent aider à façonner l'analyse :
Les membres de la communauté déclarent qu'ils ont besoin de plus d'information et de counselling au regard du diabète, surtout en ce qui a trait à la diète, aux exercices, aux soins personnels et au contrôle du poids. Peu d'entre eux, cependant, participent aux séances d'information et de counselling trimestrielles. Les sondages effectués auprès de la communauté révèlent que seul un petit nombre a modifié sa diète et fait ce qu'avait suggéré le conseiller.
D'autres données révèlent que le programme n'a pas fait chuté le taux de sucre dans le sang. Les données révèlent aussi que le nombre de diabétiques utilisant moins d'insuline ne s'est que très peu affaissé depuis la mise en oeuvre du programme, il y a de cela deux ans.
L'analyse indique deux raisons pour lesquelles le programme ne fonctionne pas tel que prévu. Premièrement, une grande partie de l'information distribuée aux diabétiques par la communauté est trop difficile à lire; plusieurs disent ne rien y comprendre. Deuxièmement, plusieurs aliments recommandés tels les fruits et les légumes coûtent trop chers ou ne sont pas disponibles. Enfin, plusieurs séances de counselling ont été annulées parce que la mauvaise température a empêché le conseiller de se rendre à la communauté. Remarquez que les commentaires de la communauté sont la source la plus importante d'information dans cet exemple.
Recommandations
Les évaluateurs doivent faire des recommandations visant à améliorer les programmes. Par exemple, en ce qui a trait au programme de diabète chez les adultes, les évaluateurs pourraient recommander les modifications suivantes :
La communauté doit trouver ou élaborer des brochures et/ou articles faciles à lire concernant le diabète.
La communauté doit trouver une personne locale afin de diriger les séances de counselling trois fois par mois ou établir un centre d'information, porte ouverte.
Les évaluateurs font les recommandations en se fondant sur les conclusions et l'analyse. Le chef, le Conseil, le conseil de santé et les membres de la communauté décident quelles recommandations suivre.
Les trois principales tâches suivant l'évaluation
Une fois les évaluations terminées, il reste trois tâches à accomplir. Les voici :
- disséminer les constatations de l'évaluation et les conclusions parmi la communauté;
- utiliser les résultats de l'évaluation afin d'améliorer les programmes de santé communautaire; et
- faire parvenir un exemplaire du rapport d'évaluation à la DGSPNI pour discussion et analyse mixtes.
Utiliser les résultats de l'évaluation
Il relève des gestionnaires des programmes de santé communautaire de rectifier les problèmes révélés par les évaluations. Une bonne évaluation procure les faits qui permettent une bonne prise de décision sur la façon d'améliorer les programmes de santé communautaire.
Annexe : un modèle d'évaluation
La littérature dans le domaine de l'évaluation énumère divers modèles d'évaluation. Ces modèles ont pour but principalement d'expliquer l'évaluation, de suggérer un cadre ou un plan d'utilisation et de définir le rôle de l'évaluateur et ses responsabilités. Cette section décrit le modèle logique utilisé afin d'évaluer plusieurs programmes de santé.
Ce qui suit est une application pratique de l'approche du modèle logique envers l'évaluation :
- procurer au personnel en santé un outil de planification et de gestion des programmes et de l'évaluation;
- procurer une façon efficace de communiquer l'essence des programmes au personnel en santé, aux communautés, aux dirigeants de la communauté et autres parties intéressées;
- procurer un outil flexible adaptable aux programmes de diverses tailles et degrés de complexité - il est utile d'établir un profil clair de la portée, de la structure et de la fonction des programmes; et
- procurer des objectifs du programme clairs (à court et à long terme) qui, à leur tour, servent à définir les limites du programme et les ressources nécessaires. Cette clarification est particulièrement utile lorsque le programme subit des modifications.
Les programmes de santé ont souvent diverses activités. Par exemple, comme nous l'indiquons ci-dessous, un programme de prévention des blessures chez les enfants aura probablement différentes activités. Le but à long terme est de prévenir et de réduire les blessures mortelles et non mortelles chez les enfants. Pour savoir si cet objectif a été réalisé, il faut recueillir des données de blessures «avant et après» ainsi qu'un suivi.
Pour savoir si les activités sont productives, on peut, en utilisant le modèle logique, diriger des évaluations à court terme de chaque activité du programme. Le modèle logique est un diagramme ou un organigramme qui indique les liens entre ce qu'un programme fait et ce qu'il devra réaliser. Les évaluateurs peuvent ensuite suivre chaque activité par le biais de ces étapes logiques au regard de l'utilisation et des résultats.
Les évaluateurs peuvent visualiser chaque activité séparément et, par conséquent, les évaluer séparément. En utilisant le modèle logique, les évaluateurs peuvent diviser les programmes en activités afin d'illustrer comment elles se rapportent aux objectifs d'ensemble. Ce qui suit est un format de programme de base de modèle logique.
Modèle logique
Cours à l'intention des parents
Activités principales ou intrants - Les activités principales ou commentaires sont ce que fait le programme pour réaliser son objectif.
Informer les parents des causes et des préventions de blessures à la maison
Mise en oeuvre des objectifs : La mise en oeuvre des objectifs indique ce que les programmes cherchent à accomplir et pour qui. La mise en oeuvre des objectifs devrait inclure un verbe d'action et une description de ce qui sera fait.
Nombre de cours ayant eu lieu et nombre de parents participants
Extrants : Les rendements sont les indicateurs comptables du mode de prestation des services et des caractéristiques de ceux desservis.
Sensibiliser davantage les parents au regard des blessures à la maison
Objectifs à court terme : Les objectifs à court terme indiquent comment les activités principales du programme mèneront à la réalisation des objectifs des programmes. Ils réaliseront ces objectifs comme conséquence immédiate des activités du programme.
% de parents dont la connaissance s'est améliorée
Indicateurs des résultats : Les indicateurs des résultats révèlent jusqu'à quel point les objectifs ont été réalisés.
Réduire le nombre de blessures mortelles et non mortelles chez les enfants
Objectifs à long terme : Un objectif à long terme est souvent ce qu'on appelle l'énoncé de mission du programme ou le but à long terme.
% de l'affaissement du nombre de blessures chez les enfants :- non mortelles, mortelles et dans l'ensemble
Indicateurs des résultats à long terme : Les indicateurs des résultats à long terme sont les indicateurs qui révèlent que les buts d'ensemble du programme ont été réalisés.
Schéma 5.1 : Le modèle logique est un cadre d'évaluation.
Modèle logique pour la prévention des blessures chez les enfants
Activités principales
- Cours à l'intention des parents
- Inspection des établissements scolaires et des aires de jeux
- Séances d'information et de counselling à l'intention des enseignants
- Un rapport de toutes les blessures chez les enfants déposé auprès du Conseil de bande et du Comité sur la santé
Mise en oeuvre des objectifs
- Informer les parents des causes et de la prévention des blessures à la maison
- Identifier et supprimer les menaces à la sécurité de l'enfant
- Fournir des outils aux enseignants au regard de la prévention et de la sensibilisation en ce qui a trait aux blessures
- Sensibiliser davantage en matière de l'étendue des blessures
Commentaires
- Nombre de cours ayant eu lieu et nombre de parents participants
- Nombre de salles de classes inspectées et fréquence des inspections des aires de jeux
- Nombre d'enseignants dispensant de l'éducation au regard de la prévention des blessures
- Nombre de fois que les blessures ont été discutées lors des conseils de bande
Objectifs à court terme
- Accroître la connaissance des parents au regard des blessures à la maison
- Supprimer les menaces à la sécurité de l'enfant
- Accroître la connaissance des enfants au regard des blessures et de leur prévention
- Établir des règlements locaux afin de prévenir les blessures faites en marchant
Indicateurs des résultats
- % de parents dont la connaissance s'est améliorée
- Nombre de menaces éventuelles identifiées et supprimées
- % d'enfants dont la connaissance s'est améliorée
- Nombre et genre de règlements et comment les mettre en oeuvre
Objectifs du résultat à long terme
- Réduire le nombre de blessures mortelles et non mortelles chez les enfants
Indicateurs des résultats à long terme
- % de l'affaissement au regard des blessures non mortelles chez les enfants
- % de l'affaissement au regard des blessures mortelles chez les enfants
- % de l'affaissement d'ensemble au regard des blessures chez les enfants
Schéma 5.2 : Ce modèle logique souligne quatre activités d'un programme conçu afin de réduire le nombre de blessures mortelles et non mortelles chez les enfants d'une communauté des Premières Nations.
Références
Les publications suivantes contiennent de l'information sur la façon d'évaluer divers programmes, dont les programmes de santé.
Cole et al. (1997), Evaluating Health-Related Programs through Systematic Planning and Evaluation.
Président de la Cour des comptes du Canada (1981), Principles for the Evaluation of Programs.
Cunningham (1978), Community Program Evaluation: A Suggested Approach.
Ellis et al (1990), Keeping on Track: An Evaluation Guide for Community Groups
Fink and Kosecoff (1978), An Evaluation Primer.
Fisher (1997), A Theory-Based Framework for Intervention and Evaluation in SRD/HIV Prevention.
Graham et al. (1994), The Evaluation Casebook: Using Evaluation Techniques to Enhance Program Quality in Addictions.
Santé Canada (1991), A Handbook for First Nations on Evaluating Health Programs.
Santé Canada (1996), Canada Prenatal Nutrition Program - First Nations and Inuit Component: Guide to Planning and Evaluation.
Santé Canada (1998), "Evaluating Your Progress." Reducing Smoking in the Workplace.
Santé Canada (1996), Program Consultant's Guide to Project Evaluation.
Santé Canada (1993), J. Holt How About Evaluation...
McKenzie, James (1993), Implementing and Evaluation Health Promotion Programs.
MMWR (1998), Guidelines for Evaluating Surveillance Systems.
Trueblood, Gordon (1992), Health Education Guidelines. (Thèse non publiée.) Ottawa (Ontario) : Bibliothète de Santé Canada.
Wong-Reiger, Durhane and David, Lindee (1993) A Hands-On Guide to Planning and Evaluation: How to Plan and Evaluate Programs in Community-Based Organizations, Ottawa, ON: Canadian Hemophilia Society.
