Santé Canada
Symbole du gouvernement du Canada

Liens de la barre de menu commune

Santé des Premières nations, des Inuits et des Autochtones

Ressources d'action communautaire pour les Inuit, les Métis et les Premières Nations : L'évaluation

1998

Si vous avez besoin d'aide pour accéder aux formats de rechange, tels que Portable Document Format (PDF), Microsoft Word et PowerPoint (PPT), visitez la section d'aide sur les formats de rechange.

Table des matières

I. Introduction à la trousse

Quand on demande à des Autochtones « Qu' est-ce qu'une communauté? », ils répondent souvent « Une communauté est formée d'un groupe de personnes qui partagent entre elles et qui s'occupent les unes des autres ».

C'est de cela que traite la trousse Ressources d'action communautaire pour les Inuit, les Métis et les Premières Nations : partager de l'information, des habiletés et des outils donnant du pouvoir aux gens afin qu'ils puissent s'occuper encore mieux des personnes de leur communauté.

Santé Canada et les organismes autochtones nationaux ont identifié la formation en développement communautaire et en évaluation de programmes comme étant un besoin prioritaire.

Afin de répondre à ce besoin, Santé Canada a offert des ateliers de formation entre 1993 et 1995, à travers le Canada, à environ 300 Autochtones, en majorité des travailleurs en santé communautaire.

La formation donnée reposait sur la Trousse d'action communautaire, un ensemble de documents généraux faisant la promotion de la santé et du développement communautaire.

Cette expérience, ainsi que les commentaires des participants durant les ateliers et après leur retour dans leur communauté, a mené à la conception des Ressources d'action communautaire pour les Inuit, les Métis et les Premières Nations. Ce nouvel outil a été préparé spécifiquement pour les Autochtones, prenant en considération leurs valeurs, leur culture et leur mode de vie.

La nouvelle trousse s'adresse spécifiquement aux Autochtones qui désirent améliorer la qualité de vie dans leur communauté en mettant sur pied un projet de développement communautaire.

C'est un outil « libre-service », c'est-à-dire que vous pouvez facilement l'utiliser par vous-même. Les six manuels contiennent de l'information, des trucs, des exemples et des modèles commodes que vous pouvez reproduire et intégrer à vos activités régulières ou utiliser pour former d'autres personnes dans votre communauté.

L'approche est simple, mettant l'accent sur des questions telles que quoi, pourquoi, quand et comment réaliser les différentes étapes d'un projet de développement communautaire.

La trousse utilise une approche holistique. On y tient compte autant des connaissances nécessaires pour faire du développement communautaire que du contexte où il a lieu et des personnes qui participent au processus.

Recherchez les symboles qui suivent. Ils vous aideront à mettre vos connaissances en application dans votre milieu.

trucstrucs

exemplesexemples

excercicesexercices

Qu'est-ce qu'une communauté?

Prenons dès maintenant quelques instants pour réfléchir à la définition du mot communauté.

Le mot communauté ne fait pas référence seulement à la géographie. En effet, les membres d'une ligue de volley-ball peuvent former une communauté. Un groupe d'entraide peut être une communauté. Les fidèles d'une paroisse peuvent aussi représenter une communauté.

Les communautés sont formées de personnes ayant quelque chose en commun, quelque chose qui est important pour elles. Les membres d'une communauté dépendent les uns des autres et travaillent ensemble à relever des défis.

Une communauté peut être vue comme un groupe de personnes :

  • vivant dans la même région géographique;
  • partageant la même culture;
  • ayant une préoccupation ou un intérêt commun;
  • partageant un même sentiment d'identité.
excercises

Ajouter vos propres idées à cette définition. Selon vous, qu'est-ce qu'une communauté?

Le développement communautaire : l'amélioration de l'état de santé des communautés

L'Organisation mondiale de la santé et Santé Canada ont défini la santé comme étant plus que l'absence de maladie. La santé est un état de bien-être mental, physique et social. C'est aussi la capacité de l'individu ou d'un groupe d'atteindre ses buts, de satisfaire à ses besoins et de faire face aux changements qui surviennent dans notre environnement.

Dans le contexte d'une communauté, c'est la capacité qu'ont les gens de se soutenir en accordant de l'importance au bien-être des autres. En d'autres mots, être en santé c'est être capable de prendre soin de soi-même et des autres. La présence de services appropriés, d'un environnement sain et d'un esprit communautaire (sentir qu'on fait partie d'un groupe de personnes qui se soucient les unes des autres) facilitent l'accès à la santé.

Ceci signifie que les groupes qui se préoccupent d'améliorer l'état du logement dans leur communauté, de réduire la violence, de développer l'économie locale ou de mettre sur pied un groupe d'entraide pour les parents en deuil travaillent à améliorer la santé de leur communauté.

Une démarche par étapes

Existe-t-il un secret pour transformer une bonne idée en un projet réussi? En fait, non, il n'y a pas de secret! Chaque groupe suit un sentier différent pour passer à l'action. Cependant, la plupart des groupes passent à travers les étapes suivantes :

  • l'analyse de besoins;
  • la planification des activités;
  • la recherche des bénévoles et du financement;
  • l'appui accordé aux personnes à travers les hauts et les bas d'un projet;
  • l'évaluation.

Les Ressources d'action communautaire pour les Inuit, les Métis et les Premières Nations reposent sur ces étapes.

Commencer une nouvelle activité ressemble beaucoup à la planification d'un voyage vers un endroit inconnu.

Tout comme il vous faut planifier le trajet pour un voyage, vous devez aussi planifier le trajet pour l'activité de développement communautaire. Ce plan vous aidera à savoir où vous en êtes, ce qui a été accompli et ce qui reste à faire.

Le diagramme qui suit constitue votre plan à travers les étapes du développement communautaire, tel que décrit dans la trousse. Chaque cercle représente une étape de cette démarche.

Les aspects interpersonnels et les techniques (telles que la rédaction d'un procès-verbal) nécessaires lors d'un projet ont été réunis dans la « Boîte à outils », placée au centre du diagramme parce qu'elle peut être utile à toutes les étapes du processus.

La démarche décrite dans la trousse Ressources d'action communautaire pour les Inuit, les Métis et les Premières Nations vise à vous aider et non à vous dicter votre conduite. Il est important de se souvenir que chaque groupe suit son propre trajet et qu'il peut être différent de celui qui est expliqué ici. Il n'y a pas une seule « bonne » façon de faire les choses.

Choisissez le chemin qui vous plaît et qui fonctionne le mieux pour vous.

Boîte à outils

I. Introduction à l'évaluation

L'évaluation est un processus naturel

Vous est-il déjà arrivé de vous sentir très fier d'un programme, sans savoir exactement pourquoi tout va si bien?

Par ailleurs, avez-vous déjà eu des pensées telles que : « Je ne comprends pas ce qui se passe. Toute l'équipe travaille très fort, pourtant ce programme ne fonctionne pas aussi bien qu'il le pourrait. »?

Si vous avez déjà vécu de telles situations, c'est que vous avez fait un premier pas vers l'évaluation de programmes. Évaluer, c'est naturel. Vous le faites déjà chaque jour!

Quand on évalue, on tente de comprendre les raisons pour lesquelles un programme réussit bien, afin de répéter les mêmes expériences positives. On essaie également de cerner ce qui doit être amélioré, afin de ne pas répéter les expériences négatives.

Une démarche par étapes

Bien qu'une évaluation puisse se faire naturellement et selon le simple bon sens, il peut être utile de la structurer à l'aide d'une démarche par étapes. De cette façon, on s'assure que tous les aspects importants sont étudiés, que les résultats sont valides et que les conclusions sont directement applicables à notre organisme.

Cette formation vise à vous initier à une démarche en cinq étapes. Celle-ci devrait vous aider à évaluer de manière plus efficace et à le faire en tenant compte de vos propres besoins. La démarche est flexible et elle peut être adaptée à votre milieu detravail.

Des programmes et des jeux de casse-tête

Il arrive que, dans le feu de l'action, on perde de vue « l'image » d'ensemble d'un programme : sa raison d'être, ses objectifs, etc. Les divers aspects semblent alors éparpillés et sans lien entre eux. Parfois, on ne sait plus trop dans quelle direction le programme se dirige. On n'est même pas certain que nos efforts portent fruit.

Grâce à l'évaluation, il est possible de remettre ensemble toutes les pièces afin d'obtenir une image cohérente du programme à l'étude, ce qui permet de prendre des décisions éclairées.

Dans cette formation, vous verrez qu'un programme peut ressembler à un jeu de casse-tête :

Au début

Quand on commence à assembler un casse-tête, on connaît très bien notre objectif : reproduire l'image imprimée sur la boîte. De la même façon, quand on démarre un programme, on en définit les buts et les objectifs.

En cours d'exercice

Quand on travaille sur un casse-tête, on essaie d'assembler les pièces correctement, une par une. On vérifie régulièrement l'image sur la boîte, afin de s'assurer que chaque geste nous rapproche de notre objectif.

Dans le cadre d'un programme, il peut également être utile de se reporter régulièrement aux objectifs de départ, afin de s'assurer que les choses progressent dans la bonne direction. La comparaison continuelle de l'image « à atteindre » et de l'image « actuelle » constitue une évaluation que l'on appelle « évaluation des processus ou évaluationformative ». Celle-ci peut être amorcée dès le début.

À la fin

Après avoir assemblé toutes les pièces du casse-tête, on compare les résultats et l'image sur la boîte. Si les deux images concordent, on est satisfait, on a réussi!

À la fin d'un programme ou après qu'il ait fonctionné un certain temps, on peut également comparer les résultats atteints avec les buts qui avaient été fixés. On parle alors « d'évaluation-bilan, d'évaluation des résultats ou d'évaluation sommative ». Cette approche privilégie le produit final ou les résultats du travail du groupe ou d'un programme.

Cette formation porte sur l'évaluation continue des processus et sur l'évaluation des résultats.

Les buts de la formation

Cette formation vous permettra d'être plus à l'aise avec l'évaluation de programmes dans votre communauté. Elle vous aidera aussi à utiliser une démarche facile à appliquer.

Les objectifs de la formation

À la fin de cette formation, vous devriez:

  • comprendre l'importance de l'évaluation et les conséquences de son absence;
  • être capable d'utiliser une démarche d'évaluation en cinq étapes;
  • être capable de concevoir et d'utiliser des outils d'évaluation simples;
  • être capable de préparer un plan d'évaluation afin d'évaluer un programme dans votre propre milieu de travail;
  • être sensible aux aspects humains qui sont reliés à l'évaluation de programmes et savoir comment les gérer.

L'approche

Dans cette formation, l'évaluation est vue comme un processus constructif où une erreur peut se transformer en une amélioration. Cette approche positive permet d'identifier les points faibles afin de ne pas répéter les mêmes erreurs.

L'approche de l'atelier est aussi holistique. Nous verrons la procédure, l'environnement où l'évaluation a lieu et les aspects humains à considérer au cours de l'évaluation.

II. Qu'est-ce que l'évaluation?

Définition

Plusieurs personnes peuvent ressentir des émotions déplaisantes quand elles entendent parler d'évaluation. Elles pensent alors spontanément à des événements où elles se sont senties jugées à tort. Mais l'évaluation de programmes, qu'est-ce que c'est au juste?

Évaluer signifie poser systématiquement des questions et recueillir de l'information afin de :

  • déterminer comment se porte le programme (évaluation des processus);
  • comparer les objectifs du programme et les résultats réellementobtenus(évaluation des résultats).

L'évaluation est une façon de mesurer si un programme fait ce qu'il est censé faire.

L'évaluation fournit une occasion de développer et d'améliorer un programme.

L'évaluation vise à comprendre pourquoi les choses vont bien ou non. Elle met également en évidence des possibilités d'amélioration.

L'évaluation vous fournira l'occasion de prendre du recul face aux pressions quotidiennes pour dresser un portrait plus général de votre situation en essayant de voir les liens entre les différentes parties du casse-tête. Elle vous permettra également de déterminer si l'image que vous êtes en train d'assembler est similaire à celle que vous aviez l'intention d'assembler.

Deux types d'évaluation

Il existe deux types d'évaluation : l'évaluation des résultats et l'évaluation des processus. Les deux peuvent aider à prendre des décisions. Cependant l'approche utilisée et les résultats obtenus différeront.

1. L'évaluation des résultats

L'évaluation des résultats s'attarde aux résultats d'un programme, à ce qui en ressort. Elle tente de répondre à des questions telles que :

  • Avons-nous atteint nos buts?
  • Devrions-nous continuer le programme, le modifier ou y mettre fin?

Le programme doit avoir été fonctionnel depuis un certain temps si l'on veut que les recommandations qui ressortent de l'évaluation soient utiles. L'analyse des résultats est souvent faite vers la fin d'un programme. Il est cependant très utile de la planifier dès le début afin de recueillir des données tout au long du programme, sinon il n'y aura pas de données disponibles au moment de fairecetteévaluation.

2. L'évaluation des processus

Par ailleurs, l'évaluation des processus se fait pendant que le programme est en opération. Elle peut être informelle et simple tout en procurant des résultats intéressants. Elle met l'accent surtout sur ce qui se passe en posant des questions telles que :

  • Quels aspects du programme vont bien? Pourquoi?
  • Quels aspects du programme pourraient êt reaméliorés? Comment?

Alors que l'évaluation des résultats a lieu à un moment précis, souvent vers la fin du programme, l'évaluation des processus se fait au fur et à mesure que les activités se déroulent. Ce type d'évaluation vous permet donc de faire des ajustements en cours de route plutôt que de découvrir les forces et les faiblesses du programme au moment où il est trop tard pour rectifier la situation! Elle vous permet de plus de répondre rapidement en tout temps aux questions relatives à votre programme qui pourraient vous êtreadressées.

L'évaluation dans la vie d'un programme

Le diagramme qui suit montre que l'évaluation peut avoir lieu à toutes les étapes d'un programme. L'information ainsi obtenue peut être utile dès qu'elle est obtenue, soit pour améliorer le programme à l'étude, soit pour aider à planifier d'autres programmes.

L'évaluation dans la vie d'un programme

III. Pourquoi évaluer?

Pourquoi a-t-ontendance à éviter l'évaluation de programmes?

L'évaluation est naturelle et satisfaisante. Elle est nécessaire si on veut apporter des améliorations. Pourtant, on a tendance à éviter l'évaluation quand on est dans un contexte plus formel. Pourquoi en est-il ainsi?

De manière générale, les gens ont tendance à associer l'évaluation à des émotions désagréables qui leur rappellent toutes sortes de souvenirs...

De façon générale, il y a trois raisons principales qui expliquent pourquoi les gens ont tendance à ne pas évaluer les programmes :

  • Ils ne savent pas comment il faut faire. Ils n'ont pas les connaissances nécessaires. Il leur manque l'expertise et les techniques.
  • Ils ne peuvent pas évaluer. Leur environnement de travail ne le leur permet pas, faute de temps, de budget, etc.
  • Ils ne veulent pas évaluer ou ils sont réticents à le faire. Il se peut qu'ils aient une vision négative de l'évaluation.
excercises

Prenez quelques minutes pour penser à des occasions où vous avez été évalué. Notez ici quelques exemples d'émotions que vous avez alors ressenties.

excercises

1. Selon vous, quelle importance est accordée à l'évaluation de programmes constructive dans votre milieu de travail? Notez votre impression sur l'échelle fournie ici.

NOTA :ce petit exercice vise strictement à vous aider dans votre travail et ne constitue pas un jugement de votre milieu de travail.

peu d'importanceligne jaunegrande importance

2. Dans votre milieu de travail, qu'est-ce qui favorise l'évaluation de programmes? Qu'est-cequilafreine? Essayez d'identifier quelques-uns de ces aspects et notez-les ici.

Favorise l'évaluation de programmes

Freine l'évaluation de programmes

Pensez à ce que vous pourriez manquer si vous n'évaluez pas

L'évaluation peut aider à savoir si votre programme a atteint ses objectifs et comment cela s'est produit. Elle donne aussi de l'information sur le déroulement du programme et permet d'en améliorer le fonctionnement.

L'amélioration permet de garder les programmes sur la bonne voie et assure qu'ils sont en lien avec les buts et les objectifs établis.

excercises

Qu'est-ce qui risque de se passer lorsqu'on ne fait pas d'évaluation? Notez ici quelques-unes de vos idées à ce sujet.

De bonnes raisons d'évaluer

L'évaluation peut rendre les gens anxieux et les mettre sur la défensive. Pourtant, si elle est faite de façon constructive, elle peut leur apporter une nouvelle énergie et les rendre ainsi plus efficaces et satisfaits. L'évaluation est un exercice utile qui peut s'avérer très productif s'il est bien adapté à vos besoins et à vos intérêts.

Les raisons pour lesquelles les organismes font de l'évaluation de programmes varient. Il est fort probable que vous aurez plus d'une raison de faire votre propre évaluation de programmes.

De manière générale, il y a quatre raisons principales pour faire de l'évaluation:

  1. Pour vous aider à comprendre comment se porte votre programme.
  2. Pour montrer, de façon tangible, à vos bailleurs de fonds le travail que vous faites.
  3. Pour montrer à d'autres communautés ce qui a bien fonctionné chez vous.
  4. Pour aider votre personnel à constater le travail accompli.

1. Pour vous aider à comprendre comment se porte votre programme

À tout moment dans la vie d'un programme, vous devriez être en mesure de dire s'il fait ce qui avait été prévu qu'il fasse.

exemples

Vous coordonnez un programme de santé mentale pour la prévention du suicide utilisant à la fois les méthodes traditionnelles des Aînés et des services de consultation.

Vous pourriez vouloir savoir :

  • le rôle joué par les méthodes traditionnelles;
  • les résultats obtenus grâce aux efforts combinés des Aînés et des conseillers en santé mentale;
  • les effets de cette approche sur les participants.

En évaluant le programme, vous pouvez trouver réponse à vos questions et décider s'il faudrait apporter des améliorations.

2. Pour montrer, de façon tangible, à vos bailleurs de fonds le travail que vous faites

Étant donné que le financement de programmes est limité, il peut arriver que vous deviez montrer à un bailleur de fonds ce que vous avez faites avec l'argent accordé à votre organisme.

exemples

Le gouvernement peut avoir à couper le financement de certains programmes. Votre programme de prévention de la violence, combinant le travail de la police locale, des Aînés de la communauté, des travailleurs sociaux et des entraîneurs d'équipes sportives a donné de très bons résultats. Vous avez besoin du financement de l'an prochain pour atteindre vos buts.

En utilisant les faits fournis par une évaluation, un bailleur de fonds peut facilement prendre une décision à propos de votre programme.

3. Pour montrer à d'autres communautés ce qui a bien fonctionné chez vous

Votre programme a eu un impact très positif sur les jeunes de votre communauté.

D'autres communautés veulent savoir ce que vous avez fait et comment vous l'avez fait.

exemples

Il y avait beaucoup de suicides parmi les femmes de votre communauté. Puis, un programme de prévention a été mis sur pied. Le programme offre des cours permettant d'acquérir diverses habiletés de la vie quotidienne. En trois ans, le taux de suicide a diminué de façon remarquable. Maintenant, d'autres communautés sont intéressées à connaître votre combinaison unique de programmes et de personnel.

Une évaluation fait ressortir ce qui se passe ou ce qui s'est passé dans un programme afin que d'autres puissent apprendre de votre expérience et l'adapter à leur communauté.

4. Pour aider votre personnel à constater le travail accompli

Le personnel qui travaille tous les jours avec des bénéficiaires a besoin de voir son travail dans un contexte plus large.

exemples

Les employés de votre programme coordonnent les soins et le soutien aux personnes de votre communauté quand elles sortent de l'institution psychiatrique. Ils sont confrontés à une multitude de situations problématiques et travaillent constamment à essayer d'améliorer le système. Une évaluation de programmes démontre qu'une meilleure coordination a permis de réduire le nombre d'admissions et de réadmissions à l'institution.

Avant l'évaluation, tout ce que le personnel arrivait à voir était une chaîne interminable de problèmes. L'évaluation a fait ressortir qu'en fait, les problèmes étaient réglés de manière très efficace.

excercises

Pensez-vous que certains programmes dans votre milieu de travail auraient besoin d'être améliorés? Nommez-en quelques-uns.

Prenez maintenant quelques minutes pour choisir celui que vous aimeriez particulièrement améliorer.

Durant cette formation, vous allez préparer un plan pour évaluer ce programme dans votre milieu de travail.

Vous avez fait votre choix? Veuillez encercler le programme que vous avez choisi.

IV. Comment évaluer?

Jusqu'à maintenant, vous avez vu ce qui justifie de faire une évaluation. Vous avez réfléchi aux avantages de l'évaluation. Vous avez même arrêté votre choix sur un programme que vous aimeriez évaluer. La section qui commence va vous guider à travers une démarche d'évaluation en cinq étapes. Mais, voyons d'abord quelques informations de base sur la façon de mener une évaluation.

L'évaluation peut être à la fois facile et systématique

L'évaluation est un processus naturel. Cependant, quand il s'agit d'évaluation de programmes, il est utile d'utiliser une démarche systématique.

« Systématique » ne veut pas dire « compliqué ». En fait, les règles de l'évaluation s'inspirent du simple bon sens. Être systématique signifie tout simplement qu'il faut planifier ce que l'on veut faire et être logique, c'est-à-dire toujours faire les choses de la même façon.

Des règles de bon sens

Voici quelques règles de simple bon sens à respecter quand vous faites une évaluation :

  • L'évaluation doit être planifiée.
  • Il faut décider au préalable des sujets qui seront abordés dans les questionnaires ou lors des entrevues. Il n'est pas question d'improviser au fur et à mesure! (Ce qui ne serait pas systématique).
  • Il faut uniformiser les données que l'on veut recueillir sur les événements, les services ou les activités et que l'on a l'intention de comparer. Si vous ne respectez pas cette règle, vous risquez de vous retrouver à comparer des choses qui ne se comparent pas entre elles.
exemples

Par exemple, si vous décidez d'interroger les personnes qui utilisent votre programme, il n'est pas essentiel d'utiliser un questionnaire long et élaboré. Vous pourriez poser seulement cinq ou six questions.

Pour être systématique, il vous faudra cependant décider à l'avance ce que vous voulez apprendre de ce sondage. Vous devrez également vous assurer que les mêmes questions seront formulées de la même façon à chaque personne interrogée. Les questions devront de plus être posées dans des circonstances similaires. Si vous voulez obtenir des résultats fiables,vous devez être systématique.

Il faut uniformiser les données que l'on veut recueillir sur les événements, les services ou les activités et que l'on a l'intention de comparer. Si vous ne respectez pas cette régle, vous risquez de vous retrouver à comparer des choses qui ne se comparent pas entre elles.

Un modèle en cinq étapes

La démarche proposée ici vous aidera à être systématique et à réaliser facilement une évaluation de programmes.

La démarche se divise en cinq étapes, comme le montre le diagramme qui suit.

Un modèle en cinq étapes

Le diagramme présente l'évaluation comme un processus en cinq étapes. Ces étapes sont :

  1. Définir le cadre de l'évaluation
  2. Préparer un plan d'évaluation
  3. Recueillir les informations
  4. Comprendre les informations recueillies
  5. Utiliser les résultats

Comme vous pouvez le constater, l'évaluation est un processus dynamique, continu,danslequel chaque étape ne peut avoir lieu que si les étapes précédentes ont déjà été accomplies. Par exemple, vous ne pourrez pas effectuer une cueillette d'informations pertinente si le cadre de votre évaluation n'a pas été bien établi au préalable.

Le diagramme montre également comment les étapes de l'évaluation de programmes forment un cycle dans lequel les résultats sont réintégrés afin d'améliorer le programme.

Par ailleurs, « considérer les aspects humains » est un élément essentiel dont on doit tenir compte tout au long du processus. Cet élément a donc été placé au centre du diagramme. La section V de ce manuel traite spécifiquement de ce sujet, car c'est un aspect très important de l'évaluation de programmes.

Dans cette formation, nous utiliserons ce diagramme comme modèle, mais il ne faut pas le voir de façon stricte. Il est possible et il est même souhaitable que vous l'adaptiez à votre propre situation.

Voyons maintenant chacune des cinq étapes de façon plus détaillée.

1. Définir le cadre de l'évaluation

Définir le cadre de l'évaluation

Quand vous évaluez un programme, la première chose à faire est de définir les critères de l'évaluation.

Ce que l'on fait dans cette étape peut se comparer à ce que fait un sculpteur quand il commence une sculpture sur bois. Pendant qu'il dégrossit la pièce, il se fait une première idée de l'oeuvre qu'il veut réaliser. Il peut penser à la personne pour qui il fait cette sculpture. Il commence aussi à réfléchir à la façon dont il va s'y prendre pour travailler le bois.

En évaluation de programmes, cette étape permet de définir, dès le début du processus, vos besoins, vos buts et vos objectifs en matière d'évaluation. En définissant le cadre de l'évaluation, vous clarifiez ce dont vous avez besoin et ce que vous attendez du processus d'évaluation. De cette façon, vous vous assurez que l'évaluation sera réellement utile à votre organisation.

Cette étape compte six éléments :

  1. Connaître votre organisation;
  2. Décider pourquoi vous voulez évaluer;
  3. Décider à qui est destinée l'évaluation;
  4. Décider sur quoi doit porter l'évaluation;
  5. Décider comment va se faire l'évaluation;
  6. Décider qui fera l'évaluation.

Tous ces éléments pourraient être discutés lors d'une réunion des membres du conseil d'administration, des gestionnaires du projet et du personnel.

Choisissez une personne pour présider la rencontre. Ce président devrait écrire sur un tableau afin que tous les participants puissent partager leurs idées plus facilement. Les résultats de ces discussions devraient être conservés par écrit, car ils seront utilisés plus tard dans le processus.

a) Connaître votre organisation

Avant d'évaluer, il vous faut définir le cadre de l'évaluation.

À ce moment-ci, vous pouvez penser au mandat, aux buts et à la structure de votre organisation. Vous vous attarderezégalement aux ressources et aux programmes offerts. Vous prendrez aussi en considération l'environnement du programme et tout autre aspect qui peut s'avérer important, afin d'avoir une vision juste de votre organisation. Vous pourriez consulter les personnes qui en font partie depuis longtemps.

Ne laissez pas cet exercice vous décourager. Il peut être fait assez simplement et entraîner des discussions fort intéressantes. Vous découvrirez peut-être aussi qu'il est utile dans d'autres situations, quand des informations fondamentales à propos de votre organisation sont nécessaires.

excercises

Pensez à des personnes qui pourraient travailler avec vous et fournir de l'information sur votre organisation. Inscrivez leurs noms ici.

b) Décider pourquoi vous voulez évaluer

Vousdevezd'aborddéciderpourquoi vous voulez évaluer et ce que vous souhaitez retirer de ce processus.

Écrivez au tableau toutes les raisons que les personnes ont de vouloir évaluer. Ces raisons vont vous aider plus tard à déterminer les buts de votre évaluation.

Voici quelques exemples de raisons pour lesquelles une organisation pourrait vouloir faire une évaluation :

  • pour montrer à d'autres qu'un programme en vaut la peine;
  • pour vérifier si un programme se dirige ou non dans la direction souhaitée;
  • pour vérifier si un programme comble les besoins pour lesquels il a été mis sur pied;
  • pour justifier des dépenses passées ou à venir;
  • pour examiner les coûts du programme en termes de temps et d'argent;
  • pour obtenir des appuis dans le but d'élargir le programme;
  • pour améliorer un programme ou le raffiner;
  • pour fournir des informations à quelqu'un qui veut des preuves que le programme est efficace;
  • pour identifier des problèmes au sein du programme et des façons de les régler.

Nommez quelques raisons qui justifieraient l'évaluation du programme que vous avez choisi d'évaluer.

Au besoin, vous pouvez compléter cette liste plus tard, avec l'aide de personnes de votre communauté.

c) Décider à qui est destinée l'évaluation

Les raisons pour lesquelles vous évaluez et les personnes pour qui vous le faites sont deux éléments qui sont parfois reliés entre eux.

Les principaux groupes intéressés par l'évaluation peuvent être :

  • l'organisme responsable du projet (conseil d'administration, comité exécutif, direction générale, etc.);
  • les animateurs et les bénévoles sur le terrain;
  • le personnel cadre;
  • les membres de projets similaires;
  • les bailleurs de fonds;
  • les participants au programme;
  • la clientèle qui a délaissé le programme;
  • les Aînés;
  • les leaders de la communauté.

Il est important d'identifier pourquoi vous voulez évaluer et quivautiliser les résultats.Ces informations vous aideront à déterminer comment l'évaluation devra être faite, par qui et quel type de rapport d'évaluation devra être rédigé.

Par exemple, une évaluation faite pour résoudre un problème spécifique interne au programme ne se concentrera pas sur les mêmes aspects et ne donnera pas lieu au même type de rapport qu'une autre visant à justifier l'utilisation des budgets de fonctionnement du programme.

d) Décider sur quoi doit porter l'évaluation

La raison pour laquelle vous faites une évaluation et le choix des personnes à qui elle est destinée influenceront ce sur quoi portera l'évaluation et le type d'évaluation à entreprendre.

L'évaluation des résultats montrera si vous avez atteint vos buts et objectifs. Si vous voulez savoir pourquoi certains résultats ont été obtenus, vous devrez évaluer les processus. Ces deux types d'évaluation sont interreliés.

e) Décider comment va se faire l'évaluation

Ici, il s'agit d'explorer la façon de faire l'évaluation sans entrer dans trop de détails, un peu comme le sculpteur qui prépare sa pièce de bois sans savoir exactement l'aspect final que prendra son travail. Votre stratégie précise sera définie plus tard.

exemples

À ce stade-ci, les gens pensent que l'évaluation peut être faite de la manière suivante :

  • par une analyse de toute la documentation pertinente au projet;
  • par une série d'entrevues auprès des principaux intervenants.
f) Décider qui fera l'évaluation

Qui fera l'évaluation? Il y a plusieurs possibilités. Vous pouvez prendre la responsabilité vous-même, la donner à d'autres membres du groupe ou vous pouvez créer un comité d'évaluation. Vous pouvez demander à toutes les personnes intéressées par le programme de donner leur avis lors d'une rencontre, ou vous pouvez engager des experts externes.

Au moment de décider qui fera l'évaluation, vous devez considérer l'ampleur de votre projet d'évaluation et l'expérience des membres du groupe. Votre choix peut également dépendre du programme et du type d'évaluation que vous voulez qui soit faite.

Dans le cas d'une évaluation des résultats, il peut être préférable de demander l'aide d'une personne qui n'est pas engagée dans le programme. Pourquoi? Parce qu'il est très difficile de rester neutre quand on juge de l'atteinte des objectifs d'un programme auquel on a participé soi-même.

Avec les informations recueillies au cours des réunions, vous devriez être en mesure de savoir qui devrait participer au processus d'évaluation. Cet engagement peut aller de la collecte des informations à la participation aux réunions-bilans, à la rédaction du rapport d'évaluation.

On peut régler la question en formant un comité d'évaluation. Il vous faut des personnes intéressées, qui veulent « en savoir plus long » sur le programme et qui pourront utiliser les résultats de l'évaluation.

De manière générale, le rôle du comité d'évaluation est d'orienter et de suivre le processus alors que celui de l'évaluateur ou de l'équipe d'évaluation est de l'exécuter. Pour bien fonctionner, l'équipe ne doit pas compter trop de personnes : environ cinq ou six, jamais plus de dix.

L'évaluation la plus efficace est celle où tout le monde mesure les progrès qui ont été faits. Ainsi, toutes les personnes en cause vont mieux comprendre le programme et voudront l'améliorer. Cette façon de faire est plus efficace que celle où une autorité de l'extérieur se charge de faire l'évaluation.

À moins de vouloir faire une évaluation de projet très complexe, on devrait utiliser les ressources humaines disponibles au sein de son propre organisme ou de son milieu. L'évaluateur ne doit pas obligatoirement être un spécialiste de l'évaluation ou du type de projet que l'on examine. Le présent manuel, la connaissance du programme et l'appui du comité d'évaluation devraient être suffisants pour réaliser une évaluation valide.

exemples

Plusieurs suggestions ont été faites par les personnes présentes à la réunion. Après avoir étudié les différentes options, il a été décidé que la coordonnatrice du programme aura la responsabilité de l'évaluation. Un budget supplémentaire sera alloué afin qu'elle puisse obtenir l'aide technique d'un professeur du collège qui a déjà fait une évaluation de programmes. On mettra sur pied un comité d'évaluation. Il comprendra la coordonnatrice, deux représentants des bénéficiaires du programme, un employé, un bénévole et une Aînée de la communauté. Lorsque le besoin se fera sentir, le comité demandera à d'autres personnes du projet de les aider.

Le tableau qui suit donne des exemples de personnes qui pourraient participer à une évaluation des processus et à une évaluation des résultats.

Décider qui va faire l'évaluation

2. Préparer un plan d'évaluation

Préparer un plan d'évaluation

Dans la première étape, vous avez établi le cadre de l'évaluation. Vous voudrez ensuite préparer un plan d'évaluation plus spécifique.

L'étape 2 du processus d'évaluation devrait permettre à toutes les personnes concernées par votre évaluation de se familiariser avec les différentes étapes du processus et de savoir plus précisément comment elles peuvent y participer.

L'étape 2 du processus comporte quatre aspects. Vous vous baserez sur les décisions prises à l'étape 1 pour :

  1. Déterminer les buts et les objectifs de l'évaluation;
  2. Déterminer les questions d'évaluation;
  3. Définir la stratégie d'évaluation;
  4. Établir un échéancier d'évaluation.

Ne vous laissez pas intimider par ce travail; prenez votre temps et tout ira bien! Ces étapes sont très proches de ce que bien des gens font naturellement.

a) Déterminer les buts et les objectifs de l'évaluation

La première chose à faire est de déterminer vos buts et objectifs d'évaluation. Ils formeront les lignes directrices de votre évaluation.

exemples

À la Maison de la maternité, un établissement d'hébergement de transition pour les mères adolescentes, on a trouvé que la participation de bénévoles aux soins des bébés avait des effets bénéfiques sur les jeunes mères. La Maison peut compter pour l'instant sur un petit noyau de bénévoles dévoués. Mais le programme n'a pas pu prendre d'expansion, car on n'arrive pas à trouver de nouveaux bénévoles. On veut évaluer le programme de bénévoles de la Maison de la maternité afin de recruter de nouveaux bénévoles.

exemples

Voici un exemple du lien existant entre les buts et objectifs d'un programme et les raisons d'en faire l'évaluation.

Raison
Étant donné que nous n'avons pas assez de bénévoles, on ne peut pas créer de nouveaux programmes qui pourraient aider les nouvelles mères et leur bébé.
Buts
Trouver des façons de recruter de nouveaux bénévoles pour la Maison de la maternité et faire des recommandations spécifiques pour le programme de bénévoles.
Objectifs
  1. Décrire les activités quotidiennes des bénévoles à la Maison de la maternité.
  2. Découvrir les raisons qui amènent les bénévoles à venir travailler à la Maison de la maternité.
  3. Identifier les moyens passés et actuels utilisés pour recruter de nouveaux bénévoles.
  4. Identifier des façons de trouver de nouveaux bénévoles qui sont utilisées dans d'autres services d'hébergement pour les mères adolescentes et leur bébé.
  5. Faire des recommandations spécifiques pour trouver de nouveaux bénévoles.
excercises

Le tableau Buts et Objectifs de l'évaluation, à l'Annexe A, vous aidera à noter ces informations. Si vous êtes prêt, vous pouvez le remplir dès maintenant.

Si vous n'êtes pas prêt ou si vous préférez partager vos idées avec d'autres personnes dans votre milieu de travail, vous pourrez utiliser ce tableau plus tard.

b) Déterminer les questions d'évaluation

Vous avez peut-être remarqué qu'on devient de plus en plus spécifique à mesure qu'on avance dans le modèle.

Maintenant que vous avez établi les objectifs de l'évaluation, vous devez préparer les questions d'évaluation. Ces questions vont être utilisées afin de recueillir l'information que vous allez analyser pour préparer vos recommandations au sujet du programme. Vous pouvez décider de ces questions dans une séance de travail.

Voici des exemples de questions d'évaluation qui ont été préparées à partir d'une série d'objectifs d'évaluation de la Maison de la maternité.

exemples
  1. Quelles méthodes ont été utilisées pour essayer de trouver de nouveaux bénévoles?
  2. Laquelle (lesquelles) de ces méthodes a (ont) connu le plus de succès?
  3. Comment la Maison de la maternité se compare-t-elle à d'autres programmes du même type dans le secteur de l'hébergement pour des mères adolescentes dans notre région?
  4. Quelles sont les caractéristiques (âge, sexe, expérience de travail antérieure) des bénévoles qui travaillent pour l'instant avec des mères adolescentes dans ces maisons d'hébergement?
  5. Quelles méthodes ont été utilisées dans le passé pour trouver des bénévoles dans ces autres maisons d'hébergement ? Lesquelles sont utilisées maintenant?
  6. Quelles méthodes ont donné les meilleurs résultats :
    1. En ce qui concerne le nombre de bénévoles trouvés?
    2. Pour trouver des bénévoles compétents pour faire le travail?
  7. Quelles caractéristiques les autres organismes considèrent-ils importantes pour les bénévoles travaillant avec des mères adolescentes?
  8. Est-ce que des bénéfices ou des récompenses attireraient des bénévoles?
  9. À partir des renseignements recueillis, quelles méthodes pour trouver des bénévoles semblent les plus appropriées pour le programme de bénévoles de la Maison de la maternité?
c) Définir la stratégie d'évaluation

Maintenant que vous avez vos questions d'évaluation, il est temps de préparer votre stratégie d'évaluation. Il faut décider comment vous avez l'intention de trouver des réponses à vos questions.

Encore une fois, vous allez bâtir sur les étapes précédentes. Étudiez chaque question d'évaluation et essayez de penser comment vous pourriez trouver la meilleure réponse; où est l'information et comment pouvez-vous l'obtenir?

Le tableau qui suit donne une idée de la stratégie utilisée pour évaluer le programme de bénévoles de la Maison de la maternité.

exemples
Questions d'évaluation Comment pouvons-nous obtenir des réponses? Où pouvons-nous trouver l'information? Qui a l'information? Comment obtiendrons-nous l'information?
1. Quelles méthodes ont été utilisées pour essayer de trouverde nouveaux bénévoles? Faire une liste de toutes les méthodes utilisées La coordonnatrice

Les dossiers

Le journal de bord
Faire une entrevue avec la coordonnatrice du projet

Étudier les dossiers

Étudier le journal de bord
8. Est-ce que des bénéfices ou des récompenses attireraient des bénévoles? Interroger les personnes concernées D'anciens bénévoles

Des bénévoles actuels

Des personnes intéressées à devenir bénévoles
Utiliser des questionnaires et des entrevues
excercises

Vous trouverez à l'Annexe B un exemple de tableau de Stratégie d'évaluation. Vous pourrez le remplir au moment opportun.

d) Établir un échéancier

Vous avez maintenant besoin d'un échéancier pour le travail à faire. Il faut donc assigner les tâches aux diverses personnes et déterminer une date limite pour chacune de ces tâches.

exemples

Voici un échéancier préparé pour l'évaluation de la Maison de la maternité.

Tâches Qui le fera? Quand est-ce que ce sera fait? Commentaires
Étudier les dossiers et faire une liste des méthodes utilisées pour trouver de nouveaux bénévoles Atshukué Dans deux semaines  
Préparer un questionnaire pour interroger les bénévoles Johanne et Renée Dans quatre semaines Elles vont demander les conseils d'une Aînée et l'aide technique d'un professeur de collège.
Etc.      
excercises

Vous pouvez utiliser le tableau Échéancier de l'évaluation fourni à l'Annexe C pour préparer votre échéancier.

Ce serait une bonne idée de considérer les coûts reliés à votre évaluation de programmes. Pensez aux dépenses possibles : photocopies, timbres, appels interurbains, honoraires d'un spécialiste, café pour les réunions, etc.

Dans cette section, on a vu comment un organisme peut élaborer un plan d'évaluation à partir d'une vague idée jusqu'à obtenir une stratégie et un échéancier précis.

L'étape 3 de la démarche amènera les gens à s'engager d'une autre façon. Ce sera le temps de recueillir l'information qui servira à répondre aux questions d'évaluation. Cette étape peut être très intéressante, car vous sentez alors que vous vous rapprochez du but.

3. Recueillir les informations

Recueillir les informations

Après les étapes 1 et 2, vous aurez une idée précise des informations à trouver et de la façon d'aller les chercher. Avec l'étape 3, c'est maintenant le moment d'aller réellement à la recherche de l'information qui vous permettra enfin de trouver les réponses à vos questions.

L'étape 3 comporte trois éléments :

  1. Rechercher les informations existantes;
  2. Créer des outils de cueillette d'information;
  3. Trouver de nouvelles informations.
a) Rechercher les informations existantes

Vous commencerez par réviser l'information existante qui pourrait aider à répondre à vos questions d'évaluation.

Le premier endroit où regarder est au sein même de l'organisme ou du programme que vous étudiez. Il est recommandé de voir ce que vous possédez comme information avant d'essayer d'en repérer de la nouvelle.

Il existe deux sources d'information pour une évaluation : les personnes et les documents.

Voici une liste des personnes qui pourraient fournir des informations :

  • les participants au programme;
  • les administrateurs du programme;
  • les membres du conseil d'administration;
  • les employés du programme;
  • les bénévoles du programme;
  • les Aînés de la communauté;
  • les leaders de la communauté;
  • le personnel de l'organisme;
  • les bailleurs de fonds;
  • les administrateurs, le personnel et les clients d'autres organismesreliés;
  • des consultants externes.

Pour ce qui est des documents, ils peuvent être de divers types. Tous les systèmes de registre ou de rapport fournissent de l'information sur les activités du programme au fur et à mesure qu'elles se produisent.

Ces documents contiennent souvent la plupart des informations sur un programme.

Voici quelques exemples de sources d'informations internes et externes à votre programme :

En faisant votre évaluation de programmes, vous remarquerez probablement que vous recueillez déjà systématiquement plusieurs informations utiles. Pourquoi ne pas en profiter pour améliorer vos outils de cueillette d'information ainsi que la façon de les utiliser!

Par exemple, l'amélioration d'un formulaire peut aider à obtenir plus d'informations pertinentes au sujet de vos clients sans surcharger le personnel de travail.

Sources internes
  • la soumission originale du programme ou la demande de financement;
  • les études ou les analyses de besoins faites pour appuyer le programme;
  • le budget et les états financiers;
  • les organigrammes;
  • formulaires mensuels d'activités;
  • le manuel de politiques ou d'opération;
  • journal de bord;
  • archives de cas;
  • les guides de formation ou d'orientation;
  • notes administratives;
  • procès-verbaux de réunions;
  • rapports de comités;
  • les rapports annuels;
  • les articles de journaux et le matériel publicitaire;
  • les études ou les rapports d'évaluation antérieurs;
  • des tableaux statistiques, des rapports de travail, des feuilles de temps, etc.
Sources externes
  • données de recensement;
  • études de la communauté;
  • analyses de besoins faites par d'autres agences ou organismes;
  • la société d'histoire locale;
  • la littérature ou d'autres recherches traitant du sujet à l'étude;
  • les ministères gouvernementaux : publications, rapports et consultants;
  • les sources de financement du programme à l'étude.
trucs

Une façon peu coûteuse de recevoir des commentaires sincères de la part des utilisateurs du programme (particulièrement de ceux qui dépendent de ce programme) est la distribution d'un questionnaire anonyme aux clients en insistant pour dire qu'ils n'ont pas à divulguer leur nom ni toute autre information qui permettrait de les reconnaître. Le questionnaire peut être déposé en tout temps dans une boîte destinée à cette fin.

b) Créer des outils de cueillette d'information

Votre révision du matériel existant ne vous permettra probablement pas de répondre à toutes vos questions d'évaluation. Vous aurez peut-être besoin de recueillir de nouvelles informations afin d'obtenir un portrait complet.

Il existe une grande variété d'outils de cueillette d'information. Ceux qui sont utilisés le plus fréquemment en évaluation de programmes sont :

  • les questionnaires écrits;
  • les entrevues (face à face, au téléphone, individuelles ou en groupe);
  • l'observation.

Vous trouverez plus d'informations sur ces techniques dans le manuel Boîte à outils, sous les titres : Questions, Questionnaires, Entrevue et Observation.

c) Trouver de nouvelles informations

Les outils que vous avez créés vous aideront à repérer de nouvelles données. Il faut donc envoyer ces questionnaires, faire les entrevues ou observer les personnes identifiées.

Votre échéancier vous aidera à ne rien oublier et à réserver du temps à l'avance pour chacune des activités.

Les nouvelles informations que vous recueillerez, ajoutées à celles que vous possédez déjà, vous aideront à répondre à vos questions d'évaluation. Les morceaux commencent à tomber en place! Ce n'est pas le moment d'arrêter... L'étape 4 vous permettra de comprendre les informations recueillies.

4. Comprendre les informations recueillies

Comprendre les informations recueillies

Vous avez recueilli toutes les informations nécessaires pour répondre à vos questions d'évaluation. Essayons maintenant d'analyser ce qui ressort de cette information.

L'étape 4 du processus d'évaluation comprend trois éléments :

  1. Rassembler les informations;
  2. Analyser les informations;
  3. Tirer des conclusions.
a) Rassembler les informations

Vous pouvez commencer par compiler toute l'information recueillie.

Il peut être utile de photocopier tous les documents originaux. Vous pourrez alors écrire sur les copies, si nécessaire. Les originaux devraient êt reclassés.

Assurez-vous de porter une attention particulière aux documents confidentiels tels que les dossiers des clients. Il n'est pas recommandé de photocopier ce type de document.

trucs

Voici des trucs pour compiler l'information :

  • codifiez (par sujet, source, thème, etc.) ou numérotez chaque pièce d'information afin de pouvoir en retrouver la source, si nécessaire;
  • citez fidèlement les propos recueillis en entrevue pour éviter que les réponses soient mal interprétées; il serait ainsi plus facile de repérer une erreur. Accompagnez chaque citation de son numéro de code pour pouvoir, si nécessaire, vous reporter facilement à l'entrevue au complet (évidemment, il faudra éliminer ces numéros de code dans le rapport final);
  • pour compiler les réponses (quand vous travaillez avec des chiffres ou des données quantitatives), vous pouvez utiliser un formulaire vierge du questionnaire ou du formulaire qui a servi au sondage. Comptez le nombre de réponses et inscrivez-en le nombre total en face de chaque question. Résumez ce qu'indiquent les données.
b) Analyser les informations

Lorsque toute l'information est compilée, vous devez la lire, l'analyser et l'interpréter. Prenez le temps de vous remettre en mémoire les questions d'évaluation. Ensuite, pendant que vous lisez, essayez de trouver des tendances qui pourraient aider à cerner une réponse.

Il est important de noter vos idées immédiatement,pendant qu'elles sont fraîches dans votre esprit.

Tout en recherchant des tendances, essayez aussi de trouver des différences.

trucs

Voici des trucs pour vous aider à identifier des tendances dans les réponses:

  • découpez les photocopies codifiées des questionnaires ou des entrevues et classez-les par question. Vous pouvez ensuite lire toutes les réponses à une question en particulier pour essayer de déceler des tendances dans les réponses;
  • lorsque vous prenez des notes, utilisez une fiche (ou une feuille) différente pour chaque sujet. De cette façon, vous verrez plus facilement les idées qui ressortent de l'ensemble;
  • essayez la technique des mots-clés. Celle-ci est utilisée pour repérer des mots ou les idées qui reviennent dans les propos des répondants. Pour ce faire, lisez toutes les réponses à une même question en relevant toutes les expressions ou idées qui se répètent.
c) Tirer des conclusions

L'élément le plus important du processus est probablement l'interprétation des informations recueillies, c'est-à-dire, les conclusions.

Pendant que vous tirez des conclusions, demandez-vous s itous les renseignements sont cohérents entre eux. Est-ce que ce qui est écrit dans les documents se produit réellement dans la pratique? Quand il y a des différences, il est utile de noter les raisons qui semblent justifier cette différence.

Il ne sert à rien d'essayer de tirer des conclusions trop hâtives de toute la somme d'informations recueillies. Donnez-vous du temps pour réfléchir soigneusement et pour tirer des conclusions éclairées.

Pendant que vous réfléchissez, gardez à l'esprit les questions d'évaluation. Pour chacune des questions, essayez de définir les conclusions qui se forment dans votre esprit et les raisons qui les justifient. Est-ce parce que :

  • certains chiffres ou certaines réponses montrent une tendance?
  • il y a plusieurs réponses semblables?
  • il semble y avoir une chaîne logique de preuves à l'appui?

Les conclusions peuvent être reliées au processus (la façon dont se déroule le programme). Elles peuvent également avoir trait aux résultats (jusqu'à quel point a-t-on obtenu les résultats espérés, ou atteint les objectifs visés).

Revenons à l'exemple du programme de bénévoles de la Maison de la maternité. Certaines conclusions tirées de l'évaluation pourraient être :

  1. L'information recueillie auprès d'autres organismes (semblables à la Maison de la maternité) et auprès des bénévoles potentiels nous montre que :
    • Il est difficile de recruter des bénévoles parce que les gens pensent qu'ils seront laissés à eux-mêmes, qu'ils ne seront pas encadrés. Ils ne sont pas certains qu'ils sauraient quoi faire, surtout au début.
  2. Le personnel, les clients et les bénévoles actuels ont dit que :
    • il faudrait apporter une attention particulière à la sélection des nouveaux bénévoles;
    • les bénévoles auraient besoin d'appui et de formation.

L'étape 5 vous amènera à utiliser les résultats de votre évaluation. Ça va bien! Vous avez presque terminé la démarche en cinq étapes.

5. Utiliser les résultats

Utiliser les résultats

L'étape « Utiliser les résultats » est la dernière dans le processus, mais vous ne devriez pas vous fier aux apparences. En effet, les résultats devraient être utilisés dès qu'ils sont disponibles. Ceci est plus facile à faire dans le cadre d'une évaluation des processus et lorsque les décideurs et les participants au programme sont partie prenante de l'évaluation dès le début.

Le diagramme qui suit montre comment les résultats d'évaluation peuvent être intégrés au programme et vous aider à atteindre ses buts et ses objectifs.

Résultats intégrés

Voyons maintenant les éléments de l'étape « Utiliser les résultats ».

Vous avez vos résultats. Vous voulez maintenant les utiliser. L'étape 5 comprend quatre éléments:

  1. Faire des recommandations;
  2. Rédiger un rapport;
  3. Faire connaître les résultats;
  4. Passer à l'action.
a) Faire des recommandations

Les conclusions que vous avez tirées visent à améliorer le processus ou à déterminer jusqu'à quel point les buts et les objectifs du programme ont été atteints. Les recommandations découlent naturellement de ces conclusions.

Si le programme a atteint ses buts et objectifs, il devrait probablement demeurer tel qu'il est. Sinon, il devrait être modifié ou aboli. Il peut arriver aussi que les objectifs qui avaient été établis n'étaient pas réalistes; il peut être nécessaire de les rajuster.

exemples

Les recommandations qui suivent sont basées sur les conclusions de l'évaluation de processus du programme de bénévolat de la Maison de la maternité:

  • il faudrait préparer un profil du bénévole idéal en définissant les caractéristiques spécifiques des personnes recherchées. Ceci aiderait à trouver de nouveaux bénévoles compétents;
  • il faudrait donner une courte session de formation aux nouveaux bénévoles;
  • un programme de « parrainage » devrait être mis sur pied afin que les nouveaux bénévoles travaillent avec des bénévoles expérimentés, pendant au moins un mois;
  • on devrait organiser une rencontre visant à informer les bénévoles potentiels du genre d'aide dont on a besoin à la Maison de la maternité. Des bénévoles actuels et de jeunes mères pourraient parler de leur expérience. L'accent devrait être mis sur le fait que les bénévoles recevront un encadrement;
  • les bénévoles actuels pourraient inviter des bénévoles potentiels à assister à cette rencontre avec eux. La radio locale pourrait faire connaître la tenue de cette réunion à la population;
  • une ou deux fois par année, il faudrait organiser une petite fête afin de remercier les bénévoles pour leur excellent travail.
b) Rédiger un rapport

Il faut écrire vos recommandations dans un rapport. Voici les principaux éléments que l'on retrouve habituellement dans un rapport d'évaluation :

  1. le sommaire;
  2. l'introduction, les buts et les objectifs;
  3. les questions d'évaluation et la stratégie d'évaluation;
  4. les résultats et la conclusion;
  5. les recommandations;
  6. les annexes.

Le sommaire présente au lecteur les informations et les faits les plus importants. Assez souvent, les gens ne lisent pas le rapport s'il ne contient pas de sommaire. Les personnes ayant participé au processus d'évaluation apprécieront probablement recevoir ce sommaire. C'est une façon de leur exprimer votre reconnaissance pour l'aide apportée.

L'introduction décrit brièvement le programme et souligne les buts et les objectifs de l'évaluation.

On retrouve ensuite une description de la stratégie utilisée pour faire l'évaluation.

On décrit habituellement la procédure et les outils utilisés pour recueillir les informations. Cette section contient également tout autre information pertinente à votre stratégie.

Le rapport présente ensuite les résultats de la manière la plus objective possible. La conclusion du rapport résume les résultats et en donne une interprétation.

Le rapport se termine avec des recommandations pour l'avenir. Toute autre information qui peut intéresser le lecteur peut être placée en annexe au rapport (par exemple, le questionnaire utilisé pour recueillir de l'information).

Une bonne façon de travailler est de rédiger une première version de votre rapport, puis de le mettre de côté pendant quelques jours. Cette façon de procéder vous donnera le temps de prendre du recul et de continuer à réfléchir un peu. Vous pouvez faire la rédaction finale et ajouter d'autres détails au moment où vous relisez le rapport.

trucs

Avant d'écrire le rapport, il est important de savoir qui va le lire et comment il sera utilisé. Ces informations auront une influence sur le contenu du rapport et la façon de le présenter.

Selon les besoins, le rapport peut être très long et élaboré ou très simple et court. Dans tous les cas, il est recommandé de le présenter d'une manière aussi attrayante et facile à lire que possible.

Voici une façon simple de préparer un rapport d'évaluation sans investir beaucoup de temps à sa préparation : vous n'avez qu'à assembler les tableaux fournis comme outils de travail dans les annexes du présent manuel. En ajoutant une introduction, les conclusions et les recommandations, vous obtiendrez un rapport concis, clair et simple!

Un rapport est un outil qui devrait servir à aider les gens à prendre des décisions. Il peut être utilisé à diverses fins, telles que :

  • identifier les forces et les faiblesses d'un programme afin de l'améliorer;
  • comparer l'efficacité de différents programmes;
  • aider les gens à décider si les buts et les objectifs d'un programme sont atteints ou s'ils doivent être rajustés;
  • reconnaître le travail accompli;
  • encourager d'autres communautés à entreprendre des actions similaires;
  • obtenir l'appui nécessaire pour continuer ou pour étendre le projet.
c) Faire connaître les résultats

L'évaluation ne se termine pas avec le rapport. Il est important de faire connaître vos conclusions et vos recommandations.

Les personnes intéressées au programme voudront connaître les résultats. Elles voudront peut-être en parler. Vous pourriez organiser une rencontre pour présenter vos résultats et échanger des idées à ce sujet.

Concentrez-vous sur les informations positives. Décrivez les forces et les faiblesses du programme et discutez-en ouvertement.

Le rapport peut également être utilisé pour faire connaître à d'autres les réalisations du groupe ou les enjeux particuliers qui vous préoccupent. Des extraits du rapport peuvent être utilisés dans votre demande de financement annuelle.

Le rapport d'évaluation peut également permettre de faire ressortir l'utilité et l'importance de tous les aspects du travail de votre groupe.

trucs

Voici une excellente façon de remonter le moral des gens!

Choisissez un résultat d'évaluation positif. Écrivez deux ou trois phrases courtes à ce sujet sur un carton coloré. Affichez-le dans un endroit bien en vue, comme par exemple, sur un tableau d'affichage dans la salle de la pause-santé.

Voici un exemple :

« L'évaluation démontre que 85 % de nos clients sont satisfaits de l'aide qu'ils reçoivent de notre programme.

Nous avons de quoi être fiers de ces résultats. Continuons notre bon travail, les gens l'apprécient! »

Vous pouvez ainsi faire connaître de nouveaux résultats à chaque semaine ou, au besoin.

d) Passer à l'action

Les résultats de l'évaluation sont faits pour être utilisés. Parlez-en. Servez-vous-en pour planifier votre prochain programme. Employez-les pour informer les nouveaux membres du groupe.

trucs

Voici une façon de faire une évaluation des processus qui garantit que les résultats sont utilisés.

Formez un comité d'évaluation composé de représentants de chaque secteur important du programme. Si possible, trouvez des décideurs.

Lors de leurs réunions, le comité sera en mesure de :

  1. identifier les forces et les faiblesses du programme;
  2. dresser une liste d'améliorations possibles;
  3. choisir une solution tirée de cette liste;
  4. recommander une action spécifique qui permettra de remettre le programme sur la bonne voie;
  5. décider qui sera responsable de la mise en oeuvre de la solution retenue.

Cette façon de procéder permet également de produire chaque année un rapport d'évaluation simple. Cependant, n'oubliez pas d'être systématique! Pour ce faire, vous devez :

  • respecter la même procédure à chaque réunion du comité d'évaluation;
  • vous assurer d'avoir un retour d'information (feed-back) sur les recommandations qui ont été faites à la réunion précédente (pour vous assurer que les choses progressent);
  • conserver les informations par écrit. (Vous pouvez utiliser le formulaire Rapport d'évaluation continue fourni à l'Annexe D).

En procédant ainsi, votre rapport d'évaluation annuel pourrait être constitué tout simplement des divers rapports d'évaluation. Au besoin, des informations pourraient être ajoutées afin de compléter le tout.

Une évaluation est un investissement pour l'avenir. Elle devrait être le point de départ pour poser des gestes concrets. L'action se fonde sur les décisions des gens. Assurez-vous donc que les personnes qui occupent des postes décisionnels reçoivent votre rapport. Le processus d'évaluation sera complet lorsque des décisions éclairées, basées sur les résultats de l'évaluation, entraîneront de nouvelles actions.

Et voilà, vous avez terminé! Toutes les pièces du casse-tête sont enfin assemblées. Vous êtes maintenant certain que l'image que projette votre programme est exacte, car vous l'avez obtenue de manière systématique. Votre groupe est maintenant assuré que les décisions qui seront prises seront conformes à ses besoins et à ses attentes spécifiques par rapport à ce programme. Bonne chance pour la suite de vos activités!

Les critères d'une évaluation efficace

Voici les principes de base qui garantiront l'efficacité de votre évaluation. Assurez-vous donc que votre évaluation soit :

  • utile

    Elle devrait se fonder sur les besoins, les buts, les objectifs et les décisions de votre organisme, de votre personnel et de vos clients.

    L'évaluation devrait mener à des prises de décisions et à de l'action.

    L'évaluateur devrait présenter les résultats de telle sorte qu'ils puissent être utilisés par l'organisme pour améliorer le programme à l'étude.

  • planifiée

    Dans le but d'obtenir une évaluation constructive, celle-ci devrait être planifiée dès le début du projet ou du programme. Les participants et les preneurs de décision devraient y prendre part dès le début pour bien comprendre le processus et vous appuyer, au besoin.

  • menée de manière éthique

    Les techniques utilisées devraient être simples et non menaçantes. Elles devraient respecter les préoccupations et les besoins individuels. Une attention particulière devrait être apportée à la confidentialité des données.

  • systématique

    L'évaluation devrait être systématique, même si elle est simple.

    Elle devrait utiliser une variété de méthodes d'investigation et de cueillette de données.

    De cette façon, elle donnera des résultats fidèles à la réalité... à votre réalité.

  • continue

    Essayez de développer l'habitude de recueillir continuellement des informations sur votre programme et d'en faire une évaluation continue. Vous vous assurez ainsi de garder le cap sur vos objectifs de départ.

V. Les aspects humains de l'évaluation

Vous savez maintenant comment utiliser une démarche par étapes pour faire une évaluation de programmes. Considérer les aspects humains au cours de l'évaluation est très important. C'est pourquoi nous avons inséré une section à ce sujet.

Les émotions des gens

Certaines personnes peuvent être bouleversées par l'évaluation.

Une des raisons expliquant cette réaction est sans doute le fait qu'on associe fréquemment l'évaluation à un jugement de valeur négatif. Elles ont peur d'être jugées injustement ou de perdre leur emploi, même si elles travaillent très bien.

Vous souvenez-vous de la liste d'émotions dressée à ce sujet au début du manuel? Cet exercice pourra probablement vous aider à comprendre l'attitude des gens à l'égard de l'évaluation.

Il est très important de prendre le temps d'expliquer à tous que vous avez l'intention de réaliser une évaluation constructive. Soulignez le fait que vous voulez étudier les faits et non les personnes.

Il est important de faire participer les personnes concernées dès le début de la démarche en cinq étapes, afin qu'elles comprennent comment vous allez procéder et pourquoi vous voulez travailler de cette façon.

Célébrez vos succès et vos progrès. Portez-leur une attention particulière. Quelques-unes des leçons les plus utiles seront tirées en analysant comment et pourquoi les aspects positifs se sont produits.

Il peut arriver que les gens aient l'impression que le processus n'est pas représentatif des efforts qu'ils ont déployés dans le programme. Ceci peut se produire surtout si vous essayez d'évaluer un programme qui est en marche depuis une bonne période de temps.

Les gens peuvent avoir l'impression désagréable que la démarche systématique en cinq étapes transforme leur programme en un squelette sans âme.

La résistance

Le processus d'évaluation peut changer votre milieu de travail. Certaines personnes aiment le changement, d'autres, non. Soyez prêt à composer avec une certaine résistance par rapport à l'évaluation. Certaines personnes accepteront de vous aider, alors que d'autres travailleront contre vous. Pourquoi en est-il ainsi?

La résistance au changement est normale. Dans une situation nouvelle, deux forces opposées sont à l'oeuvre : les forces motrices qui amorcent le changement et le gardent en marche et les forces de résistance qui « appliquent les freins » pour arrêter les forces motrices.

Votre évaluation

De façon générale, il n'est pas possible d'augmenter les forces motrices chez une personne. On peut cependant diminuer les forces de résistance et faciliter l'acceptation des changements requis par votre évaluation. Voici six stratégies qui devraient vous aider à ce sujet :

  1. Observez le passé. Essayez de découvrir comment on a déjà agi avec les personnes offrant de la résistance au changement.
  2. Communiquez. Afin d'obtenir l'appui des gens, fournissez l'information adéquate.
  3. Faites participer les gens. Engagez toutes les personnes concernées dès que possible dans le processus. Il est beaucoup plus facile d'appuyer quelque chose quand on sent qu'on en fait partie.
  4. Soutenez. Soyez prêt à passer plus de temps avec les personnes qui ont de la difficulté à accepter le changement.
  5. Négociez. Mettez en place une situation où toutes les parties en cause sentent qu'elles ont quelque chose à gagner. Faites coïncider les objectifs des personnes avec les buts et les objectifs de l'évaluation.
  6. Soyez toujours positif.
excercises

Au début de cette formation, vous avez identifié certains aspects qui favorisent l'évaluation deprogrammes et d'autres qui la freinent; soyons maintenant plus spécifiques : les questions qui suivent vous aideront à composer avec la résistance dans votre milieu.

  1. Identifiez des personnes qui pourrait résister au processus d'évaluation, même si vous utilisez une approche positive.
  2. De quelle façon pourraient-elles s'y opposer?
  3. Comment pourriez-vous diminuer leur résistance?

La confidentialité

Les participants et le personnel du programme que vous évaluez ont le droit de préserver leur vie privée. Souvenez-vous toujours qu'une évaluation ne doit pas dévoiler d'informations personnelles au sujet de leur vie et de leur travail. C'est la confidentialité. Il y a deux règles de confidentialité :

  • lorsque les évaluateurs désirent avoir accès à des renseignements privés au sujet d'une personne, ils doivent obtenir la permission de cette personne;
  • les évaluateurs ne devraient pas révéler à d'autres ce qu'ils ont appris au cours de l'évaluation.

Le fait de garder les informations confidentielles montre que vous respectez les personnes qui répondent à vos questions. La confidentialité est particulièrement importante si votre groupe a l'intention d'utiliser les résultats de l'évaluation dans ses activités courantes ou pour améliorer ses services.

Protégez la confidentialité en tout temps,pendant et après le processus d'évaluation. Par exemple, si une personne mentionne des lieux, des noms ou des choses qui pourraient permettre de la reconnaître, prenez soin d'éliminer ou de modifier ces détails dans la version finale de votre rapport d'évaluation.

trucs

Choisissez une méthode de codification de façon à protéger l'identité de vos répondants. Il en existe plusieurs : vous pouvez leur attribuer des noms fictifs ou encore recourir à des chiffres ou des lettres ou une combinaison des deux.

Quand vous sélectionnez vos répondants, inscrivez leur nom, leur code, leur adresse et numéro de téléphone sur une liste maîtresse. Photocopiez cette liste et rangez l'original et la copie dans un tiroir ou un classeur fermant à clef. Réduisez au minimum le nombre de personnes ayant accès à ces documents.

À partir de ce moment-là, n'utilisez que le nom ou numéro de code pour identifier l'entrevue, le questionnaire ou tout document concernant chaque personne. Prenez l'habitude de n'identifier vos répondants que par leur nom de code ou numéro de code, même si vous connaissez leur véritable identité.

Il peut arriver que vous ayez besoin d'une lettre de consentement pour voir le dossier d'une personne ou pour l'observer dans un programme. Si une personne a moins de 18 ans, un parent ou un tuteur doit donner cette permission.

Dans le processus d'évaluation, la confidentialité est très importante et doit être considérée avec le plus grand sérieux. La vie privée des personnes doit être respectée.

L'évaluateur idéal

Avec tout ce qui a été dit jusqu'à maintenant, on peut conclure que l'évaluateur idéal possède les caractéristiques suivantes :

  • il ose remettre en question les situations et les faits;
  • il ne tient rien pour acquis;
  • il respecte les autres;
  • il ne perd jamais une occasion de recueillir de l'information utile et la classe de façon méthodique afin d'être capable de s'y retrouver;
  • il utilise à la fois le simple bon sens et une approche systématique;
  • il est disposé et préparé à faire face à la résistance.
excercises

Avez-vous d'autres idées à ce sujet? Si oui, vous pouvez les noter ici :

Annexe A

Buts et objectifs de l'évaluation

Programme :

  • Raison d'évaluer
  • Buts de l'évaluation
  • Objectifs de l'évaluation

Signature
Date

Annexe B

Stratégie d'évaluation

Programme :

  • Questions d'évaluation
  • Comment pouvons-nous obtenir des réponses?
  • Qui a l'information? Qui a l'information?
  • Comment allons-nous recueillir l'information?

Signature
Date

Annexe C

Échéancier de l'évaluation

Programme :

  • Travail à faire
  • Qui le fera?
  • Quand sera-t-il fait?
  • Commentaires

Signature
Date

Annexe D

Rapport d'évaluation continue

Programme :

Est-ce que les activités prévues lors de la dernière réunion ont eu lieu?

oui
non

Si les activités ont eu lieu comme prévu

  1. Qu'est-ce qui a particulièrement bien fonctionné?
    1. Comment expliquer ces aspects positifs?
    2. Comment pourrions-nous les répéter dans d'autres activités?
    1. Quelles difficultés avons-nous éprouvées?
    2. Quelles sont les solutions possibles à ces difficultés?
    3. Parmi les solutions possibles, laquelle est recommandée?
    4. Qui sera la personne responsable de mettre en oeuvre cette solution?

Si les activités n'ont pas eu lieu comme prévu

  1. Pourquoi en est-il ainsi?
  2. Qu'est-ce qui sera fait pour rectifier la situation?
  3. Qui en aura la responsabilité?

Annexe E

Prendre en considération les aspects humains