Recherche documentaire

Stratégies relatives à l'évaluation des programmes de lutte contre l'abus des substances chez les autochtones : Examen de la question

II. Évaluation des programmes d'abus des substances

Pour être un exercice rentable, l'évaluation doit être plus qu'un simple examen objectif des démarches, des processus et des activités d'une organisation ou d'un programme. On doit explorer les besoins de la collectivité et des individus concernés par l'organisation ou le programme qu'on est en train d'évaluer, et on doit, au moyen d'instruments de mesure des résultats, pouvoir apprécier de quelle façon les objectifs fixés ont été atteints. La plupart des évaluations sont soumises à des contraintes de coûts et elles sont assorties de délais à respecter, et le défi est donc de faire des choix judicieux quant aux aspects à évaluer et de les évaluer de la façon la plus rentable possible.

Une organisation qui choisit d'entreprendre un processus d'évaluation doit consciemment accepter cette démarche et la considérer de façon positive afin d'être bien disposée à effectuer les changements, de pouvoir s'y engager activement, et en être transformée et renforcée, élargie, et par conséquent, devenir plus efficace et plus efficiente pour accomplir sa mission. Comme l'évaluation (pareillement à de nombreux autres aspects des programmes autochtones) prend racine à l'extérieur des collectivités autochtones, elle est souvent acceptée à contrecoeur. Si l'organisation met elle-même en oeuvre tout le processus d'évaluation, lui donne son élan, on se préoccupera principalement des qualités du programme, de sa signification et de sa raison d'être, en même temps que de son fonctionnement et des résultats du système du programme.⁵⁰ Il peut arriver parfois qu'on perçoive l'évaluation comme un moyen utilisé pour légitimer l'élimination d'un programme, ce qui provoque, par conséquent, la désapprobation de la communauté qui envisage alors cet exercice comme une menace pouvant nuire à un service considéré nécessaire. En définitive, l'évaluation devrait faire partie intégrante du programme, de telle sorte que l'évaluation relève de la responsabilité de l'organisation et que le personnel y participe pleinement, n'étant pas uniquement observateur du processus.

Le "Four Winds Development Project" "Projet de développement de Four Winds a décrit les limitations de l'évaluation qu'ils ont effectuée dans un contexte autochtone de l'ouest. Même si ces limitations provenaient d'évaluations effectuées dans le domaine de l'éducation portant sur les étudiants et le processus d'apprentissage, leur relation par rapport aux évaluations portant sur l'abus des substances est double. En tout premier lieu, l'éducation a été considérée au niveau communautaire comme un des mécanismes principaux de guérison des ravages de l'abus des substances. Dans ce contexte, le développement humain est en lui-même un processus d'apprentissage au moyen duquel les autochtones apprennent à affronter de façon positive et novatrice les défis de leur milieu social auquel sont intimement liées les causes profondes de la consommation abusive d'alcool et de drogues. En second lieu, le modèle médical du traitement de l'abus des substances s'appuie sur des valeurs semblables à celles de l'éducation, concentrant tous les efforts sur les personnes évaluées déficitaires sous certains aspects (tels qu'identifiés par l'examen) pour amener ces personnes à se conformer à une norme ou a un standard établi par la société.

Même si l'approche holistique de "Four Winds" relative à l'évaluation a été élaborée au milieu des années 1980, les perspectives de cette organisation sont encore pertinentes quand on veut établir des stratégies pour réaliser une évaluation moderne. On a présenté les limitations suivantes en considérant les modèles ou types actuels d'évaluation ainsi que les procédures de sélection des informations :

• le point central des évaluations portant sur l'individu est la norme définie comme ce qui est normal chez une personne et ensuite, de comparer chaque individu à cette norme établie. Selon la vision holistique et humaniste de "Four Winds", les outils d'analyse et de mesure doivent émerger d'un fondement philosophique qui interrelie les aspects physique, intellectuel, affectif et spirituel chez un individu.
• les évaluations visent généralement un seul aspect d'un système -- notamment, le traitement de l'étudiant ou du client. Si cette personne ne satisfait pas à une certaine norme, l'accent est alors mis sur les mesures correctives. Ordinairement, le système lui-même, c.-à-d. le personnel, les ressources du programme, la philosophie du programme, etc. ne sont pas évalués ou mesurés de façon systématique.
• les activités correctives ou les mesures de redressement ne transforment pas le contexte ou l'environnement d'où proviennent les comportements, mais plutôt elles éloignent ces comportements de leur milieu habituel, et ensuite tentent de corriger ces comportements inadéquats. Cette approche va à l'encontre d'une approche holistique et communautaire au traitement.

Lors de la préparation de ce document, on a constaté que très peu de programmes autochtones de lutte contre l'abus des substances ont été formellement évalués, même si généralement, on reconnaît qu'il y a de bons programmes existants, signalant des réussites tant du côté du traitement de l'alcoolisme que de celui de la toxicomanie. L'évaluation est une activité qui requiert de la part des programmes un investissement mesurable en temps et en ressources, s'ajoutant au fardeau de la clientèle nombreuse et exigeante ainsi qu'à celui des listes d'attente. L'évaluation est une technique acquise par formation et, à cause de la nature sporadique de l'exercice, la plupart des organisations ont besoin d'expertise externe, occasionnant encore une fois l'utilisation de ressources déjà insuffisantes.

Le processus d'évaluation est bien établi dans les programmes de santé, et on n'en fera pas ici le résumé. Santé Canada a produit à l'intention des collectivités autochtones un cadre à suivre pour l'évaluation des programmes de santé.⁵¹ On trouve dans la publication de Santé Canada comment se préparer pour une évaluation et comment mener un plan d'évaluation et comment effectuer l'analyse de l'évaluation. En outre, la documentation scientifique abonde d'information sur l'évaluation en général.

Dans ce document, on prendra en considération les indicateurs utilisés pour analyser l'efficacité des programmes, les types d'évaluation et les sources d'information utilisées en évaluation. Vous trouverez ensuite des modèles d'évaluation qui ont déjà servi à évaluer des programmes de lutte contre l'abus des substances chez les autochtones.

Indicateurs d'efficacité des programmes d'abus des substances

En matière d'évaluation d'un programme de traitement, l'indicateur de règle pour mesurer l'efficacité a toujours été le taux de succès par rapport à l'atteinte de l'abstinence de boissons et de drogues à un moment donné après l'achèvement du programme par les individus. De façon conventionnelle, cet indicateur a été mesuré par le taux de rechute ou de récidive post-traitement chez les clients ayant terminé le programme ou le taux de longue durée de "clean/aucune drogue et sobre". Les méthodes utilisées pour mesurer le taux de rechute sont souvent sujettes à erreur, car les individus interrogés peuvent avoir des raisons de dissimuler un retour à leur alcoolisme ou à leur toxicomanie. En outre, plusieurs anciens clients peuvent être partis ou encore, non disponibles pour le suivi. Dans certaines évaluations, un grand nombre de clients à l'étape du suivi ne répondaient tout simplement pas aux questions traitant d'abstinence.

On a critiqué la mise en évidence du concept de "clean/aucune drogue et sobre" comme critère d'un résultat fructueux de certains programmes qui accordent de la valeur au fait qu'un individu réussisse à maîtriser la quantité et la fréquence de la consommation d'alcool ou de drogues et ce faisant, ne reconnaît pas comme telle la valeur des programmes qui contribuent à réduire les taux de consommation. Le taux de post-rechute n'est souvent pas comparable entre différents programmes, et cela, à cause des valeurs inhérentes à chaque programme. Par exemple, certains programmes ont quand même réussi à réduire le niveau de consommation auprès de personnes qualifiées de "décrocheuses" qui avaient volontairement quitté le programme ou dont le séjour avait été prématurément écourté par le personnel à cause de leur non-conformité aux règles du programme. Dans ce cas-là, les taux ont été mesurés en tenant compte de tous les participants au programme, non pas seulement de ceux qui l'avaient terminé.

Dans la documentation, il y a un certain nombre de facteurs qui sont ressortis d'études menées dans des conditions contrôlées et qui ont été corrélés par le succès ou l'échec du traitement.⁵² On doit évaluer ces facteurs afin de comprendre et d'interpréter correctement les résultats d'un programme, à savoir si les objectifs du client et du programme ont été atteints, et de pouvoir aussi porter un jugement sur la comparabilité entre les populations des différents programmes. Dans l'énumération ci-après, le symbole (n) est utilisé pour désigner les résultats de recherche suggérant une corrélation négative avec le résultat positif d'un traitement. Ces facteurs énumérés ci-après sans termes d'accompagnement ont démontré de la variabilité parmi les études.

1. Facteurs hors du contrôle du programme (généralement les antécédents du client et l'environnement)

   • variables démographiques : âge, ethnie

   • antécédents relatifs à l'abus : âge décroissant du début (n),

   • gravité (n), choix de la première drogue prise

   • antécédents criminels (n)

   • antécédents psychiatriques

   • échec scolaire et décrochage (n)

2. Facteurs relatifs au programme de traitement : C'est maintenant généralement accepté que le traitement efficace d'alcoolisme et de toxicomanie, d'abus des substances, repose sur des thérapies sur mesure, adaptées aux besoins individuels des clients. C'est donc difficile d'évaluer l'efficacité de l'une ou de l'autre de ces thérapies, mais il faut plutôt évaluer le modèle ou la direction du programme à la place des stratégies de traitement. Cependant, des indicateurs plus normalisés comprennent :

   • la durée du traitement à demeure ou en résidence (p)

   • la durée du traitement externe (n)

   • les perceptions du client face à son traitement et ses attitudes envers le traitement

   • le nombre d'années d'expérience des conseillers avec le programme

   • le nombre de bénévoles en contact direct avec le client (p)

   • l'utilisation par les conseillers de l'approche pratique de résolution de problème (p)

   • la prestation de services spéciaux (récréatifs, professionnels, anticonceptionnels) (p)

3. Facteurs post-traitement :

   • état de besoin impératif de la drogue (n)

   • manque de participation à des activités productives (n)

   • manque de participation à des activités de loisir (n)

Cette information sur les corrélations entre les résultats et les autres facteurs a été tirée d'études qui n'étaient pas destinées directement aux populations autochtones. Une étude récente sur les résultats des clients effectuée par le Centre de traitement Round Lake, a examiné la relation entre les résultats des clients qui déclarent n'avoir pris aucune drogue et être sobre depuis 3 mois, 1 an et 2 ans et leurs caractéristiques relevées par une grande variété de facteurs démographiques et d'antécédents personnels.⁵³ Les caractéristiques démographiques des personnes qui ont terminé le programme (des clients finissants) et qui ont participé à l'étude s'énonçaient ainsi : sexe, âge, situation de famille, niveau d'instruction, et présence d'enfants. On inclut dans les caractéristiques de leur vécu, des types de traumatismes relatifs à des antécédents de vie, des types d'abus des substances et des expériences antérieures de traitement (antérieure à Round Lake). Le suivi à l'enquête ou l'enquête de rappel a analysé les paramètres de l'abstinence (au moment de l'enquête) tels que les relations familiales, la qualité de vie, et l'image de soi-même. On a établi à l'aide des données sur le client les rapports significatifs suivants :

• L'étude a démontré que les facteurs ci-après étaient de façon significative liés au fait qu'un individu ne prenait aucune drogue et restait sobre pendant une certaine période ou plus d'une période de suivi au traitement (3 mois, 1 an et 2 ans) : sexe (féminin), plus avancé en âge (plus de 41 ans), situation de famille (marié ou conjoint de fait), n'a pas été élevé par une famille d'accueil, pas d'antécédents d'agression sexuelle, pas d'antécédents de mauvais traitements physiques, n'a pas d'époux/épouse ou de famille ayant des antécédents de toxicomanie, et pas d'antécédents d'arrestation.
• Les facteurs ci-après étaient de façon significative liés à des relations familiales améliorées lors d'une ou de plus d'une période de suivi : vivre avec quelqu'un (comparativement à vivre seul), éducation postsecondaire, n'a jamais résidé dans les internats (écoles résidentielles), antécédents familiaux d'alcoolisme et traitement antérieur pour l'abus des substances (toxicomanie/alcoolisme).
• Quant au même type d'analyse portant sur la qualité de vie, les facteurs ci-après sont aussi significativement rattachés à ce qui a été observé pendant l'une ou plus d'une période de suivi : a résidé dans un internat et des antécédents de mauvais traitements/sévices physiques.
• Pour ce qui est de la même analyse portant sur l'amélioration de l'image de soi, les facteurs ci-après sont liés significativement à l'une ou plus d'une période de suivi : admission à l'emploi, a un passé judiciaire et époux/épouse avec des antécédents de toxicomanie.

Les seuls facteurs prédictifs quant à l'achèvement du programme par l'individu consistaient en des facteurs liés à ses antécédents personnels (vécu) : antécédents de mauvais traitements physiques (plus disposé à terminer le programme), histoire d'agression commise contre leur partenaire (moins disposé à terminer le programme) et client ayant suivi antérieurement un traitement (plus disposé à terminer le programme). Il n'y a pas de facteurs démographiques relatifs au client qui montrent un rapport avec l'achèvement du programme.

Ce qui est intéressant, c'est qu'on n'a trouvé aucune relation entre la satisfaction du client et aucun des indicateurs de résultats, même si 90 % des clients se sont déclarés satisfaits de toutes les composantes du traitement. Il n'y avait aucune donnée d'information sur la satisfaction des clients n'ayant pas achevé le programme puisque le sondage sur la satisfaction est administré à la sortie. L'examen ou l'évaluation attribue le taux élevé de satisfaction à "l'auréole positive" dont est entouré le programme et aussi au fait que les clients peuvent ne pas être complètement honnêtes au sujet des aspects du programme qu'ils évaluent les plus réussis ou efficaces. De plus, les répondants peuvent avoir pensé que ce programme représentait la seule option disponible pour eux et que, par conséquent, ils devaient tout faire pour parvenir à en tirer profit.

Le Service correctionnel du Canada a détaillé les caractéristiques des programmes efficaces de traitement d'abus des substances dans les établissements correctionnels.⁵⁴ Ce sont :

• Traitement à multiples facettes : Le traitement ne repose pas sur une simple méthode, mais il dépend d'un large éventail de modalités/approches différentes de traitement et il utilise un grand nombre de techniques spécifiques.

• Intensité : Les services devraient être d'une durée suffisante et assez intensifs pour s'assurer de l'acquisition de compétences et pour que le changement puisse s'opérer. Intégrité : La prestation du programme doit être conforme aux principes de base établis par le programme.

• Compétence du personnel : L'efficacité du programme sera largement assurée par un personnel qualifié, compétent, qui doit susciter la collaboration des clients en explorant leurs capacités, leurs habiletés et maintenir leur intérêt à poursuivre les activités de formation.

• Personnel bien formé : Le personnel doit avoir les capacités requises pour enseigner les connaissances ou les compétences pratiques que le programme vise à transmettre aux clients.

• Milieu favorable : incluant le personnel ainsi que le milieu physique lui-même. Saine gestion : Les programmes doivent être bien gérés sur le plan de l'intensité du programme et du contrôle de la qualité.

• Fondé sur un processus cognitif : Le programme et ses exigences visent à changer les attitudes de ses clients, et ce faisant, va influer sur leur comportement.

• Choix adéquat des participants au programme : Les programmes devraient définir, dans les méthodes et les approches qu'ils adoptent, le type de clientèle le mieux adapté à ce programme (c.-à-d. la population cible), et à quelles conditions.

• Évaluation appropriée : Les moyens d'évaluation du programme et des participants (pré-et post-programme) devraient faire partie intégrante des programmes, de telle sorte qu'on puisse identifier, au besoin, ce qui doit être changé, modifié ou élaboré/mis en oeuvre. Par le processus d'évaluation, on doit être capable de déterminer si le programme a été fructueux et pour qui.

Types d'évaluation

Évaluation des besoins : On mène cette évaluation à l'étape de la planification du programme, et elle doit correspondre aux besoins de la communauté et aux objectifs qu'elle s'est fixés.

Évaluation des processus : Comme synonymes de ce type d'évaluation, on trouve "examen opérationnel" et "évaluation formative". Même si c'est le type le plus commun d'évaluation puisqu'on considère le fonctionnement du programme, elle est souvent mal exécutée ou bien réalisée superficiellement. On ignore un aspect essentiel du succès d'un programme -- ses répercussions ou ses résultats. La valeur de ce type d'évaluation repose sur le but visé, soit sur l'amélioration de la qualité, de l'efficacité et de la rentabilité du fonctionnement du programme.

Les évaluations des processus décrivent jusqu'à quel point le programme se déroule tel qu'il avait été planifié et de plus, elles permettent d'identifier les problèmes d'implantation pour pouvoir ensuite améliorer la prestation future du programme, d'examiner la séquence ou l'ordre logique et l'applicabilité des composantes du programme, d'examiner l'efficacité de son fonctionnement dans le domaine ainsi que de décrire les opinions subjectives et les expériences des membres du personnel et celles des participants au programme (c.-à-d. la rétroaction du client).⁵⁵

Évaluation des répercussions : Ce type d'évaluation mesure l'impact du programme sur la population cible, et donc, cette évaluation se fait habituellement après que le programme ait fonctionné pendant un certain temps. Afin de mesurer efficacement les répercussions d'un programme, on doit s'adresser à la collectivité et aux personnes ayant reçu des services ainsi qu'aux membres du personnel du programme.

Dans une évaluation des répercussions, il y a trois aspects différents de l'efficacité qui peuvent être mesurés : ⁵⁶

• Répercussions intermédiaires : Est-ce que le programme a changé les attitudes et les comportements, ce qui est primordial dans la réduction de l'abus des substances (résorption de l'alcoolisme et de la toxicomanie)?
• Répercussions finales : Est-ce que le programme a réellement réduit l'abus des substances? Quel en a été l'impact (ou les effets) sur la collectivité?
• Efficacité différentielle : Est-ce que le programme a été plus efficace pour certains clients qu'il ne l'a été pour d'autres?

Sources d'information pour l'évaluation

Pour l'évaluation d'un programme d'abus des substances, les données quantitatives et les données qualitatives sont importantes. Les données quantitatives vont fournir des preuves solides se rapportant aux répercussions d'un programme telles que la diminution des taux d'abus des substances et elle fournit aussi le relevé des améliorations apportées au comportement de l'individu et à son bien-être général. L'évaluation d'un programme dans son entier requiert aussi la collecte de données qualitatives pour obtenir de l'information provenant d'une variété de sources, incluant les clients, les membres du personnel et la collectivité.

1. Les données des clients

Pour avoir une bonne vue d'ensemble et effectuer une évaluation complète d'un programme, un système d'information est un outil essentiel. Il s'agit de s'efforcer systématiquement d'accumuler de l'information quantitative pour aider le déroulement des activités courantes ainsi que pour établir une bonne base pour leur évaluation. Le système d'information peut recueillir des données démographiques, des renseignements sur les antécédents personnels (le vécu) et sur l'abus des substances des clients qui sont admis au programme, données dont on peut se servir à une phase ultérieure pour interpréter les taux relatifs aux finissants, les taux relatifs aux répercussions/aux effets etc. afin d'en dégager des conclusions ou des tendances. Le Système de rapport sur les activités de traitement (SRAT) du programme PNLAADA est un exemple de source d'information qui fournit de l'information importante sur les clients sur le plan démographique, incluant les antécédents, le type d'abus des substances et sa gravité. Les données du SRAT recueille aussi de l'information qui permettra l'analyse de la rentabilité proportionnelle et des résultats ou du rendement des programmes pour les patients à demeure ou en résidence selon les régions ainsi que des résultats des différents programmes : utilisation des jours-lits, séjours écourtés, récidive, et coût moyen par lit utilisé.

Les outils/instruments standardisés d'évaluation permettent d'effectuer une évaluation quantitative des progrès de la clientèle durant le traitement. Ils sont souvent propres à différentes spécialités de la santé c'est-à-dire la psychiatrie et la psychologie. On peut les utiliser à des fins d'évaluation de programme si un examen des renvois ou des sorties est fait en plus de celui des entrées ou des admissions au programme.

Afin d'évaluer efficacement le traitement dans un processus de soins de longue durée, les systèmes d'information doivent aussi inclure des données sur les services communautaires, les services de consultation externe et le post-traitement ou suivi. Cette évaluation va exiger un système d'information intégré ou sans discontinuation et auquel on peut accéder par l'intermédiaire de fournisseurs variés de services de santé au fur et à mesure que les clients évoluent au cours du processus de traitement.

2. Information organisationnelle

Comme fournisseur ou prestataire de service, le programme lui-même constitue un important dépositaire d'information pour l'évaluation. Une évaluation devrait inclure la mission, les buts et les objectifs du programme, les systèmes de gestion, les normes de la prestation de service, les qualifications du personnel, le moral du personnel, le milieu ou l'environnement, les procédures et les politiques du programme, la satisfaction du client et du personnel envers le programme, les coûts du programme (par participant ou pour d'autres mesures) ainsi que des observations au sujet du déroulement actuel du programme.

3. Information communautaire

Quoique généralement essentielle dans l'évaluation des besoins antérieurs à l'établissement d'un programme, la participation communautaire au traitement et à la prévention de la consommation abusive d'alcool et de drogues chez les autochtones est fondamentale et par conséquent, elle signifie que les sondages communautaires et les forums devraient faire partie intégrante du processus d'évaluation du programme de lutte contre l'abus des substances. Certaines évaluations des programmes autochtones font référence aux idées/à la vision des membres de la communauté mais comme la méthodologie est rarement expliquée, il est difficile de déterminer à quel point cette consultation a été assez englobante. En général, la perspective communautaire est importante pour mesurer la valeur du programme, la préoccupation de la communauté au sujet de la problématique de la consommation abusive des substances, les répercussions que le programme a eues sur la communauté, le niveau de participation individuelle des membres de la communauté, ainsi que les suggestions concernant ce qui doit être amélioré pour mieux répondre aux besoins communautaires. On peut obtenir ces informations au moyen de sondages ou des forums communautaires. On peut aussi organiser des entrevues des informateurs-clés, entrevues tenues auprès de personnes de la communauté ayant été en relation directe avec le programme et connaissant bien la communauté en général.

4. Les groupes témoins

Les groupes témoins sont généralement définis comme étant un procédé par lequel on demande à 8-12 individus de discuter d'un sujet particulier d'intérêt sous la direction d'un facilitateur. Le facilitateur dirige la conversation afin de s'assurer que les objectifs de cette activité dans le cadre de l'évaluation ont été respectés. Les données primaires recueillies auprès des groupes témoins proviennent de la transcription de cette discussion du groupe. Les groupes témoins peuvent contribuer au processus d'évaluation en :

1. donnant de l'information relative au contexte général d'un programme,
2. diagnostiquant les aspects problématiques du programme,
3. collectant de l'information au sujet des impressions de la clientèle sur le programme.

Les groupes témoins peuvent être composés des bénéficiaires du programme (incluant les participants au programme, leur famille, les membres du conseil d'administration etc.). En soulevant dans les groupes témoins des questions qui sont importantes ou pertinentes pour les clients, les participants peuvent se sentir habilités en autant que les résultats des discussions de ces groupes témoins sont partagés avec les personnes concernées et que les idées sont adoptées. La recherche a mis de l'avant le recours aux groupes témoins dans la réadaptation physique ⁵⁷, mais leur utilisation dans le domaine de la réadaptation mentale, telle que la lutte contre l'abus des substances, n'a pas encore été évaluée.

L'équipe de l'évaluation

Le choix des évaluateurs est souvent une tâche difficile car, même si on reconnaît que le recours à un observateur de l'extérieur, à un point de vue externe, apporte de l'impartialité au processus, cette personne devrait posséder les mêmes valeurs que la collectivité et le programme qui sont évalués, ou en tout dernier ressort, ne devrait pas imposer des valeurs étrangères au processus d'évaluation. Les examinateurs externes peuvent être des pairs venant d'un type de programme similaire ou des professionnels spécialisés dans la prestation de services d'évaluation. Cependant, des évaluations formelles menées par des examinateurs de l'extérieur n'écartent pas la possibilité d'examens continus des différentes activités du programme uniquement effectués par le personnel et la communauté. Cette méthode de procéder de façon continue à l'examen de la qualité d'un programme par les membres du personnel devrait être complémentaire à un processus d'évaluation effectué de l'extérieur et elle devrait représenter un des paramètres de cette évaluation.

Modèles d'évaluation

1. Modèle naturaliste

L'Institut Nechi/Nechi Institute a mené une évaluation en 1987 qui s'est basée sur le modèle naturaliste et qui a procédé en quatre étapes :

1. sensibilisation,
2. identification des besoins,
3. acquisition des connaissances et des compétences pratiques et
4. intégration.⁵⁸

Sensibilisation : On a fait appel aux participants du programme et aux membres de la communauté pour être aussi bien les collaborateurs que les principaux évaluateurs. Ainsi la composante de l'apprentissage et de la formation du processus d'évaluation en a été facilité, tout comme les discussions, les négociations et la médiation en cours de processus. L'élaboration d'un document sur l'évaluation a vraiment favorisé la sensibilisation du conseil d'administration. De même, l'équipe des évaluateurs s'est rendue visible dans la communauté des Premières nations. Pour le choix des évaluateurs, on avait établi comme essentielles la transparence, l'orientation inspirée par des valeurs, les compétences et la crédibilité.

Identification des besoins : Le processus d'évaluation a été intériorisé comme un moyen utile d'apporter des changements positifs et il a été intégré à l'ensemble du fonctionnement interne (évaluation des ateliers et des programmes d'études, évaluation du personnel). En s'initiant à l'évaluation, on est venu à considérer ce processus d'évaluation comme étant l'agent/la cause première pouvant faciliter le développement, la mise en valeur et la mise au point du programme.

Connaissances et compétences en matière d'évaluation : Au cours du processus, Nechi est devenu plus expérimenté et plus qualifié en matière d'évaluation. Les rapports entre les évaluateurs et les participants étaient des rapports d'enseignement-apprentissage mutuel tout au long du processus de négociation et de discussion.

Intégration de l'évaluation : Le processus d'évaluation est conçu comme partie intégrante de la structure institutionnelle, partie du plan stratégique, du rapport annuel, aussi bien que du fonctionnement en faisant partie de l'examen des activités et de l'évaluation du personnel. On a conservé ce besoin d'avoir un point de vue de l'extérieur et on l'a intégré à l'équipe de l'évaluation formelle. On a choisi pour faire partie de l'équipe d'évaluation, un évaluateur autochtone sensibilisé aux rapports du programme avec la collectivité plus élargie des Premières nations, un évaluateur ayant déjà effectué précédemment un examen et qui pouvait certainement relever les changements et les progrès, un évaluateur nouvellement introduit au programme et qui pouvait donc avoir une perspective plus objective, et le gestionnaire du programme comme agent de changement qui pouvait motiver les membres de l'organisation à accepter les résultats et la recommandation.

À propos de l'évaluation effectuée par Nechi, une approche fructueuse a été mise de l'avant en commençant l'évaluation sans aucun système d'évaluation préconçu pour influencer les perceptions. Comme dans le cas des comportements et des attitudes, les systèmes et les modèles qui ont émergé du processus d'observation ont été discutés avec le personnel et les membres de l'administration qui, par la suite, se sont entendus sur les observations et les recommandations. Par cette pratique, le personnel s'est senti habilité et il s'est davantage approprié le processus.

L'Institut Nechi a mené deux évaluations naturalistes, et l'Institut a trouvé que la première évaluation avait été importante en permettant d'établir de bons rapports professionnels au sein même de Nechi et de développer une meilleure compréhension des valeurs qui sous-tendent les comportements des gens. Cette expérience a permis à la seconde évaluation d'être encore plus précieuse. L'organisation a aussi trouvé qu'en distribuant le processus d'évaluation sur une période de plusieurs mois au lieu de tabler uniquement sur une visite intensive mais de courte durée, des rapports de confiance s'établissaient, facteur clé de la réussite du processus.

2. Meilleur modèle conseillé

En 1989, le "meilleur modèle conseillé" a été le type d'évaluation choisi pour l'évaluation ou l'examen du PNLAADA. Le "meilleur modèle conseillé" signifiait ce qui, idéalement, devrait être fait dans les domaines de la formation, de la prévention et du traitement. L'élaboration de ce modèle s'est faite à partir des travaux précédents dans ce domaine, comme c'était le cas de la Fondation de la recherche sur la toxicomanie qui a entrepris cet examen du PNLAADA en se basant sur ses propres travaux de recherche et aussi sur des études dans le domaine pour concevoir ce nouveau modèle. Une fois que les modèles (regroupant la prévention, le traitement et la formation) ont été conçus, la Fondation les a utilisés comme outils de comparaison pour évaluer de quelle façon les projets sélectionnés du PNLAADA avaient été planifiés et comment la prestation des services a été effectuée. Tout comme le processus de cette évaluation s'est basé sur le "meilleur modèle conseillé", on s'en est servi pour faire les études de cas des 37 projets sélectionnés du PNLAADA. Cette seconde approche dépendait de l'information recueillie auprès du personnel, de l'examen des dossiers des cas, et des consultations auprès d'autres intervenants.

Cette approche à l'évaluation a été sujette à des contraintes financières et donc, l'évaluation a été limitée, c'est-à-dire qu'on n'a pas entrepris de recherche indépendante pour mesurer nationalement le taux de réussite des programmes destinés à la réduction de la consommation abusive d'alcool et de drogues. On n'a pas évalué tous les programmes, mais seulement 37 programmes dans trois provinces ont été choisis pour l'examen. Les examinateurs ont estimé que, sans une perspective nationale se dégageant d'une évaluation complète de tous les programmes, la capacité du PNLAADA de diminuer l'incidence et la prévalence d'abus des substances ne pouvait pas être adéquatement traitée. Les examinateurs ont aussi reconnu les limitations suivantes par rapport au type ou au modèle de recherche choisi :

• c'était difficile de faire des recommandations générales au sujet d'un programme national à partir du choix, pour l'examen, fait dans trois provinces.

• l'évaluation consistait en un instantané dans le temps, et donc, elle ne pouvait pas bien saisir les effets des changements et l'évolution au cours de toute une période de temps, un cycle de vie, du programme.

• les répondants étaient préoccupés des répercussions possibles d'un examen sur le financement du programme et donc, ils pouvaient être peu disposés à transmettre des informations négatives.

• lors de l'évaluation, on n'a pas interviewé les clients des programmes pour obtenir une meilleure compréhension des bienfaits, des effets positifs, des programmes sur les individus.

• la sélection des programmes évalués n'avait pas été faite au hasard, et on n'offrait donc pas aux travailleurs les mêmes possibilités d'être interviewés. Comme l'équipe d'évaluation n'avait pas participé au choix du processus, certaines limitations en ont découlé, notamment la validité de leurs conclusions.

• le questionnaire du sondage n'avait pas été conçu adéquatement, étant donné que plusieurs termes utilisés étaient inconnus des travailleurs "sur le terrain" qui ont été interrogés.

Dans son ensemble, cette évaluation a davantage été axée sur le processus, n'ayant consacré que peu d'attention aux répercussions et aux résultats réels du programme. L'accent a été mis sur des données statistiques concernant les employés (nombre de personnes à l'emploi, nombre d'heures de travail, d'heures consacrées aux activités du programme), sur la conformité du programme avec l'entente de contribution et sur le parallélisme du processus avec la méthode du « meilleur modèle conseillé ».

Les critères suivants ont été évalués dans le cas du programme de prévention :

• politique communautaire.
• plan d'action pour l'ensemble.
• les activités de formation et d'orientation relatives à la programmation destinée aux chefs de bande, au personnel des conseils de bande et à celui d'autres services sociaux et aux bénévoles de la communauté qui devaient être mises en place.
• l'existence de mesures/activités préventives intégrées.
• le processus d'examen des activités préventives antérieures à l'implantation du programme.

Les critères ci-après ont été évalués dans le cas du programme de traitement :

• services de désintoxication facilement accessibles.
• traitement facilement accessible et au moment opportun, évaluation de l'ensemble de la personne, et un bon système d'aiguillage (de renvoi) impliquant la participation du client. possibilité d'un certain nombre de méthodes de traitement afin de répondre aux besoins individuels du client.
• existence des services de gestion des cas, si approprié.
• composante de postcure/post-traitement.
• système général de tenue de dossiers.

3. Analyse des résultats

L'analyse des résultats est une méthode quantitative qui met l'accent sur les données statistiques se rapportant au rendement du programme. C'est souvent utilisé comme méthode de comparaison entre des programmes variés qui offrent le même service. Un exemple récent de ce type d'analyse centré sur les résultats, c'est l'analyse qui a été menée sur les centres de lutte contre l'abus des solvants du Programme de santé des Premières nations et des Inuits de Santé Canada. En réponse aux besoins de prévention et de traitement relatifs à l'abus des solvants chez les populations des Premières nations et des Inuits, Santé Canada a créé un programme de financement en 1995 destiné à l'établissement de six programmes provisoires de traitement interne intégrés aux programmes existants de lutte contre l'abus des solvants à travers le Canada. Ces programmes avaient été identifiés comme étant provisoires, puisqu'on avait annoncé le financement nécessaire à la création de six centres permanents de lutte contre l'abus des solvants. Ces centres ont des approches variées de traitement, et ils ne sont pas tous gérés par des communautés des Premières nations, même si tous ces centres reçoivent un nombre élevé de clients autochtones ou inuits. Les programmes offerts sont variés, allant du programme culturellement adapté, installé dans un camp dans les bois, à des programmes de lutte contre les solvants intégrés à des centres de traitement existants de lutte contre l'abus des substances (alcoolisme et toxicomanie) qui peuvent fonctionner selon le modèle médical, utilisant une philosophie en 12 étapes, incorporant les enseignements du Cercle d'influences (Medicine Wheel) ou incluant des composantes du modèle comportemental. Le programme mis en oeuvre dans un campement en forêt s'étendait sur 28 jours comme durée de séjour et les autres étaient soit de plus longue durée ou sans limite de durée.

En 1996, on a fait une évaluation des résultats du programme de traitement de ces centres.⁵⁹ On s'est basé sur des données quantitatives de clients précédents et dans le cas de plusieurs des paramètres, les cinq centres participants ont été évalués ensemble et cela, en dépit des différences considérables entre certaines caractéristiques spécifiques à chaque centre, caractéristiques incluses dans leur rapport d'évaluation (c.-à-d. âge moyen du client variant de 16 à 25 ans, durée moyenne de séjour variant de 25 à 284 jours). En plus, les programmes avaient des différences quant à leur politique relative aux infractions à la règle (incluant l'usage de substances) et donc, avaient différentes politiques concernant le renvoi du client.

On a déterminé comme principale lacune de la méthodologie d'évaluation, la méthode de collecte de données auprès des personnes qui avaient été clientes des centres. Les clients ont été interviewés par le personnel du programme qui, en vertu de leurs rapports professionnels avec les clients, ont pu influencer la véracité de leurs réponses. De plus, les gestionnaires de programme ont identifié eux-mêmes qui serait la meilleure personne à contacter - le client ou un important membre du personnel. Si la personne responsable ne pouvait pas être contactée, on se servait alors des notes des dossiers pour remplir les questionnaires de collecte de données d'information relatives à la clientèle.

En dépit de ces limitations, les données des programmes ont été soumises, présumément à cause du nombre peu important de clients dans certains de ces programmes. Cependant, des données ont été fournies sur le pourcentage de personnes qui se sont abstenues de tout solvant après le traitement dispensé par le programme. Les taux variaient entre 40 % et 60 % - une différence de presque 50 % - même si les examinateurs n'ont pas considéré le résultat de 60 % vu que l'échantillon n'était pas assez élevé (15 clients). Ils ont affirmé que le type de traitement suivi n'avait pas semblé avoir fait beaucoup de différence quant au nombre de personnes s'étant abstenues de solvants après le traitement, et ce, en se basant sur les taux des autres programmes qui variaient de 40,9 % à 46,2 %.

L'étude a conclu que les personnes qui avaient suivi le programme au complet avaient un taux considérablement plus élevé d'abstinence après le traitement que celles qui ne l'avaient pas fini. Et encore plus intéressant, les programmes ayant la durée de séjour la plus longue (284 jours) et la plus courte (25 jours) avaient respectivement les meilleurs taux d'abstinence (60 % et 46,2 %), ce qui suggérerait que la réussite des programmes ne dépend absolument pas de la période de temps passée en traitement.⁶⁰

4. Évaluation communautaire

Les opinions et les idées de la communauté sont importantes pour déterminer l'efficacité et la valeur d'un programme dans sa façon de répondre aux besoins communautaires. Le sondage de 1993 du Comité consultatif régional du PNLAADA de la Saskatchewan a donné un exemple de la participation de la communauté au processus d'évaluation.⁶¹ On a demandé aux membres de la communauté à qui ils s'adresseraient s'ils avaient un problème d'alcoolisme ou de toxicomanie, et aussi, à qui ils s'étaient adressés quand, en fait, ils avaient souffert d'alcoolisme. Auprès des participants qui avaient résidé aux centres de traitement, on a voulu connaître leurs opinions sur les installations, sur leur programme, le personnel et les conditions matérielles. Quant à la réussite du traitement, on a considéré les deux indicateurs utilisés, soit l'achèvement du programme de traitement et les changements du comportement envers la consommation d'alcool après le traitement.

Dans beaucoup de programmes de lutte contre l'abus des substances chez les autochtones qui ont été étudiés pour cette recherche documentaire, la composante de l'évaluation communautaire/évaluation par la communauté n'est pas incluse dans l'examen, ou encore la méthode pour obtenir la participation communautaire n'a pas été décrite.

5. Agrément

Dans les établissements canadiens de soins de santé, l'agrément est largement utilisé pour mesurer la qualité de la prestation des services. C'est une méthode centrée sur la clientèle au moyen duquel les installations sont évaluées selon les normes de la prestation des soins et des services. Habituellement, avec la méthode de l'agrément, on a recours à des évaluateurs de l'extérieur qui viennent interviewer des personnes de tous les échelons de l'administration et du personnel, ainsi que des clients et les membres de la famille des clients. L'équipe de l'Examen va aussi évaluer les programmes dispensés par l'établissement en les comparant aux normes nationales, et elle examinera les données statistiques et toutes les autres données pertinentes du programme. La méthode de l'agrément ne remplace pas les activités d'évaluation continue dans les établissements (évaluation par les pairs, assurance de la qualité, évaluation de l'utilisation des données statistiques etc.) et elle permet d'effectuer un examen d'envergure de toutes les activités par rapport à la mission de l'organisation et à leur conformité/correspondance aux besoins de la communauté et de la clientèle.

En 1992, le programme du PNLAADA a conçu des normes pour le programme national de traitement, et comme accompagnement, un cadre sur la méthode d'agrément destiné aux centres de traitement. La méthode d'agrément a été définie comme un système conçu pour améliorer la qualité des programmes financés de traitement interne de la toxicomanie du PNLAADA au moyen d'une méthode d'évaluation des services, des ressources de gestion, de l'organisation et du fonctionnement par rapport à des normes et à des critères nationaux.⁶² À date, cette méthode de l'agrément n'a pas encore été implantée.