Le but de cet examen n'était pas de recommander un type d'évaluation ou de programme de traitement en matière de lutte contre l'abus des substances chez les autochtones, mais plutôt de présenter les différentes approches de prévention et de traitement utilisées actuellement et d'identifier les indicateurs d'efficacité de ces programmes sur lesquels les évaluations ont été basées. Voici les observations pertinentes à cet examen :
Les évaluations des programmes en matière de lutte contre l'abus des substances chez les autochtones ont surtout porté sur les taux d'achèvement du programme, taux d'abstinence ou de diminution de la consommation de substances comme un indicateur d'efficacité des résultats. Cette approche quantitative suggère que les comparaisons entre programmes devraient pouvoir se faire et donc, le succès de ces différents programmes peut être déterminé. Il y a de nombreuses différences parmi les programmes de lutte contre l'abus des substances chez les autochtones, ce qui peut nuire à ce type de comparaison. Comme différences, il y a un manque de points de repères/d'indicateurs dans les données statistiques sur les résultats; les approches de programme diffèrent, basées sur des modèles variés; les politiques relatives à l'achèvement du programme diffèrent; les populations desservies varient selon la gravité de la situation des clients; les durées de séjour varient; les opinions relatives aux résultats positifs varient (c.-à-d. abstinence vs. diminution des niveaux de consommation); les populations évaluées diffèrent (inclusion de tous les participants dans les statistiques ou seulement de ceux identifiés comme ayant terminé le programme).
Il n'y a pas de points de repère/d'indicateurs que les programmes peuvent utiliser au moment de l'évaluation du traitement ou de la prévention de l'abus des substances chez les autochtones. Pour une communauté qui s'embarque dans une intervention formelle comme un programme ou un service mobile, du moins au début, n'importe laquelle réussite par rapport à l'atteinte de la sobriété est bien accueillie. La question à savoir jusqu'à quel point le programme est fructueux devrait être secondaire, et dans la plupart des cas, elle devient impossible à évaluer à cause des approches de programme variées qu'on a observées parmi les communautés et à cause d'un manque de valeur commune relative à l'indicateur de réussite. Dans les évaluations mentionnées et étudiées dans ce rapport, les indicateurs de résultats indiqués sont : l'usage éliminé ou réduit par les participants (75 %); le changement significatif et de longue durée chez les participants ayant achevé le traitement (50 %); et la sobriété (20 %-87 % selon la durée de la période de suivi.
Certains programmes (par ex. le Centre de guérison Selkirk [Selkirk Healing Centre]) ont lancé le défi d'évaluer les résultats du point de vue central, soit l'abstinence, en disant que l'efficacité du traitement devrait être évaluée par la réduction du niveau de consommation d'alcool ou de l'usage de drogues. De même, les bienfaits du programme pour ceux qui n'ont pas achevé le programme sont aussi reconnus par ce centre, puisque tous les participants, pas seulement ceux qui ont terminé le programme, ont été suivis et donc, peuvent déterminer le succès de la postcure. 68 Les données de l'évaluation nationale provenant du SRAT, utilisées dans le programme PNLAADA, incluent l'identification des tendances relatives à l'abus de différentes substances psychoactives et des dépendances croisées, de l'utilisation jours-lits, le nombre d'admissions, le nombre de personnes ayant achevé le traitement ou le programme, les raisons de la non-adhérence au traitement, la récidive du client, et les coûts de traitement par jour.
Les données du SRAT ont été qualifiées de limitées à cause de l'inconsistance des rapports et du manque d'exactitude. On a besoin de s'assurer de la fiabilité des données du SRAT et aussi, d'accroître les efforts de collecte de données pour englober le continuum de soins ou les soins de longue durée.
La programmation moderne de la lutte contre l'abus des substances chez les autochtones met l'accent sur le rôle de la communauté dans la conception, la prestation et le soutien des programmes. Cela impliquerait que la communauté, comme partie intégrante du programme de traitement, devrait aussi être évaluée. Il y a deux aspects à l'évaluation communautaire :
L'indicateur le plus communément utilisé pour évaluer la participation communautaire, c'est l'existence d'une politique du Conseil de bande appuyant les buts du traitement dispensé par le programme. Quant au deuxième aspect concernant l'effet sur la communauté, on l'a déduit des taux des résultats obtenus par les clients.
Il y a un manque d'information dans ces évaluations sur la qualité des services dispensés par les programmes. Sans aucun doute, certains programmes doivent inclure l'évaluation de la satisfaction du client au moyen de questionnaires, mais ce n'est pas toujours évident dans la documentation qu'on a étudiée pour ce rapport, exception faite de l'étude sur les résultats des clients du Centre de traitement Round Lake.
Dans les évaluations de programme qui ont été examinées, il n'y a pas d'évidence ou de preuve que l'amélioration continue de la qualité ou des stratégies de gestion de la qualité totale aient été évaluées. En fait, la qualité du service est rarement un indicateur dans ces évaluations. L'objectif de ces méthodes est d'assurer la qualité et d'augmenter l'efficacité des services dans les organisations et les programmes. Les concepts de ACQ et de GQT et leurs modèles sont bien implantés dans les secteurs privé et public à but non lucratif. L'approche du cercle de la qualité dans ces méthodes est fondée sur la résolution de problèmes en équipe qui valorise l'apport du personnel à tous les échelons, et elle pourrait être complémentaire au processus traditionnel autochtone de concertation.
Les facteurs démographiques, les antécédents personnels, cycle de vie passée, le traitement antérieur de l'abus des substances, ont tous été étudiés comme influant sur les résultats du programme. Idéalement, un programme devrait saisir ces données d'un système d'information, de telle sorte qu'on pourrait jeter plus de lumière sur les raisons justifiant les résultats qui ont été obtenus. Ces exigences quant aux données devraient être mises en place lors de l'implantation du programme afin de pouvoir dégager à partir de l'ensemble des données sur les clients une ligne directrice de départ.
Parmi les évaluations examinées pour ce rapport, il n'y en avait aucune qui étudiait l'épuisement professionnel du personnel, les conseillers dépassés par le nombre de cas, ou d'autres facteurs rattachés au personnel qui peuvent faire obstacle à un résultat de programme positif. D'autres aspects qui pourraient être évalués comprennent les conflits entre les autochtones et les non-autochtones (la conception du programme ou l'orientation), le rejet par la communauté ou le manque de soutien.
Quand on expose les résultats relatifs aux effets/répercussions, il y a très peu de distinction au sujet de la gravité de l'abus d'alcool ou de drogues (alcoolisme et toxicomanie). Les approches modernes des stratégies de traitement de l'abus des substances ont été de plus en plus influencées par l'importance des niveaux de consommation comme indicateurs de la gravité. On a suggéré d'inclure, comme niveaux de consommation, la première expérience de consommation, les activités récréatives (recherche de drogues à consommer), l'accoutumance (dépendance psychologique), la consommation excessive ( ignorance des conséquences désastreuses) et la toxicomanie (envie irrésistible de rechercher des drogues). Ces niveaux peuvent aider à déterminer des stratégies d'intervention précoce aussi bien que des approches de traitement adéquates.
L'information au sujet du suivi, selon les données des résultats obtenus auprès des clients qui ont réintégré leur communauté, est assujettie à la sincérité des répondants qui peuvent ne pas vouloir causer de désappointement au personnel du programme. Il peut y avoir un nombre appréciable de clients qui refusent de répondre aux questions au sujet de la sobriété (particulièrement si l'accent du programme était mis uniquement sur l'abstinence, comme l'approche des alcooliques anonymes). Cette situation peut mener à deux types de données statistiques démontrant des résultats de clients complètement différents : abstinence chez les répondants et abstinence parmi les personnes qui ont répondu à cette question particulière.
Il n'y a pas de mécanisme formel pour s'assurer qu'on adhère à des normes minimales de soins. Même si des normes de programme ont été élaborées par PNLAADA, celles-ci n'ont pas été formellement utilisées dans un processus d'agrément, non plus qu'il y ait eu un processus généralement accepté par un organisme reconnu qui mènerait l'évaluation.
Les approches autochtones au traitement de l'abus des substances semblent s'éloigner du modèle des Alcooliques anonymes, qui considère les consommateurs excessifs comme étant irresponsables de leurs actes et qui se sert de techniques de confrontation. On favorise plutôt un modèle combinant la médecine et la culture autochtone. Dans ces programmes, on utilise les composantes des approches occidentales de traitement qui sont complémentaires et culturellement neutres. On reconnaît que certains clients peuvent ne pas se sentir à l'aise dans un programme basé uniquement sur la culture traditionnelle.
La question des coûts émerge rarement des évaluations. Ce n'est pas spécifique aux programmes autochtones puisqu'il y a un manque général d'études de coût-efficacité en matière de traitement de l'abus des substances. On explique les raisons de cette lacune par des problèmes de conception d'idées relative à l'évaluation, de désaccord sur les buts du traitement, de désaccord au sujet des répercussions/résultats, de l'incertitude au sujet de la durée de séjour adéquate du traitement, de la variation parmi les programmes de traitement, des taux élevés d'abandon et du manque de confiance relatif aux autoévaluations des clients. 98
Les aspects importants à évaluer en matière de coûts sont : Quels types de clients coûtent le plus cher à traiter ? Quels types de clients bénéficient davantage du traitement? Comment compare-t-on les bienfaits aux coûts ? À une époque de restrictions financières dans le domaine des soins de santé dispensés aux autochtones où on doit accomplir le double avec chaque précieux dollar en répondant aux nombreux besoins de santé de la population, cette information devient encore plus pertinente qu'elle ne l'est pour la population en général.
Les indicateurs généraux pour évaluer les coûts sont l'abstinence ou la diminution de l'abus des substances, mais les coûts indirects sont également importants même s'ils sont plus difficiles à mesurer et à évaluer. Ces coûts indirects se reportent à l'amélioration de la qualité de vie, à l'augmentation des emplois et à la réduction de l'activité criminelle.
L'évaluation efficace requiert un engagement de la part de toutes les personnes liées à la prestation du programme, comprenant le personnel, les bénévoles et l'administration. On doit envisager l'évaluation comme étant une activité profitable pour la conception et la planification de programme et non comme une menace pour les membres du personnel ou pour la continuité de l'existence du programme. Idéalement, le personnel et les bénévoles devraient activement participer à la planification d'une évaluation et à sa mise en oeuvre.