Cette page Web a été archivée dans le Web.

1993 — Rapport du vérificateur général du Canada

Vérificateur général adjoint : Paul Ward
Vérificatrice responsable : Maria Barrados

Points saillants

L'évaluation de programme dans les ministères : Le fonctionnement des services d'évaluation de programme

9.1 En 1991-1992, les dépenses de tous les ministères fédéraux au titre de l'évaluation de programme s'élevaient à peine à 28,5 millions de dollars. Pourtant, les services d'évaluation sont appelés à envisager l'évaluation de l'ensemble des programmes et des activités du gouvernement. De 1985-1986 à 1991-1992, ils ont évalué environ le quart des dépenses gouvernementales, ce qui est bien en-deçà des attentes premières, soit d'évaluer tous les programmes sur une période de cinq ans. Les programmes de réglementation devaient être tous évalués sur une période de sept ans, mais seulement 53 p. 100 d'entre eux l'ont effectivement été. La capacité d'évaluation mise en place par le gouvernement fédéral au début des années 80 existe toujours, mais les ressources sont moins nombreuses. Moins il y a de ressources, moins il y a d'évaluations.

9.2 L'évaluation de programme se fait au sein des ministères et relève des administrateurs généraux. Elle vise d'abord et avant tout à répondre aux besoins des gestionnaires du ministère. Résultat : les évaluations portent sur de plus petits éléments de programme ou sur des activités à petit budget et traitent surtout du rendement opérationnel. Elles servent rarement à remettre en question l'existence d'un programme ou à évaluer son efficacité par rapport au coût.

9.3 Souvent, il est difficile de démontrer que le gouvernement tire parti des évaluations. Bien que les évaluations de programme aient, dans l'ensemble, donné lieu à de modestes économies, quelques-unes ont permis de réaliser des économies appréciables. Toutefois, les administrateurs généraux se sont rarement servi de l'évaluation de programme pour mener des études pouvant entraîner des économies importantes.

9.4 Dans un certain nombre de ministères, la gestion des services d'évaluation pourrait être améliorée et mieux intégrée à la fonction de gestion du ministère. Certains services appliquent de bonnes méthodes d'évaluation. Ce sont les services intégrés à la gestion du ministère et agissant selon les intérêts opérationnels des administrateurs généraux.

Introduction

9.6 La politique exige que les ministères effectuent des évaluations de programme. Les administrateurs généraux sont responsables de la planification, de l'exécution et de la communication des évaluations. En confiant cette responsabilité aux administrateurs généraux, le Conseil du Trésor espérait que les cadres supérieurs seraient à la fois les destinataires et les utilisateurs des résultats d'évaluation.

9.7 Selon la politique en matière d'évaluation de programme énoncée par le Conseil du Trésor en 1991, les ministères doivent établir une infrastructure d'évaluation et en confier la direction à un cadre supérieur indépendant de la hiérarchie fonctionnelle et à qui incombe la responsabilité de l'exécution des évaluations pour le ministère. Pour réaliser des évaluations de qualité, il faut un budget suffisant et des ressources professionnelles adéquates. Les décisions sur les ressources à consacrer à la fonction d'évaluation, sur les programmes à évaluer et sur les questions à examiner sont prises dans les ministères, sous la direction de l'administrateur général.

9.8 En plus d'élaborer la politique d'évaluation, le contrôleur général a publié les Normes d'évaluation de programmes dans les ministères et organismes fédéraux et offre d'autres conseils sur la marche à suivre pour mener une évaluation. Il publie des bulletins ainsi que des documents à l'occasion sur les nouvelles méthodes et pratiques d'évaluation.

9.9 En 1978 et en 1983, notre Bureau a fait des examens de portée générale de l'évaluation de programme. En 1978, nous avons constaté qu'à quelques exceptions près, la qualité des initiatives d'évaluation laissait à désirer. En 1983, nous avons remarqué de nets progrès au sein des ministères en vue de la mise en place d'une infrastructure et d'une capacité d'évaluation. Bien qu'ils reconnaissaient l'utilité des évaluations, les administrateurs généraux avaient l'impression qu'il était trop tôt pour en évaluer l'efficacité par rapport au coût.

9.10 Notre vérification de 1983 nous a permis de mettre en lumière un certain nombre d'aspects à améliorer. Nous avons remarqué qu'au départ, le gouvernement encourageait l'utilisation des résultats d'évaluation dans les activités courantes de gestion de programme pour aider les gestionnaires à se familiariser avec cette discipline et accroître la crédibilité de ce genre d'évaluation. Dans son commentaire, le gouvernement a confirmé son intention d'assurer la préparation de données pertinentes et fiables sur le rendement et l'efficacité des programmes par rapport au coût. L'approche choisie pour y arriver serait d'intégrer l'évaluation de programme à de meilleures pratiques de gestion dans chaque ministère.

Objectifs et étendue de la vérification

• l'infrastructure de l'évaluation : les ressources et l'organisation propres à l'évaluation de programme;
• les produits des services d'évaluation : l'étendue et la qualité des évaluations;
• l'utilisation des évaluations et les économies qui en découlent;
• la gestion des services d'évaluation de programme.

9.13 Nous avons communiqué avec chaque service d'évaluation visé par l'enquête afin de confirmer et de compléter l'information obtenue du Bureau du contrôleur général. Ensuite, nous avons constitué une importante base de données, qui sert de fondement à nos observations et à nos conclusions. On y trouve des renseignements sur 42 services responsables de l'évaluation de la plupart des dépenses de programmes et des mesures fiscales du gouvernement.

9.14 Aux fins de notre vérification, nous avons :

• interrogé la direction des services d'évaluation sur la structure, le rôle, la planification et la gestion de l'évaluation de programme;
• obtenu des documents afin de confirmer les données que le Bureau du contrôleur général nous avait fournies sur les ressources affectées à l'évaluation de programme, l'utilisation des résultats de ces études et les économies qui en découlent;
• examiné les rapports d'évaluation terminés entre le 1er avril 1985 et le 31 mars 1992 afin d'apprécier l'étendue des études et la présentation des rapports;
• recueilli d'autres renseignements sur la structure et les dépenses en matière d'évaluation de programme dans les ministères concernés.

9.16 Notre vérification de 1983 portait sur l'organisation et la gestion des services d'évaluation de programme ainsi que sur la planification, l'exécution, la communication et l'utilisation des évaluations dans 19 ministères. Nous avons comparé, pour ces 19 ministères, les données recueillies en 1983 avec celles de cette année afin d'apprécier l'évolution de la fonction d'évaluation au fil des ans.

Observations

Infrastructure de l'évaluation

9.18 La plupart des gestionnaires responsables de l'évaluation relèvent des directeurs généraux ou des sous-ministres adjoints qui sont aussi responsables de la vérification interne ou d'une autre fonction de gestion, comme la planification générale.

9.19 De plus en plus, l'on assure la gestion de l'évaluation de programme de concert avec la gestion de la vérification interne. En général, un directeur général est aux commandes d'une division de vérification et d'évaluation qui se compose de deux services distincts : un pour chacune des fonctions. C'est le cas notamment au ministère de l'Agriculture (voir la pièce 9.1 ). Depuis 1989-1990, près de la moitié des services d'évaluation de programme ont opté pour une structure de ce genre.

9.20 Même si les deux fonctions sont souvent gérées de concert, les travaux demeurent distincts. Les deux services obéissent à des normes et à des politiques du Conseil du Trésor qui leur sont propres. (Pour des précisions sur la vérification interne, voir le chapitre 7.) Les services de vérification interne et ceux chargés de l'évaluation de programme ne mènent ensemble que quelques études.

9.21 Conformément à la politique du Conseil du Trésor, les gestionnaires responsables de l'évaluation de programme sont indépendants des centres de responsabilité des programmes et relèvent de l'administrateur général, souvent par l'intermédiaire de cadres supérieurs ayant d'autres responsabilités administratives.

9.22 Le ministère des Finances a mis en place une structure organisationnelle où la gestion de l'évaluation est indépendante de la fonction d'élaboration des politiques, mais où les évaluateurs peuvent provenir du secteur des politiques. Le Ministère a entrepris cette réorganisation en vue de déployer ses ressources de la manière la plus efficiente et la plus efficace possible.

9.23 De tous les grands ministères, le ministère des Finances était le seul, en 1983, à ne pas avoir de service d'évaluation. La Division de l'évaluation des mesures fiscales a été créée en 1987 pour répondre aux préoccupations que le Comité permanent des comptes publics de la Chambre des communes et notre Bureau avaient exprimées sur la nécessité d'obtenir de l'information sur l'efficacité des dépenses fiscales. En 1991, lorsque le Ministère a annoncé sa nouvelle façon d'envisager l'évaluation, certains ont eu peur qu'il ne maintienne pas sa capacité d'évaluer les mesures fiscales.

9.24 Toutefois, nous avons constaté que le Ministère a maintenu sa capacité même s'il consacre moins de ressources à l'évaluation des mesures fiscales et a davantage recours à la sous-traitance. Le Ministère a confirmé sa volonté d'évaluer systématiquement les mesures fiscales. Comme la nouvelle structure organisationnelle est en place depuis peu, nos conclusions sur l'efficacité de cette structure sont préliminaires. Le Comité des comptes publics et notre Bureau suivent ce dossier de près.

Diminution des ressources affectées à l'évaluation de programme

9.26 En général, il y a eu diminution des ressources affectées à l'évaluation de programme. En utilisant comme base d'analyse les données obtenues à l'occasion de la vérification des 19 ministères en 1983, la réduction initiale des ressources internes a été compensée par l'augmentation des ressources contractuelles. Or, par la suite, il y a eu diminution des crédits prévus pour les marchés publics.

9.27 De 1989-1990 à 1991-1992, les dépenses au titre des marchés d'évaluation de programme ont diminué de 28 p. 100 dans l'ensemble des ministères. Au cours de la même période, le niveau de l'effectif est demeuré le même (voir la pièce 9.2 ), mais les dépenses totales au titre des programmes n'ont pas diminué. Ainsi, la somme de travail est la même, mais la capacité d'en faire l'évaluation par des ressources contractuelles est à la baisse.

9.28 La capacité moindre pour exécuter des évaluations est attribuable au retranchement des ressources contractuelles ainsi qu'à l'évolution des connaissances requises des services d'évaluation depuis dix ans. En 1983, nous avons parlé de la nécessité d'avoir recours à des spécialistes compétents, qui connaissent bien les rouages du gouvernement et qui ont reçu une formation en évaluation. Nous avions décelé un certain nombre de services qui manquaient de ressources humaines versées dans l'évaluation de programme.

9.29 Dans les années 80, les gestionnaires responsables de l'évaluation de programme en sont venus à compter davantage sur les experts-conseils de l'extérieur que sur leur personnel pour les évaluations. Dans le groupe de ministères dont nous nous servons pour établir une comparaison avec notre vérification de 1983, le personnel interne affecté à l'évaluation de programme a diminué de 10 p. 100 de 1982-1983 à 1989-1990. Au cours de la même période, les dépenses au titre de la sous-traitance ont presque doublé, passant de 3,3 à 6,5 millions de dollars. De 1989-1990 à 1991-1992, par contre, il y a eu baisse des ressources contractuelles, sans pour autant entraîner une hausse des ressources internes. En 1991-1992, les niveaux de sous-traitance, pour les 19 ministères étudiés, se rapprochaient de ceux de 1982-1983 (voir la pièce 9.3 ). C'est au cours des années 80 que les entreprises de sous-traitance ont été le plus sollicitées. Le contexte évolue : en effet, la gestion de marchés fait place à l'exécution d'évaluations à l'interne, et ce, avec moins de ressources humaines.

Les gestionnaires responsables de l'évaluation se préoccupent surtout d'appuyer la direction du ministère

9.31 Ces derniers considèrent que le rôle le plus important de l'évaluation consiste à aider la direction à régler les problèmes opérationnels et à améliorer les programmes. Ils considèrent nettement moins prioritaire le rôle de l'évaluation, tant pour remettre en question les programmes en cours afin d'étayer les décisions sur l'affectation des ressources que pour examiner d'importants éléments de programme dans le but de rendre compte au Parlement.

9.32 Parallèlement à leur désir d'aider les gestionnaires de programmes, nombre de gestionnaires responsables de l'évaluation considéraient que des activités autres que les travaux d'évaluation contribuaient grandement à établir la crédibilité de la fonction et à favoriser l'utilisation des résultats d'évaluation. La contribution des évaluateurs peut être fort utile aux autres processus de gestion du ministère. En raison des contraintes en matière de ressources d'évaluation, nous avons demandé aux gestionnaires responsables de l'évaluation d'estimer le montant de leurs ressources affectées à d'autres activités de gestion. Le quart d'entre eux avaient de la difficulté à faire la distinction entre ces deux genres d'activités et à documenter les efforts consacrés à d'autres travaux.

9.33 Les gestionnaires de 33 services d'évaluation ont indiqué que des ressources d'évaluation étaient parfois affectées à toutes sortes de travaux qui n'étaient pas axés sur la mesure de l'efficacité. Ces ressources devaient notamment faire l'examen de la gestion de programme et des opérations, participer à l'élaboration et à l'analyse des politiques et des programmes et fournir un soutien technique, comme des analyses statistiques.

9.34 En 1991-1992, moins de 10 p. 100 des dépenses totales au titre de l'évaluation de programme ont servi à des travaux d'une autre nature. L'estimation tient compte des ministères où les ressources d'évaluation étaient combinées avec les ressources affectées à d'autres fonctions, comme la vérification et l'examen général. Il s'agit d'une moyenne qui ne devrait pas susciter d'inquiétude, mais, dans certains cas, le tiers des ressources servent à d'autres genres de travaux, diminuant ainsi de beaucoup le nombre d'évaluations pouvant être réalisées.

Les ministères ne font pas tous une planification systématique

9.36 L'évaluation de programme doit porter sur les questions prioritaires et viser une contribution maximale. Les plans d'évaluation sont essentiels, car ils permettent d'affecter de maigres ressources à nombre d'éventuels projets d'évaluation pouvant s'échelonner sur deux ans.

9.37 Dans le cas des 11 grandes activités de programme dont nous avons examiné la mesure de l'efficacité (voir le chapitre 8, paragraphe 8.12), nous avons constaté que les ministères n'analysent pas toujours systématiquement l'ensemble de leurs programmes pour choisir ceux qui se prêteraient le mieux à une mesure de l'efficacité. Au moment de la planification, on peut avoir à tenir compte des activités impliquant d'importantes sommes d'argent (dépenses, recettes ou dépenses fiscales), des demandes du Parlement et du Cabinet ou des principales initiatives en matière de politiques et de programmes.

9.38 Le premier plan d'évaluation triennal du ministère des Finances fournit l'exemple d'une tentative raisonnable de planification systématique. Même si le deuxième plan triennal n'était pas caractérisé par autant de rigueur, le Ministère a réaffirmé ensuite sa volonté d'évaluer systématiquement les mesures fiscales. Le Ministère communique ses plans au Comité des comptes publics et y a apporté des changements à la demande de ce dernier.

9.39 Dans son premier plan, le ministère des Finances a dressé la liste des principales composantes de programme et, pour arrêter son choix, en a fait l'analyse systématique selon sept critères (voir la pièce 9.4 ). Ainsi, le Ministère a pu établir un processus de planification qui lui permettait de tenir compte de diverses considérations au moment de répartir ses maigres ressources d'évaluation entre les programmes. L'application de critères de ce genre peut fournir une analyse des risques auxquels on s'expose à ne pas évaluer certains programmes.

9.40 Trois des autres ministères examinés (Défense nationale, Emploi et Immigration ainsi que Santé nationale et Bien-être social) ont aussi élaboré leur propres critères pour choisir les composantes de programme à évaluer ou pour établir les calendriers d'évaluation.

9.41 Un certain nombre de ministères pourraient améliorer leurs méthodes de planification afin d'affecter leurs modestes ressources d'évaluation aux secteurs les plus pressants. Même si les facteurs servant à établir les priorités varient d'un ministère à l'autre, en spécifiant les éléments sur lesquels on se fonde pour déterminer les secteurs à évaluer, les choix et les priorités deviennent clairs.

9.42 Les décisions relatives aux secteurs à évaluer et à la nature des évaluations à réaliser relèvent de chaque ministère, sous la gouverne de l'administrateur général, avec peu de direction provenant des organismes centraux. Tout changement important apporté au fonctionnement de la fonction d'évaluation ne peut se faire sans l'appui de l'administrateur général. Quant aux évaluateurs et aux gestionnaires responsables de l'évaluation, ils sont chargés de donner suite aux plans et de faire les évaluations.

Les extrants de l'évaluation

Le nombre d'évaluations de programme diminue

9.44 Il y a une grande diversité de rapports d'évaluation, tant pour ce qui est de la complexité des questions abordées que des méthodes utilisées. Souvent, ils sont rédigés dans un langage trop technique pour être facilement compris par le lecteur moyen. Comme mesure de rendement, le nombre de rapports produits ne tient pas compte des différences au niveau du contenu ou de la qualité. Il indique plutôt le nombre d'extrants primaires provenant de ressources de plus en plus limitées. Même si les autres produits de l'évaluation augmentent, il est important de maintenir la production de rapports, car ce sont eux qui permettent de constater que des évaluations ont été faites et d'en communiquer les résultats. Nous avons demandé aux gestionnaires responsables de l'évaluation de nous montrer les études qu'ils avaient réalisées et nous avons fondé nos estimations sur l'ensemble des études qui nous ont été remises dans le cours de notre vérification.

9.45 Le nombre d'évaluations de programme effectuées chaque année est à la baisse depuis 1987-1988, tout comme les ressources contractuelles. Cette année-là, les services d'évaluation ont produit 99 rapports, comparativement à 80 en 1991-1992 (voir la pièce 9.5 ).

Les évaluations ne couvrent qu'une faible partie des dépenses de programme

9.47 Selon la politique révisée, il faut envisager l'évaluation de tous les programmes, mais il faut y donner suite seulement lorsque celle-ci s'avère pertinente et efficace par rapport au coût. Des exigences en matière d'évaluation découlent des décisions du Conseil du Trésor, du protocole d'entente relatif à l'Accroissement des pouvoirs et des responsabilités ministériels conclu avec le Conseil du Trésor et d'autres politiques, tel que le Plan d'action en matière de réglementation, comme l'indique le chapitre 8. Aux termes de ce dernier, par exemple, tous les programmes de réglementation doivent être évalués tous les sept ans.

9.48 Nous avons constaté, en nous fondant sur les données de 1991-1992, que les évaluations effectuées sur une période de sept ans portaient sur environ 24 p. 100 des dépenses de programme du gouvernement. Si on tient compte également des dépenses au titre du service de la dette, les évaluations portaient sur seulement 18 p. 100 des dépenses en sept ans. Le calcul de la portée des évaluations peut être fait de différentes façons. Nos calculs reposent sur les meilleures estimations, telles qu'elles ont été approuvées par les gestionnaires, des dépenses évaluées par rapport aux dépenses budgétaires signalées dans les Comptes publics .

9.49 Pour voir de quelle façon les ministères avaient donné suite aux exigences générales de la politique de réglementation de 1986, nous avons voulu déterminer quelle proportion des activités de réglementation avaient été évaluées. D'après nos estimations, 53 p. 100 des dépenses engagées au titre des programmes de réglementation ont été évaluées en sept ans. Même si cette proportion est supérieure à celle obtenue pour l'ensemble des dépenses de programme, soit de 18 à 24 p. 100, elle est loin de satisfaire à l'exigence que tous les programmes de réglementation soient évalués. La politique de réglementation du Conseil du Trésor, révisée en 1992, énonce de nouveau qu'il faut déterminer l'efficacité des programmes de réglementation, mais elle est moins précise quant au pourcentage des programmes à évaluer.

9.50 Les évaluations ont porté sur une part comparativement peu élevée des dépenses publiques. La portée de l'évaluation dans d'autres secteurs importants, comme les programmes de réglementation, ne répondait pas aux exigences de la politique. Au lieu de se tourner vers l'évaluation de programme, le gouvernement a souvent opté pour d'autres mécanismes d'examen, comme les études spéciales, les examens de la réglementation ou les commissions royales. Ces mécanismes poursuivent souvent des objectifs autres que celui de mesurer l'efficacité d'un programme ou d'une politique, comme l'indique le chapitre 13 sur la mise en oeuvre de l'examen des politiques de l'agro-alimentaire.

Les évaluations portent sur des éléments d'activités ou de programmes publics de plus faible envergure

9.52 Les programmes du gouvernement sont divisés en activités et en sous-activités aux fins de la planification, de la budgétisation et de la reddition des comptes. Cette même structure d'activité est reproduite, de manière globale, dans le Budget des dépenses présenté au Parlement et dans les rapports redditionnels de la Partie III qui l'accompagne. En règle générale, la sous-activité est le plus petit élément de programme dont font état les rapports.

9.53 Les résultats de l'évaluation de programme pourraient servir à l'examen du Budget des dépenses par le Parlement. Idéalement, il faudrait toutefois pouvoir établir un rapport entre ces résultats et les unités redditionnelles au sein de la structure d'activité. Sur les 610 évaluations effectuées de 1985-1986 à 1991-1992, 533 portaient sur une partie de la structure d'activité. Les autres évaluations portaient sur les activités ministérielles ou sur d'autres questions qui ne pouvaient pas être rattachées à une partie de la structure d'activité, comme, par exemple, l'évaluation de dispositions législatives. D'après nos constatations, 75 p. 100 des évaluations portaient sur des éléments de programme de niveau nettement inférieur à la sous-activité. Ainsi, les conclusions de ces études bien spécifiques seraient de peu d'utilité aux fins de l'obligation de rendre compte en général des activités au Parlement.

9.54 Même lorsque les évaluations portent sur toutes les sous-divisions d'une activité, elles ne donnent pas toujours un aperçu de l'ensemble du programme, comme l'illustrent à la pièce 9.6 les évaluations des activités liées à l'emploi au ministère de l'Emploi et de l'Immigration. Les évaluations de ce genre répondent aux besoins de la direction du ministère, mais non à l'intérêt que le Parlement porte à l'efficacité globale du programme. Les évaluations de programme qui sont effectuées au niveau de la sous-activité ou à un niveau inférieur ne fournissent qu'une évaluation partielle de l'efficacité de l'activité totale.

9.55 Les dépenses d'un programme sont également représentatives de son importance. D'après nos constatations, les programmes et les activités exigeant des dépenses considérables sont évalués moins souvent que ceux nécessitant de plus faibles dépenses. On évalue deux fois moins les programmes dont les dépenses s'élèvent à plus de 250 millions de dollars que ceux dont les dépenses sont inférieures à 250 millions (voir la pièce 9.7 ). Pourtant, les programmes qui donnent lieu à des dépenses de plus de 250 millions comptent pour 78 p. 100 du total des dépenses de programme de l'administration fédérale. Ainsi centrée sur les plus petites dépenses de programme, l'évaluation de programme ne permet pas de mesurer l'efficacité de la majeure partie des dépenses publiques.

Les évaluations de programme portent surtout sur des questions d'efficacité opérationnelle

• la pertinence (autrefois, la raison d'être du programme) : est-ce que le programme répond à un besoin?
• la performance (autrefois, les répercussions et les effets du programme ainsi que la réalisation des objectifs) : Quels résultats le programme a-t-il donnés? Est-ce que le programme a donné les résultats escomptés?
• l'efficacité par rapport au coût (autrefois, les solutions de rechange) : Existe-t-il de meilleures façons d'obtenir les résultats?

9.58 Nous avons examiné tous les rapports d'évaluation terminés de 1985-1986 à 1991-1992 afin de déterminer si on y traitait de questions opérationnelles et quelles questions de base y avaient été évaluées. Au nombre des questions opérationnelles, citons le caractère acceptable et l'efficience des activités de programme au jour le jour plutôt que les résultats comme tel.

9.59 Les questions opérationnelles constituent un thème important des évaluations de programme. D'après nos constatations, plus des trois quarts des évaluations abordaient des questions opérationnelles.

Les évaluations n'abordent pas en général les questions de pertinence et d'efficacité des programmes par rapport au coût

9.61 Nous avons identifié les questions qui sous-tendaient le mandat propre à chaque évaluation ou qui semblaient être signalées dans les conclusions ou les recommandations de l'évaluation.

9.62 Depuis 1983, on accorde moins d'attention à la pertinence des programmes. Les trois quarts des évaluations examinées en 1983 portaient sur la pertinence des programmes, alors que les mêmes ministères n'ont abordé cette question que dans le cadre de la moitié des évaluations réalisées de 1985-1986 à 1991-1992. Cette tendance s'explique par le fait que l'accent porte sur les questions opérationnelles et non plus sur la remise en question de l'efficacité des politiques.

9.63 Dans l'ensemble, des trois questions de base, celle de la performance était abordée le plus souvent dans les évaluations. Près de 80 p. 100 des évaluations examinent dans une certaine mesure cette question. Environ la moitié visent à déterminer s'il existe des solutions de rechange plus efficaces par rapport au coût et un peu plus de 50 p. 100 cherchent à préciser si le programme est toujours pertinent (voir la pièce 9.8 ). Par rapport à 1983, les évaluations servent encore moins aujourd'hui à remettre en cause l'orientation future des programmes et elles ont surtout pour objet d'examiner le rendement passé.

L'utilisation des évaluations

Les résultats des évaluations ont surtout rapport à l'efficacité opérationnelle des programmes

• de la reddition des comptes, en examinant les questions de rendement du programme;
• des décisions relatives aux programmes et aux lignes de conduite, en examinant les questions de pertinence continue et d'efficacité par rapport au coût; ou
• de l'efficacité opérationnelle, en examinant les questions liées à l'exécution des programmes, comme la qualité du service à la clientèle et leur appréciation des programmes.

9.66 Selon nos constatations, les évaluations constituent rarement une source importante d'information à l'appui des décisions en matière de programmes et de lignes de conduite pour ce qui est de la pertinence continue et de l'efficacité par rapport au coût. Les évaluations sont plus susceptibles de fournir l'information nécessaire à la reddition des comptes, mais souvent, celle-ci est incomplète.

9.67 L'information la plus complète a trait à l'efficacité opérationnelle, c'est-à-dire au fonctionnement du programme. Cette information utile à l'administration des programmes appuie en outre les initiatives gouvernementales visant à réduire la paperasserie et à rationaliser les règlements. Elle peut aussi contribuer à réorienter la gestion au jour le jour des programmes de manière à obtenir des résultats. L'évaluation du programme de la Loi sur les mesures spéciales d'importation montre l'utilité de ce genre d'évaluation. Pourtant, les effets et les répercussions du programme n'ont pas été mesurés (voir la pièce 9.9 ).

Il est souvent impossible de démontrer qu'il y a eu utilisation de l'évaluation

9.69 Nous avons examiné 168 évaluations qui, selon l'enquête du contrôleur général en janvier 1992 ou selon les ministères interrogés lors de notre examen, ont été utilisées.

9.70 Nous avons demandé aux ministères de nous fournir des preuves documentaires à l'appui de l'utilisation première des évaluations. Nous avons aussi cherché à confirmer que les évaluations avaient contribué à l'abandon, à la réforme, à la modification ou à une meilleure compréhension du programme. Les ministères ont parfois eu de la difficulté à nous fournir les preuves demandées selon les normes et dans les délais fixés pour la vérification. La pièce 9.10 énumère les critères dont nous nous sommes servis pour déterminer l'utilisation. Certains documents nous ont été fournis jusqu'à onze mois après la demande initiale.

9.71 La vérification de l'exigence de fournir des preuves à l'appui de l'utilisation des évaluations nous a permis de confirmer l'utilisation de 53 p. 100 des évaluations, telle qu'identifiée par les ministères ou le personnel du contrôleur général. Ce pourcentage représente une sous-estimation de l'utilisation d'ensemble, car nous n'avons pas cherché confirmation des utilisations autres que celles qui avaient été mentionnées par le contrôleur général ou par les ministères. Nous n'avons pas non plus été en mesure de tenir compte du fait qu'il se produit des échanges d'information officieux au cours du processus d'évaluation ni du fait que les évaluateurs peuvent contribuer aux décisions administratives après la fin d'une évaluation officielle. Néanmoins, lorsqu'une si grande partie des éléments positifs d'une évaluation semble faire l'objet d'échanges officieux, il est difficile de vraiment savoir dans quelle mesure les évaluations servent à informer les personnes de l'extérieur des ministères.

Lorsqu'elles sont utilisées, les évaluations contribuent le plus souvent aux décisions opérationnelles ou à une meilleure compréhension des programmes

9.73 Dans 23 p. 100 des cas examinés, nous avons obtenu des documents confirmant que les ministères avaient utilisé les résultats de l'évaluation pour favoriser une meilleure compréhension des programmes soit en les publiant dans la Partie III du Budget des dépenses ou soit par le biais d'un autre mécanisme. Ces évaluations n'ont donné lieu à aucun changement précis dans les programmes. Elles ont toutefois permis aux gestionnaires hiérarchiques et aux clients de mieux comprendre le programme et sa raison d'être et elles ont fourni une meilleure information aux fins des rapports sur le rendement des programmes. Nous n'avons pas essayé de voir si d'autres avantages découlaient d'une meilleure compréhension des programmes.

9.74 Les ministères ont confirmé qu'une plus faible part des évaluations que nous avons examinées ont conduit à des réformes en profondeur qui, à leur tour, ont donné lieu à d'importants changements dans l'exécution du programme. Ces changements, manifestes pour les clients, représentaient une réorientation du programme. Peu d'évaluations avaient entraîné l'abandon d'un programme.

Plus les cadres supérieurs sont engagés dans le processus, plus les résultats d'évaluation sont utilisés

9.76 Un ministère qui planifie à long terme peut prévoir les évaluations à réaliser et faire des choix stratégiques quant à l'orientation et au calendrier des travaux. S'il adopte de bonnes procédures de suivi, il peut voir à ce que les décisions prises par l'administrateur général à la suite de l'évaluation se traduisent par des mesures appropriées. L'utilisation des évaluations est plus susceptible d'être étayée s'il existe un plan d'évaluation pluriannuel (voir la pièce 9.12 ).

9.77 De plus, d'après certaines indications, l'utilisation des évaluations est plus susceptible d'être étayée au sein des ministères où un comité de gestion supérieur, comme un comité de vérification et d'évaluation ou un comité de direction, assure le suivi de la mise en oeuvre des constatations de l'évaluation. Tous les ministères sont dotés de procédures de suivi. Toutefois, dans 14 ministères, le suivi n'est pas assuré par un comité de cadres supérieurs. Les processus de suivi auxquels participe un comité de cadres supérieurs, tel qu'un comité d'évaluation ou de vérification, permettent de boucler la boucle, car ce sont aussi les cadres supérieurs qui sont responsables de l'approbation des plans d'évaluation. Plus l'évaluation de programme est intégrée aux processus de la haute gestion d'un ministère, plus il est possible d'étayer l'utilisation des évaluations.

Économies découlant de l'utilisation des évaluations

Les quelques économies découlant des évaluations confirment leur potentiel

9.80 Notre vérification de la mesure de l'efficacité de 11 programmes gouvernementaux a aussi permis de déceler une forme d'économies dont le contrôleur général n'avait pas parlé. En 1990, le ministère des Finances a évalué les incidences du Crédit d'impôt à l'investissement au Cap-Breton. Les résultats de cette évaluation ont contribué à la décision de ne pas renouveler cette mesure qui, alors qu'elle était en vigueur, s'était traduite par un manque à gagner de plus de 500 millions de dollars au titre des recettes fiscales.

La gestion des services d'évaluation de programme

Il y a lieu d'améliorer la qualité des évaluations

9.82 On attend de l'évaluateur qu'il élabore et applique des méthodes d'évaluation adaptées aux questions visées par l'étude. Dans ces circonstances, il est à même d'étayer ses conclusions de constatations valides et fiables. Un manque de constance dans la fiabilité des renseignements diminue la confiance qu'on accorde à l'utilité de l'évaluation.

9.83 Les décisions qui ont une incidence sur la qualité de chaque évaluation sont prises dans les ministères. Il est de plus en plus admis que le moyen le plus efficace d'obtenir la qualité au meilleur coût possible est de l'incorporer dans le produit dès le départ et non pas de compter sur l'assurance de la qualité après coup. Selon nos constatations, on n'a pas accordé suffisamment d'attention à l'intégration de la qualité dans les produits d'évaluation.

9.84 Par ailleurs, les lignes directrices du Conseil du Trésor rendent le contrôleur général responsable de l'évaluation de la qualité de l'ensemble de la fonction d'évaluation. Les membres de son personnel sont tenus d'évaluer, à la lumière des normes prescrites, la qualité des évaluations clés et des pratiques d'évaluation dans les ministères. À cet égard, nous avons constaté que le contrôleur général n'avait pas clairement défini et signalé les difficultés liées au respect des normes de qualité.

9.85 Les membres du personnel du Bureau du contrôleur général n'ont pas évalué la qualité des évaluations clés à la lumière des normes prescrites. Ils ont plutôt préparé des résumés qui ont constitué une source d'information pour les agents de liaison chargés de l'évaluation des ministères et pour la mise à jour de leur base de données sur la fonction d'évaluation de programme. Le personnel du Bureau du contrôleur général croit pouvoir fournir régulièrement une information sur la qualité de l'évaluation en raison de sa participation aux activités des comités de direction et de consultation chargés des évaluations clés. Étant donné les difficultés qui ont marqué de nombreuses évaluations, nous sommes d'avis que le personnel du Bureau du contrôleur général devrait procéder de manière plus systématique en matière d'assurance de la qualité, comme il est décrit au chapitre 10. Cette façon de faire serait conforme aux exigences de la politique.

Il est nécessaire d'améliorer les pratiques de gestion

9.87 Comme les ressources d'évaluation sont limitées, seul un certain nombre d'évaluations peuvent être exécutées. Dans le cadre des autres activités de planification de la stratégie et du rendement, il faut établir des critères pour la sélection des sujets à évaluer et des secteurs à examiner. Si les services ministériels veulent contribuer aux initiatives de portée générale, ils doivent, au moment d'élaborer des plans d'évaluation, accorder une plus grande attention aux programmes comportant des dépenses élevées et aux éléments de programme plus importants. Dans le cadre de la planification ministérielle, il faut faire le lien entre les exigences stratégiques du gouvernement et les intérêts des gestionnaires responsables de l'évaluation. Il faudrait choisir les programmes à évaluer de manière à ce que les évaluations ajoutent de la valeur à l'efficacité du ministère et à celle de l'ensemble du gouvernement.

9.88 Au moment de la planification, les administrateurs généraux devraient veiller à ce qu'on envisage d'évaluer toutes les activités et à ce que les critères de sélection des secteurs à évaluer soient clairement définis et mis en application. Ils devraient aussi voir à ce que les questions ministérielles les plus importantes et les secteurs prioritaires du gouvernement soient évalués en temps opportun.

9.89 Le contrôleur général a émis des conseils sur la façon d'intégrer les évaluations dans la prise de décisions aux échelons supérieurs. Comparativement à des lignes directrices, ces conseils sont autant de suggestions sur des pratiques passées qui se sont révélées avantageuses. En particulier, notre vérification souligne l'importance de l'engagement de la haute direction, notamment au chapitre de la planification systématique des évaluations sur une base pluriannuelle, de la surveillance de la mise en oeuvre des recommandations issues des évaluations et du suivi des mesures correctives. Des réunions régulières du comité de vérification et d'évaluation, placées sous la présidence de l'administrateur général, peuvent assurer l'évaluation des questions prioritaires et le suivi des constatations. Les ministères qui avaient adopté ces pratiques étaient mieux à même d'étayer une plus grande utilisation des évaluations.

9.90 Les administrateurs généraux devraient participer à l'approbation et à la surveillance de l'utilisation des plans d'évaluation pluriannuels, à la surveillance de la mise en oeuvre des recommandations issues des évaluations et au suivi des mesures correctives.

9.91 Il nous a été difficile de confirmer les utilisations et les économies déclarées pour les évaluations de programme. Dans nombre de cas, les gestionnaires responsables de l'évaluation de programme n'étaient pas en mesure de prouver clairement l'efficacité de leurs extrants. On ne peut pas s'attendre que la surveillance assurée par une unité centrale du Bureau du contrôleur général serve de substitut à cette responsabilité de gestion individuelle. Nous avons trouvé peu de méthodes d'évaluation systématiques susceptibles de fournir aux gestionnaires responsables de l'évaluation les éléments de base dont ils ont besoin pour évaluer le rendement de leurs services, tant pour améliorer la gestion que pour rendre compte de leurs propres responsabilités.

9.92 Les gestionnaires responsables de l'évaluation de programme devraient instaurer des mécanismes pour évaluer et démontrer objectivement la valeur découlant des efforts de leurs services.

9.93 Tous les utilisateurs des résultats d'évaluation veulent être assurés de pouvoir se fier aux constatations de l'évaluation. Il incombe donc aux gestionnaires responsables de l'évaluation de prendre les mesures nécessaires pour préparer des évaluations de qualité. Certains gestionnaires ont fait appel à des comités consultatifs, d'autres, à des experts-conseils dans le cadre d'un marché de sous-traitance et d'autres encore, aux examens effectués par leurs pairs. Le contrôleur général participe à l'assurance de la qualité pour un nombre limité d'évaluations clés, mais ce sont les gestionnaires responsables de l'évaluation qui, en définitive, doivent se porter garants de la qualité de leurs produits.

9.94 Les gestionnaires responsables de l'évaluation de programme devraient s'assurer qu'ils ont en place les processus de gestion nécessaires pour leur permettre d'offrir des produits d'évaluation de qualité.

9.95 L'infrastructure nécessaire à l'exécution des évaluations est en place depuis le début des années 80. La fonction d'évaluation évolue avec le temps. La capacité de produire des évaluations de qualité supérieure dépend, dans une large mesure, des compétences des évaluateurs professionnels, qu'ils fassent partie de l'effectif ou que l'on retienne les services de contractuels. Pendant une certaine période, on a confié les évaluations à des entrepreneurs de l'extérieur. De plus en plus, maintenant, on demandera aux employés de faire les évaluations eux-mêmes. Ce virage modifie sensiblement leurs responsabilités et soulève la question à savoir si les ministères disposent des compétences professionnelles requises à l'interne.

9.96 Les administrateurs généraux et les gestionnaires responsables de l'évaluation de programme devraient évaluer les compétences dont ils disposent à l'interne par rapport à celles dont ils ont besoin de façon à s'assurer qu'ils possèdent la capacité professionnelle requise. Ils devraient faire le nécessaire pour combler les lacunes décelées.

Conclusion

9.98 Les ressources affectées à l'évaluation de programme - tant internes que contractuelles - sont relativement peu nombreuses par rapport aux dépenses sur lesquelles portent les évaluations. De plus, ces ressources sont dispersées parmi l'ensemble des ministères. Les extrants qui découlent de l'investissement sont aussi comparativement modestes. Les services des ministères cherchent surtout à répondre aux besoins des administrateurs généraux et des cadres supérieurs. Le fonctionnement de ces services laisse à désirer dans certains cas. Même si quelques services solides produisent des évaluations de qualité qui appuient les intérêts de l'administrateur général, d'autres doivent s'améliorer.

9.99 L'actuelle fonction d'évaluation de programme repose sur les résultats des services d'évaluation des ministères. Pourtant, comme l'indique le chapitre 8, en répondant aux exigences ministérielles, les services d'évaluation n'ont pas bien tenu compte des intérêts d'autres parties. En axant leurs efforts sur les questions opérationnelles et les processus officieux, la contribution de l'évaluation dans les ministères n'a pas été assez importante pour empêcher l'érosion de la capacité d'évaluation au cours des sept dernières années.

9.100 Il y a des limites à ce que les ressources actuelles peuvent accomplir en modifiant la pratique de l'évaluation dans les ministères. Comme l'indique le chapitre 8, le défi consiste à répondre aux besoins des autres parties intéressées pour une meilleure information sur l'efficacité. Les services d'évaluation des ministères peuvent jouer un rôle important, mais il faudra alors y accorder une attention accrue et d'autres appuis, comme l'indique le chapitre 10.