Cette page Web a été archivée dans le Web.

1993 — Rapport du vérificateur général du Canada

Vérificateur général adjoint : Paul Ward
Vérificatrice responsable : Maria Barrados

Points saillants

Le système d'évaluation de programme : Les gages de succès

10.1 Le moment est décisif pour l'évaluation de programme. Malgré les succès enregistrés, cette discipline n'a pas progressé au point de devenir un système efficace dans l'ensemble du gouvernement. Un leadership consolidé et plus d'efforts sont nécessaires pour augmenter la qualité et la pertinence des évaluations, répondre aux demandes d'information provenant de l'extérieur des ministères et veiller à l'évolution de la culture de gestion en vue d'accroître l'accessibilité et l'utilisation d'informations globales sur l'efficacité.

10.2 Les composantes essentielles d'un système d'évaluation de programme sont en place, mais il y a lieu d'améliorer la portée, la pertinence et la fiabilité des évaluations.

10.3 L'efficacité du système d'évaluation repose sur un mécanisme officiel d'examen et d'appréciation, à l'externe, des principales évaluations menées à l'interne par les services ministériels, en vue d'assurer l'objectivité des résultats obtenus.

10.4 Si elles sont étroitement liées aux grandes décisions et initiatives du gouvernement en matière d'affectation des ressources, d'examen des politiques et des programmes et de reddition des comptes, les évaluations sont d'autant plus pertinentes et opportunes. Il importe de resserrer ces liens.

10.5 Il faut améliorer les fonctions de surveillance et d'assurance de la qualité qu'exerce le Bureau du contrôleur général. Il faut également mieux renseigner les parlementaires sur les résultats des évaluations.

10.6 Bien que le système d'évaluation de programme n'ait pas satisfait aux besoins généraux, les services d'évaluation ont répondu aux besoins des ministères et donné suite aux demandes précises provenant du Comité des comptes publics. Les gestionnaires responsables de l'évaluation ont également pris des mesures correctives à la suite de recommandations spécifiques issues des vérifications.

10.7 Si une réforme de l'actuel système ne permet pas d'en obtenir les résultats escomptés, le Parlement pourrait éventuellement envisager des mesures plus radicales pour obtenir en temps opportun des renseignements pertinents et fiables sur l'efficacité des programmes.

Introduction

10.8 L'évaluation de programme est à une étape critique de son évolution. Malgré les succès enregistrés, on n'a pas su dans l'ensemble tirer pleinement parti de cette discipline, notamment en réponse aux attentes autres que celle de la gestion opérationnelle au sein des ministères. De plus, en raison de la diminution des ressources affectées à l'évaluation, le gouvernement est de moins en moins apte à effectuer de telles études. Ces changements surviennent alors même que l'efficacité des dépenses courantes devient une question de premier plan, c'est-à-dire qu'on attache plus d'importance aux résultats obtenus dans la fonction publique et que la population demande de plus en plus au gouvernement de rendre compte de son rendement.

10.9 Nous avons précisé, au chapitre 9, certaines mesures à prendre pour améliorer le fonctionnement des services d'évaluation des ministères. Une telle action favoriserait grandement la bonne marche de certaines composantes du système d'évaluation de programme. Par contre, d'autres aspects du système global, qui sont déterminants de son efficacité, ne seraient pas touchés par ces mesures.

10.10 De récents examens du système d'évaluation de programme ont signalé l'importance de prendre des mesures correctives et mis en lumière certains facteurs pouvant grandement contribuer à la réussite du système. Pour ce faire, il est impératif de réorganiser le système de manière à fournir, en temps opportun, des renseignements pertinents et fiables à toutes les principales parties intéressées, comme il est décrit au chapitre 8.

10.11 En 1990, le Comité sénatorial permanent des finances nationales tenait des audiences auxquelles étaient conviés les principaux participants au système d'évaluation de programme du gouvernement du Canada. Il s'agissait, entre autres, des cadres supérieurs responsables de l'évaluation au sein des ministères, ainsi que des représentants du Secrétariat du Conseil du Trésor, du Bureau du contrôleur général et du Bureau du vérificateur général. Dans le rapport d'analyse du système d'évaluation actuel qu'il a déposé en janvier 1991, le Comité dénombrait un certain nombre de facteurs déterminants du succès de l'évaluation.

10.12 Le Comité se souciait de l'objectivité de l'évaluation, notamment à titre de source fiable d'information à l'usage des ministres. Il reconnaissait toutefois la nécessité d'en arriver à un compromis entre, d'une part, l'objectivité et l'impartialité pouvant caractériser les évaluateurs de l'extérieur du ministère et, d'autre part, la connaissance des dossiers et l'accès à l'information propres au personnel du ministère. De plus, dans un domaine comme l'évaluation de programme, il jugeait nécessaire de parvenir à un juste équilibre entre la volonté de décentraliser les pouvoirs et le besoin d'exercer un contrôle central. Le Comité croyait que, en toute logique, l'évaluation de programme pouvait servir à l'appréciation des programmes du gouvernement en établissant un ordre de priorité, de sorte que les éléments de programme les moins prioritaires puissent être supprimés en fonction des impératifs du budget.

10.13 Dans un rapport publié en janvier 1993, le Sous-comité de la réglementation et de la compétitivité du Comité permanent des finances de la Chambre des communes soutenait que l'évaluation de programme, effectuée conformément à la politique du Conseil du Trésor en la matière, constituait principalement une aide à la haute direction des ministères. Les évaluations n'étaient pas envisagées comme des moyens permettant aux intéressés de «l'extérieur» (soit le Parlement ou le public) d'avoir un aperçu du rendement des programmes de réglementation en vue d'obtenir des comptes des autorités compétentes (notamment des ministres).

10.14 Le Comité permanent des finances était d'avis que l'évaluation systématique des programmes était indispensable pour améliorer la reddition des comptes et favoriser la prise de décisions plus judicieuses dans le domaine de la réglementation. Il croyait également, par contre, qu'il était essentiel de soumettre les rapports d'évaluation à un examen ou à une vérification externes, entre autres, par la publication des rapports d'évaluation à l'intention du public, la vérification de rapports d'évaluation choisis ou l'examen parlementaire général.

10.15 Dans l'étude qu'il a réalisée, à la demande de notre Bureau, sur la réforme de l'administration fédérale de 1962 à 1991, A.W. Johnson faisait observer qu'il était généralement admis que les ministères s'acquittent de leur obligation redditionnelle envers le Parlement en se fondant, en partie, sur l'évaluation qu'ils faisaient eux-mêmes de l'efficacité de leurs programmes et sur les résultats de la vérification du vérificateur général au sujet de la qualité des évaluations ministérielles. La réussite de cette formule serait tributaire de la capacité technique à résoudre des problèmes d'analyse complexes; de la possibilité d'effectuer des évaluations objectives et impartiales de questions délicates sur le plan politique; et du degré d'acceptation des ministres que l'on rende publiques des critiques à l'adresse de leurs programmes. M. Johnson a conclu que le régime d'évaluation n'avait pas réussi à relever ces défis.

10.16 Dans le contexte plus large du Parlement et du gouvernement, l'évaluation de programme est assujettie à d'éventuelles contraintes qui, souvent, sont inhérentes à notre régime de gouvernement et imposent des limites au changement. Ces limites circonscrivent néanmoins les intérêts des parties intéressées ainsi qu'un certain nombre de possibilités en vue de l'amélioration du système actuel.

Étendue de la vérification et méthode de vérification

10.17 Les objectifs généraux de notre vérification de l'évaluation de programme à l'échelle du gouvernement sont énoncés au chapitre 8, paragraphe 8.11. Dans le cadre de cette vérification de portée générale dont il est fait état aux chapitres 8, 9 et 10, nous nous sommes penchés sur d'autres études, notamment de récents examens parlementaires, de même que sur l'expérience de l'évaluation de programme dans d'autres pays. Cette analyse visait à relever, à la lueur des constatations faites au cours de l'examen, des méthodes qui ont été proposées ou mises à l'essai à l'étranger pour évaluer plus efficacement les programmes de l'État.

10.18 Nous voulions, tout particulièrement, recenser des pratiques et des méthodes à mettre à profit en vue d'accroître l'objectivité, la pertinence, l'opportunité et l'utilisation des évaluations. Les pratiques et les méthodes retenues devaient toutefois être applicables et utiles dans un milieu caractérisé par les compressions budgétaires, permettre de pousser plus loin l'expérience acquise et être compatibles avec l'infrastructure existante.

Observations

Des qualités à faire valoir

Un système établi
10.19 Les composantes essentielles d'un système d'évaluation de programme sont en place. Comme il est dit au chapitre 9, paragraphe 9.17, les ministères ont établi des services d'évaluation. L'autorité centrale en la matière relève du secrétaire du Conseil du Trésor et du contrôleur général. Pour sa part, le vérificateur général offre un service d'évaluation externe des systèmes et des méthodes de mesure de l'efficacité des programmes, là où il est convenable et raisonnable de le faire.

Des normes en vigueur
10.20 Le gouvernement a publié une série de normes régissant l'évaluation de programme dans les ministères et organismes, à l'appui de la politique en la matière. Aux termes de cette politique, l'évaluation de programme doit produire des «renseignements objectifs, dignes de crédibilité et pertinents».

10.21 Il incombe aux administrateurs généraux et aux gestionnaires responsables de l'évaluation de veiller à la conformité aux normes en vigueur. Entre autres, les ministères sont appelés à évaluer leurs programmes au moyen de techniques permettant d'obtenir des renseignements dignes de crédibilité et objectifs, à l'aide de méthodes valides et fiables de cueillette de données. Une évaluation est considérée objective si des tiers parviennent aux mêmes résultats en utilisant les mêmes données et méthodes d'analyse; pour être dignes de crédibilité, les résultats doivent normalement être étayés par plusieurs éléments probants. Comme il est exposé au chapitre 9, paragraphe 9.21, confier la responsabilité de la gestion «au jour le jour» de l'évaluation à des personnes autres que les cadres hiérarchiques est un autre gage d'objectivité.

L'évaluation de programme à l'étranger
10.22 Nous avons examiné les méthodes d'évaluation de programme d'autres pays. Bien que les structures et l'évolution des fonctions d'évaluation diffèrent d'un pays à l'autre, il s'agit d'un outil de plus en plus utilisé de par le monde. Les gouvernements y voient le moyen d'améliorer la gestion financière et la reddition des comptes. Dans le cadre de leur mandat, les bureaux de vérification législative font appel aux méthodes d'évaluation pour mesurer l'efficacité des dépenses de l'État. En outre, les institutions financières internationales y trouvent un moyen utile pour évaluer leur rendement.

10.23 Certains pays, s'ils s'intéressent à l'évaluation, s'occupent d'abord d'instaurer des méthodes et des systèmes sûrs de comptabilité financière, y compris, parfois, d'acquérir la capacité d'attribuer les dépenses aux programmes. Nous avons examiné en détail l'exercice de l'évaluation de programme dans trois pays où la pratique est bien établie, soit les États-Unis, l'Australie et le Royaume-Uni. Les pièces 10.1 , 10.2 , et 10.3 décrivent les systèmes en vigueur dans chacun de ces pays.

10.24 Notre objectif consistait à relever les pratiques et les méthodes de gestion adoptées par les gouvernements des pays précités afin d'accroître l'objectivité, la pertinence et l'opportunité des évaluations. Nous avons examiné également les mesures qui ont été prises pour modifier la culture et l'approche de l'évaluation en vue d'une plus grande acceptation et utilisation de cette discipline. Nous avons identifié diverses approches que nous avons comparées à celles expérimentées par le gouvernement canadien. Nous voulions ainsi présenter des suggestions qui permettraient de consolider le système fédéral d'évaluation de programme.

10.25 L'évaluation de programme est solidement établie aux États-Unis, où cette discipline vient appuyer les décisions d'ordre gouvernemental et législatif. Ce n'est que plus récemment que l'évaluation de programme a fait son apparition en Australie et au Royaume-Uni, où elle s'inscrit dans le cadre d'initiatives gouvernementales visant à améliorer la gestion financière. Les analystes ont identifié des secteurs à améliorer dans chaque système. De tous les pays dont nous avons examiné le système d'évaluation, c'est au Royaume-Uni que le cadre formel d'évaluation est le moins évolué, malgré l'intérêt que suscite cette discipline dans ce pays. Nos travaux ont mis à jour certains facteurs d'une grande importance, soit le recours à l'analyse de la qualité ou à l'examen externe, le rapport entre l'évaluation et la prise de décisions importantes, et un solide leadership.

L'examen externe pour renforcer les évaluations

10.26 De par sa conception, le système d'évaluation au Canada vise à répondre aux besoins de gestion ministériels et, comme il est montré aux chapitres 8 et 9, il répond surtout à ces besoins. Or, on s'attend néanmoins que les ministères transmettent les données sur le rendement recueillies par leur service d'évaluation au Secrétariat du Conseil du Trésor, aux comités du Cabinet et au Parlement. Est-il possible de satisfaire raisonnablement à ces attentes?

10.27 Une évaluation appelle invariablement des choix. Certains portent sur l'élément du programme ou de l'activité à évaluer ainsi que sur les questions à soulever, comme il est décrit aux chapitres 8 et 9. D'autres concernent certains aspects de l'évaluation d'une importance particulière, les tests précis, les stratégies de collecte de données et les méthodes d'analyse à utiliser, de même que l'interprétation et la présentation des observations.

10.28 Chacun de ces choix fait appel à un jugement professionnel et présente le risque de compromettre l'objectivité et la crédibilité. Nous considérons comme inquiétants les choix qui ont fait porter les évaluations surtout sur les questions de fonctionnement et les activités de moindre envergure. Ce genre d'évaluations est souvent considéré comme étant moins utile pour les parties intéressés à l'extérieur des ministères. Il s'ensuit souvent que les évaluations sont considérées comme «faites sur mesure» et que leurs résultats sont perçus comme étant «dilués». L'énigme consiste à savoir si un système d'évaluation conçu pour répondre aux besoins d'un ministère peut également satisfaire à des besoins externes. Quelle capacité d'évaluation externe viendrait compléter le système actuel, orienté vers l'intérieur?

Les diverses méthodes d'évaluation ou d'examen externes
10.29 Les trois pays qui ont retenu notre attention possèdent chacun une capacité donnée d'évaluation ou d'examen externes. À ce chapitre, les États-Unis sont les premiers au classement. L'impartialité est assurée par l'existence de deux services d'évaluation, l'un répondant aux besoins propres à l'exécutif, l'autre exerçant la même fonction au service du législatif. Le service exécutif effectue des évaluations au sein des départements et organismes.

10.30 Le General Accounting Office entreprend des évaluations à la demande du Congrès ou encore de son propre chef, et fait des observations sur la qualité des évaluations réalisées par l'exécutif. Il a également pour tâche de dresser des rapports sur l'état du système d'évaluation. Environ 80 p. 100 des travaux effectués par l'Office font suite à des demandes émanant du Congrès.

10.31 L'Australie, le Canada et le Royaume-Uni ne possèdent pas de mécanisme d'évaluation externe semblable à celui des États-Unis. En outre, ils n'ont pas confié à leurs vérificateurs législatifs un vaste mandat les habilitant à évaluer les programmes. Dans les trois pays, le rôle des vérificateurs législatifs se résume à offrir une certaine assurance de la bonne marche de la fonction d'évaluation. L'étendue et la nature des travaux effectués varient selon le mandat et les méthodes en vigueur pour vérifier l'optimisation des ressources. En Australie, par exemple, l'Auditor General a produit des rapports dont les recommandations visent à améliorer le fonctionnement du système d'évaluation de programme, ainsi que des rapports particuliers sur certains secteurs de portefeuilles.

10.32 En Australie comme au Canada, l'évaluation de programme est censée répondre non seulement aux besoins des ministères, mais également à ceux des organismes centraux et du Cabinet et donc à ceux du Parlement. À cette fin, les ministères (portefeuilles en Australie) sont responsables d'évaluer les programmes, et un organisme central assure certains services de coordination et d'examen. Les organismes centraux démontrent une certaine impartialité à l'égard des questions soulevées dans les ministères.

10.33 Ce partage des intérêts est indispensable afin que la direction des ministères comprenne clairement la nécessité d'assurer la crédibilité et l'objectivité de la fonction d'évaluation et l'appuie activement. L'Audit Office d'Australie en arrivait à la conclusion que, pour s'assurer que l'évaluation de programme contribue sensiblement à améliorer le rendement du secteur public, il est primordial que le ministère des Finances assume pleinement la fonction de surveillance, notamment suivre de près l'activité d'évaluation, en faire rapport et faire respecter le cadre d'évaluation en vigueur.

10.34 Une autre forme d'examen consiste en la publication de rapports destinés au public. Aux États-Unis, pratiquement tous les rapports d'évaluation sont du domaine public et ils sont souvent présentés directement au Congrès lorsque celui-ci en a fait la demande. Au Royaume-Uni, par contre, les résultats d'évaluation sont souvent réservés à l'usage interne du ministère, bien qu'ils soient publiés de plus en plus souvent, y compris sous forme de résumés dans les rapports annuels des ministères. En Australie, comme au Canada d'ailleurs, les ministères sont officiellement tenus de faire rapport et de rendre des comptes au public. En Australie, les rapports annuels des ministères et organismes ainsi que les énoncés des résultats de programme au sein des portefeuilles, déposés chaque année devant le Parlement, sont destinés à devenir d'importants véhicules d'informations sommaires sur l'évaluation de programme. De plus, il est normalement exigé que soit publié le rapport complet faisant suite à d'importantes évaluations de portefeuille.

La nécessité d'améliorer l'examen externe au sein du système d'évaluation du gouvernement du Canada
10.35 Comme nous le faisions remarquer au chapitre 9, il incombe au contrôleur général de veiller à la bonne marche et au rendement des activités d'évaluation des ministères en vue d'assurer la conformité aux exigences de la politique. Il est appelé à renseigner les administrateurs généraux sur la qualité de leurs méthodes d'évaluation et à rendre compte au président du Conseil du Trésor des résultats obtenus en matière d'évaluation à l'échelle du gouvernement. Nous avons constaté que le contrôleur général ne s'est acquitté qu'en partie de ces responsabilités.

10.36 Le contrôleur général n'a pas fait rapport de manière officielle aux administrateurs généraux ni au président du Conseil du Trésor. Il a plutôt soulevé avec eux des questions importantes dans des cas exceptionnels. À notre avis, cette façon de faire n'est pas apte à offrir l'assurance d'une évaluation objective et fiable par l'entremise d'un examen indépendant, mené à l'extérieur des ministères concernés.

10.37 Outre la responsabilité d'examiner la qualité des évaluations particulières, le contrôleur général est chargé d'apprécier le rendement global des activités d'évaluation des ministères. Cette appréciation s'inscrit dans le cadre du programme annuel d'évaluation de la gestion ministérielle administré par le Secrétariat du Conseil du Trésor. Exceptionnellement, les gestionnaires concernés ont reçu les résultats de ces appréciations. Là où le personnel du Bureau du contrôleur a indiqué à la direction des ministères des mesures à prendre, le personnel a assuré le suivi. Par conséquent, la portée des appréciations était sélective.

10.38 Pour redresser la situation, il importe de relever sans équivoque les lacunes. Les appréciations que nous avons examinées étaient de nature générale et très peu analytiques ou critiques. Pour 9 des 11 programmes dont nous avons examiné la mesure de l'efficacité, nous avons comparé notre évaluation du rendement des activités d'évaluation du ministère à celles qu'avait effectuées le contrôleur général. Nous avons constaté que celui-ci n'avait pas souligné clairement les secteurs importants où des améliorations s'imposaient et que nos travaux de vérification nous ont permis de relever.

10.39 Le Comité des comptes publics a passé en revue notre Rapport de 1978 et a recommandé à la Chambre que les résultats des évaluations de l'efficacité, sans exception, soient déposés devant la Chambre dans les 60 jours suivant la fin des travaux. Le gouvernement a répondu en affirmant son engagement à rendre publics les rapports d'évaluation de programme. En 1983, toutefois, un seul rapport d'évaluation de programme avait été déposé devant la Chambre.

10.40 Depuis lors, la Loi sur l'accès à l'information a été promulguée et la Partie III du Budget des dépenses a été instaurée. Malgré cela, le Comité sénatorial des finances nationales, dans le cadre de l'enquête sur l'évaluation de programme qu'il menait en 1990, qualifiait d'insuffisants les renseignements présentés sur les évaluations.

10.41 En 1991, le Comité jugeait que la liste des évaluations de programme communiquée au Comité des comptes publics laissait à désirer car elle n'offrait que des titres de documents et non pas de l'information sur des évaluations particulières. Dans le même ordre d'idées, le Comité concluait que le Budget des dépenses n'offrait pas suffisamment d'information sur l'évaluation de programme. Il a donc demandé directement aux ministères qui avaient effectué des évaluations de lui fournir les résultats de leurs travaux. Par la suite, le contrôleur général publiait des parties choisies de l'information ainsi recueillie. La situation a peu évolué pour ce qui est de procurer au Parlement des renseignements sur l'évaluation de programme qui soient utiles aux parlementaires et au public.

10.42 Dans le Rapport de 1992, nous recommandions de remanier la Partie III afin de mieux rendre compte de l'intendance globale des devoirs et obligations. L'information sur l'intendance comporterait un rapport sur le degré de réalisation des objectifs à l'intérieur d'un ministère, renseignements que fournit l'évaluation de programme. Comme nous en faisions rapport en 1992, il y a beaucoup à faire pour que la direction livre davantage de renseignements sur son rôle d'intendance globale.

10.43 Dans le rapport qu'il publiait en janvier 1993, le Sous-comité de la réglementation et de la compétitivité du Comité permanent des finances de la Chambre des communes concluait qu'il était indispensable de mettre en place des procédures régissant l'exécution d'examens ou de vérifications externes des rapports d'évaluation. L'un des moyens proposés consiste à publier et à soumettre à l'examen du public les rapports d'évaluation de l'État. Suivant une autre formule, tous les rapports d'évaluation seraient déposés en Chambre et soumis systématiquement à l'étude du comité permanent approprié, selon la nature du sujet.

10.44 Dans le cadre d'un système d'évaluation où ce sont les services ministériels qui assurent l'évaluation, il faut prévoir un mécanisme quelconque de contrôle de l'objectivité et de la crédibilité des extrants. Au Canada, nous nous en remettons à l'examen effectué par le Parlement, à la présentation de l'information au public et aux travaux du vérificateur externe. Ces moyens s'ajoutent au respect des normes établies auquel s'engagent les évaluateurs et les gestionnaires des services d'évaluation.

10.45 La bonne marche du système est fonction de l'intégrité de ses composantes. Au chapitre 9, nous dénombrions les améliorations que les administrateurs généraux et les gestionnaires chargés de l'évaluation doivent apporter au système. Il y a lieu également d'améliorer les fonctions de surveillance, d'assurance de la qualité et de présentation de l'information qu'assume le contrôleur général, de même que la communication au Parlement des résultats d'évaluation.

10.46 Le gouvernement doit veiller à ce que le contrôleur général s'acquitte de ses responsabilités de surveillance, d'assurance de la qualité et de présentation de rapports, telles que définies dans la politique en matière d'évaluation de programme.

10.47 Le gouvernement doit s'assurer que les résultats d'évaluations de programme soient présentés au Parlement sous une forme que les députés jugent utile.

Une fonction de premier plan

10.48 L'évaluation de programme offre des moyens susceptibles d'améliorer les activités de gestion, de déceler les économies possibles et les dépenses inefficaces, et d'appuyer la reddition des comptes. Pour en tirer le meilleur parti, l'évaluation doit faire partie intégrante des méthodes et de la culture de gestion du gouvernement. Il importe d'en définir clairement le rôle et de l'intégrer pleinement aux initiatives et aux systèmes de gestion en place, comme celui de la planification. La méthode de planification des évaluations que préconise le gouvernement doit jeter des ponts entre les besoins des services particuliers, ceux du gouvernement dans son ensemble et ceux d'autres parties intéressées à l'extérieur du gouvernement.

Les rapports avec d'importantes initiatives d'États étrangers
10.49 En examinant l'expérience d'autres pays, nous avons cherché à savoir de quelle manière l'évaluation est intégrée aux activités publiques. Aux États-Unis, le General Accounting Office répond aux demandes que lui adresse le Congrès et lui fait rapport. Des exigences en matière de présentation d'information sur le rendement prescrites dernièrement offrent une définition de l'évaluation de programme et prescrivent d'inclure les plans d'évaluation dans les plans stratégiques et les résultats d'évaluation dans les rapports de rendement. L'Office of Management and Budget se sert des résultats d'évaluation pour étayer les décisions concernant le maintien, l'augmentation et la diminution du financement des programmes dans le cadre du processus de budgétisation.

10.50 Au Royaume-Uni, les réformes apportées à la gestion du secteur public rendent les gestionnaires comptables de la réalisation des objectifs de rendement. La portée de ces régimes d'appréciation du rendement a récemment été élargie en raison de l'introduction d'objectifs concernant le service à la clientèle aux termes des Citizens' Charters. Bien qu'elle ne soit pas passée sous silence, l'évaluation de programme a reçu moins d'attention que les outils de gestion et les méthodes courantes associés à la planification des services et à la préparation de rapports annuels.

10.51 En Australie, l'évaluation joue un grand rôle en vue de la rationalisation des procédures de budgétisation des programmes. Lorsqu'il prend part à la planification de l'évaluation et lorsqu'il conseille le Cabinet pendant l'élaboration du budget, le ministère des Finances de l'Australie demande l'exécution d'évaluations qui viendront appuyer, en temps opportun, les prochaines séries d'activités de budgétisation. Le National Audit Office de l'Australie disait, à la suite de la vérification du rôle de l'évaluation dans le processus budgétaire, que «à ce stade de son développement, l'évaluation avait atteint, dans l'ensemble, un niveau raisonnable d'utilisation». Le nombre d'évaluations disponibles était inférieur aux attentes, mais cette discipline avait été d'une grande utilité à quelques reprises au cours des délibérations budgétaires. L'Audit Office a constaté le peu de rapports systématiques et solides entre l'évaluation et la démarche de budgétisation centrale dans les administrations de pays étrangers et des États d'Australie. Il a conclu qu'il était d'une importance capitale que la méthode utilisée soit soigneusement équilibrée et communiquée, et qu'elle soit appliquée de façon cohérente.

10.52 Il est possible d'imposer l'évaluation de l'efficacité de toute nouvelle dépense. À cet égard, la politique en vigueur au Royaume-Uni exige que l'évaluation de programme fasse partie intégrante de toute nouvelle politique et de toute proposition découlant d'examens de politiques. Jusqu'à présent, les résultats de vérifications et d'études universitaires indiquent que la démarche ne réussit pas à tout coup.

10.53 L'Australie exige que toute proposition visant l'expansion massive ou la création d'un programme soit assortie d'un plan d'évaluation. L'évaluation permettra ainsi d'obtenir des données utiles qui serviront plus tard à l'examen des dépenses budgétaires. À la suite d'un examen du processus de 1990 à 1992, l'Audit Office a relevé des exemples de situations dans lesquelles «les résultats d'évaluation avaient indiqué la nécessité d'effectuer des changements importants, d'opérer une réorientation ou de répartir les ressources plus judicieusement».

La nécessité d'établir des liens plus étroits avec les décisions en matière de dépense au Canada
10.54 Le Canada n'a réussi que partiellement, comme nous l'apprennent les chapitres 8 et 9, à établir des rapports entre l'évaluation et le processus de planification et de budgétisation de l'État. On devait intégrer l'évaluation de programme au cadre de plan opérationnel qu'élabore chaque ministère. Le cadre énonce les objectifs, les résultats visés, les indicateurs du rendement et l'affectation prévue des ressources pour chaque élément de planification ou de programme. Les résultats d'évaluation devaient figurer parmi les renseignements à inclure dans les appréciations des changements proposés aux politiques et aux programmes. Nous avons observé qu'en pratique, les liens ainsi établis laissaient à désirer étant donné que l'évaluation porte sur de plus petits éléments de programme et sur des questions opérationnelles.

10.55 Le besoin d'évaluations a été souligné également dans d'autres initiatives du gouvernement définissant les ententes liées à l'obligation de rendre compte conclues entre les administrateurs généraux et le Conseil du Trésor, sous forme de protocoles d'entente aux termes du programme d'Accroissement des pouvoirs et des responsabilités ministériels ou du Programme de gestion partagée. Or, les constatations dont nous faisons état au chapitre 9 révèlent une diminution de la capacité d'évaluation.

10.56 Au Canada, les présentations au Conseil du Trésor portant sur la plupart des programmes nouveaux ou sensiblement modifiés doivent obligatoirement prévoir l'élaboration d'un cadre d'évaluation dans les meilleurs délais possible, soit dès les premières étapes de la conception ou de la mise en oeuvre. Le Guide sur la fonction de l'évaluation de programme , en date de 1981, donne des précisions sur cette obligation.

10.57 Le cadre d'évaluation comporte un plan de collecte et d'interprétation des données de base, des indicateurs courants de rendement du programme et un plan provisoire d'évaluation. Nous avons trouvé que les ministères ne satisfont pas de manière constante aux exigences fixées il y a douze ans au sujet de l'élaboration de cadres d'évaluation. Par exemple, nous faisons observer, au chapitre 11, que les responsables de la Stratégie canadienne de développement économique des autochtones sont convenus d'un cadre d'évaluation seulement après la mise en route de ce programme.

10.58 Le Conseil du Trésor doit veiller à ce que les cadres d'évaluation soient élaborés et inclus dans les présentations qui lui sont faites et à ce que des procédures de suivi soient adoptées afin d'en assurer la mise en oeuvre.

La nécessité de mettre en oeuvre un système de planification de l'évaluation de portée générale
10.59 L'évaluation offre un potentiel énorme, et elle ne peut donc demeurer en marge des grandes préoccupations de l'État. Pour qu'elle soit mise à contribution, l'évaluation doit être liée aux processus essentiels du gouvernement. Les programmes ne peuvent tous être évalués en même temps et, dans certains cas, l'évaluation suppose de longs délais (jusqu'à deux ans dans les cas les plus complexes). Cette discipline, comme toute autre fonction du gouvernement, est touchée par les compressions budgétaires; il faut donc utiliser de la façon la plus efficiente et la plus efficace possible les maigres ressources affectées à l'évaluation. La fonction d'évaluation est appelée à répondre aux besoins des gestionnaires des ministères ainsi qu'aux exigences stratégiques du gouvernement et du Parlement au moyen de l'exécution, en temps opportun, d'évaluations de programme de qualité. Il faut réorienter l'énergie consacrée à l'évaluation en faveur des préoccupations prioritaires du gouvernement.

10.60 Comme le démontre le chapitre 9, les activités des services d'évaluation visent principalement à répondre aux besoins des gestionnaires des ministères. Pour répondre aux besoins d'évaluation du gouvernement dans son ensemble et à ceux d'autres parties intéressées, il importe de définir clairement les exigences et de prendre les mesures qui s'imposent afin de pouvoir combler les besoins prioritaires en matière d'information sur l'efficacité. Comme l'indiquent les chapitres 8 et 9, les évaluations doivent être plus nombreuses et de meilleure qualité pour permettre d'apprécier nombre d'activités du gouvernement de façon à répondre aux besoins d'information des principales parties intéressées.

10.61 Nous nous attendions que le contrôleur général fixe les besoins prioritaires du gouvernement en matière d'évaluation de programme. Nous nous attendions, en outre, que si les plans d'un ministère ne répondaient pas à ces besoins, des mesures auraient été prises pour assurer la tenue de ces évaluations. Un système d'évaluation de programme qui tourne rondement serait censé procurer des renseignements que l'on ne pourrait obtenir autrement sur les résultats des programmes et des politiques prioritaires.

10.62 Nous avons constaté que le personnel du contrôleur général ne possède pas de méthode systématique de planification des évaluations de portée générale. Le personnel assure un contrôle permanent des demandes d'évaluation provenant des organismes centraux et en fait part régulièrement aux ministères. Par contre, il ne se fonde pas sur ces demandes pour élaborer des plans de portée générale en vue de répondre aux besoins.

10.63 Le Plan d'évaluation des programmes au gouvernement n'est pas considéré comme un moyen de communiquer des exigences particulières quant à l'évaluation, et il ne fixe pas les priorités dans ce domaine. Il sert plutôt à énoncer des attentes générales en matière d'évaluation et à apprécier la capacité globale des ministères de répondre à ces attentes. Il n'assure donc pas la coordination des plans d'évaluation ministériels avec les besoins des organismes centraux et ceux des autres ministères.

10.64 Le contrôleur général n'a pas fait en sorte que les ministères, au moyen des plans qu'ils élaborent, s'emploient à répondre aux besoins du gouvernement en matière de renseignements tirés de l'évaluation de programme. Les ministères n'ont pas tous déposé des plans régulièrement. Le personnel du contrôleur général a plutôt tablé sur les échanges réguliers qu'il entretenait avec les ministères. Il n'a pas non plus fait preuve de leadership en indiquant les secteurs à soumettre à des évaluations interministérielles. Il s'en est plutôt remis aux processus de planification des ministères, contribuant ainsi à des résultats médiocres au chapitre de la portée de l'évaluation d'importants programmes et projets intéressant le gouvernement dans son ensemble.

10.65 À l'occasion, le personnel du contrôleur général a organisé des séances d'information auxquelles ont participé les représentants d'un service d'évaluation ministériel et d'organismes centraux afin de discuter de la planification des évaluations. Il a également pris part, ces dernières années, à 12 évaluations interministérielles. Par contre, ces initiatives ne s'inscrivent pas dans le cadre d'un plan structuré. Le personnel du contrôleur général a incité les intéressés à inclure des exigences en matière d'évaluation dans les accords conclus aux termes de l'Accroissement des pouvoirs et des responsabilités ministériels. Nous avons constaté, toutefois, que les résultats des efforts dans ce sens étaient plus ou moins réussis. En effet, dans six cas sur sept, les plans d'évaluation prévus n'avaient pas été intégralement mis en oeuvre.

10.66 Le gouvernement doit trouver une formule pour s'assurer que les plans d'évaluation des ministères s'étendent aux secteurs prioritaires et aux préoccupations de portée générale. Sinon, il faudra instaurer un mécanisme régi par un organisme central pour garantir l'exécution d'évaluations de qualité, en temps opportun.

10.67 Le Bureau du secrétaire du Conseil du Trésor et contrôleur général doit se donner les moyens d'identifier systématiquement les priorités du gouvernement en matière d'évaluation. Il doit examiner les plans d'évaluation de chaque ministère afin de repérer les priorités qui échappent à l'évaluation. Ce faisant, il doit également repérer les programmes interministériels qui échappent à l'évaluation. Là où il existe des lacunes importantes, il doit mettre en place un mécanisme afin d'assurer que des évaluations de qualité soient effectuées en temps opportun.

Un plus grand leadership en matière d'évaluation

10.68 Des progrès ont été réalisés de 1977 à 1983 dans la mise en place de l'infrastructure des évaluations et dans l'adoption de politiques, de méthodes et de principes d'orientation connexes. Malgré cela, la fonction d'évaluation n'a pas évolué au point de constituer un système efficace de portée générale. Notre vérification a relevé un certain nombre de secteurs dans lesquels l'intention de la politique, des directives et des principes d'orientation en matière d'évaluation n'ont pas été respectés. Il faut un plus grand leadership pour améliorer le fonctionnement du système d'évaluation de même qu'un engagement plus profond afin que des données fiables concernant l'efficacité contribuent à la prise de décisions dans le secteur public.

Un point d'appui solide
10.69 Aux termes de la politique en matière d'évaluation, le contrôleur général est officiellement responsable de diriger et d'appuyer la fonction d'évaluation. À notre avis, le contrôleur général a cherché davantage à appuyer qu'à diriger cette fonction.

10.70 Un système décentralisé, dont l'objet est de répondre à la fois aux besoins des ministères et à ceux d'organismes extérieurs, nécessite un solide point d'appui central. Une autorité centrale définirait alors les exigences des organismes centraux en matière d'évaluation, offrirait des services d'assurance de la qualité et se ferait le défenseur de l'évaluation. Les gestionnaires responsables de l'évaluation doivent bénéficier d'un appui ferme pour répondre aux exigences auxquelles ils doivent satisfaire, tant à l'intérieur qu'à l'extérieur de leur cadre de gestion.

10.71 Les gestionnaires responsables de l'évaluation ne croient pas bénéficier d'un tel appui. À l'occasion d'ateliers de discussion en 1990, la plupart ont manifesté leur appui, de façon générale, au Bureau du contrôleur général. Ils ont néanmoins exprimé des réserves, en affirmant que l'appui qui leur était accordé était souvent miné par l'indécision et qu'il ne fallait pas s'attendre que le Bureau défende la fonction d'évaluation «si la haute direction était déterminée à réduire les ressources humaines et autres qui y étaient consacrées». Nombre de gestionnaires s'accordaient pour dire que si le Bureau du contrôleur général était particulièrement habile à «amorcer l'activité d'évaluation», il ne manifestait pas autant d'habileté à «épauler l'activité en cours».

10.72 Dans le cadre d'ateliers de discussion deux ans plus tard, en vue de l'examen interne des opérations, les participants se sont montrés plus sévères. Les ateliers en question réunissaient les chefs des services de vérification et d'évaluation, étant donné que la tendance actuelle consiste à gérer conjointement ces deux fonctions. Ceux-ci ont exprimé des réserves quant à l'aide que pouvait leur fournir le Bureau du contrôleur général, en raison de la diversité des niveaux de compétence et d'expérience des membres du personnel de ce bureau chargés d'entretenir des rapports avec les évaluateurs et les vérificateurs. Cette situation s'explique en partie par le fait que les mêmes employés du Bureau sont désormais chargés des communications tant avec les évaluateurs qu'avec les vérificateurs. Au moment de notre vérification, un seul des 22 agents de la Direction avait acquis de l'expérience à la fois en vérification et en évaluation.

10.73 Nous sommes d'avis que le contrôleur général n'a pas assumé pleinement le rôle de chef de file défini dans la politique. Un tel leadership favoriserait l'essor de la fonction d'évaluation en tirant profit de ses avantages, en identifiant les secteurs à améliorer et en prenant des mesures correctives.

10.74 Comme l'explique le chapitre 9, nous avons relevé peu d'indices de l'existence de systèmes d'auto-évaluation ou de mesure du rendement mis en oeuvre par les gestionnaires responsables de l'évaluation. Le personnel du contrôleur général a constitué une base de données sur le rendement des ministères en matière d'évaluation et ce, en se fondant sur les renseignements fournis par les gestionnaires des services d'évaluation. Dans le cadre des travaux de vérification dont les résultats sont présentés au chapitre 9, nous avons vérifié les mesures de rendement figurant dans la base de données pour la période de 1985 à 1991. Nous avons constaté que les données comportaient un certain nombre de lacunes.

10.75 Le secrétaire du Conseil du Trésor et contrôleur général doit veiller à ce que les renseignements sur les activités et la mesure du rendement des évaluations soient valables et fiables.

10.76 Le contrôleur général sera mieux en mesure de s'acquitter de son rôle en matière d'évaluation de programme en veillant à la mise en oeuvre des recommandations présentées au paragraphe 10.46 en matière de surveillance, d'assurance de la qualité et de présentation de rapports ainsi qu'au paragraphe 10.67, sur l'instauration d'un système de planification de portée générale. Le 25 juin 1993, la Première ministre annonçait que les responsabilités et les fonctions du Bureau du contrôleur général, y compris celles de la Direction de l'évaluation et de la vérification, feraient désormais partie du Conseil du Trésor. Par suite de ce changement, la fonction d'évaluation est réexaminée. Le moment est donc propice pour le Bureau du secrétaire du Conseil du Trésor et contrôleur général du Canada de réaffirmer son rôle de leadership en matière d'évaluation de programme.

Susciter une demande de la part des parties intéressées
10.77 Un système d'évaluation ne peut réussir que s'il existe un intérêt pour les résultats d'évaluation et que les résultats obtenus sont dignes de crédibilité et pertinents en regard des questions posées. Qui plus est, les renseignements doivent être présentés d'une façon claire et compréhensible.

10.78 En régime parlementaire, la volonté politique de la majorité décide de la marche à suivre. D'aucuns soutiennent donc que, dans ces conditions, les ministres ne sont pas disposés à présenter des évaluations donnant une image négative de leurs propres politiques et programmes. De fait, la contrainte inhérente à cet état de fait n'est peut-être pas aussi décisive que l'ont prétendu certains. À preuve, les parlementaires, ministres y compris, se sont dits désireux d'obtenir des résultats d'évaluation fiables, comme il est dit au chapitre 8.

Promptitude à réagir à des demandes précises du Parlement
10.79 Les gestionnaires des ministères doivent composer avec les contraintes que leur imposent des ressources limitées, doublées très souvent de priorités conflictuelles. Le système d'évaluation de programme n'a pas répondu adéquatement aux besoins généraux, soit offrir des données utiles à l'examen des prévisions budgétaires ou des programmes de réglementation, comme il est expliqué au chapitre 8. Par contre, les ministères ont répondu aux demandes précises d'évaluations formulées par le Parlement ou à des suggestions découlant de nos vérifications.

10.80 Ainsi, à la suite d'une série d'audiences sur l'évaluation des mesures fiscales, le Comité permanent des comptes publics de la Chambre des communes adressait un rapport à la Chambre dans lequel il demandait l'évaluation de cinq mesures, soit la taxe sur les produits et services (TPS), le nouveau traitement fiscal de l'épargne-retraite, le traitement fiscal des gains en capital, le traitement fiscal des actions accréditives et le Programme de stimulation de l'exploration minière au Canada.

10.81 En décembre 1991, le ministère des Finances répondait à cette demande en déposant un plan de travail qui dénombrait les mesures fiscales qu'il entendait évaluer au cours des années à venir et qui proposait d'éventuelles méthodes d'évaluation de la TPS et du traitement fiscal de l'épargne-retraite. Il proposait, en outre, d'évaluer en 1993 le traitement des actions accréditives. Au chapitre des gains en capital, le Ministère se pencherait d'abord en 1993 et 1994 sur l'exonération cumulative des gains en capital. Le ministère des Finances faisait savoir également que le Programme de stimulation de l'exploration minière au Canada relevait du ministère de l'Énergie, des Mines et des Ressources et que ce dernier était en train de l'évaluer. Au début de 1993, le Ministère soumettait au Comité le cadre d'évaluation des différentes composantes de la TPS.

Promptitude à réagir aux recommandations visant à améliorer le mode d'évaluation de programmes particuliers
10.82 Au cours de la vérification, nous avons découvert également que les responsables du système d'évaluation du gouvernement avaient donné suite aux recommandations des vérificateurs en vue d'améliorer l'évaluation de programmes particuliers. Les paragraphes suivants décrivent certaines des mesures prises à la suite des recommandations.

10.83 Aborder une plus grande gamme de questions en temps opportun. En réponse aux questions que nous avions soulevées en 1991 lors de notre vérification du ministère de l'Agriculture au sujet de l'évaluation des programmes de sécurité du revenu agricole, le Ministère a produit en temps opportun des cadres d'évaluation de la nouvelle série de mesures gouvernementales découlant de la Loi sur la protection du revenu agricole , qui venait d'être promulguée. Bien que le Ministère doive encore élargir le cadre d'évaluation portant sur le Régime d'assurance du revenu brut et le Compte de stabilisation du revenu net, celui qu'il a dressé à l'intention des Mesures de soutien et d'adaptation en agriculture représente une nette amélioration par rapport aux activités d'évaluation antérieures du Ministère dans ce domaine. Dans ce cadre d'évaluation, le Ministère énonce son intention de mesurer intégralement les répercussions du programme sur le secteur agricole. Il a fait savoir que l'évaluation est en cours.

10.84 Accorder plus d'importance à la fiabilité des constatations et des indicateurs. Nous avons relevé des problèmes de qualité dans le cadre des évaluations antérieures auxquelles le ministère des Approvisionnements et Services avait soumis les programmes d'acquisitions et de grands projets de l'État (marchés publics), notamment en ce qui a trait à la fiabilité des constatations et des indicateurs utilisés. Le Ministère a reconnu l'existence de ces problèmes et a entrepris de les résoudre. Il a marqué des progrès notables par rapport à ses activités antérieures dans ce domaine, ce dont font foi son évaluation du Système électronique de commandes par catalogue et le cadre d'évaluation qu'il a élaboré en vue d'évaluer le Service des invitations ouvertes à soumissionner, même s'il n'est pas exhaustif.

10.85 Amorcer l'évaluation d'un secteur caractérisé par sa complexité et ses difficultés techniques. Les activités de programme réalisées par le ministère des Finances aux fins du service de la dette nationale s'étendent à une part appréciable des dépenses fédérales. Dans les rapports de 1988 et de 1991, le vérificateur général du Canada recommandait l'évaluation de ce programme d'emprunts complexe. Ce dernier était également source de préoccupations pour le Comité des comptes publics. En réponse à nos recommandations, le ministère a consenti à mener l'évaluation au cours de trois à cinq ans. En octobre 1992, il faisait paraître un premier rapport sur ses méthodes d'évaluation du service de la dette, document qu'il présentait au Comité en décembre 1992.

Conclusion

10.86 Plus que jamais, il est essentiel d'obtenir des renseignements fiables sur l'efficacité des programmes. Or, le système ne répond pas à ces besoins. Les méthodes d'évaluation actuelles offrent un potentiel inexploité. Les trois chapitres portant sur notre vérification de l'évaluation de programme indiquent les mesures correctives qu'il est nécessaire d'apporter à la gestion des services d'évaluation ministériels et du système d'évaluation dans son ensemble.

10.87 Il y a lieu de consentir plus d'efforts pour assurer le succès de la politique actuelle en matière d'évaluation de programme, notamment en augmentant la qualité et la pertinence des extrants de l'évaluation, en modifiant la culture de gestion pour rechercher l'information sur l'efficacité et la mettre au service de la prise de décisions, et en mettant en place un système qui répond à la fois aux besoins des parties intéressées, qu'ils soient de l'intérieur ou de l'extérieur du gouvernement, et à ceux des gestionnaires des ministères.

10.88 Si une réforme de l'actuel système ne permet pas d'en obtenir les résultats escomptés, le Parlement pourrait éventuellement envisager des mesures plus radicales pour obtenir en temps opportun des renseignements pertinents et fiables sur l'efficacité des programmes.

10.89 Le remaniement du Bureau du contrôleur général et son intégration au Secrétariat du Conseil du Trésor offrent au gouvernement l'occasion de renouveler ses initiatives en matière d'évaluation de programme et de leur imprimer une nouvelle vigueur.