Cette page Web a été archivée dans le Web.

1993 — Rapport du vérificateur général du Canada

Chapitre 8 — L'évaluation de programme au gouvernement fédéral — Plaidoyer en faveur de l'évaluation de programme

Points saillants

Introduction

Étendue de la vérification et méthode de vérification

Critères de la vérification

Observations

L'évaluation de programme : un outil indispensable de gestion publique

Les résultats de l'évaluation de programme : un outil de décision de premier plan pour l'affectation des ressources
Les résultats de l'évaluation de programme : un outil indispensable en vue d'obtenir des résultats
Les résultats de l'évaluation de programme : un outil essentiel à la reddition des comptes

Le système d'évaluation de programme du gouvernement du Canada

Les exigences de la politique
Exemples de questions visées par les évaluations

Les intérêts des principaux intéressés

L'intérêt du Cabinet pour l'évaluation de programme
Un intérêt accru pour l'évaluation de programme de la part des comités parlementaires
L'intérêt que portent les organismes centraux à l'évaluation de programme

Une source possible de données fiables sur l'efficacité

Les attentes non comblées

Des informations essentielles ne sont pas toujours transmises à temps
La nécessité de recourir à d'autres sources de données sur l'efficacité
Le traitement souvent incomplet des questions difficiles
La qualité inégale des analyses diminue la crédibilité et l'utilité des évaluations
L'absence d'une approche méthodique de l'évaluation des programmes interministériels
On accorde peu de priorité à l'évaluation des programmes prévoyant des dépenses majeures
La planification des évaluations dans l'administration fédérale

Conclusion

Vérificateur général adjoint : Paul Ward
Vérificatrice responsable : Maria Barrados

Points saillants

L'évaluation de programme au gouvernement fédéral : Plaidoyer en faveur de l'évaluation de programme

8.1 Les résultats de l'évaluation de programme offrent une mesure importante de la valeur tirée des programmes et des dépenses de l'État. Le gouvernement du Canada prescrit officiellement depuis seize ans l'évaluation de l'efficacité de ses programmes et de ses politiques. Le système nécessaire était déjà en place en 1983. L'évolution de cette fonction depuis dix ans est loin d'avoir répondu aux attentes alors que l'information sur l'efficacité des activités du gouvernement pourrait s'avérer particulièrement utile.

8.2 Nombre de gestionnaires au service de l'État ainsi que le Cabinet et le Parlement reconnaissent le potentiel de l'évaluation de programme pour obtenir des données d'analyse fiables. Les résultats de l'évaluation de programme peuvent non seulement fournir de l'information essentielle à une saine gestion, mais devraient également donner des renseignements indispensables à la reddition des comptes, tant au sein de la fonction publique qu'à l'extérieur, soit au Parlement et au public.

8.3 L'on attendait de l'évaluation de programme l'information nécessaire pour contribuer à la prise de décisions en matière d'affectation des ressources, aider les Canadiens à juger de la valeur tirée des deniers publics et donner aux fonctionnaires les moyens d'assumer la responsabilité des résultats plutôt que du processus. Ces renseignements sont essentiels pour procéder à la prise de décisions touchant les dépenses consacrées aux programmes inefficaces.

8.4 Notre vérification nous a permis de constater que l'histoire de l'évaluation de programme du gouvernement du Canada est remplie de grands espoirs et de perspectives prometteuses restés en partie sans lendemain.

8.5 Les résultats obtenus par le système sont généralement décevants. Souvent, les évaluations ne sont ni opportunes ni pertinentes. En outre, nombre de programmes exigeant des dépenses considérables n'ont pas fait l'objet de l'évaluation prévue par la politique. Malgré la politique en vigueur régissant l'évaluation de toutes les mesures de réglementation du gouvernement, la moitié d'entre elles ont été évaluées, bien que d'autres genres d'examens aient été menés dans plusieurs ministères.

8.6 L'évaluation de programme a surtout progressé, ces dix dernières années, au sein des services d'évaluation des ministères. La discipline doit évoluer davantage et il faut élaborer des systèmes pour mieux répondre aux attentes du Cabinet, du Parlement et du public en matière d'information sur l'efficacité des programmes.

Introduction

8.7 L'évaluation de programme est une discipline permettant d'évaluer les activités et les programmes publics. Fondée sur une mesure et une analyse indépendantes et systématiques, conformément aux politiques et aux normes, elle est ensuite rendue publique. La première politique fédérale imposant l'évaluation de programme a été formulée en 1977. Elle s'inscrivait dans la ligne d'une suite de réformes administratives dont l'objet était de tirer le meilleur parti de la collecte et de l'analyse systématiques de données pour favoriser une saine gestion dans le secteur public. Six ans plus tard, soit en 1983, notre vérification nous amenait à constater que la plupart des ministères fédéraux menaient des évaluations de programme. Au cours des dix années qui ont suivi, l'évolution de cette fonction a été plus marquée au sein de ces ministères que dans les organismes centraux.

8.8 Plusieurs espoirs étaient fondés sur l'évaluation de programme. Celle-ci était appelée à jouer un rôle d'appoint de premier plan à l'intérieur de l'administration publique, nommément au chapitre de l'affectation des ressources, de l'efficience et de l'efficacité des activités ainsi que de la reddition des comptes. Par surcroît, cette discipline devait combler divers besoins d'information, y compris ceux des gestionnaires de programmes publics, des gestionnaires des organismes centraux, du Parlement et du public.

8.9 De par son orientation stratégique, l'évaluation de programme prévoit que les politiques et les programmes seront l'objet d'appréciations périodiques dont les résultats pourront être utilisés, en toute confiance, par les décideurs. Elle consiste à appliquer des méthodes systématiques de recherche empruntées à de nombreuses autres disciplines en vue d'évaluer le rendement, et plus particulièrement l'efficacité. Les résultats de l'évaluation sont ensuite présentés sous forme de rapport. En dressant le bilan des réalisations, l'évaluation de programme peut offrir une mesure importante de la valeur tirée des programmes et des dépenses de l'État.

8.10 Le gouvernement s'est doté de l'évaluation de programme afin d'établir si ses initiatives ont réussi, s'il y a lieu de les poursuivre ou s'il faut chercher des solutions de remplacement plus efficaces par rapport au coût. Disposant d'un budget de 161 milliards de dollars en 1993-1994, le gouvernement fédéral est responsable de dépenses importantes pour ses programmes. Celles-ci se ventilent en plus de 1 500 éléments, chacun assorti de ses propres objectifs. S'ajoutent à cela un grand nombre de dépenses fiscales et de mesures fiscales sélectives qui ont également un objet précis. L'évaluation de programme peut permettre de recueillir des renseignements objectifs sur les rouages complexes de l'administration publique et fournir une mesure de la valeur tirée de ses activités.

Étendue de la vérification et méthode de vérification

8.11 Notre vérification a porté sur l'évaluation de programme au sein du gouvernement du Canada. Elle avait pour objet d'évaluer dans quelle mesure le gouvernement a réussi à mettre en oeuvre sa politique en la matière et de mesurer les progrès accomplis depuis la dernière vérification de portée générale de cette discipline, qui remonte à 1983.

8.12 La vérification a porté sur quatre secteurs.

  • Nous nous sommes penchés sur la mesure de l'efficacité des activités dans 11 grands programmes publics. Dix programmes avaient fait l'objet, depuis trois ans, de vérifications de l'optimisation des ressources et quatre d'entre eux relevaient de plus d'un ministère. Voir à la pièce 8.1 la liste des programmes retenus, les ministères visés et l'année du rapport du vérificateur sur l'optimisation des ressources dans chaque cas. Dans quatre cas, la responsabilité de programme était répartie entre plusieurs ministères (voir les paragraphes 8.100 et 8.101). Bien qu'ils représentent une diversité de programmes publics, il ne s'agit pas d'un échantillon élaboré selon une méthode statistique. Outre les vérifications de l'optimisation des ressources, nous avons examiné la méthode révisée qu'utilise le ministère des Finances pour évaluer les mesures fiscales.
  • Nous avons vérifié le fonctionnement et les études de 42 services d'évaluation de programme de divers ministères qui avaient déclaré avoir mené à bien au moins une évaluation de programme de 1985-1986 à 1991-1992. Il s'agit de services de chacun des grands ministères fédéraux, le Secrétariat du Conseil du Trésor excepté, et d'un certain nombre d'organismes de plus faible envergure, d'établissements publics et de commissions, lesquels étaient chargés de la quasi-totalité des dépenses de programme et des dépenses fiscales majeures du gouvernement au cours de l'exercice 1991-1992.
  • Nous avons examiné les méthodes de gestion et les activités opérationnelles liées à l'évaluation de programme menée jusqu'au 31 mars 1993 par la Direction de l'évaluation et de la vérification du Bureau du contrôleur général du Canada.
  • Nous avons également examiné des rapports et des résultats d'analyse sur l'évaluation de programme au sein d'administrations publiques à l'étranger afin d'avoir une mesure de comparaison de l'évolution de cette discipline dans d'autres pays industrialisés.
8.13 La mesure de l'efficacité se prête à la fois à l'évaluation formelle et informelle. La dernière se déroule par intermittence pendant la mise en oeuvre d'un programme, par essai et erreur dans les activités et dans le but de résoudre des problèmes administratifs. Il s'agit d'évaluations incomplètes qui ne sont pas habituellement systématiquement consignées. Très souvent, l'évaluation informelle part de faits ou d'incidents ponctuels plutôt que du fonctionnement global du programme.

8.14 Il existe divers genres de mesure de l'efficacité au sein du gouvernement, y compris l'analyse de la politique, l'étude spéciale, l'examen organisationnel et la commission royale. Cependant, l'évaluation de programme est l'instrument que s'est donné le gouvernement et qu'il a défini dans une politique énonçant les normes et les méthodes formelles devant servir à mesurer l'efficacité. L'existence d'un cadre formel procure l'assurance que les intéressés accordent suffisamment d'attention à la mesure systématique de l'efficacité, que les normes sont respectées et que les résultats sont mis à profit dans tous les secteurs du gouvernement et rendus publics. Si la politique officielle reconnaît l'existence de diverses méthodes d'examen des programmes, elle consacre la primauté de l'évaluation de programme comme mode essentiel d'examen méthodique de leur rendement.

8.15 La présente vérification porte principalement sur l'évaluation de programme. Cette dernière consiste à mesurer méthodiquement les résultats d'un programme dans le dessein d'obtenir des informations pertinentes et fiables.

8.16 Les sociétés d'État n'étant pas assujetties à la politique en matière d'évaluation de programme, la présente vérification ne couvre pas l'évaluation de l'efficacité de ces organismes. Le chapitre 4 décrit les moyens utilisés par les sociétés d'État pour rendre compte de leur efficacité.

8.17 Les résultats de notre examen font l'objet de trois chapitres. Le chapitre 8 évalue les possibilités qu'offre l'évaluation de programme comme moyen d'examiner les questions d'efficacité au gouvernement fédéral. Le chapitre 9 passe en revue la mise en oeuvre de l'évaluation de programme dans les ministères et la nature des résultats qui en sont tirés. Le chapitre 10 évalue les progrès réalisés dans la mise en place d'un système d'évaluation de programme au gouvernement fédéral et présente certains enseignements tirés de l'expérience d'autres gouvernements.

Critères de la vérification

8.18 Le Guide de vérification : mesure de l'efficacité des programmes, rapports et utilisation énonce les critères détaillés utilisés aux fins de la présente vérification. Les trois critères principaux suivants contenus dans le guide résument les critères utilisés :

  • Les ministères doivent mesurer l'efficacité de leurs programmes et en rendre compte, et les procédés pour le faire doivent refléter l'état d'avancement des techniques dans ce domaine et être justifiables quant au coût.
  • On doit prendre en considération les résultats des mesures de l'efficacité des programmes lorsqu'on prend des décisions au sujet de ces derniers.
  • Les ministères doivent disposer de capacités organisationnelles et de méthodes de gestion qui leur permettent de mesurer l'efficacité de leurs programmes de façon continue ainsi que périodique.
8.19 Le gouvernement a mis en oeuvre l'évaluation de programme comme mode essentiel d'examen méthodique du rendement des programmes. La politique du gouvernement en la matière est conforme aux critères de vérification que nous avons retenus et énonce des exigences précises à l'adresse du gouvernement. Aux fins de notre examen, nous avons fait appel à un quatrième critère :

  • Les pratiques du gouvernement doivent être conformes aux exigences de sa politique en matière d'évaluation de programme.

Observations

8.20 Notre examen de l'évaluation de programme au gouvernement fédéral et des modalités de mise en oeuvre de sa politique en la matière a permis de faire les constations suivantes.

L'évaluation de programme : un outil indispensable de gestion publique

8.21 L'évaluation de programme constitue une source d'information susceptible de répondre à trois besoins impérieux. Cette information peut d'abord servir à la prise de décisions sur l'affectation des ressources pouvant contribuer à contrôler le déficit; deuxièmement, elle peut aider les Canadiens à juger de la valeur tirée de l'emploi des recettes fiscales; troisièmement, elle peut amener les fonctionnaires à assumer la responsabilité des résultats obtenus et non seulement de la démarche.

Les résultats de l'évaluation de programme : un outil de décision de premier plan pour l'affectation des ressources
8.22 Plus que jamais, il est essentiel d'obtenir des renseignements fiables sur l'efficacité des programmes. Au cours des années 90, l'évaluation de programme devrait être appelée à jouer un rôle de premier plan au chapitre de la gestion des dépenses de l'État, car elle peut aider à la prise de décisions judicieuses visant à contrôler l'augmentation de la dette publique. En outre, cette discipline peut fournir aux Canadiens des renseignements utiles sur les effets des programmes et sur les résultats obtenus de l'engagement des recettes fiscales alors même que la part du revenu national allant à l'impôt est à la hausse.

8.23 Pendant la plupart des vingt dernières années, le Canada a accusé un déficit important, et la dette fédérale nette s'élevait à 423 milliards de dollars en mars 1992. L'augmentation de la dette soulève des inquiétudes de toutes parts. Le chapitre 5 expose les résultats d'une étude du vérificateur général sur la dette et le déficit.

8.24 Depuis plus de dix ans, le gouvernement fédéral s'inquiète de la nécessité de limiter ses dépenses. D'année en année, il a imposé des restrictions d'années-personnes et comprimé les budgets de fonctionnement de plusieurs ministères. Malgré ses efforts, il n'a pas encore réussi à faire diminuer sensiblement le déficit annuel ni à freiner de manière appréciable la progression de la dette. Dans un même temps, le gouvernement subit des pressions en vue d'augmenter le financement de programmes nationaux et internationaux visant, entre autres, à répondre aux questions liées au chômage, à la protection de l'environnement, au vieillissement de la population et à la hausse du coût des soins de santé, et à satisfaire aux exigences du maintien de la paix et de l'aide humanitaire. Pour parvenir à réduire le déficit malgré ces pressions, le gouvernement doit faire des choix difficiles quant aux programmes à financer et à l'importance du financement à accorder.

8.25 Nombre de facteurs influent sur les décisions finales que doivent prendre les ministres au sujet des programmes. Or, il est plus facile de prendre des décisions à l'aide des données objectives et fiables d'une évaluation de programme. Ces données permettent aux décideurs d'identifier les programmes :

  • réussis;
  • devenus excédentaires en raison de l'évolution des circonstances;
  • ne produisant pas l'effet voulu du fait qu'ils ne permettent pas de réaliser les objectifs visés. Il en est ainsi, par exemple, lorsque les programmes ne donnent pas les résultats escomptés ou lorsqu'ils produisent des effets secondaires négatifs qui font contrepoids aux résultats désirés;
  • susceptibles d'être remplacés par d'autres programmes qui permettront de réaliser les objectifs visés à un coût plus avantageux.
8.26 Il arrive qu'un programme soit à ce point important que l'on ne puisse le supprimer même s'il n'a pas encore atteint les objectifs fixés. En pareil cas, l'évaluation de programme est utile en ce sens qu'elle permet de préciser les mesures à prendre pour remplacer certains éléments de programme. L'exercice peut également mettre en lumière des solutions plus judicieuses, à un coût comparable ou moindre.

8.27 En cette période d'austérité, la population désire être mieux renseignée sur les résultats des programmes publics. Les Canadiens voient augmenter leurs impôts tandis que la part des recettes fiscales servant comme tel à financer les services publics est généralement à la baisse. Ils sont préoccupés par les répercussions des déficits annuels toujours aussi élevés et de la dette croissante sur leur propre niveau de vie et celui des générations futures. L'évaluation de programme offre au public et au Parlement le moyen de savoir si les programmes permettent d'obtenir les résultats visés et de juger de la valeur tirée des activités publiques.

Les résultats de l'évaluation de programme : un outil indispensable en vue d'obtenir des résultats
8.28 À l'instar du secteur privé, le secteur public cherche des moyens novateurs d'améliorer ses activités en mettant davantage l'accent sur la qualité et la satisfaction des besoins de la clientèle. Le Cabinet révise sa structure et se réorganise. Les ministres et les gestionnaires s'efforcent aussi de renouveler les méthodes de gestion dans le cadre de la réforme. Pour assurer l'efficacité d'une réorganisation, le gestionnaire doit savoir clairement quels sont les résultats visés, tirer des enseignements de l'expérience passée et tendre vers l'amélioration.

8.29 Pour opérer un changement, il faut nécessairement analyser les résultats obtenus, les objectifs qui n'ont pas été réalisés et dénombrer les faits imprévus. Les gestionnaires doivent s'engager à mesurer les résultats en regard de critères donnés, par exemple des objectifs, et être disposés à relever les lacunes et à prendre les mesures qui s'imposent.

8.30 L'information que produisent et qu'utilisent les gestionnaires en tendant vers un renouveau efficace peut renseigner le Parlement sur les résultats de l'activité gouvernementale. Pareils renseignements aident le Parlement dans son examen minitieux des activités publiques.

8.31 Les gestionnaires ont accès à des mesures fondées sur des résultats autres que celles provenant de l'évaluation de programme. Cette dernière est souvent jumelée à d'autres mesures du rendement, comme les ressources utilisées, l'efficience opérationnelle et les résultats des programmes. Si utiles soient-elles, ces mesures à elles seules n'offrent qu'une interprétation partielle des succès enregistrés. L'évaluation de programme, en revanche, peut réunir tous les facteurs pertinents et permettre d'en tirer des conclusions quant à la qualité et à l'efficacité des réalisations par rapport au coût, et quant aux changements qui s'imposent pour améliorer sensiblement la situation.

8.32 L'évaluation de programme est un outil consacré qui permet aux gestionnaires d'examiner les forces et les faiblesses de leurs programmes, de déterminer dans quelle mesure ces derniers répondent aux attentes et d'évaluer le rapport coût-efficacité. Elle repose sur une culture de gestion qui reconnaît la valeur de l'information découlant de l'évaluation de programme et permet aux gestionnaires d'en tirer d'utiles leçons pour opérer les changements et les ajustements requis.

8.33 Les initiatives de renouveau du gouvernement visent à donner une orientation nouvelle aux activités publiques en mettant moins l'accent sur les systèmes administratifs et de contrôle et davantage sur les résultats visés dans le cadre des programmes et des services. Aussi il y aura déréglementation et décentralisation de la responsabilité du fonctionnement au jour le jour des programmes en faveur des gestionnaires, lesquels devront rendre compte des résultats obtenus par rapport aux buts fixés.

8.34 Plutôt que de suivre une voie prescrite, les gestionnaires devront choisir la démarche la plus avantageuse dans les limites du cadre de contrôle parlementaire. Cette méthode de gestion prend appui sur la mesure du rendement afin de s'assurer que les bonnes initiatives soient entreprises de la bonne manière. Les gestionnaires seront appelés à opérer ces changements en période de compression des dépenses et de demande accrue de services.

8.35 Il est de plus en plus urgent de doter tous les niveaux de gestion du gouvernement - autant ceux des ministères offrant directement des programmes et services que ceux des organismes centraux, voire le Cabinet même - d'une culture de gestion qui prévoit l'évaluation des programmes et des activités en vue d'en accroître l'efficience et l'efficacité. De telles évaluations amélioreraient la gestion et permettraient en outre d'obtenir des données essentielles en matière de reddition des comptes à l'usage interne de la fonction publique et à l'adresse d'utilisateurs externes, soit le Parlement et le public.

Les résultats de l'évaluation de programme : un outil essentiel à la reddition des comptes
8.36 Les ministres ont la charge de diverses activités. Ils doivent rendre compte au Parlement de la qualité de leur intendance. Le chapitre 6 du Rapport de 1992 énonçait les principes s'appliquant à l'information sur l'intendance, l'un des éléments importants étant la reddition des comptes sur l'efficacité des politiques, des programmes et des activités.

8.37 Les entreprises privées expriment surtout leurs objectifs sous forme de bénéfice, de part de marché et de rendement des capitaux investis. Ces objectifs se traduisent, pour la plupart, en valeur monétaire. Il s'agit de repères auxquels on compare le rendement de l'entreprise.

8.38 Des comptes financiers sont également dressés dans le secteur public. Cependant, l'éventail des activités de l'État, par leur nature et leur complexité, ne se prêtent pas aux mesures d'efficacité utilisées dans le privé et fondées sur le profit, étant donné que les buts des programmes publics sont souvent énoncés en des termes autres que financiers. Les données sur l'efficacité étant essentielles à une saine gestion de ces activités, il y a lieu de trouver d'autres modes de mesure et de présentation de l'information.

8.39 À défaut de telles informations, le gestionnaire de programme, le contribuable et le Parlement ne peuvent savoir si les programmes permettent d'obtenir les résultats escomptés et, le cas échéant, amènent un changement. L'évaluation de programme est une source d'information et d'analyses qui permettent de faire la lumière sur ces questions.

8.40 Dans l'esprit du renouveau de la fonction publique, l'obligation de rendre compte de l'engagement des deniers publics doit être axée sur les résultats et non seulement sur le degré de conformité aux systèmes et aux procédures. Puisqu'il faudra évaluer les résultats obtenus, l'évaluation de programme constituera un instrument de mesure indispensable.

8.41 Le potentiel qu'offre l'évaluation de programme à titre de source de données d'analyse fiables a été reconnu par plusieurs gestionnaires publics, ainsi que par le Cabinet et le Parlement. Or, notre vérification nous a permis de constater que l'histoire de l'évaluation de programme du gouvernement canadien est remplie de grands espoirs et de perspectives prometteuses en partie sans lendemain.

Le système d'évaluation de programme du gouvernement du Canada

8.42 Depuis 1977, la politique en vigueur au gouvernement exige des ministères qu'ils se donnent les moyens d'évaluer leurs programmes et qu'ils y procèdent. La pièce 8.2 donne un aperçu de l'évolution du système d'évaluation de l'État.

8.43 Les exigences du gouvernement fédéral en matière d'évaluation de programme sont énoncées dans une politique centrale du Conseil du Trésor. Cette politique à deux volets prévoit, d'une part, l'auto-évaluation des ministères chargés de la mise en oeuvre des programmes et, d'autre part, un processus dirigé par une autorité centrale et comprenant un cadre de planification et d'établissement des priorités de l'évaluation, un appui technique aux ministères en vue de l'exécution des études, le contrôle de la qualité des évaluations effectuées par les ministères et la surveillance des évaluations demandées par l'autorité centrale.

8.44 Les ministères sont les seuls pratiquement à effectuer des évaluations de programme. Ces études, dont il est fait état au chapitre 9, visent à répondre aux besoins de la direction du ministère. Comme il est dit au chapitre 10, il faut consolider le leadership de l'autorité centrale chargée de l'évaluation de programme.

8.45 Les ministères ont dépensé 28,5 millions de dollars au poste de l'évaluation de programme en 1991-1992, chiffre qui englobe le coût de 263 années-personnes. Ces dépenses comprennent également les marchés de services contractuels, les dépenses de fonctionnement et de gestion ainsi que les ressources transférées aux services d'évaluation des ministères pour des évaluations particulières. Dans un nombre limité de cas, des évaluations sont aussi réalisées en dehors de la structure formelle. À témoin, l'Agence canadienne de développement international consacre chaque année, dans le cadre des activités des directions régionales pour chaque grande région géographique, environ quatre millions à l'évaluation de projets, comme nous l'apprend le chapitre 12.

8.46 La Direction de l'évaluation et de la vérification, qui relève du Bureau du contrôleur général du Canada, assume les responsabilités centrales en matière d'évaluation de programme. Environ la moitié des 32 années-personnes et du budget de 2,9 millions de dollars dont disposait la Direction à compter d'avril 1993 sont engagées à ce poste. Cette somme est de 33 p. 100 inférieure à ce qu'elle était en 1991-1992.

Les exigences de la politique
8.47 En 1991, le Conseil du Trésor révisait et émettait sa nouvelle politique en matière d'évaluation de programme. Celle-ci insiste davantage sur l'approche stratégique et favorise l'engagement des maigres ressources affectées à l'évaluation dans des secteurs prioritaires, soit ceux dont on peut dire, sans équivoque, que l'information sur les résultats obtenus par les programmes est à ce point importante qu'ils justifient le coût de l'évaluation.

8.48 Les administrateurs généraux doivent rendre compte de la mise en oeuvre de la politique en matière d'évaluation de programme au sein de leur organisme. La politique prescrit d'envisager l'évaluation de tous les programmes et instruments de programme et d'y procéder lorsque celle-ci est utile et efficace par rapport au coût. Elle exige également de confier à un cadre supérieur, indépendant des cadres hiérarchiques, la responsabilité d'assurer la gestion, au jour le jour, de la fonction d'évaluation dans son ministère.

8.49 Aux termes de la politique, l'évaluation de programme a pour objet de fournir des renseignements sur trois grandes questions de base, à savoir d'établir dans quelle mesure le programme visé est :

  • Pertinent : s'il concorde toujours aux priorités ministérielles et gouvernementales et répond réellement aux besoins actuels;
  • Performant : s'il atteint les objectifs, selon le budget établi et sans entraîner des répercussions néfastes importantes;
  • Efficace par rapport au coût : s'il utilise le moyen le plus approprié et le plus efficient pour atteindre les objectifs, compte tenu d'autre façons de concevoir ou d'offrir ce programme.
8.50 Les résultats de l'évaluation de programme sont appelés à confirmer, à améliorer ou à supprimer les programmes et les instruments de programme. La direction peut les mettre à profit pour améliorer le fonctionnement, modifier les programmes et les budgets et rendre des comptes. La politique prévoit que les résultats de l'évaluation seront accessibles au Secrétariat du Conseil du Trésor, aux comités du Cabinet et au Parlement.

8.51 La politique en matière d'évaluation de programme est destinée à être appliquée dans l'ensemble du gouvernement, traduisant ainsi la nécessité d'obtenir des renseignements fiables à utiliser pour déterminer le «résultat net» dans l'ensemble des programmes de l'État. Suivant la définition retenue aux fins de l'évaluation, un programme ministériel s'entend d'une série d'activités ministérielles réalisées dans le but d'atteindre les même objectifs. Un programme ministériel peut faire appel à un seul ou à plus d'un instrument de programme. La pièce 8.3 dénombre les instruments visés par les exigences du gouvernement en matière d'évaluation de programme. En outre, la politique s'étend à tous les ministères, établissements publics et organismes définis à l'article 2 de la Loi sur la gestion des finances publiques .

8.52 Dans plusieurs cas, on ne donne pas suite à un aspect important de la politique en matière d'évaluation de programme énoncé dans les lignes directrices, soit l'obligation d'élaborer un cadre d'évaluation. Ce dernier donne des précisions au sujet du plan de collecte de données sur le rendement au cours de la mise en oeuvre d'une activité. Ces données serviraient de base à la mesure continue du rendement et renfermeraient une part importante de l'information nécessaire aux évaluations prévues.

8.53 Outre cela, la politique du gouvernement précise de quelle manière l'évaluation de programme doit s'inscrire dans la structure actuelle du gouvernement. Elle définit à cette fin les rôles et responsabilités, tant des ministères que du Conseil du Trésor, y compris le Bureau du contrôleur général, qui a été fusionné avec le Secrétariat du Conseil du Trésor en juillet 1993.

8.54 Au nombre des fonctions d'organisme central confiées à la Direction de l'évaluation et de la vérification du Bureau du contrôleur général figurent la surveillance des évaluations que font les ministères de leurs propres programmes ainsi que les services d'assurance de la qualité afin que les utilisateurs aient confiance dans les résultats d'évaluation pour prendre des décisions. Le contrôleur général est également tenu de faire rapport aux sous-ministres et au président du Conseil du Trésor des résultats obtenus à l'échelle du gouvernement en matière d'évaluation de programme. En outre, la Direction a pour tâche de coordonner la planification des évaluations ministérielles en fonction des besoins d'information du Conseil du Trésor et des comités du Cabinet sur la performance des programmes et d'exercer un contrôle sur les évaluations réalisées pour le compte des comités du Cabinet.

Exemples de questions visées par les évaluations
8.55 L'évaluation de programme doit permettre de déterminer si les objectifs des programmes sont atteints. Certains objectifs consistent à satisfaire aux besoins de la clientèle; c'est le cas notamment des programmes destinés aux aînés, des programmes de sécurité du revenu agricole et des programmes de recyclage de la main-d'oeuvre. D'autres objectifs se présentent sous forme des retombées souhaitées pour les industries, les régions, les collectivités, les groupes et les particuliers.

8.56 Les pièces 8.4 et 8.5 énumèrent le genre d'information que l'on peut tirer de l'évaluation de programme. La première présente des exemples de questions susceptibles d'être abordées lors de l'évaluation de mégaprojets énergétiques. Faisant suite à notre recommandation dans le Rapport de 1992 (chapitre 14, paragraphe 14.78), Énergie, Mines et Ressources prend maintenant en considération ces questions en vue de planifier l'évaluation des mégaprojets énergétiques.

8.57 La pièce 8.5 précise le genre de questions abordées dans le cadre de l'évaluation du programme de Crédit d'impôt à l'investissement au Cap-Breton.

8.58 Comme l'illustrent les exemples, il existe diverses conséquences possibles, tant directes qu'indirectes, rendant nécessaire la collecte de renseignements. Il s'agit de mesurer non seulement les conséquences positives, mais aussi les effets négatifs et imprévus. Il peut arriver, par exemple, que des programmes dont l'objet est de stimuler l'investissement (comme celui du Crédit d'impôt à l'investissement au Cap-Breton) viennent appuyer des entreprises qui auraient entrepris les mêmes activités, qu'elles aient bénéficié ou non de l'aide du gouvernement. Si le programme ne vise pas à provoquer de telles situations, il faut néanmoins en tenir compte au moment d'évaluer les résultats nets du programme dans son ensemble.

Les intérêts des principaux intéressés

8.59 Les administrateurs généraux sont les premiers responsables du système d'évaluation de programme du gouvernement canadien. Il leur incombe d'assurer l'évaluation de programme au sein de leur ministère. Les organismes centraux ayant mené peu d'évaluations, ce sont d'abord les ministères responsables qui s'occupent d'établir si les dépenses engagées au poste des programmes publics permettent de réaliser les objectifs visés. Par contre, notre vérification a montré que l'évaluation de programme ne satisfait pas toujours à certains intérêts, qui vont au-delà des préoccupations immédiates des ministères responsables.

L'intérêt du Cabinet pour l'évaluation de programme
8.60 D'après les renseignements que nous ont fournis les employés du Bureau du contrôleur général, le Cabinet s'intéresse de manière soutenue depuis plus de dix ans aux données tirées de l'évaluation de programme. Il adresse, en moyenne, entre 10 et 20 demandes d'évaluations chaque année. Le personnel du Bureau du contrôleur général n'a pas précisé dans quelle mesure on a répondu à ces demandes.

8.61 Outre les demandes d'études spéciales, le Cabinet a demandé à l'occasion la tenue d'évaluations d'envergure en vue de mesurer l'efficacité des programmes. À titre d'exemple, en 1985, le Groupe de travail ministériel chargé de l'examen des programmes s'appuyait sur les résultats de l'évaluation de programme pour formuler d'importantes recommandations sur les programmes publics.

8.62 Le Groupe de travail s'est penché sur une diversité de programmes et a poursuivi deux grands objectifs, soit offrir un meilleur service au public et améliorer la gestion des programmes gouvernementaux. Il a demandé des avis, entre autres, sur le double emploi au niveau des programmes, l'élimination de certains d'entre eux et la possibilité de limiter la portée de certains autres. Le Groupe de travail a fait savoir qu'il avait déployé des efforts considérables afin d'apprécier les programmes en se fondant sur les résultats des rapports d'évaluation de programme émanant des ministères. Or, à titre d'utilisateurs des données d'évaluations de programme, ses membres ont déclaré que les renseignements que leur avaient fournis les évaluateurs du gouvernement ne répondaient pas à leurs besoins.

8.63 Le Cabinet a également fait appel à l'évaluation de programme pour obtenir des informations sur l'issue des programmes de réglementation. L'énoncé global de la politique fédérale en matière de réglementation, que renfermait le Plan d'action en matière de réglementation de 1986, situait au premier rang des priorités la réforme des règlements inefficaces ou économiquement improductifs. Dans la poursuite de cet objectif, l'efficacité et l'efficience de tous les programmes de réglementation devaient être évaluées à intervalles de sept ans tout au plus.

8.64 D'après une estimation de l'ensemble des activités de réglementation en cours au gouvernement, notre vérification de l'activité des services d'évaluation ministériels (voir le chapitre 9) montre qu'environ 53 p. 100 seulement des activités ont été évaluées de 1985-1986 à 1991-1992. Le gouvernement se reporte à d'autres mécanismes d'examen en vue d'évaluer l'efficacité de bon nombre de ses programmes de réglementation (voir les chapitres 25, 26 et 27) , malgré les exigences de la politique en matière d'évaluation de programme.

Un intérêt accru pour l'évaluation de programme de la part des comités parlementaires
8.65 Alors que le public canadien suit de plus près le bilan des dépenses publiques, les comités parlementaires s'intéressent de plus en plus aux résultats d'évaluations pour examiner les budgets et les programmes publics.

8.66 Dans le rapport qu'il publiait en 1991, soit Le Système d'évaluation des programmes du gouvernement du Canada , le Comité sénatorial permanent des finances nationales affirmait «qu'une utilisation plus systématique de l'évaluation de programme assurerait au Comité des finances nationales une solide approche en ce qui concerne son examen des prévisions budgétaires. Plus particulièrement, l'utilisation des résultats des évaluations permettrait au Comité d'élaborer des propositions concrètes en vue d'améliorer des programmes gouvernementaux.» Toutefois, le système en place ne permettait pas d'obtenir l'information que le Comité jugeait nécessaire.

8.67 Depuis 1986, le Comité des comptes publics porte également un vif intérêt à l'évaluation comme source de données précises sur l'efficacité des dépenses, notamment des dépenses fiscales. Dans le rapport qu'il déposait devant la Chambre, le 26 juin 1986, le Comité recommandait au ministère des Finances d'instaurer une fonction globale d'évaluation de programme et de veiller à ce que toutes les dépenses fiscales soient soumises à l'évaluation.

8.68 Ces derniers temps, le Comité des comptes publics soulignait encore davantage son intérêt pour l'évaluation de programme en commandant une série d'études sur des questions qu'il estime pressantes. À titre d'exemple, en 1991, le Comité des comptes publics chargeait le ministère des Finances d'évaluer certaines mesures fiscales, y compris la taxe sur les produits et services et le nouveau traitement fiscal de l'épargne-retraite. Le ministère a donc modifié ses projets d'évaluation pour donner suite à la demande du Comité des comptes publics. En 1993, le Comité demandait au ministère de l'Emploi et de l'Immigration de lui fournir un calendrier détaillé de son programme d'évaluation.

8.69 Enfin, en 1993, le Sous-comité de la réglementation et de la compétitivité du Comité permanent des finances de la Chambre des communes proposait des modifications dont l'objet était d'accroître le rôle du Parlement en matière d'évaluation des mesures de réglementation. L'évaluation de programme en vertu de la politique du Conseil du Trésor était davantage considérée comme un appui à la haute direction des ministères qu'une aide au Parlement. Le Sous-comité recommandait que chaque comité permanent examine les programmes de réglementation en cours dans son champ de compétence. Il précisait que l'évaluation de programme était au nombre des moyens à utiliser pour amorcer les examens recommandés. Le Comité est d'avis que l'évaluation systématique des programmes est indispensable à une responsabilisation accrue et à une prise de décisions plus rationnelle en matière de réglementation.

L'intérêt que portent les organismes centraux à l'évaluation de programme
8.70 La politique définit les responsabilités officielles du secrétaire du Conseil du Trésor et du contrôleur général en matière d'évaluation de programme. Pour s'acquitter de ces responsabilités, les deux organismes ont choisi de se concentrer sur les questions d'intérêt pour les ministères et de s'en remettre aux initiatives de ces derniers pour répondre aux besoins des diverses parties intéressées à l'évaluation.

8.71 Pour sa part, le contrôleur général s'acquitte de ses responsabilités en élaborant et en communiquant une politique d'évaluation et en offrant des conseils en matière de planification, de même que sur les méthodes, les procédures et les normes d'évaluation. Ensemble, la politique et les normes et méthodes connexes constituent une base solide sur laquelle asseoir l'évaluation de programme au gouvernement. Ils nous ont servi de critères dans le cadre de notre vérification. Les préoccupations dont nous faisons état aux chapitres 9 et 10 découlent, en grande partie, des modalités d'application de la politique et des normes.

8.72 Le contrôleur général a veillé au perfectionnement professionnel des fonctionnaires chargés de l'évaluation de programme et a cherché activement à promouvoir cette discipline dans tous les secteurs du gouvernement. Cependant, son personnel a surtout fait oeuvre de facilitateur et de coordonnateur, misant sur la persuasion plutôt que sur des directives expresses. Nous n'avons relevé aucun exemple d'évaluation effectuée ou dirigée, individuellement ou conjointement, par le Secrétariat du Conseil du Trésor ou le Bureau du contrôleur général depuis notre dernière vérification en 1983.

8.73 Nous avons également constaté que les décisions du Conseil du Trésor motivent rarement les ministères à entreprendre des évaluations de programme. En 1989-1990, par exemple, le Conseil du Trésor a émis 2 243 décisions, dont la plupart portaient uniquement sur des questions administratives. Il a demandé que l'on mène des évaluations ou approuvé le financement d'évaluations dans 18 cas seulement.

8.74 À ce jour, les ministères avaient donné suite aux demandes dans 10 cas sur 18. Il n'y a pas eu d'évaluation pour trois de ces huit cas, les ministères considérant que ces évaluations n'étaient plus nécessaires. Pour ce qui est des cinq autres, des évaluations étaient en cours ou devaient être amorcées à une date ultérieure.

Une source possible de données fiables sur l'efficacité

8.75 Les résultats de quelques-unes des évaluations témoignent des possibilités du système en tant que source de renseignements fiables sur l'efficacité des stratégies et des activités. Notre vérification de l'évaluation des programmes choisis nous a permis d'identifier des constatations solidement étayées qui ont servi à l'identification d'économies possibles, à la prise de décisions fondées en matière de gestion et à la reddition des comptes. Les paragraphes suivants présentent quelques exemples des résultats d'évaluations.

8.76 L'identification d'économies possibles et une efficacité accrue par rapport au coût. En 1993, le ministère des Transports menait à terme une évaluation du Programme de recherche et de sauvetage de la Garde côtière canadienne. Le Ministère s'est penché, entre autres, sur les coûts et les avantages rattachés à plus de 70 embarcations que la Garde côtière utilise presque exclusivement pour ses activités de recherche et de sauvetage, aussi bien des petites embarcations côtières que d'énormes garde-côte. L'évaluation a révélé que le coût des six navires était supérieur à celui de toutes les autres embarcations de la flotte (soit 35,6 millions de dollars comparativement à 32,2 millions). Cela dit, moins de 10 p. 100 de la totalité des sauvetages effectués par la flotte primaire de 1988 à 1990 étaient attribuables à ces navires. Le 1er mars 1993, le sous-ministre des Transports approuvait une recommandation qui amènerait la Garde côtière à envisager soit de retirer ces navires de classe 600 du service, soit de leur confier d'autres tâches que la recherche et le sauvetage afin d'en accroître l'efficacité par rapport au coût.

8.77 L'initiative s'est avérée inefficace par rapport au coût. Il est ressorti de l'évaluation du Crédit d'impôt à l'investissement au Cap-Breton, effectuée par le ministère des Finances, que la somme des investissements admissibles au crédit devait atteindre 2,1 milliards de dollars. Or, d'après l'évaluation, tout au plus 19 p. 100 de cette somme (soit environ 400 millions de dollars) représentent des investissements différentiels, c'est-à-dire des investissements qui n'auraient pas été effectués dans la région, n'eût été l'octroi du crédit d'impôt de 60 p. 100. Les résultats de l'étude ont en partie motivé la décision de supprimer le crédit d'impôt.

8.78 Une plus grande efficacité par rapport au coût et un meilleur service à la clientèle. Le programme Développement de l'emploi du ministère de l'Emploi et de l'Immigration vient en aide aux travailleurs en butte à des difficultés relatives à l'emploi en leur offrant une formation professionnelle et en leur permettant d'acquérir une expérience de travail. Plusieurs choix s'offrent aux participants. L'évaluation a montré que le Club de placement, initiative relativement peu coûteuse, est une option efficace par rapport au coût. Elle a révélé également que le programme avait aidé les bénéficiaires de l'aide sociale à trouver de l'emploi, notamment les hommes ayant profité de l'option Personnes fortement défavorisées sur le plan de l'emploi. Grâce à ces résultats d'évaluation et à d'autres encore sur l'efficacité relative des options en regard de clientèles particulières, les agents de programme seront mieux en mesure de prendre des décisions fondées lorsqu'ils seront appelés à orienter des clients vers des projets. Il a également été constaté que les projets parrainés par le secteur privé étaient souvent plus efficaces que ceux financés par le secteur public. De nouvelles directives régissant le programme mettront l'accent sur le recours au parrainage privé lorsque la situation s'y prête.

8.79 L'appréciation des conséquences d'un changement de politique. Les résultats d'une évaluation des taxes sur le tabac, effectuée par le ministère des Finances, ont montré qu'à court terme, une hausse de 10 p. 100 du coût réel des cigarettes entraînerait une baisse de consommation de 9 p. 100, suivie d'une remontée quelconque. L'évaluation a permis également d'élaborer une technique de mesure des répercussions non intentionnelles sur la contrebande, de l'imposition de taxes; ainsi, une majoration de 10 p. 100 des taxes sur le tabac se traduirait par une augmentation dans une proportion au moins égale des exportations de tabac, surplus destiné, semble-t-il, à être écoulé sur le marché canadien par les contrebandiers. Ainsi, les évaluateurs ont conclu que le marché du tabac de contrebande avait obligé le gouvernement fédéral à supporter un manque à gagner de 555 à 695 millions de dollars en 1991.

8.80 L'évaluation des économies réalisées dans le cadre d'un projet. L'évaluation du programme de remise à neuf des locomotives (de la Pakistan Railways) par l'Agence canadienne de développement international a révélé que la remise à neuf de 42 locomotives avait permis à la Pakistan Railways d'économiser environ 21,6 millions de dollars. Cette conclusion est fondée sur le coût de remplacement des locomotives et prend en compte la plus courte durée de vie des véhicules remis en état.

8.81 Les quelques exemples présentés ci-dessus illustrent dans quelle mesure l'évaluation peut être une source de renseignements fiables en réponse à des besoins variés. Il est regrettable de constater que l'on ne retrouve pas infailliblement la qualité des évaluations citées en exemple dans l'ensemble du système.

Les attentes non comblées

Des informations essentielles ne sont pas toujours transmises à temps
8.82 L'évaluation de programme vise d'abord à répondre aux besoins des gestionnaires dans les ministères. Comme l'illustre le chapitre 9, le travail d'évaluation porte en grande partie sur des activités modestes et sur des questions opérationnelles, de sorte qu'il n'est pas toujours possible d'obtenir en temps utile des données d'évaluation de qualité sur les activités et les programmes gouvernementaux de premier plan.

8.83 Après avoir examiné la mesure de l'efficacité de onze programmes majeurs, nous en avons conclu que les résultats des évaluations n'étaient pas toujours opportuns et pertinents. Ces résultats sont susceptibles d'appuyer la prise de décisions propres à assurer la bonne marche des programmes ou offrant des données utiles en vue de rendre compte aux ministres et au Parlement de dépenses majeures.

8.84 À témoin, en ce qui concerne le Programme de sécurité du revenu agricole relevant du ministère de l'Agriculture, d'utiles résultats d'évaluation faisaient défaut au moment où le programme était en passe d'être remanié en profondeur. Aussi, les résultats d'évaluation se sont fait attendre pour ce qui est du Programme d'encouragement du secteur pétrolier et du Programme canadien d'encouragement à l'exploration et à la mise en valeur (Énergie, Mines et Ressources) et des prestations du Régime de pensions du Canada (Santé nationale et Bien-être social). Au moment de notre vérification, le programme des revendications particulières n'avait pratiquement pas été évalué (Affaires Indiennes et du Nord), bien que ce programme existe depuis le début des années 70. Le ministère a depuis indiqué qu'il procède à l'évaluation de ce programme.

La nécessité de recourir à d'autres sources de données sur l'efficacité
8.85 Aux termes de la politique, l'évaluation de programme est «un mode essentiel d'examen méthodique du rendement des programmes». Les études de l'efficacité qui ne tiennent pas de l'évaluation de programme ne sont pas soumises à la politique ni aux normes pour ce qui est de leur qualité et de la fiabilité des résultats.

8.86 Nous avons demandé aux gestionnaires des onze programmes que nous avons examinés les moyens qu'ils ont utilisés pour en mesurer l'efficacité. Nous avons trouvé que l'évaluation de programme était le mode le plus fréquemment utilisé. Toutefois, les gestionnaires de cinq des onze programmes se sont reportés à des études spéciales lorsqu'ils ont été appelés à élaborer des politiques.

8.87 Des études spéciales ont été réalisées à la place d'évaluations de programme (ou au lieu de la mise à jour d'évaluations), à l'appui de décisions importantes concernant les programmes, par exemple lorsque le ministère de l'Agriculture a remanié le Programme de sécurité du revenu agricole et lorsque le ministère de l'Énergie, des Mines et des Ressources a procédé à l'élimination progressive du Programme d'encouragement du secteur pétrolier. Des gestionnaires d'Approvisionnements et Services ont fait appel aux examens des gammes des services; d'autres s'en sont remis au rapport de la Commission royale sur le désastre marin de l'Ocean Ranger qui, en 1986, s'est penchée sur les activités de recherche et de sauvetage.

8.88 Étant donné que la politique prescrit d'évaluer les programmes de réglementation, nous nous attendions que ces programmes aient été évalués en priorité. Le Plan d'action en matière de réglementation prévoit l'évaluation, au moins une fois tous les sept ans, de l'efficience et de l'efficacité des programmes. Or, cette exigence n'a été satisfaite que partiellement (voir le paragraphe 8.64).

8.89 Des moyens autres que ceux que prévoit la politique et n'offrant pas l'assurance de l'uniformité au niveau de la démarche ont servi à évaluer, en tout ou en partie, les activités en cours dans un certain nombre de secteurs de réglementation importants : instruments médicaux, réacteurs, combustible, matériel et installations nucléaires, administration du pétrole et du gaz des terres du Canada, et autres. Le gouvernement pourrait envisager d'inclure ces examens dans le processus d'évaluation. Comme il est dit au paragraphe 8.69, le Sous-comité de la réglementation et de la compétitivité de la Chambre faisait valoir en 1993 que, de son avis, l'évaluation de programme devrait figurer au premier plan de tout processus d'examen d'envergure.

Le traitement souvent incomplet des questions difficiles
8.90 Nous avons examiné dans quelle mesure les évaluations des onze programmes publics retenus ont permis d'approfondir les questions d'efficacité par rapport au coût, de réussite et de pertinence des programmes.

8.91 D'après les résultats présentés pour toutes les évaluations de programme (voir le chapitre 9, paragraphe 9.63), environ la moitié seulement des évaluations abordent la question de la pertinence et de l'efficacité des programmes par rapport au coût. Encore là, ces évaluations passent souvent sous silence certains aspects essentiels de la pertinence du programme. Dans la plupart des cas, les évaluations donnaient des précisions sur les succès enregistrés par le programme. Néanmoins, même les évaluations qui abordaient les trois questions le faisaient souvent, à notre avis, de manière incomplète. Des sujets essentiels à l'évaluation équilibrée du programme n'étaient pas soulevés. Il s'agit souvent de sujets difficiles à aborder, mais essentiels pour mettre en question l'opportunité de poursuivre le programme.

La qualité inégale des analyses diminue la crédibilité et l'utilité des évaluations
8.92 L'évaluateur est censé élaborer et appliquer des méthodes d'évaluation adaptées aux questions visées par l'étude. Dans ces circonstances, il est à même d'étayer ses conclusions de constatations valides et fiables. L'utilisateur à qui on présente des renseignements qui ne sont pas toujours fondés n'aura pas beaucoup confiance en l'utilité des mesures d'évaluation. Nous avons examiné la qualité de l'évaluation des onze programmes visés par la vérification et nous en avons conclu qu'elle n'était pas constante. Même à l'intérieur d'une étude, la fiabilité des constatations était inégale. Nous n'avons relevé que deux programmes dont l'évaluation avait été soumise à des normes de qualité constantes.

8.93 Nous avons déjà fait savoir que certaines mesures d'évaluation avaient été effectuées habilement et qu'elles avaient permis d'obtenir des renseignements importants sur les résultats des programmes. Ces constatations illustrent le potentiel de l'évaluation quand il s'agit d'un travail de qualité.

8.94 En revanche, nous avons constaté l'existence d'études dont les résultats étaient douteux. L'utilisateur qui ne peut compter sur une qualité constante aura moins confiance en l'exactitude des résultats, qu'il soient fiables ou non.

8.95 C'est le cas notamment de l'évaluation du Programme spécial canadien pour les grains de 1987, où Agriculture Canada avait conclu que ce programme, conjugué à la Loi de stabilisation concernant le grain de l'Ouest , avait été très efficace. En effet, les agriculteurs, grâce aux paiements totaux qui leur étaient versés par les deux programmes de sécurité du revenu, disposaient, dans 75 p. 100 des cas, d'un revenu supérieur à ce qu'ils auraient obtenu en 1985, avant la guerre commerciale. Toutefois on aurait également pu conclure à partir des mêmes données qu'il en avait peut-être coûté beaucoup plus que nécessaire à l'État. Le ministère n'a pas cherché à déterminer si tel a été le cas.

8.96 Par ailleurs, lorsque le ministère des Finances a évalué les mesures fiscales sélectives, la fiabilité des résultats de l'évaluation sur le crédit d'impôt pour personnes handicapées, qui portaient sur la moyenne des déboursés couverts par le crédit d'impôt est, à notre avis, discutable, notamment en ce qui a trait à la mesure des répercussions du crédit d'impôt pour compenser les personnes gravement handicapées. Une description complète de l'appréciation de l'évaluation et de la réponse du Ministère ont été présentées au Comité des comptes publics en avril 1993.

8.97 Par ailleurs, dans le cadre de l'évaluation du Programme Nouveaux Horizons, destiné aux aînés et administré par Santé nationale et Bien-être social Canada, nous avons constaté l'existence de lacunes dans l'échantillonnage et la collecte de données. Aux termes de ce programme, plusieurs petites subventions sont prévues pour lutter contre le problème de la solitude et promouvoir des activités sociales parmi les aînés. La méthode d'évaluation consistait, en partie, en un sondage auprès d'un échantillon de directeurs de programme et non pas auprès de participants types à ce programme. Il s'ensuit que la méthode d'évaluation utilisée ne peut appuyer la conclusion selon laquelle le programme a eu des effets favorables sur la vie des aînés.

L'absence d'une approche méthodique de l'évaluation des programmes interministériels
8.98 Au cours de notre vérification de l'évaluation de programme de portée générale en 1983, nous constations qu'il n'existait pas de méthode d'évaluation des programmes intéressant plus d'un ministère. Dans ces conditions, les chefs des services d'évaluation ne connaissaient avec certitude ni la marche à suivre ni leurs responsabilités en matière d'évaluation. Par conséquent, les programmes interministériels n'étaient pas soumis à l'évaluation systématique dont étaient l'objet les programmes à la charge d'un seul ministère. Ainsi, nous recommandions que le gouvernement améliore les procédures en vigueur afin d'identifier et d'évaluer périodiquement les programmes interministériels, dans la mesure où il était raisonnable et convenable de le faire.

8.99 La présente vérification nous amène à constater, dix ans plus tard, que le gouvernement n'a pas encore mis en oeuvre d'approche méthodique d'évaluation des programmes interministériels. Cette forme d'évaluation a été jugée importante par rapport à quatre des onze programmes examinés. Les quatre programmes en question ont tous été l'objet d'évaluations partielles. Par contre, le gouvernement n'avait pas encore mis en place de méthode adéquate permettant d'obtenir une appréciation globale de l'efficacité des programmes.

8.100 En ce qui concerne la réglementation des régimes de pensions publics et privés, le ministère des Finances et le ministère de la Santé nationale et du Bien-être social ont entrepris des évaluations distinctes. L'étude de ce dernier ministère portait sur l'efficacité de la Sécurité de la vieillesse et du Supplément du revenu garanti dans la lutte contre la pauvreté alors que l'analyse du ministère des Finances portait sur les effets distributifs du régime de pensions. Pour leur part, les porte-parole d'Approvisionnements et Services reconnaissent que le ministère n'évalue qu'une partie des effets du programme d'acquisitions (marchés publics) sur la réalisation d'objectifs nationaux comme le développement régional. La politique du Conseil du Trésor sur l'examen des acquisitions veille à la coordination des responsabilités en matière d'activités d'évaluation visant la réalisation des objectifs nationaux par les achats publics. En particulier, le ministère de l'Industrie, des Sciences et de la Technologie est le premier responsable de l'évaluation des objectifs de développement industriel et régional. Aucune évaluation globale du programme d'acquisitions n'a été effectuée en ce qui concerne la réalisation des objectifs nationaux, bien qu'une telle évaluation soit prévue.

8.101 En ce qui a trait à la Loi sur les mesures spéciales d'importation , Revenu national (Douanes et Accise) a évalué les aspects opérationnels du programme qui en découle. Le ministère des Finances est chargé de la politique en la matière. Au moment de la vérification, le ministère des Finances n'avait pas encore réalisé d'étude d'efficacité en raison des négociations commerciales en cours qui auront des répercussions sur la politique. Il a fait savoir qu'il augmenterait ses efforts à cette fin dès qu'on aura une idée plus précise de l'issue des négociations. Dans la même optique, les principaux ministères concernés, tels que la Défense nationale et les Transports, ont entrepris d'évaluer individuellement leurs activités de recherche et de sauvetage. Par contre, l'efficacité globale par rapport au coût de l'activité de recherche et de sauvetage du gouvernement n'a été l'objet d'aucune évaluation d'ensemble au cours des dix dernières années.

8.102 Le partage des responsabilités à l'égard d'un même programme entre plusieurs ministères impose une exigence particulière au gouvernement, qui doit s'assurer de l'existence d'un mécanisme qui permet d'identifier les programmes interministériels et de les soumettre périodiquement à des évaluations exhaustives. Cette exigence doit être prise en considération dans le cadre de la méthode de planification améliorée décrite au chapitre 10.

On accorde peu de priorité à l'évaluation des programmes prévoyant des dépenses majeures
8.103 Étant donné les préoccupations croissantes soulevées par le montant de la dette et du déficit ainsi que l'intérêt que représentent pour le Parlement les données sur l'efficacité des programmes publics pour l'examen des budgets, il serait logique de croire que l'on accorderait une attention toute particulière aux plus grandes dépenses de programme. Or, il n'en est rien.

8.104 Nous avons examiné les programmes en cours du gouvernement dont les dépenses sont supérieures à un milliard de dollars. Nous nous attendions que ce genre de programmes aient été évalués en priorité. En 1991-1992, les dépenses de 16 programmes totalisaient 124,5 milliards de dollars (voir la pièce 8.6 ). Deux seulement avaient été évalués de manière exhaustive. Nous estimions que la portée de l'évaluation de programme était importante si un assez grand nombre de ses principales composantes avaient fait l'objet d'une évaluation ou si, à notre avis, certaines grandes questions, mais pas toutes, avaient été soulevées. Nous avons établi que la portée d'environ le tiers des évaluations de programme était importante. Les autres avaient été peu évalués, sinon pas du tout.

8.105 Dans le cas du programme des forces maritimes, les plans d'évaluation du ministère de la Défense nationale (MDN) indiquaient que peu d'évaluations ont été réalisées au cours de la période à l'étude et qu'il y a davantage d'activités d'évaluation dans le cas des forces terrestres. Toutefois, le Ministère indique que depuis l'unification des Forces canadiennes et l'intégration de l'organisation Forces canadiennes-MDN, les activités de services communs aux principaux programmes (mer, terre et air) sont analysées dans le cadre de toutes les évaluations qui sont réalisées.

8.106 La pièce 8.6 présente la portée de l'évaluation des programmes aux termes de la politique du Conseil du Trésor. Ne sont pas compris d'autres études ou examens, comme celui de la Commission d'enquête sur l'assurance-chômage de 1986.

8.107 Des six programmes dont la portée de l'évaluation était importante, dans trois cas, à notre avis, on avait étudié une part suffisante de composantes de programme pour pouvoir les considérer comme des évaluations importantes. Dans les trois autres cas, dont la portée de l'évaluation était importante, l'évaluation portait sur certaines questions d'importance, mais pas toutes. Ainsi, dans le cadre des activités liées à l'emploi, l'évaluation portait sur la plupart des composantes, mais n'analysait pas leur contribution à la réalisation des objectifs du programme dans son ensemble, soit de stimuler, de manière efficace et efficiente, le marché du travail.

8.108 Des mesures ont été prises afin de combler certaines des lacunes présentées ci-dessus. Ainsi, le ministère des Finances a entrepris d'évaluer son Programme du service de la dette publique. En octobre 1992, il terminait le premier rapport sur l'évaluation du service de la dette (la première étape d'une série de rapports prévus) et le présentait au Comité des comptes publics en décembre 1992. Cet exercice vise à donner suite à la recommandation qui nous lui adressions en ce sens en 1988 et aux recommandations faites ultérieurement à ce sujet par le Comité des comptes publics. En collaboration avec les provinces, il a également amorcé un examen de divers programmes, notamment des dispositions relatives aux paiements de péréquation et de stabilisation fiscale, dans le cadre du processus d'examen formel annoncé dans le Budget de 1991 pour étudier le besoin de réformes du système des principaux transferts aux provinces. Pour sa part, le ministère de l'Emploi et de l'Immigration est à évaluer la question des prestations d'assurance-chômage.

8.109 En outre, le ministère de la Santé nationale et du Bien-être social a indiqué qu'il est à évaluer une partie du programme des contributions à l'assurance-maladie et du Régime de pensions du Canada. Le ministère des Finances a amorcé l'évaluation de la réforme de l'aide fiscale à l'épargne-retraite. En plus d'avoir terminé l'évaluation du Bureau de services juridiques des pensions, le portefeuille des Anciens combattants a approuvé en 1991 une étude préparatoire à l'évaluation (un plan pour l'évaluation) du Régime de pensions et est à terminer la rédaction du rapport d'évaluation.

8.110 Pour combler les lacunes de l'étendue de l'évaluation de programmes tels ceux des études postsecondaires, des paiements de péréquation et de stabilisation fiscale ainsi que des contributions à l'assurance-maladie, il sera peut-être nécessaire d'instaurer d'autres mécanismes prévoyant une consultation et une collaboration étroites avec les gouvernements provinciaux. Le ministère des Finances est d'avis que les mécanismes de consultation actuels suffisent à répondre aux besoins d'évaluation.

La planification des évaluations dans l'administration fédérale
8.111 Nous avons décelé d'importantes lacunes dans la méthode globale de planification (voir le chapitre 10). Celles-ci s'expliquent du fait que les intéressés ne désignent pas clairement les secteurs à évaluer en priorité et ne font pas de suivi afin de s'assurer de l'existence d'une capacité de réponse et de la réalisation d'études de qualité dans l'ensemble de l'administration fédérale. De plus, on s'attend que les exigences globales soient satisfaites par l'intermédiaire de plans élaborés individuellement, comme il est décrit au chapitre 9.

Conclusion

8.112 Au moment de la vérification de portée générale que nous avons effectuée en 1983, des composantes essentielles du système d'évaluation de programme avaient été mises en place. Cette discipline a surtout évolué au sein des ministères. Par conséquent, le système vise à satisfaire davantage aux besoins des gestionnaires dans les ministères qu'à ceux des organismes centraux, des ministres et du Parlement. Peu de progrès sont à signaler au chapitre de l'information fournie à ces intéressés de premier plan alors que l'information sur l'efficacité des activités publiques pourrait s'avérer des plus utiles.

8.113 De par leur conception, les politiques, les normes et les méthodes d'évaluation visent à fournir des données sur l'efficacité tant aux gestionnaires des ministères qu'au Parlement, aux ministres et aux gestionnaires des organismes centraux. Or, à quelques exceptions près, les évaluations demeurent centrées sur les services ministériels. Les lacunes du système ne relèvent pas de la politique et des directives à l'appui, mais de leur application. Il semble que l'on doive déplorer l'absence de volonté de tirer un meilleur parti du système.

8.114 L'engagement envers un système efficace d'évaluation de programme passe obligatoirement par la collecte et l'analyse de données sur le rendement des programmes et par la prise de décisions à la lumière de cette information. L'évaluation de programme offre le moyen de conjuguer des données recueillies dans le cadre de la gestion de programme à des renseignements d'autres sources pour que les intéressés soient en mesure de juger de l'efficacité continue d'un programme donné.

8.115 Le gouvernement doit répondre à des questions difficiles concernant l'efficacité de ses programmes et de ses dépenses. Nombre d'entre elles commandent de toute urgence des réponses. L'évaluation de programme peut fournir des éléments de réponse solides à ces questions, mais il y a lieu d'amorcer un important processus d'amélioration pour accroître l'utilité des évaluations. Nous avons formulé des recommandations précises au chapitre 9 pour favoriser la bonne marche des services d'évaluation des ministères. Au chapitre 10, d'autres recommandations s'adressent au Secrétariat du Conseil du Trésor et au personnel du contrôleur général.