Cette page Web a été archivée dans le Web.

1996 mai — Rapport du vérificateur général du Canada

Vérificatrice générale adjointe : Maria Barrados
Vérificateur responsable : Stan Divorski

Points saillants

3.1 Le gouvernement a reconnu qu'il fallait une meilleure information sur les résultats des programmes pour appuyer ses décisions et améliorer sa façon de fonctionner. Pour obtenir de l'information sur les résultats finaux des programmes gouvernementaux, il faut mesurer et analyser méthodiquement l'efficacité des programmes. Le besoin de faire des études d'efficacité des programmes - communément appelées évaluations - croît en raison de l'examen minutieux auquel les programmes gouvernementaux sont soumis.

3.2 La modification du milieu a rendu la planification et la réalisation d'évaluations plus difficiles. Une nouvelle politique d'examen du Conseil du Trésor reconnaît la responsabilité des gestionnaires de programmes dans le domaine de la mesure du rendement des programmes. On y reconnaît également que la mesure et l'analyse de l'efficacité peuvent venir d'une foule d'études, mais on n'y précise pas les normes qui s'appliquent lorsque la mesure et l'analyse sont effectuées dans le cadre d'examens autres que des évaluations.

3.3 Les questions qu'un ministère choisit d'évaluer sont le reflet de décisions fondées en grande partie sur ses intérêts et ses priorités. Les évaluations continuent de faire ressortir les besoins des gestionnaires du ministère - car elles portent principalement sur des petites composantes de programmes et sur des questions opérationnelles. De telles études peuvent fournir des appuis précieux à la direction. Un bon gouvernement exige également de l'information globale sur l'efficacité des programmes pour la prise de décisions et une meilleure reddition de comptes. Cette information n'est pas toujours disponible. Les ministères ont prouvé qu'ils peuvent répondre aux demandes d'information sur les résultats des programmes clés. Nous avons constaté, par exemple, qu'ils ont fait des progrès quant à l'évaluation de l'efficacité des programmes dont les dépenses sont supérieures à un milliard de dollars par année.

3.4 Les ministères, excepté certains des plus petits, ont maintenu leurs niveaux d'appui financier à l'évaluation; cependant, certains aspects importants de la gestion de l'évaluation dans les ministères ne se sont pas améliorés. L'étendue et la qualité des évaluations demeurent des sujets de préoccupation.

3.5 Le gouvernement a instauré des mesures susceptibles d'améliorer la planification de l'évaluation et d'appuyer la progression constante de l'évaluation de ses programmes clés. Le système renouvelé de gestion des dépenses exige que les ministères soumettent des plans d'activités assortis de priorités en matière d'examen des programmes, y compris en matière d'évaluation et de vérification interne. Cette approche offre la possibilité d'établir un lien entre les plans d'évaluation ministériels et le processus budgétaire. Au cours de la première année, environ les deux tiers des plans ont fait état de priorités en matière d'examen. Toutefois, on en est aux premières étapes de l'élaboration du système. Le gouvernement doit encore veiller à ce que les priorités individuelles des ministères en matière d'évaluation reflètent ses priorités dans ce domaine. Pour ce faire, il doit énoncer systématiquement ses priorités en matière d'évaluation, déceler les lacunes au niveau de l'activité d'examen et veiller à ce qu'elles soient comblées.

3.6 Le président du Conseil du Trésor a soumis au Parlement un rapport sur le rendement de l'examen au gouvernement qui constitue une première étape encourageante. Dans les prochains rapports, il faudra trouver des mesures plus concrètes et une présentation plus fidèle des succès du gouvernement dans le domaine de la mesure et de l'analyse de l'efficacité des programmes.

Introduction

3.7 Les coûts et les résultats : voilà ce que les ministres, le Parlement et le public veulent savoir au sujet de tout programme gouvernemental. L'information sur les résultats peut prendre de nombreuses formes. Par exemple, on peut dénombrer les extrants - le nombre de produits ou services offerts par un programme, on peut mesurer divers aspects des extrants, comme leur opportunité et la satisfaction des clients à leur égard, ou encore on peut mesurer les répercussions du programme - les incidences ou les effets du programme sur les groupes cibles ou sur les Canadiens en général. C'est au niveau de la mesure des répercussions que l'évaluation peut contribuer de façon particulière.

3.8 Il existe divers indicateurs sociaux et économiques (par exemple, le taux de chômage, le taux de criminalité, les revenus moyens) pour mesurer le succès avec lequel le Canada règle les problèmes auxquels il fait face. Toutefois, il est difficile de déterminer la contribution de programmes précis aux changements qui surviennent dans ces indicateurs. Pour déterminer ce qu'un programme a fait pour améliorer l'état des choses, il faut faire des études analytiques distinctes. Ces études, communément appelées évaluations, supposent la mesure et l'analyse de l'efficacité d'un programme - la mesure dans laquelle les objectifs du programme ont été atteints. Elles visent à cerner la contribution réelle d'un programme. Ainsi, elles constituent une source essentielle de l'information nécessaire à la prise de décisions et à la gestion gouvernementale, car elles peuvent :

  • fournir de l'information pour appuyer les décisions concernant la répartition des ressources;
  • aider les Canadiens à déterminer la valeur de ce qu'ils obtiennent en contrepartie des impôts et des taxes qu'ils paient;
  • aider les fonctionnaires à gérer en vue d'obtenir des résultats et à en assumer la responsabilité.
3.9 Les évaluations peuvent fournir le type d'information sur les résultats finaux qui est nécessaire pour les programmes gouvernementaux. Par exemple, comme nous l'avons mentionné dans le chapitre 6 de notre rapport de mai 1995, une étude du Programme de subventions au transport des marchandises dans la Région atlantique, réalisée par le Groupe de la politique et de la coordination de Transports Canada, indique que la subvention a perdu de son importance comme stimulant au développement économique régional en raison du déclin constant des coûts; que les producteurs de la région de l'Atlantique dépendent moins des marchés du Canada central; que les producteurs de l'est du Québec reçoivent une part importante et croissante des subventions versées aux mouvements de sortie par camion et que le secteur des matières premières a une importance plutôt mineure dans l'économie globale de la région de l'Atlantique. En bref, l'étude a prouvé que ce programme de subvention n'était plus utile.

3.10 L'étude a fourni un aperçu plus clair de la contribution du programme que ne l'aurait permis une analyse des subventions versées aux bénéficiaires ou de tout autre indicateur unique de la santé économique de la région de l'Atlantique. Le rapport a été largement diffusé auprès du public et des députés. Dans le Budget de 1995, le gouvernement a annoncé son intention de mettre fin au programme le 1er juillet 1995.

3.11 Une évaluation de certaines composantes du programme de formation à Développement des ressources humaines Canada constitue un autre exemple d'évaluation à avoir produit de l'information valable. D'après cette évaluation, une formation qui est bien conçue pour aider les travailleurs à acquérir des compétences professionnelles en demande dans le contexte économique offre des avantages remarquables, notamment l'amélioration de la croissance économique et de la compétitivité du Canada.

Nécessité croissante de savoir si les programmes sont efficaces
3.12 En 1993, nous avons publié trois chapitres sur l'évaluation de programme. Nous avons noté l'intérêt que l'évaluation présentait pour le Cabinet et les comités parlementaires. Toutefois, nous avons conclu que le système d'évaluation ne donnait pas toute sa mesure. À la suite de ses audiences sur notre vérification, le Comité permanent des comptes publics de la Chambre des communes a réaffirmé son intérêt à l'égard de l'évaluation de programme et sa confiance dans les avantages auxquels elle pouvait donner lieu.

3.13 Au cours des deux dernières années, les pressions financières ont amené le gouvernement à réexaminer un bon nombre de ses programmes et à reconnaître la nécessité d'avoir de meilleures données pour appuyer les décisions. Dans sa réponse au rapport du Comité des comptes publics, le gouvernement s'est engagé à gérer en vue d'obtenir des résultats ainsi qu'à les mesurer. Dans son rapport au Parlement de novembre 1995, Pour une fonction d'examen plus efficace , le président du Conseil du Trésor a déclaré ceci :

« Toutefois, on ne peut améliorer le mode de fonctionnement de l'État sans avoir au préalable une bonne idée de son efficacité actuelle. Or, pour savoir ce qui fonctionne ou pas, il faut avoir à sa disposition des données crédibles sur le rendement. »
Faits nouveaux dans l'évaluation depuis notre vérification de 1993
3.14 Les évaluations nécessitent des connaissances spécialisées. Dans de nombreux ministères et organismes gouvernementaux, les études d'efficacité sont effectuées par des évaluateurs de programme, regroupés dans des services créés à cette fin. Les études d'efficacité peuvent aussi être exécutées par des analystes de politiques et des gestionnaires de programmes d'autres services.

3.15 Au moment de notre vérification de 1993, l'évaluation de programme était le principal outil dont le gouvernement se servait pour déterminer si ses initiatives étaient couronnées de succès et si elles devaient être maintenues ou s'il existait des solutions de rechange plus rentables. Cette vérification a donc porté sur l'évaluation de programme, plus précisément sur le mode de fonctionnement et les produits de 42 services ministériels d'évaluation de programme et sur les activités connexes de la Direction de l'évaluation et de la vérification du Bureau du contrôleur général du Canada. Nous avons recommandé des améliorations à la gestion de l'évaluation par les ministères et un leadership plus solide de la part du Secrétariat du Conseil du Trésor et du Bureau du contrôleur général.

3.16 Depuis 1993, un certain nombre d'événements ont influé sur l'exécution d'évaluations au gouvernement. Ils ont façonné notre manière d'envisager cette vérification de suivi. Des changements majeurs ont été apportés à la structure de beaucoup de ministères. Ces derniers ont perdu, acquis ou réaménagé des programmes ou ils ont été fusionnés pour former de nouveaux ministères. La restructuration et la rationalisation en cours comportent souvent la modification de la structure de l'évaluation. Dans un tel contexte, exécuter des évaluations représente un défi pour beaucoup de ministères.

3.17 La structure des organismes centraux et les responsabilités en matière d'évaluation ont également subi des changements. Le Bureau du contrôleur général a été incorporé dans le Secrétariat du Conseil du Trésor et les fonctions de la Direction de l'évaluation et de la vérification ont été assumées par le Secteur de la revue gouvernementale et des services de qualité du Secrétariat. En mai 1994, le Conseil du Trésor a approuvé une nouvelle politique d'examen et révisé les politiques de vérification interne et d'évaluation. La politique d'examen détermine les exigences générales pour tous les types d'examen, y compris les évaluations et les vérifications internes. En particulier, elle reconnaît davantage la responsabilité des gestionnaires de programmes en matière de mesure du rendement des programmes. La politique d'évaluation énonce les exigences précises de l'évaluation.

3.18 Dans le Budget de 1994, le gouvernement a annoncé son intention de faire un examen approfondi de tous les programmes de dépenses fédéraux - l'Examen des programmes de 1994. Les principales décisions découlant de cet examen ont été annoncées dans le Budget de février 1995. Le Budget de 1994 indiquait également que 15 examens de politiques seraient entrepris en plus de l'Examen des programmes. Ces examens devaient prendre la forme de consultations exhaustives sur un large éventail de politiques et de programmes et avoir pour objet d'améliorer tant le rendement économique et financier que l'efficience du gouvernement.

3.19 En juin et en octobre 1994, le Comité des comptes publics a étudié nos chapitres de 1993 sur l'évaluation de programme dans le cadre d'audiences publiques. En novembre 1994, le Comité a fait rapport de ses conclusions dans son sixième rapport. Dans l'ensemble, ses recommandations favorisaient un leadership plus solide de la part du Secrétariat du Conseil du Trésor (un résumé des recommandations relatives au Secrétariat du Conseil du Trésor est présenté à la pièce 3.1 ). Dans son rapport, le Comité a aussi demandé au Bureau du vérificateur général de vérifier la mesure dans laquelle le Secrétariat du Conseil du Trésor s'était conformé aux recommandations du Comité et aux engagements pris devant lui lors des audiences, et de faire rapport de ses constatations pas plus tard qu'au printemps de 1996.

3.20 En avril 1995, le président du Conseil du Trésor a répondu au Sixième rapport du Comité des comptes publics (la pièce 3.2 présente un résumé de la réponse) . Dans sa réponse, le gouvernement a fourni des précisions ou d'autres solutions pour répondre à la plupart des recommandations. En novembre 1995, comme suite à la sixième recommandation du Comité des comptes publics (voir la pièce 3.1) , le gouvernement a publié Pour une fonction d'examen plus efficace - Rapport présenté au Parlement par le président du Conseil du Trésor (le Rapport du président).

3.21 En février 1995, le gouvernement a annoncé un système renouvelé de gestion des dépenses qui obligerait les ministères à soumettre des plans d'activités pour la mise en oeuvre des changements annoncés dans le Budget. Entre autres choses, ces plans d'activités devaient faire état des priorités en matière d'examen, y compris les priorités en matière de vérification interne et d'évaluation, et incorporer la collecte d'information sur le rendement des programmes dans la planification ministérielle.

3.22 Dans Le Plan budgétaire de 1995, le gouvernement a aussi annoncé une série de mesures pour accroître la participation d'autres parties à l'exécution de programmes fédéraux. Ces mesures compliquent la détermination des rôles, des responsabilités et des obligations redditionnelles en matière d'évaluation.

Étendue et objectifs de la vérification
3.23 Notre vérification a porté sur la mesure et l'analyse de l'efficacité au gouvernement fédéral. Plus précisément, nous avons examiné la planification, la gestion et la communication des résultats des évaluations. Les chefs des services d'examen dans 39 ministères et organismes nous ont indiqué, aux fins de notre vérification, les évaluations qui répondaient à l'exigence de mesure et d'analyse méthodiques de l'efficacité des programmes. Ces évaluations ont été effectuées soit par les services d'évaluation soit par d'autres services des ministères. Nous avons examiné les plans d'activités des 39 ministères et organismes. Nous avons aussi examiné les fonctions connexes du Secteur de la revue gouvernementale et des services de qualité au Secrétariat du Conseil du Trésor.

3.24 Nos objectifs de vérification étaient :

  • de décrire le nouveau cadre d'évaluation au gouvernement et les changements apportés à la structure existante en vue de permettre l'exécution d'évaluations dans les ministères, et de déterminer la mesure dans laquelle ces changements répondent à nos observations et à nos recommandations de 1993;
  • d'évaluer les progrès réalisés par le gouvernement afin de répondre à nos chapitres de 1993 sur l'évaluation de programme et aux recommandations du Comité des comptes publics.
3.25 De plus amples détails à propos de la vérification sont présentés à la fin du chapitre.

Observations et recommandations

Les progrès réalisés en matière d'évaluation - De 1992-1993 à 1994-1995

Divers types d'études traitent de l'efficacité
3.26 La mesure et l'analyse de l'efficacité peuvent faire partie de différents types d'études, notamment des évaluations exécutées par des services d'évaluation ou d'examen, conformément aux politiques et aux normes du Conseil du Trésor; des examens dirigés ou mandatés par la haute direction ou des gestionnaires de programmes; des analyses de l'information découlant de la surveillance continue des programmes ou des opérations; et des examens exécutés par les organismes centraux ou à leur demande.

3.27 Les évaluations peuvent traiter de questions concernant l'efficacité générale des programmes et des politiques (efficacité des programmes) ou l'efficacité d'opérations ou de systèmes de gestion précis (efficacité opérationnelle). Les études qui portent sur l'efficacité opérationnelle constituent un élément important d'une saine gestion. Celles qui portent sur l'efficacité générale des programmes sont essentielles à l'évaluation des réalisations - ou des résultats finaux des programmes gouvernementaux.

3.28 Dans les paragraphes suivants, nous examinons les évaluations produites dans les ministères et particulièrement l'équilibre qu'elles atteignent entre la mesure de l'efficacité des programmes et l'efficacité opérationnelle. Nous examinons aussi jusqu'à quel point deux séries d'examens, l'Examen des programmes de portée gouvernementale de 1994 et les examens de politiques annoncés dans le Budget de 1994, ont mesuré et analysé l'efficacité des programmes gouvernementaux clés. Le gouvernement a indiqué que ces examens avaient porté sur des questions essentielles au sujet des programmes clés.

3.29 Les priorités en matière d'évaluation sont choisies à partir d'un grand nombre de programmes et de politiques. Les programmes peuvent faire l'objet d'évaluations pour diverses raisons, notamment parce qu'ils comportent des dépenses élevées de ressources, parce qu'ils peuvent avoir des répercussions sur le public ou l'économie canadienne ou parce qu'ils représentent des aspects importants de la gestion du gouvernement. Des programmes qui pourraient être considérés comme prioritaires sont les programmes dont les dépenses dépassent un milliard de dollars par année. Dans la dernière partie de la présente section, nous examinons la mesure dans laquelle ces programmes importants ont fait l'objet d'évaluations.

Les évaluations mettent l'accent sur les besoins des gestionnaires des ministères
3.30 À quelques exceptions près, comme les grandes études décrites à la pièce 3.6 , les évaluations réalisées dans les ministères et organismes portent généralement sur des composantes de programme et des questions qui intéressent plus les gestionnaires du ministère que le Parlement, le gouvernement ou le public. En 1993, nous avons relevé des cas où les évaluations avaient contribué à la modification de programmes gouvernementaux ou à des réformes qui ont donné lieu à des économies. Toutefois, les évaluations ne fournissent pas toujours l'information nécessaire sur les grandes questions de politiques gouvernementales et de répartition des dépenses et elles ne servent pas toujours la reddition de comptes au Parlement. Elles ont donc mieux servi l'une de leurs fins - amélioration des opérations - que les autres - reddition de comptes et appui aux décisions concernant les affectations budgétaires.

3.31 Dans quatre ministères, nous avons examiné toutes les évaluations qui avaient été recensées par les chefs des services d'examen et effectuées entre le 1er avril 1992 et le 31 mars 1995. La valeur des composantes de programme visées par ces études allait de 4 p. 100 des dépenses de 1994-1995 dans un ministère à presque 60 p. 100 dans un autre (voir la pièce 3.3) .

3.32 Comme nous l'avions constaté en 1993, les évaluations continuent de porter sur de petites composantes des activités ou des programmes gouvernementaux. Les programmes gouvernementaux sont divisés en activités et en sous-activités pour être signalés au Parlement dans le Budget des dépenses et dans la Partie III qui l'accompagne. La sous-activité y constitue généralement le plus petit élément de programme. En 1993, nous avons signalé que les trois quarts des évaluations portaient sur des composantes de programme beaucoup plus petites que la sous-activité. Dans les quatre ministères que nous avons examinés cette fois-ci, les trois quarts des études portaient encore sur des composantes de programme beaucoup plus petites que la sous-activité.

3.33 La plupart des évaluations continuent de porter sur des questions opérationnelles. En 1993, nous avons signalé que plus des trois quarts des évaluations abordaient des questions opérationnelles. Dans la présente vérification, une proportion allant de 62 à 100 p. 100 des études que nous avons examinées dans les quatre ministères choisis traitaient de questions opérationnelles (voir la pièce 3.4) .

3.34 Les dépenses et les questions que chaque ministère décide d'évaluer sont influencées par un nombre de facteurs tant internes qu'externes. Dans le cas de Transports Canada, il y a eu des demandes d'examen d'activités importantes, et bon nombre des évaluations entreprises portaient sur des questions stratégiques comme celles de savoir si les programmes étaient encore pertinents et s'il existait de meilleures solutions de rechange.

3.35 La Gendarmerie royale du Canada a entrepris un processus de renouveau organisationnel. Ses évaluations ont mis l'accent sur les questions opérationnelles. Une forte proportion des évaluations incluent l'atteinte des objectifs ou la détermination de solutions de rechange pour une foule d'activités de gestion, de fonctionnement ou de soutien. Par exemple, l'évaluation de la composante dotation a cherché à déterminer si des éléments précis du processus de dotation répondaient aux objectifs et aux besoins de la Gendarmerie et si certaines composantes précises de la fonction étaient rentables.

3.36 Revenu Canada est chargé d'administrer les programmes législatifs de perception des recettes, de protection des frontières, d'administration commerciale et de redistribution du revenu; les responsabilités en matière de politique incombent en grande partie à d'autres ministères. Par conséquent, les évaluations qu'il effectue concernent ses responsabilités administratives à l'égard de ces programmes et la mesure dans laquelle ces dernières contribuent à l'atteinte des objectifs de la politique. La stratégie de Revenu Canada pour l'évaluation de programme est de cibler les domaines à risque élevé présentant une valeur stratégique importante. Le Ministère nous a signalé que cette stratégie visait à fournir aux gestionnaires de l'information sur l'efficacité pour appuyer la prise de décisions liées à la gestion du changement. En conséquence, la plupart des études ont porté sur l'efficacité opérationnelle. Certaines ont porté également sur le succès de projets pilotes ou de composantes plus petites mais essentielles, comme l'utilisation de chiens pour la détection de drogues illégales. Le Ministère peut inclure ensuite les résultats de ces évaluations dans des études plus vastes de ses opérations. Par exemple, l'évaluation des chiens détecteurs a été utilisée dans l'évaluation globale du rôle du Ministère dans la protection des frontières, dans le cadre de la Stratégie canadienne antidrogue.

3.37 Parfois, le choix des secteurs évalués est influencé par des demandes externes. Par exemple, Santé Canada a fait des évaluations qui étaient exigées par la loi ou par des décisions du Conseil du Trésor. En général, ses évaluations ont porté sur de petites composantes de programme, comme ses responsabilités de coordination d'initiatives interministérielles. Même si ces activités ne comptent pas pour une forte proportion des dépenses du Ministère, les évaluations peuvent avoir des répercussions importantes sur les programmes de plus grande envergure dont les activités font partie. Le Ministère a aussi évalué la Sécurité de la vieillesse et amorcé une évaluation des prestations de retraite du Régime de pensions du Canada, deux programmes importants qui relèvent maintenant de Développement des ressources humaines Canada. Il examine actuellement sa surveillance d'un troisième programme important, à savoir l'Assurance-santé.

3.38 Même si chaque ministère peut justifier l'orientation et l'approche qu'il adopte pour l'évaluation, il n'en résulte pas moins que les études sont axées sur des questions opérationnelles et de petites composantes de programme. Cette information peut fournir de précieux appuis à la direction. Toutefois, nous continuons à trouver que l'information sur l'efficacité des programmes importants est insuffisante. D'après les vérifications de l'optimisation des ressources dont nous avons fait rapport au cours des deux dernières années, de l'information sur l'efficacité qui, selon nous, serait utile au Parlement et au public, n'existait pas pour 12 programmes de dépenses. Les dépenses de ces programmes totalisaient environ cinq milliards de dollars par année. Nous avons également relevé qu'une telle information n'existait pas pour deux initiatives d'aide fiscale, aux termes desquelles le gouvernement renonçait à des recettes d'environ 16 milliards de dollars par année, et nous avons souligné que ces initiatives faisaient l'objet d'évaluations. Les choix faits dans les ministères sont en grande partie le reflet de leurs intérêts et de leurs priorités. Toutefois, ces choix ne produisent pas nécessairement l'information sur l'efficacité globale des programmes dont le gouvernement a besoin pour rendre des comptes et pour prendre des décisions.

L'Examen des programmes de 1994 exigeait des ministères qu'ils examinent le bien-fondé de leurs programmes
3.39 Dans la réponse du gouvernement au Sixième rapport du Comité des comptes publics et dans le Rapport du président, l'Examen des programmes de portée gouvernementale annoncé dans le Budget de 1994 était désigné comme un examen des principales questions liées à une importante proportion des dépenses du gouvernement. Nous avons examiné si cet examen pouvait comporter une forme de mesure et d'analyse de l'efficacité des programmes.

3.40 L'objet de l'Examen des programmes de 1994 était de faire en sorte que les ressources réduites du gouvernement soient affectées aux exigences hautement prioritaires et aux secteurs où le gouvernement fédéral était le mieux placé pour offrir les services. Les ministres ont été priés d'examiner leurs programmes et leurs activités en tenant compte des six critères suivants :

  • le programme ou l'activité continue-t-il de servir l'intérêt public?
  • le gouvernement joue-t-il un rôle nécessaire dans le domaine?
  • le rôle actuel du gouvernement fédéral est-il approprié?
  • quelles activités ou programmes pourraient être exécutés dans le cadre de partenariats?
  • comment peut-on améliorer l'efficience du programme ou de l'activité?
  • s'agit-il d'un programme ou d'une activité que le gouvernement peut se permettre?
3.41 Selon le ministre des Finances, l'examen des programmes, qui visait des dépenses d'environ 52 milliards de dollars (exception faite des principaux transferts législatifs), devait apporter des changements qui permettraient une réduction des dépenses de 3,9 milliards de dollars.

3.42 Nous avons comparé les six critères utilisés pour l'examen des programmes aux questions d'évaluation clés précisées dans la politique d'évaluation fédérale pour déterminer ce que l'examen aurait pu ajouter à notre connaissance de l'efficacité des programmes. Comme le montre la pièce 3.5 , les critères correspondaient surtout aux questions d'évaluation liées au bien-fondé des programmes et à la rentabilité des solutions de rechange concernant la conception et la mise en oeuvre. L'atteinte des objectifs, un élément clé de l'efficacité des programmes, n'était pas précisément visée par l'Examen des programmes de 1994. Nous n'avons pas effectué de travaux détaillés dans les ministères sur les méthodes utilisées pour l'examen des programmes.

3.43 Selon notre vérification de 1993, les évaluations accordaient peu d'attention à la question de savoir si les programmes gouvernementaux étaient toujours nécessaires ou s'il existait des solutions de rechange plus rentables - questions qui étaient au coeur de l'Examen des programmes de 1994. Notre étude de toutes les évaluations produites par les quatre ministères examinés, pendant la période de trois ans qui a suivi notre vérification de 1993, montre que c'est encore vrai dans la plupart des cas.

3.44 L'Examen des programmes de 1994 a peut-être contribué de façon importante à un grand nombre de programmes en ce sens qu'il a permis de soulever des questions auxquelles on ne s'était pas beaucoup arrêté dans les évaluations de programme. Dans la mesure où l'atteinte des objectifs n'était pas visée par l'examen, il faut combler cette lacune.

D'autres examens des politiques clés du gouvernement n'ont pas toujours donné lieu à la mesure et à l'analyse de l'efficacité
3.45 Dans sa réponse au Comité des comptes publics qui lui demandait un plan d'évaluation triennal, le gouvernement a indiqué que la liste des examens de politiques clés annoncés dans le Budget de 1994 était révélatrice de ses priorités en matière d'examen. Ces examens s'ajoutaient à l'Examen des programmes de portée gouvernementale dont il a été question ci-dessus. Dans le Rapport du président, les 15 examens de politiques sont aussi signalés comme étant prioritaires.

3.46 Nous avons évalué cinq de ces examens de politiques dont les objectifs se rapprochaient le plus des objectifs de l'analyse de l'efficacité. Nous avons examiné les rapports auxquels nous avions accès en vue de déterminer jusqu'à quel point ils mesuraient l'efficacité. Il avait été annoncé que les examens de politiques serviraient surtout à consulter la population canadienne en vue de définir une vision de l'avenir; les cinq examens en question reposaient largement sur la consultation. Même si la plupart d'entre eux avaient abordé des questions d'efficacité durant les consultations, moins de la moitié comportaient une certaine mesure et analyse de l'efficacité. Nous n'avons pas évalué l'intégralité ou la qualité de cette analyse.

On a fait des progrès pour ce qui est de l'évaluation des programmes de plus d'un milliard de dollars
3.47 Plusieurs critères peuvent être utilisés pour définir les priorités en matière d'évaluation, notamment les répercussions possibles sur le public canadien ou l'économie ou le niveau des dépenses. Les programmes dont les dépenses sont supérieures à un milliard de dollars par année comptent pour une large proportion des dépenses du gouvernement. Il nous semble particulièrement important de mesurer l'efficacité de ces programmes en raison de l'inquiétude croissante concernant le niveau de la dette et du déficit et de l'intérêt manifesté par le Parlement qui souhaite obtenir de l'information sur les programmes afin de pouvoir examiner les budgets plus en profondeur.

3.48 En 1993, nous avons signalé que seulement deux des 16 programmes de plus d'un milliard de dollars avaient fait l'objet d'évaluations de portée complète au cours de la période de sept ans se terminant en 1991-1992, et que six avaient fait l'objet d'évaluations dont la portée avait été importante. La portée de l'évaluation des huit autres programmes avait été faible ou inexistante.

3.49 Dans le cadre de la présente vérification, nous avons examiné les évaluations des programmes très importants qui avaient été effectuées au cours de la période de trois ans (de 1992-1993 à 1994-1995) suivant notre vérification de 1993. Nous n'en avons pas examiné la qualité. Nous avons fait la distinction entre les études des opérations et les études traitant de l'efficacité globale des programmes. Nous avons jugé que la portée de l'évaluation d'un programme était importante lorsqu'une grande partie des principales composantes du programme avaient été évaluées (allant habituellement du tiers à la moitié ou plus de la totalité des activités du programme) et qu'au moins quelques questions sur les répercussions globales du programme avaient été abordées. Nous avons jugé que la portée de l'évaluation d'un programme était très faible ou inexistante si moins de dix pour cent de toutes les activités du programme avaient été évaluées.

3.50 Les constatations sont présentées à la pièce 3.6 . Lorsque cela a été possible, nous avons comparé la portée pour la période de 1992-1993 à 1994-1995 à la portée que nous avions estimée pour la période de 1985-1986 à 1991-1992. En raison des changements apportés à la structure des programmes gouvernementaux, nous n'avons pas pu faire cette comparaison dans tous les cas.

3.51 La période visée par la présente vérification était plus courte qu'en 1993 (trois ans comparativement à sept). Nous avons tenu compte de ce fait en évaluant les progrès accomplis. Une période plus longue pourrait produire une portée encore plus élevée si les ministères maintiennent le rythme actuel de l'activité de mesure de l'efficacité des programmes.

3.52 Selon la pièce 3.6 , cinq programmes ont fait l'objet d'évaluations de portée importante au cours de la période de trois ans se terminant en 1994-1995. Il s'agit d'une amélioration significative depuis 1993, étant donné que trois d'entre eux avaient fait l'objet d'une évaluation limitée ou qu'ils n'avaient pas été évalués au cours des sept exercices précédents.

3.53 La pièce 3.6 indique que sept autres programmes ont fait l'objet d'évaluations de portée moyenne qui, sans être négligeable, n'était pas suffisante pour qu'on la qualifie d'importante. Nous considérons qu'il s'agit d'un effort raisonnable sur une période de trois ans.

3.54 Il est important de se rappeler que l'on n'a peut-être ni mesuré ni analysé l'efficacité de certaines composantes principales de programmes qui ont fait l'objet d'évaluations de portée importante ou moyenne. Il faut toujours veiller à ce que l'évaluation de toutes les composantes clés de ces programmes soit dûment envisagée.

3.55 Sept programmes ont fait l'objet d'évaluations de très faible portée ou n'ont pas été évalués du tout. Cinq d'entre eux sont des programmes de paiements de transfert à d'autres gouvernements. La plupart des programmes de paiements de transfert avaient fait l'objet d'une évaluation de faible portée ou n'avaient pas été évalués lorsque nous les avons examinés en 1993, ce qui veut dire que leur efficacité globale n'a pas fait l'objet d'une évaluation en règle depuis au moins dix ans. Pour les paiements de transfert, le Ministère nous a informés qu'il n'avait pas effectué d'examens en règle aux termes de la politique d'examen du Conseil du Trésor, mais qu'il a effectué des analyses internes et mené des discussions intensives avec les provinces. Le Ministère a indiqué aussi que ces analyses et discussions ont permis le renouvellement à deux reprises, en 1992 et en 1994, du programme de péréquation, ainsi que d'autres changements importants comme le remplacement d'un certain nombre de ces programmes par le nouveau Transfert canadien en matière de santé et de programmes sociaux. Il est important de trouver des moyens d'évaluer les réalisations découlant de ces programmes et d'en faire rapport.

3.56 Finalement, nous remarquons que, dans 75 p. 100 des cas, les opérations ont été examinées.

3.57 En général, la situation actuelle témoigne d'une augmentation substantielle de la portée de l'évaluation de cette catégorie de programmes et, par conséquent, des dépenses totales du gouvernement. Néanmoins, nous avons décelé des programmes importants qui avaient fait l'objet d'une évaluation limitée ou n'avaient pas été évalués au cours de la période étudiée, certains n'ayant pas ou à peu près pas été analysés au cours des dix dernières années. Il faut accorder une attention continue aux programmes dont la portée de l'évaluation est importante ou moyenne.

Il faut améliorer les systèmes et les procédures

3.58 Pour préserver les progrès de l'évaluation des programmes gouvernementaux, il faut des procédures et des systèmes de soutien adéquats. Nous nous attendions à ce que les éléments clés de ces systèmes et procédures englobent :

  • l'intégration de l'évaluation dans les pratiques de gestion, les pratiques décisionnelles et la culture de gestion des ministères et du gouvernement dans son ensemble;
  • une planification adéquate qui permette de préciser les priorités du gouvernement en matière de mesure et d'analyse des questions critiques concernant l'efficacité des programmes clés et de donner suite à ces priorités;
  • la surveillance et le compte rendu de l'évaluation;
  • des infrastructures et des processus de gestion appropriés dans les ministères;
  • l'établissement et la surveillance de normes de qualité pour l'évaluation.
Mesures prises pour intégrer l'évaluation dans les activités courantes
3.59 L'évaluation offre la possibilité d'améliorer les opérations, de déceler les économies possibles et d'appuyer la reddition de comptes. Pour qu'elle puisse réaliser son potentiel, elle doit faire partie intégrante des pratiques et de la culture de gestion du gouvernement.

3.60 En 1993, nous avons observé que le gouvernement n'avait que partiellement réussi à établir un lien entre l'évaluation et le processus de planification et de budgétisation même s'il avait déployé des efforts en ce sens. Il fallait resserrer ce lien. Depuis, le gouvernement a commencé à renouveler son système de gestion des dépenses, le processus grâce auquel il prend des décisions sur les programmes et les dépenses. Nous appuyons de façon générale l'orientation que le gouvernement suit à cet égard.

3.61 Selon le système, les plans d'activités de trois ans doivent indiquer comment les ministères entendent donner suite à leurs priorités avec des ressources réduites. Il est prévu que les ministères fixent des objectifs de rendement et qu'ils rendent compte de leur atteinte dans leurs rapports. Ils doivent aussi dresser la liste des secteurs clés qu'ils examineront dans le cadre d'évaluations, de vérifications internes ou d'autres examens. Les plans d'activités des ministères fournissent donc l'occasion d'établir un lien entre les plans d'examen et d'évaluation et le processus budgétaire. L'intégration des données sur le rendement dans les plans d'activités ou dans les rapports au Parlement donne l'occasion d'y incorporer les constatations des évaluations. Elle fournit aussi au gouvernement et au Parlement un mécanisme pour évaluer les progrès de l'évaluation des programmes.

3.62 Le système renouvelé en est encore aux premières étapes de son développement. L'année 1995 a marqué sa naissance et il continue d'évoluer. Au cours de cette première année, les plans d'activités devaient focaliser sur les secteurs de changement plutôt que sur l'activité globale du ministère, ce qui a limité la mesure dans laquelle ils pouvaient contribuer à un aperçu général des priorités en matière d'évaluation. Les rapports de rendement présentés au Parlement commenceront cette année à titre de projets pilotes.

3.63 Notre analyse des plans d'activités a révélé que 65 p. 100 renfermaient des priorités en matière d'examen. Il est encore trop tôt pour juger de l'incidence que cela aura sur la planification des évaluations dans les ministères, ainsi que de la mesure dans laquelle celles-ci répondront aux priorités du gouvernement.

3.64 Les administrateurs généraux devraient veiller à ce que les plans d'activités des ministères comprennent les constatations découlant des évaluations et établissent les priorités en matière d'évaluation.

Les priorités du gouvernement en matière d'évaluation ne sont pas établies systématiquement et il n'y a pas de système pour assurer leur mise en oeuvre
3.65 En 1993, nous avons remarqué que le personnel du Bureau du contrôleur général n'avait pas de méthode systématique pour déterminer les priorités du gouvernement en matière d'évaluation de programme et qu'il n'avait pas veillé à ce que les plans individuels des ministères tiennent compte de ce que le gouvernement voulait des évaluations. Nous avons recommandé au Bureau du secrétaire du Conseil du Trésor et contrôleur général de se donner les moyens de préciser systématiquement les priorités du gouvernement en matière d'évaluation.

3.66 Le gouvernement a signalé que les examens prévus étaient énumérés dans le Budget de 1994. La pratique d'établir une liste claire des examens prévus n'a pas été reprise par le Budget de 1995, même si l'on y fait ici et là mention d'un certain nombre d'examens. Comme nous l'avons indiqué précédemment, les examens annoncés en 1994 n'ont pas toujours donné lieu à une mesure et à une analyse de l'efficacité.

3.67 Nous n'avons pas trouvé d'énoncé complet, clair et uniforme des priorités du gouvernement en matière d'évaluation que les ministères pourraient utiliser pour préparer leurs propres plans ou que le Secrétariat du Conseil du Trésor pourrait utiliser pour s'acquitter de ses responsabilités de portée gouvernementale. Dans le rapport Pour une fonction d'examen plus efficace , on énonce la nécessité que soient déterminés de façon plus structurée les sujets d'examen par un organisme central et on promet que le Conseil du Trésor accordera plus d'importance à cette question.

3.68 Le lien entre les priorités du gouvernement en matière d'évaluation et les plans ministériels n'est pas clair. Un plan d'évaluation de portée gouvernementale représente un moyen de faire en sorte que les plans individuels des ministères tiennent compte des priorités en la matière pour l'ensemble du gouvernement, et de déterminer les évaluations que les organismes centraux doivent entreprendre ou diriger.

3.69 En 1993, nous avons noté que le personnel du Bureau du contrôleur général n'avait pas fait preuve de leadership en matière de planification, mais qu'il s'était fié aux processus de planification de chaque ministère. Dans son rapport sur l'évaluation de programme, le Comité des comptes publics a recommandé au Secrétariat du Conseil du Trésor de lui soumettre, pour octobre 1995, un plan d'évaluation triennal pour l'ensemble du gouvernement.

3.70 Dans sa réponse au Comité des comptes publics, le gouvernement n'était pas d'accord qu'il fallait un plan d'évaluation triennal. Pour remplacer ce plan, il fournira plutôt, dans le cadre du Rapport annuel du président du Conseil du Trésor, une consolidation des principales évaluations et des principaux examens des ministères prévus et exécutés.

3.71 À l'annexe C du Rapport du président, on trouve une consolidation des examens terminés, envisagés ou en cours qui ont été signalés par les ministères. Toutefois, le document n'inclut pas seulement les évaluations, mais aussi d'autres examens, et il ne les distingue pas toujours. Pour bon nombre des examens énumérés, il n'est pas clair si l'examen a comporté ou comportera une analyse de l'efficacité du programme. On note cependant qu'un autre document plus détaillé, qui a été remis au Comité des comptes publics, indique les évaluations, les vérifications et les examens.

3.72 En 1993, nous avons recommandé que le Bureau du secrétaire du Conseil du Trésor et contrôleur général examine les plans d'évaluation de chaque ministère pour déterminer les priorités qui échappent à l'évaluation. Les examens énumérés à l'annexe C du Rapport du président ne sont pas comparés à un plan de portée gouvernementale ni à une liste de priorités. Pour qu'une telle comparaison puisse être faite, il faudrait d'abord qu'il existe un plan pour l'ensemble du gouvernement ou une liste de priorités. Pour le moment, il n'en existe pas.

3.73 Néanmoins, dans le Rapport du président, il est indiqué que le Secrétariat du Conseil du Trésor fournira aux ministres du Conseil du Trésor un rapport où les constatations et les plans d'examen seront examinés en fonction des priorités du gouvernement. L'analyse permettra de cerner les lacunes dans le suivi des grandes questions à l'échelle du gouvernement, et une mise à jour sera incluse dans le rapport au Parlement de l'année suivante.

3.74 Le Secrétariat du Conseil du Trésor devrait veiller à ce qu'il y ait un énoncé des priorités précises du gouvernement en matière d'évaluation. Il devrait surveiller les plans d'activités des ministères pour déceler les écarts et les omissions par rapport aux priorités du gouvernement et prendre des mesures pour y remédier, le cas échéant.

Rapport du gouvernement sur l'examen - un premier pas dans la bonne direction, mais il faut améliorer les rapports à venir
3.75 La capacité du gouvernement et du Parlement d'évaluer le caractère approprié et suffisant de l'évaluation dépend des rapports sur les progrès et les résultats de ces activités.

3.76 En 1993, nous avons recommandé au secrétaire du Conseil du Trésor de veiller à ce que les renseignements sur les activités et la mesure du rendement des évaluations soient valables et fiables. Le Comité des comptes publics a recommandé au Secrétariat de produire, à partir du 31 octobre 1995, un rapport annuel sur le rendement des ministères en matière d'évaluation.

3.77 Le Secrétariat du Conseil du Trésor signale que, dans sa réponse au Comité des comptes publics, le gouvernement n'était pas d'accord avec toutes les recommandations du Comité. Le gouvernement a indiqué qu'il rendrait compte de la mesure dans laquelle les politiques, les opérations et les programmes importants sont examinés au fil du temps, de l'utilisation et de l'incidence des constatations, des secteurs à améliorer et des mesures à prendre pour corriger les faiblesses décelées. Un rapport d'étape semestriel des activités du Secteur de la revue gouvernementale et des services de qualité du Secrétariat du Conseil du Trésor est aussi fourni au Comité des comptes publics.

3.78 Le premier Rapport du président - un premier pas prometteur. Le président du Conseil du Trésor a déposé son premier rapport annuel sur le rendement de l'évaluation en novembre 1995. Une liste des vérifications, évaluations, examens et études spéciales clés a également été transmise au Comité des comptes publics. Nous avons examiné les énoncés de rendement qui se trouvaient dans le Rapport du président et qui étaient couverts par notre vérification.

3.79 Dans ce rapport, on trouve un engagement solide et continu à l'égard de la mesure des résultats des programmes et de la gestion axée sur les résultats. Il fait état des attentes pour ce qui est des activités d'examen du gouvernement, évalue certaines forces et faiblesses de celles-ci et présente certaines mesures futures. Cette approche générale promet pour les rapports à venir.

3.80 Le Rapport du président ne présente pas de façon adéquate les succès dans le domaine de la mesure de l'efficacité. Les objectifs ultimes des politiques d'examen et d'évaluation sont de faire en sorte qu'une information pertinente et factuelle sur le rendement des programmes, y compris sur leur efficacité, soit produite en temps opportun et que cette information soit utilisée aux fins de la prise de décisions et de la reddition de comptes. Nous avons cherché particulièrement à savoir si ces objectifs sont atteints.

3.81 Les recommandations du Comité des comptes publics donnent des exemples de secteurs à l'égard desquels des mesures pourraient être élaborées. D'après les recommandations du Comité, le rapport doit préciser :

  • le pourcentage de chacun des programmes qui a été évalué;
  • si les programmes ont été évalués du point de vue de leur pertinence, de même que de la réalisation des objectifs et de la rentabilité;
  • qui a utilisé les études d'évaluation;
  • l'opportunité des études;
  • les économies que les études ont permis de réaliser;
  • la part des dépenses gouvernementales que couvrent les études.
3.82 Le Comité a précisé que le rapport devait être lié au plan triennal d'évaluation pour l'ensemble du gouvernement, qu'il avait aussi demandé. Il a également précisé que les autres formes d'examen ne remplaçaient pas les évaluations.

3.83 Le Rapport du président ne fait pas la distinction entre les évaluations et les autres formes d'examen. Comme les autres formes d'examen n'abordent pas nécessairement les questions d'efficacité, il est difficile d'évaluer les progrès de la mesure et de l'analyse de l'efficacité. Par exemple, les estimations de la couverture des dépenses gouvernementales qu'on y trouve diffèrent de celles du Bureau en partie parce que le rapport ne sépare pas les évaluations des autres formes d'examen.

3.84 Le rapport donne quelques exemples précis d'examens ministériels qui ont été couronnés de succès. Toutefois, il ne fournit pas de mesures claires comme celles recommandées par le Comité des comptes publics, sauf pour ce qui est du pourcentage des activités gouvernementales couvertes par l'examen. Il n'indique pas non plus les progrès qui ont été réalisés par rapport aux priorités du gouvernement en matière d'évaluation. En général, le rapport ne s'attache pas au succès de l'évaluation et ne donne pas un tableau fidèle des progrès réalisés dans ce secteur.

3.85 Le Rapport du président présente une image trop optimiste des progrès. Nous trouvons encourageant le fait que le rapport fasse mention de certains secteurs à améliorer. Toutefois, le rapport présente une image trop optimiste des progrès, surtout que l'activité subit des changements majeurs et fait face à des défis de taille. Nous avons décelé un certain nombre de cas où l'information à l'appui provenant des travaux préliminaires entrepris ou commandés par le Secrétariat du Conseil du Trésor ou les constatations de travaux de vérification passés ou présents du Bureau n'étaient pas aussi positifs que l'information présentée dans le Rapport du président. Nous avons aussi trouvé qu'un nombre d'énoncés généralement positifs n'étaient pas bien étayés. Cependant, les résultats des pratiques d'assurance de la qualité du Secrétariat du Conseil du Trésor lui permettent de croire que l'information utilisée pour préparer le rapport est assez fiable. Néanmoins, le Secrétariat reconnaît que, vu la quantité d'information obtenue de diverses sources, certains éléments de données peuvent être erronés et que les constatations peuvent être interprétées différemment. Les représentants du Secrétariat signalent que les pratiques d'assurance de la qualité sont renforcées pour rendre les futurs rapports plus crédibles.

3.86 Le Conseil du Trésor devrait voir à ce que son rapport au Parlement dresse un tableau crédible du rendement de l'examen et comporte des mesures précises de l'évaluation. Le rapport devrait inclure les priorités du gouvernement en matière d'évaluation et y faire état des progrès réalisés par rapport à celles-ci.

La gestion de l'évaluation dans les ministères s'est peu améliorée
3.87 La politique d'évaluation du Conseil du Trésor exige que les ministères se dotent d'une capacité d'évaluation. Nous avons recensé 39 ministères et organismes dotés de services actifs d'examen et d'évaluation qui exécutaient des évaluations et qui étaient surveillés aux termes de la politique du Conseil du Trésor. La gestion de ces services est importante pour l'avancement de la mesure de l'efficacité des programmes gouvernementaux. Nous avons examiné les changements apportés aux ressources et à la structure des services d'évaluation ainsi que les progrès en matière d'amélioration des principaux aspects de la gestion.

3.88 Les dépenses globales consacrées à l'évaluation par les services d'évaluation ont été maintenues depuis 1991-1992. Étant donné l'intégration organisationnelle croissante de la vérification interne et de l'évaluation, un grand nombre de chefs des services d'examen ont eu de la difficulté à fournir des estimations raisonnables des dépenses consacrées à l'évaluation. Dans de nombreux cas, il est impossible de comparer les données de ministères précis pour 1994-1995 à celles de 1991-1992 en raison de la réorganisation qui a commencé en 1993.

3.89 Même s'il n'est pas possible de faire des estimations précises des dépenses d'évaluation, les services d'évaluation ont consacré environ 25 millions de dollars aux évaluations en 1994-1995, ce qui ne représente qu'un léger recul par rapport à 1991-1992. Bien que les dépenses d'évaluation aient été maintenues dans l'ensemble, nous avons constaté des diminutions considérables dans un certain nombre de petits ministères.

3.90 La fonction d'évaluation est de moins en moins distincte des autres fonctions. En 1993, nous avons remarqué que de plus en plus souvent, l'évaluation de programme et la vérification interne étaient gérées conjointement. Cette tendance s'est maintenue. Aujourd'hui, 56 p. 100 des ministères regroupent les évaluateurs et les vérificateurs dans un service jumelé, comparativement à 33 p. 100 en 1993. La Sous-direction de la vérification et de l'évaluation à la Gendarmerie royale du Canada est un exemple d'organisation où les fonctions de vérification interne et d'évaluation sont totalement fusionnées (voir la pièce 3.7) .

3.91 En 1993, nous avons signalé que seules quelques études avaient été menées conjointement par les services de vérification interne et d'évaluation de programme. Cette fois-ci, nous avons constaté que quatre services avaient déclaré avoir exécuté seulement ou surtout des études conjointes où les travaux de l'évaluation n'étaient pas distingués de ceux de la vérification interne. Douze autres services ont parfois réalisé des études conjointes, parfois des études distinctes.

3.92 Les méthodes des vérificateurs internes et des évaluateurs sont différentes et les produits finaux ne sont pas utilisés aux mêmes fins. Les deux fonctions sont régies par différentes politiques et normes du Conseil du Trésor, et la vérification interne a ses propres normes professionnelles. Peu importe la structure organisationnelle, nous considérons qu'il est important que le Conseil du Trésor précise les normes qui s'appliquent à la mesure et à l'analyse de l'efficacité.

3.93 Depuis notre vérification de 1993, on a accordé une attention limitée à l'amélioration des aspects clés de la gestion de l'évaluation. Des chefs de services d'examen nous ont dit avoir éprouvé de la difficulté à améliorer la gestion de l'évaluation en raison des changements qui déferlent dans de nombreux ministères. Les ministères ont perdu, acquis ou réaménagé des programmes ou ils ont été fusionnés pour former de nouveaux ministères. Le temps qu'on a pris pour finaliser les structures ministérielles a rendu la planification de l'évaluation difficile. Les anciennes politiques et structures de l'évaluation ne s'appliquent plus dans bon nombre de ministères et les nouvelles sont en voie d'élaboration.

3.94 Aussi, nous avons constaté que certains aspects clés de la gestion de l'évaluation qui ont été recensés en 1993 ont été peu améliorés ou pas du tout. À ce moment-là, nous avons observé que l'utilisation des évaluations de programme était liée à la participation de la haute direction à la planification des évaluations et au suivi des résultats d'évaluation, et nous avons recommandé des améliorations. Nous avons aussi noté qu'il existait peu de méthodes systématiques sur lesquelles les gestionnaires de l'évaluation de programme pouvaient compter pour évaluer le rendement de leurs unités.

3.95 Bien que la grande majorité des ministères soient encore dotés de plans d'évaluation, aujourd'hui, un plus grand nombre qu'en 1993 n'en ont pas (voir la pièce 3.8) . En outre, seuls quelques ministères établissent systématiquement leurs priorités en matière d'évaluation. Comme nous l'avons déjà dit, les plans d'activités des ministères sont censés inclure les priorités en matière d'évaluation. Si tel était le cas, l'évaluation pourrait être mieux planifiée.

3.96 Les administrateurs généraux devraient faire en sorte que des plans d'évaluation soient élaborés dans le cadre de l'établissement de leurs plans d'activités.

3.97 On n'a pas augmenté le nombre de mécanismes pour surveiller les progrès de la mise en oeuvre des mesures correctives prévues par les évaluations. Moins des deux tiers des ministères sont dotés d'un mécanisme de suivi. Toutefois, le processus d'établissement des plans d'activités pourrait favoriser le recours à des mesures correctives pour donner suite aux constatations clés des évaluations.

3.98 Dans la plupart des ministères, il n'existe toujours pas de processus systématique pour évaluer et démontrer objectivement la valeur obtenue de l'évaluation. Peu de ministères sont dotés de tels mécanismes. On prend des mesures en vue d'élaborer des cadres pour aider les gestionnaires de l'évaluation à mieux évaluer les contributions découlant des évaluations. Un comité interministériel de responsables de l'examen, aidé du Secrétariat du Conseil du Trésor, amorce les dernières étapes de l'élaboration d'un cadre pour la mesure du rendement de l'évaluation de programme. Il est important que les gestionnaires chargés de l'évaluation prennent rapidement des mesures pour améliorer la mesure du rendement de leurs activités d'évaluation.

Préoccupations constantes au sujet de l'étendue et de la qualité des évaluations
3.99 Déjà en 1983, nous avons constaté qu'un nombre considérable des évaluations affichaient des faiblesses importantes au niveau des méthodes utilisées pour exécuter le travail prévu, particulièrement les travaux de la mesure de l'efficacité des programmes. En 1993, nous avons examiné la qualité des évaluations des onze programmes vérifiés et nous avons constaté qu'elle était inégale. Nous avons établi qu'il fallait améliorer l'examen externe de l'évaluation de programme. Nous avons recommandé au gouvernement de voir à ce que le contrôleur général s'acquitte de ses responsabilités en matière de surveillance et d'assurance de la qualité.

3.100 Dans le Rapport du président, on reconnaît que la crédibilité des résultats d'examens ministériels, qui sont utilisés pour la prise de décisions, la reddition de comptes et l'établissement de rapports publics, suscite des craintes. D'après le Rapport, ces craintes sont dues aux divergences d'opinions à l'égard des questions abordées dans le cadre des examens et à la perception selon laquelle les rapports d'examens ministériels peuvent parfois donner lieu à une interprétation des résultats obtenus qui peut paraître intéressée. Les travaux de base exécutés pour le Rapport du président montrent que ces craintes sont valables, surtout dans le cas de l'évaluation.

3.101 Les travaux de vérification réguliers que nous avons exécutés dans les ministères au cours des trois dernières années appuient les préoccupations à l'égard de l'étendue et de la qualité des évaluations. Depuis 1993, un certain nombre de nos vérifications de l'optimisation des ressources nous ont permis de constater que d'importantes questions redditionnelles avaient été laissées de côté dans les évaluations ou que les méthodes utilisées pour étayer les conclusions faisaient problème. Toutefois, nous avons aussi trouvé plusieurs évaluations dont la qualité était acceptable. Les problèmes au niveau de la qualité se produisent malgré le fait que les 39 chefs des services d'examen ont recensé pour nous une vaste gamme de mécanismes de contrôle de la qualité.

3.102 Dans son rapport Pour une fonction d'examen plus efficace , le président du Conseil du Trésor indique que le Secrétariat du Conseil du Trésor a l'intention de régler les problèmes de crédibilité en examinant des options en vue d'accroître la participation externe aux activités d'examen importantes. Il est important que le Secrétariat du Conseil du Trésor intervienne vigoureusement pour améliorer l'étendue et la qualité des évaluations.

3.103 Absence de normes claires. En 1993, nous avons noté que les composantes essentielles d'un système d'évaluation de programme étaient en place, y compris les normes à respecter. Depuis, le Conseil du Trésor a révisé les politiques d'évaluation et de vérification interne et a ajouté une nouvelle politique globale sur l'examen. La nouvelle politique couvre les examens qui ne sont pas assujettis aux normes d'évaluation ni aux normes de vérification interne et offre certaines orientations sur ce sujet.

3.104 La nouvelle politique d'examen définit l'évaluation et la vérification interne; les politiques de vérification interne et d'évaluation établissent des normes. Les normes d'évaluation sont établies tant pour la pratique de l'évaluation dans les ministères que pour les évaluations comme telles. Elles exigent que l'on fasse des mesures et des analyses, et que l'on utilise des méthodes pratiques, rentables et objectives de cueillette de données. Les normes clarifient aussi les questions dont doivent traiter les évaluations. Toutefois, la politique d'examen ne précise pas les normes qui s'appliquent à la mesure et à l'analyse de l'efficacité qui sont effectuées dans le cadre d'examens autres que les évaluations.

3.105 La qualité des études d'efficacité autres que les évaluations est importante en raison de la fréquence à laquelle les ministères les utilisent. En 1993, nous avons observé que, pour cinq des onze programmes examinés, les gestionnaires se sont tournés vers des études spéciales pour l'élaboration de politiques. Lors de la présente vérification, nous avons demandé aux chefs des services d'examen de nous indiquer non seulement les évaluations exécutées, mais aussi les examens autres que les évaluations qui consistaient en une étude structurée et analytique de l'efficacité des programmes et des opérations. Pour la période de trois ans à l'étude, les 39 ministères ont recensé 347 évaluations et 187 autres examens de l'efficacité. Le nombre véritable des autres types d'examens est probablement beaucoup plus élevé, vu que les chefs des services d'examen n'ont pas tous été en mesure de les recenser.

3.106 Le Secrétariat du Conseil du Trésor devrait indiquer clairement les normes de qualité à appliquer pour les différents types de mesure et d'analyse de l'efficacité.

Conclusion

3.107 Il est encore très important d'avoir de l'information solide sur l'efficacité des programmes. En même temps, le gouvernement continue d'engager des ressources pour l'évaluation, particulièrement dans les grands ministères. Nous avons noté lors de notre vérification que les changements passés et présents qui touchent l'environnement de planification et d'exécution des évaluations posent des défis pour beaucoup de ministères. Les évaluations ont dû être planifiées et exécutées dans un environnement marqué par la réorganisation, la restructuration et la réduction des programmes gouvernementaux. Les changements apportés aux ministères et aux programmes supposent la modification de la structure de l'évaluation. En même temps, les politiques du Conseil du Trésor régissant l'évaluation et les travaux connexes ont changé. Elles font maintenant mention de sources d'information sur l'efficacité autres que les travaux des services d'évaluation, mais elles n'indiquent pas clairement les normes de qualité qui s'appliquent aux mesures et aux analyses de l'efficacité qui sont effectuées dans le cadre d'examens autres que les évaluations.

3.108 Dans un tel contexte de changement et d'incertitude, les ministères et organismes n'ont pas encore donné suite à certaines des améliorations recommandées en 1993 pour les principaux systèmes et procédures de gestion de l'évaluation. Selon nos constatations, il existe toujours des faiblesses dans la planification, dans la surveillance des suites données aux constatations des études d'évaluation et dans la mise en oeuvre de méthodes systématiques d'évaluation du rendement des services d'évaluation. Dans le cadre des vérifications que nous avons exécutées au cours des trois dernières années, nous avons continué de déceler des problèmes au niveau de l'étendue et de la qualité des évaluations.

3.109 En 1993, nous nous sommes posé des questions sur le déséquilibre qui existait entre la satisfaction des besoins d'information des gestionnaires de programme et ceux des autres parties intéressées - comme le Cabinet et le Parlement. Dans le cadre de la présente vérification, nous avons constaté que la mesure de l'efficacité des programmes importants (les programmes dont les dépenses annuelles dépassent un milliard de dollars) et l'examen des programmes et politiques du gouvernement en vue de déterminer leur pertinence et la rentabilité des solutions de rechange avaient fait des progrès.

3.110 Même si les ministères ont montré qu'ils peuvent répondre aux demandes d'information sur les résultats des programmes clés, la plupart des services d'évaluation dans les ministères examinés ont continué à mettre l'accent sur des petites composantes de programme et sur les besoins opérationnels des gestionnaires de programme. Il s'agit d'un rôle important et nécessaire, mais d'un rôle qui, en soi, laisse un vide dans l'information sur l'efficacité nécessaire à la reddition de comptes et à la prise de décisions stratégiques.

3.111 En 1993, nous avons aussi déterminé qu'il fallait améliorer les systèmes et les procédures d'évaluation dans l'ensemble du gouvernement - particulièrement en ce qui a trait à la planification de l'évaluation dans l'ensemble du gouvernement et au leadership du Secrétariat du Conseil du Trésor. Après, le Comité des comptes publics a formulé un certain nombre de recommandations connexes qui s'adressaient précisément au Secrétariat du Conseil du Trésor. Nous remarquons que les mesures qui sont actuellement mises en oeuvre dans le cadre du système renouvelé de gestion des dépenses du gouvernement pourraient répondre à bon nombre de nos recommandations et de celles du Comité des comptes publics. Toutefois, nous constatons que deux éléments clés manquent toujours : d'abord, la détermination et la communication systématiques des priorités du gouvernement en matière d'évaluation et ensuite, un mécanisme clair d'évaluation des plans ministériels par rapport à ces priorités.

3.112 Le Comité des comptes publics a recommandé que le processus d'approbation des plans d'évaluation soit énoncé en détail. Les responsabilités quant à la planification de l'évaluation sont énoncées dans la politique d'examen du Conseil du Trésor et dans les nouvelles lignes directrices sur les plans d'activités. Les critères permettant d'établir dans quelles situations les évaluations seront sous la gouverne du Conseil du Trésor ne sont pas établis à l'avance. Les décisions sur la participation du Secrétariat du Conseil du Trésor et sur les fonds spéciaux nécessaires sont prises au cas par cas. À la demande du Comité des comptes publics, les activités du Secteur de la revue gouvernementale et des services de qualité sont présentées dans le rapport d'étape semestriel remis au Comité. Le Secrétariat du Conseil du Trésor poursuit l'examen de présentations au Conseil dans le but d'exiger un cadre d'évaluation pour les nouveaux programmes.

3.113 Le Rapport du président, qui est un rapport annuel sur le rendement de la fonction d'examen au gouvernement, constitue un pas dans la bonne direction. L'idée générale de déterminer les attentes, d'évaluer les forces et les faiblesses et d'établir un plan d'action est prometteuse. Toutefois, pour mieux répondre au Comité des comptes publics qui a demandé un rapport sur le rendement de la fonction d'évaluation, les rapports futurs devront mieux présenter le succès global de l'évaluation des programmes du gouvernement.

Commentaires du Secrétariat du Conseil du Trésor: Le présent chapitre confirme les progrès considérables réalisés par le gouvernement dans l'examen de ses programmes. Le Secrétariat du Conseil du Trésor s'emploie à aider les ministères à offrir aux Canadiens et aux Canadiennes des programmes rentables. Il vise à favoriser une culture de gestion ouverte et responsable qui est à la fois fondée sur des faits et axée sur des résultats. Une fonction d'examen efficace est un élément clé de cette démarche. Nous considérons que ce chapitre appuie favorablement les mesures prises par le Secrétariat du Conseil du Trésor à cet égard.

L'Examen des programmes et le premier rapport sur l'examen gouvernemental, déposé au Parlement par le président - Pour une fonction d'examen plus efficace - sont des étapes importantes visant à mettre l'accent sur les résultats dans la prestation des services publics. Pour la première fois, les ministères ont examiné leurs programmes à la lumière des critères de l'Examen des programmes. Ils ont décrit la gestion de leurs activités d'examen en termes d'attentes immédiates et ont publié la liste des principaux examens terminés et prévus. Ces mesures constituent un progrès notable.

Dans son rapport déposé au Parlement, le président a reconnu qu'il y avait encore beaucoup à faire et a publié un plan d'action. Le gouvernement se sent appuyé par le présent chapitre dans ses engagements. Le Secrétariat du Conseil du Trésor poursuit activement chaque initiative du plan d'action.

Nous apprécions l'attention que vous portez aux progrès du gouvernement dans le suivi des résultats et du rendement, car l'efficacité des programmes est étroitement liée à la responsabilisation des gestionnaires et à l'intérêt du public.


À propos de la vérification

Étendue

Notre vérification a porté sur la mesure et l'analyse de l'efficacité au gouvernement fédéral. Plus précisément, nous avons examiné la planification, la gestion et la communication des résultats des évaluations. Les chefs des services d'examen dans 39 ministères et organismes nous ont indiqué, aux fins de notre vérification, les évaluations qui répondaient à l'exigence de mesure et d'analyse méthodiques de l'efficacité des programmes. Ces évaluations ont été effectuées soit par les services d'évaluation soit par d'autres services des ministères. Nous avons examiné les plans d'activités des 39 ministères et organismes. Nous avons aussi examiné les fonctions connexes du Secteur de la revue gouvernementale et des services de qualité au Secrétariat du Conseil du Trésor.

Objectifs

Nos objectifs de vérification étaient :

  • de décrire le nouveau cadre d'évaluation au gouvernement et les changements apportés à la structure existante en vue de permettre l'exécution d'évaluations dans les ministères, et de déterminer la mesure dans laquelle ces changements répondent à nos observations et à nos recommandations de 1993;
  • d'évaluer les progrès réalisés par le gouvernement afin de répondre à nos chapitres de 1993 sur l'évaluation de programme et aux recommandations du Comité des comptes publics.

Méthode

Les critères de vérification utilisés sont les mêmes qu'en 1993. Dans le cadre de notre vérification, nous avons interviewé les chefs des services d'examen et leur avons fait remplir un questionnaire sur divers aspects des évaluations réalisées dans 39 ministères et organismes, notamment la structure, la planification, la communication des résultats, la gestion et les ressources. Nous avons également examiné leurs plans d'activités. Dans quatre ministères, nous avons évalué l'étendue de toutes les évaluations effectuées entre le 1er avril 1992 et le 31 mars 1995 qui avaient été recensées par les chefs des services d'examen. Nous avons aussi organisé des groupes de discussion avec les chefs des services d'examen pour connaître leur opinion sur l'orientation de l'évaluation au gouvernement fédéral et les facteurs qui influencent cette orientation.

Nous avons rencontré certains fonctionnaires du Secrétariat du Conseil du Trésor et examiné l'information à l'appui des engagements pris dans la réponse du gouvernement au Comité des comptes publics et de l'information contenue dans le Rapport du président.

Équipe de vérification

Henno Moenting
Jim Blain
Sylvie Cantin
Janet Hatt
Brenton MacDonald
Christine Pépin
Sylvie Soucy
Glenn Wheeler

Pour obtenir de l'information, veuillez communiquer avec le vérificateur responsable, M. Stan Divorski.