Automne 2009 — Rapport de la vérificatrice générale du Canada Chapitre 1 — L’évaluation de l’efficacité des programmes

Automne 2009 — Rapport de la vérificatrice générale du Canada

Chapitre 1 — L’évaluation de l’efficacité des programmes

Points saillants

Introduction

Objet de la vérification

Observations et recommandations

Combler les besoins en matière d’évaluation de l’efficacité

Les besoins en matière d’évaluation de l’efficacité continuent de croître
Les ministères ont adopté des processus systématiques pour planifier l’évaluation de l’efficacité
Les besoins en matière de gestion des dépenses n’ont pas été adéquatement pris en compte
Les ministères terminent la plupart des évaluations prévues
La couverture d’évaluation des programmes est limitée
Les évaluations ne permettent pas de bien mesurer l’efficacité des programmes
Certains processus d’assurance de la qualité ont été instaurés
Les ministères ne recensent pas systématiquement les améliorations prioritaires

La capacité d’évaluation de l’efficacité

L’augmentation du financement a amélioré la capacité d’évaluation des ministères
La pénurie d’évaluateurs compétents persiste
Les compétences des évaluateurs ne sont pas bien définies
Les autres responsabilités confiées aux unités d’évaluation limitent leur capacité
Les ministères font largement appel à des sous-traitants

La surveillance et le soutien

Le Secrétariat a recensé un certain nombre d’améliorations en matière d’évaluation
Le Secrétariat a exercé une surveillance élargie de la fonction d’évaluation
L’évaluation de l’efficacité ne bénéficie pas d’un appui soutenu
Il faut du personnel expérimenté pour assurer la surveillance et le soutien
La mise en œuvre des nouvelles exigences relatives à la couverture d’évaluation exige une attention particulière

Conclusion

À propos de la vérification

Annexe — Tableau des recommandations

Pièces :

1.1 — L’historique de l’évaluation des programmes fédéraux est ponctué de nombreuses observations de vérification qui critiquent les initiatives du gouvernement

1.2 — Les exigences relatives aux évaluations de l’efficacité pour l’ensemble du gouvernement sont inscrites à la fois dans des lois et des politiques

1.3 — La plupart des évaluations prévues ont été exécutées

1.4 — Une faible proportion du total des dépenses de programmes a été évaluée entre 2004-2005 et 2007-2008

1.5 — Certaines évaluations de l’efficacité ne contiennent pas suffisamment d’information sur le rendement

1.6 — Le financement des unités d’évaluation a augmenté dans la plupart des ministères

1.7 — Le nombre estimatif de professionnels au sein des unités d’évaluation a augmenté dans chaque ministère entre 2004-2005 et 2008-2009

1.8 — Évaluations exécutées en tout ou en partie par des sous-traitants dans les ministères vérifiés

Points saillants

Objet

L’évaluation de l’efficacité des programmes est un outil qui a fait ses preuves. Elle fait appel aux méthodes de recherche systématiques de nombreuses disciplines pour évaluer dans quelle mesure un programme atteint ses objectifs. Faite correctement, elle permet aux ministères de recueillir des données qu’ils utiliseront pour déterminer à quel point leurs programmes répondent aux attentes et s’ils sont efficaces au regard des coûts. Au cours des 40 dernières années, le gouvernement fédéral a déployé des efforts pour intégrer l’évaluation de l’efficacité des programmes aux pratiques de gestion de l’administration fédérale, en gage concret de son soutien à la fonction d’évaluation de programme.

La Loi fédérale sur la responsabilité de 2006 exige que les programmes de subventions et de contributions soient évalués tous les cinq ans. La nouvelle Politique sur l’évaluation, entrée en vigueur en 2009, étend cette exigence d’évaluation à toutes les dépenses de programme directes, sur un cycle de cinq ans.

Nous avons vérifié comment les unités d’évaluation de six ministères définissent les besoins liés à l’évaluation de l’efficacité et y donnent suite. Nous avons aussi vérifié s’ils se sont dotés de la capacité nécessaire pour satisfaire ces besoins. Par ailleurs, nous avons examiné le rôle de surveillance et de soutien que joue le Secrétariat du Conseil du Trésor du Canada pour suivre et améliorer la fonction d’évaluation au sein du gouvernement, particulièrement en ce qui a trait aux évaluations de l’efficacité. Notre vérification a porté sur la période de 2004 à 2009.

Pertinence

Les gouvernements subissent des pressions constantes pour financer divers programmes conçus en vue de répondre à des besoins précis de la société. Bien des facteurs influencent les décisions qu’ils doivent prendre. Les évaluations de l’efficacité peuvent les aider dans cette démarche décisionnelle en leur fournissant de l’information objective et fiable. Ces évaluations permettent aussi d’établir quels programmes donnent les résultats prévus, lesquels sont devenus inutiles et lesquels n’atteignent pas les objectifs visés et gagneraient à être remplacés par des alternatives qui atteindraient ces objectifs plus efficacement et à moindre coût. L’évaluation de l’efficacité devrait aussi servir à satisfaire les besoins d’information des parlementaires.

L’un des principaux avantages de l’évaluation de l’efficacité, c’est qu’elle aide les ministères et les organismes à améliorer la mesure dans laquelle leurs programmes atteignent les objectifs fixés. Les ministères doivent pouvoir montrer au Parlement et aux contribuables qu’ils utilisent les fonds publics qui leur sont confiés pour servir efficacement les Canadiens.

Constatations

Réaction du Secrétariat du Conseil du Trésor et des ministères. Le Secrétariat et les ministères acceptent nos recommandations. Leurs réponses détaillées figurent à la suite de chaque recommandation tout au long du chapitre.

Introduction

1.1 La Politique sur l’évaluation de 2009 du Conseil du Trésor définit l’évaluation comme suit : « la collecte et l’analyse systématiques de données probantes sur les résultats des programmes afin d’en évaluer la pertinence et le rendement et de trouver d’autres modes de prestation ou d’autres façons d’obtenir les mêmes résultats ». La Politique vise à créer une base complète et fiable d’éléments probants en matière d’évaluation qui sera utilisée pour appuyer l’amélioration des politiques et des programmes, la gestion des dépenses, la prise de décisions par le Cabinet et l’établissement de rapports publics.

1.2 L’évaluation des programmes est reconnue comme une source d’information clé sur l’efficacité des programmes. Cette information est essentielle pour permettre aux hauts fonctionnaires de fonder leurs décisions à l’égard des programmes et du financement sur des preuves de l’efficacité des programmes. Les constatations des évaluations de programmes peuvent être utilisées particulièrement par les hauts fonctionnaires des ministères, les gestionnaires des programmes évalués, les organismes centraux et les parlementaires. Elles peuvent également intéresser les parties concernées par les programmes évalués et le public.

1.3 Depuis près de 40 ans, le gouvernement fédéral réalise des évaluations de programmes d’un type ou d’un autre. Le Bureau du vérificateur général du Canada a examiné l’évaluation des programmes en 1978, en 1983, en 1986, en 1993, en 1996 et en 2000. L’historique de l’évaluation des programmes fédéraux entre 1970 et 2000 est ponctué d’initiatives répétées menées par les organismes centraux pour instaurer et appuyer cette fonction, ainsi que d’observations souvent critiques formulées par le Bureau du vérificateur général sur le succès de ces efforts (voir la pièce 1.1).

Pièce 1.1 — L’historique de l’évaluation des programmes fédéraux est ponctué de nombreuses observations de vérification qui critiquent les initiatives du gouvernement

Année Événement
1970 Le Secrétariat du Conseil du Trésor établit une direction de la planification pour exécuter des études interministérielles sur les programmes ayant trait aux politiques.
1977 Le Conseil du Trésor publie la première politique sur l’évaluation, qui oblige les ministères à soumettre régulièrement chacun de leurs programmes à une évaluation de l’efficacité.
1978 Dans le cadre du Travail de recherche sur l’analyse du coût-efficacité, le vérificateur général examine 23 programmes de 18 ministères. Il constate que peu d’initiatives visant à évaluer l’efficacité de ces programmes ont été couronnées de succès.
1981 Le Bureau du contrôleur général définit un cadre stratégique pour guider et structurer la fonction d’évaluation au sein des ministères et il établit une équipe d’agents de liaison chargée de fournir une orientation et des conseils aux ministères sur sa mise en œuvre.
1983 Le vérificateur général constate dans son rapport que, même si des progrès tangibles ont été réalisés pour ce qui est de développer la fonction d’évaluation des programmes depuis l’étude publiée par son bureau en 1978, peu d’évaluations de qualité supérieure sont réalisées.
1986 L’examen des programmes réalisé par le Groupe de travail Nielsen mène à la conclusion que les renseignements découlant de la plupart des évaluations de programmes « n’avaient été d’aucune utilité ».
1986 Le vérificateur général effectue un suivi de la vérification de 1983 qui lui permet de conclure qu’il y a eu amélioration dans la qualité des méthodes utilisées et des rapports établis dans le cadre des évaluations de programmes. Il souligne cependant que les problèmes relatifs à la présentation équilibrée et à la communication de toutes les limites des méthodes appliquées persistent.
1993 Le vérificateur général constate que les « grands espoirs et [les] perspectives prometteuses » ne se sont pas entièrement réalisés : « Les résultats obtenus par le système sont généralement décevants. Souvent, les évaluations ne sont ni opportunes ni pertinentes. En outre, nombre de programmes exigeant des dépenses considérables n’ont pas fait l’objet de l’évaluation prévue par la politique. »
1996 Dans son rapport de suivi visant la vérification de 1993, le vérificateur général constate que peu de progrès ont été réalisés en vue de régler les problèmes d’efficacité.
2000 Le vérificateur général constate que la fonction d’évaluation a en fait régressé, notamment en raison des compressions budgétaires qui ont réduit la capacité d’évaluation.

1.4 Avènement de la gestion axée sur les résultats. En 2000, le Conseil du Trésor a publié le document intitulé Des résultats pour les Canadiens et les Canadiennes : Un cadre de gestion pour le gouvernement du Canada. Ce document présentait une méthode de gestion axée sur les résultats selon laquelle :

« les ministères et les organismes doivent se doter de mécanismes d’information qui leur permettent de mesurer, d’évaluer et de communiquer les principaux aspects de leurs programmes et leur rendement dans les domaines essentiels. Ces mécanismes rendront les gestionnaires responsables des résultats et permettront de réaliser des analyses impartiales faisant aussi bien état des volets positifs que négatifs du rendement. »

1.5 Comme nous l’avions indiqué dans notre rapport publié la même année (chapitre 20 du Rapport du vérificateur général du Canada de décembre 2000, « La gestion ministérielle axée sur les résultats et la gestion des questions horizontales axée sur les résultats »), l’évaluation  joue un rôle important dans la gestion axée sur les résultats. Elle peut fournir des renseignements importants au sujet du rendement des programmes, renseignements qui ne sont pas recueillis par les systèmes de surveillance continue, et elle peut aider les gestionnaires à comprendre pourquoi les programmes fonctionnent ou non.

1.6 En 2001, le Conseil du Trésor a publié une politique sur l’évaluation qui visait à traduire la philosophie de la gestion axée sur les résultats qui est formulée dans Des résultats pour les Canadiens et les Canadiennes. L’objectif de cette politique consistait à faire en sorte que le gouvernement dispose, en temps voulu, de renseignements stratégiques, objectifs et fondés sur le rendement de ses politiques, de ses programmes et de ses initiatives. Aux termes de cette politique, l’évaluation est un outil de gestion servant à déterminer de façon périodique l’efficacité d’un programme dans l’atteinte de ses objectifs, ses effets et sa pertinence, ainsi qu’à recenser d’autres méthodes permettant d’obtenir les résultats attendus (coût-efficacité).

1.7 En 2003, le Secrétariat du Conseil du Trésor a instauré le Cadre de responsabilisation de gestion en vue d’évaluer le rendement de la gestion des ministères, notamment l’évaluation des programmes. Les lignes directrices ultérieures, publiées en 2007 pour appuyer l’application de la Politique sur la structure de gestion, des ressources et des résultats de 2005, incitent les chefs de l’évaluation des ministères et des organismes à fournir des conseils relativement au cadre de mesure du rendement intégré à la structure de gestion, des ressources et des résultats de leur organisation. Le Secrétariat considère que le Cadre et les exigences des politiques constituent une approche intégrée à la mesure du rendement de la gestion dans les ministères.

1.8 La gestion des dépenses en point de mire. Des événements récents ont à nouveau mis l’accent sur le rôle de l’évaluation des programmes dans la gestion des dépenses. Comme l’indiquent les documents budgétaires de 2007 et de 2008, le gouvernement fédéral a instauré un nouveau système de gestion des dépenses, dont un des éléments clés est l’évaluation continue de toutes les dépenses de programmes directes, connue sous le nom de processus d’examen stratégique. Les examens stratégiques visent à garantir que les programmes sont efficaces et efficients, qu’ils répondent aux priorités des Canadiens et qu’ils cadrent avec les responsabilités fondamentales du gouvernement fédéral. Selon le Secrétariat du Conseil du Trésor, l’évaluation des programmes est une source essentielle d’information sur l’efficacité des programmes pour appuyer ces examens.

1.9 La Politique sur l’évaluation de 2009. Le dernier élément de la fonction fédérale d’évaluation des programmes est une nouvelle politique qui a été approuvée en avril 2009. En plus de favoriser le renouvellement du Système de gestion des dépenses en améliorant la base d’information servant aux examens stratégiques des dépenses ministérielles, la nouvelle politique exige que toutes les dépenses de programmes directes soient évaluées sur une période de cinq ans. Chaque année, pour assurer une couverture d’évaluation complète, les ministères et organismes devront évaluer, en moyenne, 20 % de leurs dépenses de programmes directes, ce qui comprend les dépenses de leurs programmes de subventions et de contributions. Les grands ministères et organismes doivent se conformer à cette exigence à partir du 1er avril 2013. Après une période de transition de quatre ans, le premier cycle d’évaluation visera les exercices de 2013-2014 à 2017-2018. Les petites entités, qui comptent moins de 500 équivalents temps plein et ont un niveau de référence inférieur à 300 millions de dollars, sont assujetties à une exigence moins rigoureuse, à savoir procéder à une évaluation des programmes selon les besoins. Des éléments connexes accompagnent la nouvelle politique : la Directive sur la fonction d’évaluation définit les rôles et les responsabilités des fonctionnaires chargés de l’évaluation au sein des ministères, et des normes fixent les exigences minimales à l’égard de la qualité, de la neutralité et de l’utilité des évaluations.

Objet de la vérification

1.10 La présente vérification porte sur l’évaluation des programmes dans l’ensemble de l’administration publique fédérale pour ce qui est de la mesure de l’efficacité des programmes, soit l’évaluation de l’efficacité. Elle avait pour objectif global de déterminer si les ministères retenus et le Secrétariat du Conseil du Trésor répondent aux besoins en matière d’évaluation de l’efficacité et s’ils recensent et apportent les améliorations nécessaires à l’évaluation de l’efficacité.

1.11 La vérification a porté sur une période de cinq ans, de 2004-2005 à 2008-2009. En choisissant cette période, nous avons pu examiner les répercussions des efforts déployés par le Secrétariat du Conseil du Trésor, grâce à une série de ses études, en vue de comprendre l’efficacité de la Politique d’évaluation de 2001 jusqu’en 2004-2005. Nous avons aussi examiné les efforts réalisés par les ministères retenus pour régler les problèmes recensés au cours de cette même période. Étant donné que la Politique d’évaluation de 2001 a été remplacée en avril 2009, notre vérification n’a pas porté directement sur la conformité à l’une ou l’autre de ces politiques.

1.12 Nous avons mené des travaux d’examen détaillés au Secrétariat du Conseil de Trésor et dans six ministères :

1.13 La section intitulée À propos de la vérification, à la fin du chapitre, fournit d’autres détails sur les objectifs, l’étendue, la méthode et les critères de la vérification.

Observations et recommandations

Combler les besoins en matière d’évaluation de l’efficacité

1.14 Les organisations bien administrées fonctionnent selon un cycle de gestion qui favorise l’amélioration continue et prévoit les actions suivantes : planifier, exécuter, contrôler et améliorer. Nous avons cherché des éléments probants indiquant que les ministères vérifiés planifiaient leurs évaluations de l’efficacité de manière à répondre aux besoins recensés, qu’ils mettaient en œuvre les plans établis, qu’ils effectuaient des contrôles pour s’assurer que les besoins étaient comblés et qu’ils apportaient des améliorations, au besoin. Nous avons adopté une approche semblable pour vérifier le rôle de surveillance et de soutien du Secrétariat du Conseil du Trésor (voir les paragraphes 1.63 à 1.93).

1.15 Nous avons constaté qu’en raison de la couverture limitée en matière d’évaluation et de l’insuffisance des renseignements sur le rendement pouvant être utilisés, les ministères n’étaient pas en mesure de prouver qu’ils répondaient à tous les besoins en matière d’évaluation de l’efficacité.

Les besoins en matière d’évaluation de l’efficacité continuent de croître

1.16 Lorsqu’ils planifient leurs travaux d’évaluation de l’efficacité, les ministères doivent d’abord recenser les besoins en matière d’évaluation. Les chefs de l’évaluation des six ministères vérifiés nous ont indiqué qu’ils définissaient ces besoins en tenant compte à la fois des exigences établies pour l’ensemble du gouvernement et des besoins internes définis en fonction des risques.

1.17 Le gouvernement considère l’évaluation comme la principale source de renseignements neutres et systématiques sur la pertinence et le rendement continus des politiques et des programmes. Il s’attend également à ce que l’évaluation fasse émerger d’autres méthodes permettant d’obtenir les résultats attendus ainsi que des améliorations à la conception des programmes. Les exigences relatives aux évaluations de l’efficacité pour l’ensemble du gouvernement sont définies à la fois dans des lois et des politiques (voir la pièce 1.2).

Pièce 1.2 — Les exigences relatives aux évaluations de l’efficacité pour l’ensemble du gouvernement sont inscrites à la fois dans des lois et des politiques

La Politique sur les paiements de transfert de 2000 (révisée en 2008) obligeait les ministères à examiner l’efficacité des paiements de transfert lorsqu’ils demandaient le renouvellement des modalités d’un programme, et à faire rapport à cet égard. La Loi sur la gestion des finances publiques (amendée en 2006) exige des ministères qu’ils évaluent, tous les cinq ans, la pertinence et l’efficacité de tous les programmes permanents de subventions et de contributions dont ils sont responsables.

La Politique d’évaluation de 2001 du Conseil du Trésor recommandait que les évaluations examinent la pertinence des programmes, leur succès et leur efficacité par rapport aux coûts engagés.

Le financement approuvé d’un programme peut être assujetti à des conditions particulières dans les présentations au Conseil du Trésor et les mémoires au Cabinet; ces conditions obligent un ministère à évaluer le programme et à présenter un rapport à cet effet au Conseil du Trésor ou au Cabinet avant une date limite.

Dans le Budget de 2007, le gouvernement a annoncé le lancement du nouveau Système de gestion des dépenses (SGD), qui prévoit des exigences plus rigoureuses en matière d’évaluation.

Depuis avril 2007, certains nouveaux règlements fédéraux doivent être soumis à une évaluation de leur efficacité.

La Politique sur l’évaluation de 2009 du Conseil du Trésor exige que toutes les évaluations qui seront prises en compte aux fins des exigences en matière de couverture d’évaluation traitent de l’optimisation des ressources en présentant des conclusions claires et valables sur la pertinence et le rendement des programmes.

1.18 Selon le Secrétariat du Conseil du Trésor, le processus d’examen stratégique, inscrit dans le Système de gestion des dépenses, suscite un besoin impérieux en matière d’évaluation de l’efficacité. En effet, les organisations sont tenues d’exécuter un examen stratégique de leurs dépenses de programmes directes tous les quatre ans pour veiller à ce que le gouvernement consacre ses ressources aux besoins les plus prioritaires.

1.19 Outre ces exigences visant l’ensemble du gouvernement, les chefs de l’évaluation ont recensé, en fonction des risques, les besoins ministériels internes en matière d’évaluation de l’efficacité qui correspondent aux priorités des ministères et à celles du gouvernement. Ces priorités sont généralement définies dans le cadre de consultations auprès de la haute direction de chaque ministère.

1.20 Entre 2004 et 2009, les besoins en matière d’évaluation de l’efficacité se sont accrus. Cet accroissement est surtout attribuable aux mesures instaurées par le gouvernement aux termes de la Loi fédérale sur la responsabilité de 2006. Cette loi apporte, notamment, une modification à la Loi sur la gestion des finances publiques qui oblige les ministères et les organismes à évaluer ou à examiner tous les cinq ans la pertinence et l’efficacité de tous les programmes permanents de subventions et de contributions non exigés par la loi.

Les ministères ont adopté des processus systématiques pour planifier l’évaluation de l’efficacité

1.21 À la lumière des nombreux besoins en matière d’évaluation de l’efficacité et de l’importance que peuvent avoir ces évaluations pour éclairer les processus décisionnels, il est primordial que les ministères tiennent compte de ces besoins lorsqu’ils établissent leurs plans d’évaluation des programmes.

1.22 Nous nous attendions à ce que les plans d’évaluation des programmes des six ministères vérifiés tiennent compte à la fois des exigences visant l’ensemble du gouvernement et des besoins ministériels internes, définis en fonction des risques, pour ce qui est de l’évaluation de l’efficacité. Nous avons constaté que tous les ministères avaient établi des plans fondés sur les risques pendant la période visée par la vérification (certains depuis 2004-2005, d’autres à compter de 2005-2006). La majorité de ces plans sont établis annuellement et les plus récents couvrent pour la plupart une période de cinq ans. Nous avons trouvé des éléments probants indiquant que, pour recenser les priorités ministérielles, les responsables de chaque ministère avaient consulté la haute direction et les différents secteurs de programmes lors de l’établissement des plans d’évaluation. Nous avons aussi constaté que tous les ministères, à l’exception d’Agriculture et Agroalimentaire Canada et de Citoyenneté et Immigration Canada, avaient mis en place des processus pour recenser et surveiller les exigences visant le renouvellement des subventions et des contributions dans le cadre des présentations au Conseil du Trésor.

Les besoins en matière de gestion des dépenses n’ont pas été adéquatement pris en compte

1.23 Des représentants des six ministères vérifiés nous ont indiqué que la nécessité de procéder à des examens stratégiques, qui découle du Système de gestion des dépenses, n’avait pas été un facteur important lors de l’établissement des plans d’évaluation des années antérieures. Ils ont cependant ajouté que cette exigence était désormais prise en considération. À ce jour, sur les six ministères vérifiés, seuls Patrimoine canadien (en 2007) et Agriculture et Agroalimentaire Canada (en 2008) ont mené à bien un examen stratégique. Des représentants de Pêches et Océans Canada et de Patrimoine canadien nous ont fait savoir qu’ils prévoyaient procéder à des évaluations en vue de l’exécution du prochain examen stratégique.

Les ministères terminent la plupart des évaluations prévues

1.24 Nous nous attendions à ce que les six ministères, pour combler les besoins en matière d’évaluation de l’efficacité, aient exécuté les évaluations inscrites dans leurs plans. Nous avons constaté que les six ministères avaient exécuté la plupart des évaluations prévues (voir la pièce 1.3). Des représentants des ministères ont invoqué diverses raisons pour expliquer pourquoi certaines évaluations n’avaient pas été menées à bien, notamment l’annulation ou le remaniement de programmes, l’insuffisance des données disponibles, l’évolution des besoins des clients internes (par exemple, de la haute direction ou des gestionnaires du programme) et la capacité d’évaluation. Des représentants de Ressources humaines et Développement des compétences Canada nous ont indiqué qu’ils prévoyaient un taux plus élevé d’achèvement, car bon nombre des évaluations qui n’ont pas été terminées au cours de nos travaux de vérification étaient des évaluations pluriannuelles dont la date prévue d’achèvement était postérieure à la fin de la période de vérification.

Pièce 1.3 — La plupart des évaluations prévues ont été exécutées

Ministère Nombre d’évaluations prévues* Nombre et pourcentage d’évaluations exécutées**
Patrimoine canadien 48 42 (88 %)
Pêches et Océans Canada 30 24 (80 %)
Environnement Canada 29 23 (79 %)
Citoyenneté et Immigration Canada 21 15 (71 %)
Agriculture et Agroalimentaire Canada 25 14 (56 %)
Ressources humaines et Développement des compétences Canada 64 34 (53 %)

* Selon les plans d’évaluation ministériels de 2004-2005 à 2007-2008.

** Selon les listes des évaluations fournies par les ministères dans leurs plans visant la période de 2004-2005 à 2007-2008, évaluations qui ont été terminées avant le 30 avril 2009.

La couverture d’évaluation des programmes est limitée

1.25 Alors que la Politique sur l’évaluation de 2009 oblige les ministères à évaluer toutes les dépenses de programmes directes, cette exigence n’était pas en vigueur pendant la période visée par notre vérification. Le Secrétariat du Conseil du Trésor exigeait alors que les ministères exécutent des évaluations en fonction des risques. Nous avons constaté que le Secrétariat avait encouragé les ministères à intégrer les évaluations dans la gestion des programmes et à assurer une couverture d’évaluation adéquate des programmes. Les six ministères ont appliqué des processus systématiques pour planifier leurs évaluations, y compris les évaluations de l’efficacité. Nous avons cependant constaté qu’une faible proportion des dépenses de programmes totales avait été évaluée au sein des ministères.

1.26 Nous avons examiné les données transmises par les six ministères au Secrétariat du Conseil du Trésor dans le cadre de l’enquête annuelle d’évaluation des capacités, y compris l’information sur les dépenses annuelles des programmes évalués. Nous avons comparé ces dépenses de programmes au total des dépenses de programmes des ministères pour chaque exercice. Nous avons relevé des écarts importants entre les six ministères dans la proportion des dépenses de programmes qu’ils évaluent (voir la pièce 1.4).

Pièce 1.4 — Une faible proportion du total des dépenses de programmes a été évaluée entre 2004-2005 et 2007-2008

Ministère Pourcentage estimatif moyen des dépenses de programmes évaluées annuellement
Patrimoine canadien 13 %
Agriculture et Agroalimentaire Canada* 11 %
Environnement Canada 9 %
Pêches et Océans Canada 8 %
Citoyenneté et Immigration Canada 6 %
Ressources humaines et Développement des compétences Canada* 5 %

* Agriculture et Agroalimentaire Canada et Ressources humaines et Développement des compétences Canada ont chacun exécuté des travaux d’évaluation qui visaient plusieurs programmes à la fois. Cela a eu pour effet d’augmenter la couverture d’évaluation.

Sources : Enquête annuelle d’évaluation des capacités du Secrétariat du Conseil du Trésor, données descriptives transmises par les ministères et Comptes publics du Canada.

1.27 Nos calculs indiquent que c’est à Patrimoine canadien qu’on retrouve la plus grande proportion de dépenses de programmes évaluées par rapport aux autres ministères vérifiés. Patrimoine canadien a également le pourcentage le plus élevé de dépenses au titre des programmes de subventions et des contributions, soit environ 80 % de ses dépenses totales pour 2007-2008. Selon la Loi sur la gestion des finances publiques, les ministères ont jusqu’en 2011-2012 pour évaluer tous leurs programmes de subventions et de contributions non exigés par la loi qui sont permanents et qui étaient en vigueur en décembre 2006.

1.28 De même, le renouvellement des programmes de subventions et de contributions a lieu sur une courte période de temps. Ainsi, des représentants de Citoyenneté et Immigration Canada nous ont indiqué qu’il était difficile pour le Ministère de satisfaire aux exigences d’évaluation, car la majorité des programmes de subventions et de contributions doivent être renouvelés en même temps, ce qui crée un surcroît de travail pour l’unité d’évaluation du Ministère. Le Ministère nous a cependant fait savoir que ces exigences avaient été respectées pendant la période visée par la vérification. Nous avons constaté que l’unité d’évaluation du Ministère prévoit évaluer environ 90 % des dépenses au titre des subventions et des contributions en 2009-2010, ce qui veut donc dire qu’il lui restera peu de ressources pour répondre à d’autres besoins.

Les évaluations ne permettent pas de bien mesurer l’efficacité des programmes

1.29 La qualité des méthodes d’évaluation est une préoccupation de longue date au sein du gouvernement fédéral. En 2005, le Secrétariat du Conseil du Trésor avait examiné la qualité des rapports d’évaluation en vue de déterminer si ceux-ci s’étaient améliorés. Cet examen avait permis de constater que, même si la qualité des rapports d’évaluation s’était améliorée depuis 2002, il y avait « un besoin pressant d’apporter d’autres améliorations ».

1.30 Les évaluateurs ont recours à une grande diversité de méthodes. Par ailleurs, il n’y a pas de normes minimales universellement reconnues pour les évaluations de l’efficacité. Cependant, les politiques sur l’évaluation de 2001 et de 2009 du Conseil du Trésor soulignent toutes deux la nécessité de recueillir des données fiables pour étayer les constatations des évaluations. La Politique d’évaluation de 2001 fait mention de méthodes objectives de collecte et d’analyse des données alors que les Normes d’évaluation au gouvernement du Canada de 2009 exigent que les évaluations se fondent sur « de multiples sources de données, y compris des éléments probants découlant de l’analyse quantitative et de l’analyse qualitative ».

1.31 Les deux politiques reconnaissent que le niveau de rigueur méthodologique devrait dépendre de l’utilisation prévue des constatations. De plus, pour des programmes dont l’importance relative est moindre, des méthodes moins rigoureuses peuvent convenir.

1.32 En 2005, le Secrétariat du Conseil du Trésor a constaté une tendance relativement aux évaluations, à savoir qu’elles se fondaient principalement sur de l’information obtenue à partir d’entrevues avec les parties concernées, de l’examen de dossiers et de documents, d’études de cas et de sondages. Le Secrétariat a également constaté que l’information provenant de la mesure continue du rendement des programmes n’était généralement pas disponible ou était insuffisante pour appuyer efficacement l’exécution d’évaluations. Selon le Secrétariat, cela était dû au fait que peu de programmes disposaient de systèmes fiables pour recueillir et communiquer cette information. Au terme de son examen, le Secrétariat concluait que l’absence de données sur le rendement des programmes réduisait la qualité globale des rapports d’évaluation.

1.33 Lorsque les données ne sont pas disponibles, les évaluateurs peuvent devoir les recueillir eux-mêmes ou trouver d’autres sources d’information. Cette contrainte peut limiter leur capacité d’appliquer les méthodes qui conviennent. Or, il importe d’appliquer diverses méthodes d’évaluation, de nature à la fois quantitative et qualitative, pour veiller à ce que ces méthodes produisent suffisamment d’éléments probants fiables. Des données qui ne sont pas fiables réduisent la confiance que l’on peut avoir dans l’utilité des résultats des évaluations.

1.34 Nous avons examiné un échantillon de 23 évaluations qui, selon les six ministères, portaient sur l’efficacité en vue de déterminer les types de données recueillies pour étayer les constatations des évaluations. Nous avons constaté que, dans 17 de ces 23 évaluations, on indiquait de manière explicite qu’il manquait de l’information sur le rendement des programmes, car les données n’étaient pas disponibles ou n’étaient pas suffisamment fiables. Par conséquent, 9 des 17 évaluations indiquaient que les travaux visant à mesurer le succès et l’efficacité des programmes avaient été limités. De plus, 6 des 17 évaluations étaient principalement fondées sur des entrevues avec le personnel responsable du programme et les parties concernées (voir la pièce 1.5).

Pièce 1.5 — Certaines évaluations de l’efficacité ne contiennent pas suffisamment d’information sur le rendement

Agriculture et Agroalimentaire Canada. Le Programme des routes utilisées pour le transport du grain des Prairies a été appliqué d’avril 2001 à mars 2006 avec un budget annuel moyen de 35 millions de dollars. Il visait à aider les provinces des Prairies à faire face à la pression accrue exercée sur les routes rurales en améliorant les routes, en augmentant la capacité de charge transportée par camion et en renforçant la sécurité des usagers de la route.

Exécutée en 2006, au coût de 103 600 $, cette évaluation portait sur les résultats et les effets du programme, le caractère adéquat de sa conception, sa pertinence continue et son efficacité par rapport aux coûts. L’absence d’indicateurs du rendement qui auraient permis de mesurer l’efficacité du programme a entravé l’atteinte de ces objectifs. Il n’a pas été possible, par exemple, de déterminer si le programme avait contribué à améliorer la sécurité routière.

Les affirmations relatives à une amélioration de la sécurité étaient principalement fondées sur des entretiens et sur les taux de satisfaction des bénéficiaires. L’établissement d’indicateurs du rendement dès le début du programme aurait permis de tirer des conclusions plus complètes sur l’efficacité du programme.

Citoyenneté et Immigration Canada. Le Programme de parrainage privé de réfugiés, lancé en 1978 par le Ministère, vise à aider les réfugiés à s’installer au Canada et à se bâtir une nouvelle vie en bénéficiant du parrainage de citoyens canadiens. Il est doté d’un budget annuel d’environ 5 millions de dollars.

La dernière évaluation de ce programme a été menée en 2007, au coût de 268 000 $. Elle visait à déterminer si le programme était toujours pertinent, s’il obtenait les résultats décrits dans son cadre de gestion et de responsabilisation axé sur les résultats, et s’il était efficace au regard des coûts.

L’évaluation a fait appel à des données provenant d’une grande diversité de sources, notamment des données statistiques fournies par le Ministère et Statistique Canada. Elle a donc permis de documenter avec plus d’objectivité la mesure dans laquelle les réfugiés avaient trouvé du travail et un logement, et avaient bénéficié de services essentiels.

Pêches et Océans Canada. En 2006, le Ministère a évalué son Programme d’aquaculture durable. Lancé en 2000, ce programme était doté d’un budget annuel de 15 millions de dollars pour l’exercice 2008-2009. Il vise à favoriser l’expansion d’une industrie de l’aquaculture concurrentielle et respectueuse de l’environnement et à accroître la confiance du public dans l’aquaculture.

L’objectif énoncé de cette évaluation, au coût de 98 600 $, était d’examiner la pertinence, le succès et l’efficacité au regard des coûts du programme. Les évaluateurs ont cependant reconnu qu’il n’y avait pas de système de surveillance continue pour enregistrer les résultats du programme. À titre d’exemple, du fait que l’information sur les effets de l’aquaculture sur la santé humaine était limitée, il n’a pas été possible de déterminer si les objectifs du programme dans ce domaine avaient été atteints.

Nous avons constaté que, sans cette information, bon nombre des conclusions de l’évaluation étaient fondées sur des entretiens avec des représentants du gouvernement fédéral et de l’industrie, ainsi que sur l’examen de documents et de dossiers. Par conséquent, cette évaluation n’a pas permis d’évaluer comme il se doit l’efficacité du programme.

1.35 Les chefs de l’évaluation des six ministères ont confirmé que l’information sur le rendement dont ils avaient besoin pour déterminer si les programmes sont efficaces au regard des coûts et s’ils atteignent les résultats attendus était souvent insuffisante. Il faut savoir que ce sont les gestionnaires de programme, non les unités d’évaluation des ministères, qui sont responsables d’établir et de mettre en œuvre des mesures continues du rendement.

1.36 Compte tenu des faiblesses relevées dans l’information sur le rendement et de la nécessité d’appliquer des méthodes d’évaluation appropriées, la couverture réelle des programmes ministériels pour ce qui est de l’évaluation de l’efficacité est encore plus limitée que ce qui est indiqué dans la présente vérification (voir la pièce 1.4). Selon notre échantillon, les trois quarts des évaluations menées n’ont pas permis de bien mesurer l’efficacité des programmes, faute de données adéquates.

1.37 Recommandation. Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada devraient élaborer et mettre en œuvre des plans d’action pour s’assurer que l’information sur le rendement des programmes est recueillie de façon continue en vue d’appuyer l’évaluation de l’efficacité des programmes.

Réponse d’Agriculture et Agroalimentaire Canada. Recommandation acceptée. Agriculture et Agroalimentaire Canada reconnaît que la collecte systématique, par les gestionnaires, de données sur le rendement des programmes est nécessaire à l’établissement de rapports sur le rendement des programmes et aux évaluations de l’efficacité.

Conformément à la Politique sur les paiements de transfert du Conseil du Trésor, une stratégie de mesure du rendement pour la gestion en continu des programmes de paiements de transfert, qui prévoit notamment des mesures et des indicateurs du rendement et une stratégie de collecte des données, est définie pour chaque nouveau programme de paiement de transfert.

La fonction d’évaluation d’Agriculture et Agroalimentaire Canada examine les stratégies de mesure du rendement des programmes au fur et à mesure de leur élaboration pour obtenir l’assurance que les résultats des programmes sont définis, mesurables et imputables et que les stratégies, une fois mises en œuvre, sont suffisantes pour appuyer les travaux d’évaluations futurs.

À compter de 2009-2010, le Ministère exécutera des examens annuels de l’état de la mesure du rendement des programmes. Le premier examen évaluera les méthodes de mesure du rendement qui sont utilisées à Agriculture et Agroalimentaire Canada et le caractère adéquat des données recueillies sur les programmes qui seront évalués sous peu. Un plan d’action pour donner suite aux recommandations formulées sera établi et sa mise en œuvre sera surveillée en vue de renforcer les méthodes du Ministère dans ce secteur.

Réponse de Citoyenneté et Immigration Canada. Recommandation acceptée. Citoyenneté et Immigration Canada reconnaît la valeur de l’information continue sur le rendement aux fins des évaluations et il continuera d’appuyer les activités ministérielles à cet égard. Le Ministère élaborera un plan d’action qui prévoit le renouvellement du Cadre de mesure du rendement complet du Ministère et de l’architecture des activités de programmes, ainsi qu’une meilleure intégration du Cadre au processus de planification des activités.

Réponse d’Environnement Canada. Recommandation acceptée. Environnement Canada accepte cette recommandation, qui reflète l’objectif de la Politique sur l’évaluation de 2009 relativement à l’information sur le rendement. Par conséquent, des mesures sont déjà en cours d’exécution au sein d’Environnement Canada pour mettre en œuvre cette recommandation. Celles-ci incluent : la surveillance continue de la mise en œuvre des mesures annoncées dans les réponses de la direction aux évaluations précédentes qui ont cerné des préoccupations concernant l’information sur le rendement; l’élaboration et la mise en œuvre d’une stratégie en vue d’informer tous les gestionnaires du Ministère des exigences de la Politique sur l’évaluation en matière de mesure du rendement.

De plus, le plan d’évaluation du Ministère sera élargi afin d’inclure une composante de surveillance en vue de vérifier, selon les ressources disponibles, le statut des données sur le rendement recueillies au sein du Ministère et de déterminer si suffisamment d’information sur le rendement sera disponible pour appuyer les évaluations à venir. Cette composante de surveillance sera intégrée dans le plan d’évaluation 2010-2015 et mise à jour tous les ans par la suite.

En outre, pour l’exercice 2010-2011, le cadre de mesure du rendement du Ministère a été relié à l’architecture des activités de programmes du Ministère, étant donné que des mesures de rendement ont été déterminées pour tous les programmes.

Réponse de Patrimoine canadien. Recommandation acceptée. Patrimoine canadien applique son Plan d’action pour la mise en œuvre de la Politique sur la structure de gestion, des ressources et des résultats afin de veiller à ce que le personnel chargé des programmes soit en mesure de s’acquitter de ses responsabilités à l’égard de l’élaboration et de l’application de stratégies de mesure du rendement. Le Plan d’action prévoit, entre autres :

La mise en œuvre du Plan d’action devrait s’achever à la fin de 2011-2012.

Le Bureau du dirigeant principal de la vérification et de l’évaluation du Ministère fournit en permanence des conseils et apporte de façon continue son concours aux gestionnaires qui s’emploient à mettre en œuvre le Plan d’action. Conformément à la Politique sur les paiements de transfert, ce bureau fournit également, en temps opportun, des avis et une aide pour ce qui est de la conception des programmes et des stratégies de mesure du rendement lorsqu’il examine les documents d’approbation officiels pour la création de nouveaux programmes et le renouvellement de programmes en vigueur. Enfin, conformément à l’obligation qui lui est faite aux termes de la Politique sur l’évaluation, le bureau présentera, en 2010-2011, son premier rapport annuel sur l’état de la mesure du rendement des programmes au comité d’évaluation ministériel.

Réponse de Pêches et Océans Canada. Recommandation acceptée. Le Cadre de mesure du rendement de Pêches et Océans Canada établit des liens entre les indicateurs fondamentaux et l’architecture des activités de programmes du Ministère, ce qui permet de définir des indicateurs de rendement pour toutes les activités et sous-activités de programme. Au cours de chaque exercice, Pêches et Océans Canada procède à une analyse de l’état de l’évaluation du rendement au sein du Ministère et présente un rapport annuel au Comité d’évaluation ministériel. De plus, le Ministère élaborera et mettra en œuvre un plan d’action pour s’assurer que l’information sur le rendement des programmes est recueillie de façon continue en vue d’étayer l’évaluation de l’efficacité des programmes d’ici la fin d’août 2010.

Réponse de Ressources humaines et Développement des compétences Canada. Recommandation acceptée. Ressources humaines et Développement des compétences Canada accepte cette recommandation puisqu’elle reflète l’esprit de diverses politiques du Secrétariat du Conseil du Trésor, y compris la Politique sur l’évaluation de 2009. Ainsi, le Ministère recueille et surveille déjà de façon continue les données sur le rendement pour appuyer l’évaluation de l’efficacité, notamment en menant les actions suivantes :

Le Ministère entreprend aussi un examen exhaustif ainsi qu’une mise au point et une validation complètes de son Cadre de mesure du rendement pour le rendre plus solide et complet, en vue d’appuyer la planification, la surveillance et la gestion continues en fonction des résultats. La Direction de l’évaluation participe activement à ce projet. Les progrès réalisés à l’égard du Cadre de mesure du rendement du Ministère favoriseront le suivi du rendement ainsi que l’évaluation de la pertinence et de l’efficacité des programmes.

Certains processus d’assurance de la qualité ont été instaurés

1.38 Les processus d’assurance de la qualité sont conçus pour assurer le respect des exigences relatives à la qualité. Dans le cadre de l’évaluation de l’efficacité, les processus d’assurance de la qualité contribuent à faire en sorte que les rapports d’évaluation respectent les normes établies et fournissent aux décideurs des constatations fiables et utiles.

1.39 Nous nous attendions à ce que les six ministères puissent prouver qu’ils avaient instauré des processus systématiques d’assurance de la qualité visant les évaluations de l’efficacité. Nous avons constaté que les six ministères disposaient de tels processus. Même si ces processus différaient de par leur conception, nous avons relevé un certain nombre d’éléments communs : normes d’évaluation internes, examen interne et examen par un spécialiste externe. Les six ministères ont exécuté des examens internes et tous les ministères, à l’exception de deux (Agriculture et Agroalimentaire Canada et Pêches et Océans Canada), ont fait appel à des spécialistes externes, de façon courante ou ponctuelle, pour procéder à des examens d’assurance de la qualité. En dépit de ces processus, nous avons constaté que les trois quarts des évaluations de notre échantillon ne permettaient pas de mesurer comme il se doit l’efficacité des programmes.

1.40 Les processus d’assurance de la qualité peuvent également permettre de renforcer l’indépendance de l’unité d’évaluation à l’égard de la direction des programmes évalués. Dans ses politiques sur l’évaluation de 2001 et de 2009, le Conseil du Trésor a reconnu que la création d’un comité d’évaluation ministériel qui approuve les plans et les rapports d’évaluation favorise l’indépendance de la fonction, puisque les plans et les rapports sont alors examinés objectivement par des fonctionnaires qui ne sont pas chargés de la gestion des programmes.

1.41 Nous avons examiné les processus appliqués par les six ministères pour étudier et approuver les plans et les rapports d’évaluation. Dans les six ministères, les plans et les rapports sont tous approuvés par des comités d’évaluation formés de hauts fonctionnaires.

1.42 Nous remarquons que, contrairement aux comités d’évaluation ministériels, les comités de vérification ministériels doivent obligatoirement inclure des membres externes. À notre avis, il s’agit là d’une bonne pratique puisqu’elle permet de tenir compte des connaissances et du point de vue de praticiens qui ne font pas partie du gouvernement. Cette pratique pourrait également se révéler avantageuse pour les comités d’évaluation. Aux termes de la Politique sur l’évaluation de 2009, les comités d’évaluation sont tenus d’examiner les plans et les rapports d’évaluation et de les recommander à l’approbation de l’administrateur général. Si les comités comptaient des membres externes, ils pourraient jouer un rôle plus important en vue d’améliorer de façon continue les évaluations de l’efficacité.

1.43 Recommandation. Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada devraient examiner les avantages d’intégrer des spécialistes externes au sein de leur comité d’évaluation. Le Secrétariat du Conseil du Trésor devrait établir des lignes directrices à ce sujet à l’intention des ministères.

Réponse d’Agriculture et Agroalimentaire Canada. Recommandation acceptée. Agriculture et Agroalimentaire Canada vient d’instaurer un certain nombre de méthodes pour garantir l’établissement de rapports d’évaluation bien étayés. Ainsi, il sollicite désormais les avis d’experts externes sur les évaluations qui sont en cours. Le Ministère examinera également la possibilité de nommer des membres externes pour siéger à son comité d’évaluation, en fonction des lignes directrices émises par le Secrétariat du Conseil du Trésor.

Réponse de Citoyenneté et Immigration Canada. Recommandation acceptée. Citoyenneté et Immigration Canada évaluera les avantages de faire siéger un expert en évaluation externe au comité d’évaluation ministériel.

Réponse d’Environnement Canada. Recommandation acceptée. Environnement Canada accepte la recommandation et attendra les directives du Secrétariat du Conseil du Trésor sur l’intégration de membres externes dans les comités d’évaluation ministériels.

Réponse de Patrimoine canadien. Recommandation acceptée. Au sein de Patrimoine canadien, c’est le Comité des politiques stratégiques, de la planification et de l’évaluation, sous la présidence de l’administrateur général, qui surveille la fonction d’évaluation. Cette structure permet une meilleure intégration entre les fonctions d’établissement des politiques, de planification et d’évaluation au Ministère. De même, Patrimoine canadien présente déjà les rapports d’évaluation clés, au besoin, à son comité de vérification ministériel pour qu’il les examine et en discute. Le Ministère collaborera avec le Centre d’excellence en évaluation du Secrétariat du Conseil du Trésor pour déterminer la valeur ajoutée que représente l’intégration des avis d’experts de l’évaluation externes pour éclairer les travaux des comités d’évaluation ministériels.

Réponse de Pêches et Océans Canada. Recommandation acceptée. Pêches et Océans Canada réfléchira au bien-fondé de l’intégration de membres externes à son comité d’évaluation ministériel, en fonction des lignes directrices émises par le Secrétariat du Conseil du Trésor.

Réponse de Ressources humaines et Développement des compétences Canada. Recommandation acceptée. Ressources humaines et Développement des compétences Canada a déjà invité des membres de l’extérieur du Ministère à son comité d’évaluation. Le Ministère envisagera de nouveau l’inclusion officielle d’experts externes à l’actuel Comité d’évaluation du Ministère et se tournera vers le Secrétariat du Conseil du Trésor du Canada pour obtenir des recommandations sur ce volet de la Politique sur l’évaluation.

Réponse du Secrétariat du Conseil du Trésor. Recommandation acceptée. Le Secrétariat du Conseil du Trésor convient qu’il devrait conseiller les ministères au sujet du bien-fondé de la participation d’experts externes à leurs comités d’évaluation. Cette mesure sera menée à bien au plus tard le 31 mars 2010.

Les ministères ne recensent pas systématiquement les améliorations prioritaires

1.44 Le Secrétariat du Conseil du Trésor procède à des examens annuels de la gestion des ministères en s’appuyant sur des indicateurs qui permettent de mesurer chacun des 10 éléments qui composent le Cadre de responsabilisation de gestion, notamment une appréciation de la couverture des évaluations, ainsi que de la qualité et de l’utilisation de ces dernières. Selon le Secrétariat, ces examens aident les administrateurs généraux à recenser les améliorations à apporter en priorité en matière de gestion. Outre les examens fondés sur le Cadre de responsabilisation de gestion, nous nous attendions à ce que les six ministères aient mis en place leurs propres processus internes pour déterminer s’ils répondent aux besoins en matière d’évaluation de l’efficacité.

1.45 Comme nous l’avons mentionné précédemment (voir le paragraphe 1.22), nous avons constaté que tous les ministères disposent de processus de consultation qui visent à faire en sorte que leurs plans d’évaluation cadrent avec les priorités ministérielles. Par ailleurs, nous avons constaté que des améliorations avaient été apportées dans certains ministères, mais pas de façon systématique. Seul Environnement Canada possède un processus officiel pour recenser systématiquement les éléments de sa fonction d’évaluation qui doivent être améliorés. Environnement Canada prend diverses mesures pour contribuer à faire en sorte que ses méthodes d’évaluation soient axées sur l’amélioration continue. Par exemple, il sollicite les commentaires de ses clients dans le cadre d’enquêtes menées après les évaluations, obtenant ainsi de façon continue des renseignements sur la qualité et la valeur des évaluations.

1.46 En outre, lorsque les évaluations d’Environnement Canada sont terminées, des comptes rendus sur les leçons apprises sont souvent préparés et communiqués aux gestionnaires de programmes et d’initiatives semblables en vue d’améliorer l’utilité générale des constatations des évaluations. L’unité d’évaluation a aussi mis au point un cadre d’autoévaluation aux fins de l’assurance de la qualité, qui est fondé sur le guide d’autoévaluation pour la vérification interne. L’unité a adapté certains éléments de ce guide à l’évaluation et elle a également tenu compte des normes d’évaluation en vigueur. Les résultats de ces activités sont communiqués au comité d’évaluation ministériel.

1.47 À l’exception d’Environnement Canada, les ministères vérifiés n’ont pas pu démontrer qu’ils possédaient, entre 2004-2005 et 2008-2009, des processus internes pour recenser systématiquement les secteurs susceptibles d’être améliorés dans la fonction d’évaluation de l’efficacité. Or, des processus de ce genre permettraient aux ministères de s’assurer que les évaluations de l’efficacité respectent le cycle de gestion en vue d’une amélioration continue et deviennent plus utiles dans la prise de décisions importantes.

1.48 Recommandation. Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada devraient instaurer des processus systématiques pour déterminer si leurs évaluations de l’efficacité répondent aux exigences établies pour l’ensemble du gouvernement et aux besoins ministériels internes, et procéder aux améliorations recensées. Le Secrétariat du Conseil du Trésor devrait exercer une surveillance et apporter l’aide supplémentaire qu’il juge nécessaire à la mise en œuvre de ces processus.

Réponse d’Agriculture et Agroalimentaire Canada. Recommandation acceptée. Agriculture et Agroalimentaire Canada accepte cette recommandation et signale qu’au cours de la dernière année il a instauré un certain nombre de processus systématiques qui, ensemble, permettront de garantir que les évaluations de l’efficacité répondent, en temps opportun, aux besoins de la haute direction en matière d’information. Ces processus comprennent des consultations annuelles sur les priorités en matière d’évaluation, la collecte de commentaires sur les évaluations menées et les rapports annuels du chef de l’évaluation sur le rendement de la fonction d’évaluation.

Réponse de Citoyenneté et Immigration Canada. Recommandation acceptée. Citoyenneté et Immigration Canada évaluera la nécessité d’instaurer des processus systématiques, en plus du processus d’examen fondé sur le Cadre de responsabilisation de gestion, de la surveillance exercée par le comité d’évaluation ministériel, de l’obligation de présenter des rapports annuels et du processus d’évaluation du Ministère qui prévoit diverses étapes de consultation et de collecte des commentaires auprès des directions générales du Ministère.

Réponse de Patrimoine canadien. Recommandation acceptée. Patrimoine canadien reconnaît qu’il est nécessaire d’établir des processus systématiques pour déterminer si les évaluations de l’efficacité répondent aux besoins. La Direction des services d’évaluation s’emploie actuellement à élaborer un cadre de mesure du rendement et une stratégie de gestion en vue d’établir des attentes précises à l’égard du rendement ainsi que des normes visant la fonction d’évaluation du Ministère. Un processus systématique pour recueillir, analyser et communiquer les données sur le rendement et sur la satisfaction des clients sera mis en œuvre en vue de recenser les secteurs susceptibles d’être améliorés. À la lumière des données qui seront recueillies pendant la première année de la mise en œuvre (2010-2011), des rapports périodiques devraient être présentés au comité d’évaluation ministériel dès le début de 2011-2012. Cette information sur le rendement viendra compléter des données qui sont déjà communiquées dans le cadre des examens fondés sur le Cadre de responsabilisation de gestion qui sont menés par le Secrétariat du Conseil du Trésor.

Réponse de Pêches et Océans Canada. Recommandation acceptée. Cette recommandation reflète l’esprit de la Politique sur l’évaluation de 2009. C’est pourquoi Pêches et Océans Canada s’emploie déjà à mettre en œuvre un processus systématique pour déterminer si les évaluations de l’efficacité répondent aux besoins internes du Ministère et aux besoins de l’ensemble de l’administration publique fédérale (par exemple les examens stratégiques); il travaille aussi à apporter les améliorations recensées. Nous procéderons à des travaux supplémentaires dans ce secteur en fonction des lignes directrices émises par le Secrétariat du Conseil du Trésor.

Réponse de Ressources humaines et Développement des compétences Canada. Recommandation acceptée. Ressources humaines et Développement des compétences Canada emploie actuellement divers processus systématiques pour assurer la qualité et la pertinence de ses évaluations par rapport aux besoins internes et gouvernementaux. Le recours à des examens externes par des pairs et à l’expertise de comités d’évaluation consultatifs fait obligatoirement partie de nos travaux d’évaluation, en vue de faire en sorte que les évaluations répondent aux besoins d’information. Nous planifierons des travaux plus poussés pour déterminer systématiquement si les évaluations répondent aux besoins du gouvernement et des cadres supérieurs, en s’appuyant sur le processus annuel d’examen fondé sur le Cadre de responsabilisation de gestion, qui est dirigé par le Secrétariat du Conseil du Trésor. Le Ministère recensera les secteurs susceptibles d’être améliorés et fera rapport à cet égard au comité d’évaluation ministériel.

Réponse du Secrétariat du Conseil du Trésor. Recommandation acceptée. Le Secrétariat du Conseil du Trésor reconnaît qu’il devrait aider les ministères, au besoin, dans la mise en œuvre des processus qui visent à déterminer si les évaluations répondent aux besoins de l’ensemble de l’administration publique et qu’il devrait fournir aux ministères l’appui qu’il juge nécessaire.

En vigueur depuis le 1er avril 2009, la nouvelle Politique sur l’évaluation du Conseil du Trésor comprend des exigences particulières en vue d’améliorer la couverture en matière d’évaluation et l’examen de l’efficacité des programmes, ainsi que les données sur le rendement des programmes pour appuyer les évaluations. La Politique attribue au secrétaire du Conseil du Trésor la responsabilité d’exercer un leadership fonctionnel de la fonction d’évaluation dans l’ensemble du gouvernement, notamment de surveiller l’état de la fonction d’évaluation à l’échelle du gouvernement et d’en rendre compte une fois l’an au Conseil du Trésor.

Le Secrétariat s’acquitte actuellement d’une bonne partie de ce travail dans le cadre du processus annuel d’examen fondé sur le Cadre de responsabilisation de gestion, processus qui n’a pas été visé par cette vérification, comme l’a indiqué le Bureau du vérificateur général. Le Secrétariat communique ses recommandations à l’égard des secteurs d’évaluation à améliorer dans les rapports d’examen du Cadre de responsabilisation de gestion qu’il transmet aux administrateurs généraux des ministères et des organismes, lesquels sont responsables de la fonction d’évaluation au sein de leur organisation respective.

La capacité d’évaluation de l’efficacité

1.49 Nous considérons que la capacité correspond à un personnel d’évaluation qualifié suffisant et à des fonds suffisants pour répondre aux besoins en matière d’évaluation de l’efficacité. Nous avons examiné la dotation en personnel et les fonds alloués à l’évaluation des programmes dans les six ministères au cours de la période de cinq ans visée par la vérification en vue de déterminer si ces ministères avaient été en mesure de recruter suffisamment d’employés et d’apporter les améliorations nécessaires.

1.50 Nous avons constaté que, en dépit de l’accroissement de leurs ressources humaines et financières, les ministères vérifiés avaient eu de la difficulté à recruter un nombre suffisant d’évaluateurs qualifiés et expérimentés pour répondre aux besoins en matière d’évaluation de l’efficacité, et qu’ils n’avaient pas pu procéder régulièrement aux améliorations recensées.

L’augmentation du financement a amélioré la capacité d’évaluation des ministères

1.51 Le financement des unités d’évaluation a augmenté pendant la période vérifiée dans tous les ministères, sauf à Pêches et Océans Canada (voir la pièce 1.6). Ce financement englobe les fonds versés par le Conseil du Trésor en vue d’aider les ministères à mettre en œuvre la Politique d’évaluation de 2001 et les fonds fournis après l’entrée en vigueur de la Loi sur la responsabilité pour l’évaluation de tous les programmes permanents de subventions et de contributions.

Pièce 1.6 — Le financement des unités d’évaluation a augmenté dans la plupart des ministères

Ministère Budget de l’unité en 2004-2005 Budget de l’unité en 2008-2009
Agriculture et Agroalimentaire Canada 1 029 000 $ 1 894 000 $
Citoyenneté et Immigration Canada 650 000 $ 1 987 000 $
Environnement Canada 732 000 $ 1 383 000 $
Patrimoine canadien 2 499 000 $ 3 123 000 $
Pêches et Océans Canada 1 248 000 $ 1 162 000 $
Ressources humaines et Développement des compétences Canada 10 750 000 $ 13 924 000 $
Source : Données tirées de formulaires remplis par les ministères
La pénurie d’évaluateurs compétents persiste

1.52 La pénurie d’évaluateurs de programme expérimentés au sein de l’administration fédérale est un problème de longue date. Elle avait déjà été signalée lors de vérifications antérieures faites par le Bureau du vérificateur général et dans le cadre d’études préliminaires du Secrétariat du Conseil du Trésor; elle a également fait l’objet de discussions récemment dans le milieu fédéral de l’évaluation. Un rapport publié en 2005 par le Centre d’excellence en évaluation du Secrétariat indiquait que la pénurie de personnel d’évaluation était probablement la plus grande difficulté que doivent surmonter les chefs de l’évaluation.

1.53 Nous avons constaté que, pendant la période visée par la présente vérification, le nombre de professionnels au sein des unités d’évaluation des six ministères examinés avait grandement augmenté (voir la pièce 1.7). Cette tendance est aussi ressortie au cours de notre analyse des données descriptives fournies par les autres grands ministères et organismes qui n’étaient pas visés par notre vérification.

Pièce 1.7 — Le nombre estimatif de professionnels au sein des unités d’évaluation a augmenté dans chaque ministère entre 2004-2005 et 2008-2009

Ministère Nombre de professionnels en 2004-2005* Nombre de professionnels en 2008-2009*
Agriculture et Agroalimentaire Canada 6,0 11,0
Citoyenneté et Immigration Canada 3,3 12,5
Environnement Canada 4,0 10,0
Patrimoine canadien 8,1 13,0
Pêches et Océans Canada 4,0 7,0
Ressources humaines et Développement des compétences Canada 44,5 54,0
Autres grands ministères 176,3 296,7

* Équivalents temps plein

Source : Données tirées de formulaires remplis par les ministères

1.54 Selon des fonctionnaires des six ministères retenus, en dépit de l’augmentation des ressources humaines et financières, il est toujours difficile de recruter des évaluateurs d’expérience, surtout de niveau supérieur. À leur avis, la pénurie d’évaluateurs d’expérience les a empêchés de recruter les employés dont ils ont besoin. À titre d’exemple, dans le cadre d’un processus de dotation collectif, le bassin d’évaluateurs chevronnés retenus a été vidé avant que la demande n’ait été satisfaite. Les fonctionnaires ont également indiqué que cette pénurie avait incité d’autres unités fédérales d’évaluation à convaincre les évaluateurs de quitter leur emploi pour se joindre à leur service.

Les compétences des évaluateurs ne sont pas bien définies

1.55 Dans des études préliminaires menées par le Secrétariat en 2005, les administrateurs généraux avaient indiqué que la pénurie d’évaluateurs qualifiés contribuait à miner la qualité des évaluations. Or, des profils de compétences pourraient contribuer à combler cette lacune en permettant de recenser les besoins en matière d’apprentissage et de perfectionnement et en éclairant les efforts de dotation. Nous avons examiné si les six ministères avaient établi des profils de compétences pour le personnel de leur unité d’évaluation, dans leur effort en vue de trouver des personnes compétentes pour faire le travail.

1.56 Des fonctionnaires nous ont fait savoir qu’ils avaient commencé à établir des profils de compétences, mais qu’ils avaient cessé leurs efforts lorsque le Secrétariat avait entrepris des travaux connexes; les travaux du Secrétariat ont abouti récemment à une ébauche de profil de compétences. L’absence de consensus sur les compétences exigées des évaluateurs a entravé l’établissement de ces profils.

Les autres responsabilités confiées aux unités d’évaluation limitent leur capacité

1.57 Selon le Secrétariat, les unités d’évaluation assument un certain nombre de responsabilités, en plus de la réalisation d’études d’évaluation conventionnelles. Elles doivent notamment :

1.58 Nous avons interviewé des fonctionnaires des six ministères retenus afin de déterminer le temps qui était consacré à l’exécution d’évaluations de l’efficacité. Nous avons constaté que seul Environnement Canada procédait officiellement à l’enregistrement du temps consacré aux différentes tâches au sein de son unité d’évaluation. C’est donc le seul ministère qui a été en mesure de nous fournir des données détaillées à cet égard. Selon les données fournies, l’unité consacrerait environ 40 % de son temps à des tâches autres que l’évaluation.

1.59 Selon les estimations communiquées par les autres ministères, leurs unités consacreraient environ la même proportion de temps à ces autres tâches. Même si nous reconnaissons la valeur et l’importance potentielles de ces autres tâches, elles ont tout de même un effet sur la capacité des unités d’évaluation de répondre aux besoins recensés en matière d’évaluation de l’efficacité.

Les ministères font largement appel à des sous-traitants

1.60 Selon une autre étude préliminaire, les administrateurs généraux qui constituaient l’échantillon pensaient que les unités d’évaluation pouvaient accroître leur contribution et renforcer la capacité de leur personnel en effectuant un plus grand nombre d’évaluations à l’internes. Selon cette étude, les administrateurs généraux craignaient que l’externalisation des études d’évaluation empêche les unités d’évaluation d’assumer le rôle d’expert en la matière au sein du ministère, car une grande partie de ce qui est appris dans le cadre des évaluations reste au sein de la société sous-traitante, non de l’unité.

1.61 Nous avons examiné les évaluations exécutées par les six ministères vérifiés au cours de la période de 2004-2005 à 2008-2009 en vue de déterminer si elles avaient été exécutées par des sous-traitants, des employés des ministères, ou les deux. Alors qu’environ 90 % des évaluations avaient été exécutées en tout ou en partie par des sous-traitants (voir la pièce 1.8), cette proportion variait au sein des ministères vérifiés. Ainsi, Pêches et Océans Canada avait externalisé 37 % de ses évaluations, alors que d’autres ministères avaient confié presque 100 % de leurs évaluations à des sous-traitants. Cette tendance a aussi été confirmée par notre analyse des données descriptives fournies par les grands ministères et organismes que nous n’avons pas vérifiés.

Pièce 1.8 — Évaluations exécutées en tout ou en partie par des sous-traitants dans les ministères vérifiés

Graphique à barres

[version textuelle]

*Les données pour les sous-traitants correspondent à toutes les évaluations qu’ils ont effectuées, partiellement ou complètement.

1.62 Même si les représentants des ministères reconnaissent l’importance de perfectionner les capacités internes, ils nous ont également indiqué qu’ils faisaient appel à des sous-traitants pour des compétences techniques ou des connaissances spécialisées particulières qui ne pouvaient pas être maintenues au sein des ministères.

La surveillance et le soutien

1.63 Le Secrétariat du Conseil du Trésor a indiqué qu’un de ses rôles, en tant qu’organisme central, était d’exercer une surveillance. Ce rôle comprend l’élaboration de politiques, la surveillance ainsi que la production de rapports sur la gestion et le rendement budgétaire au sein du gouvernement. Le Secrétariat est chargé de superviser l’élaboration de la politique de gestion et de surveiller la gestion des dépenses. Dans le cadre de ses autres rôles à titre d’organisme central, le Secrétariat doit diriger l’établissement d’un plan de gestion et aider les ministères et organismes à améliorer leur rendement.

1.64 La Politique d’évaluation de 2001 obligeait le Secrétariat à donner l’orientation générale de la fonction d’évaluation. Pour ce faire, il devait :

Le Secrétariat a recensé un certain nombre d’améliorations en matière d’évaluation

1.65 Nous nous attendions à ce que le Secrétariat appuie la pratique de l’évaluation dans l’ensemble du gouvernement en recensant les améliorations requises et en définissant et en mettant en œuvre les actions exigées du Secrétariat, en vue d’aider les ministères et les organismes à se doter des outils dont ils ont besoin pour atteindre les résultats attendus.

1.66 En 2004, le Secrétariat a exécuté une évaluation provisoire de la Politique d’évaluation de 2001; il avait alors relevé des lacunes dans les budgets et les ressources humaines. Dans les conclusions de l’évaluation, on demandait au Centre d’excellence en évaluation de continuer à assumer un rôle de direction afin d’aider la collectivité de l’évaluation en s’acquittant des tâches suivantes :

1.67 Le Secrétariat a également exécuté plusieurs études préliminaires entre 2004-2005 et 2006-2007, qui comportaient notamment des entretiens auprès des administrateurs généraux, des clients et des autres parties concernées ainsi que la prise de renseignements sur le professionnalisme des évaluateurs et le rôle général de l’évaluation au sein de l’administration fédérale. Ces études ont permis de recenser des améliorations nécessaires.

1.68 Nous avons relevé un certain nombre d’initiatives prises à la suite de l’évaluation et des études préliminaires, notamment de nouvelles lignes directrices et une aide fournie aux ministères en vue de recruter et de former des évaluateurs.

Le Secrétariat a exercé une surveillance élargie de la fonction d’évaluation

1.69 En 2004-2005, le Secrétariat avait établi divers mécanismes de surveillance en vue de recueillir de l’information sur la fonction d’évaluation dans l’ensemble de l’administration publique. Des fonctionnaires du Secrétariat ont recensé des activités de surveillance semblables en 2009 :

1.70 Le Secrétariat décrit le Cadre de responsabilisation de gestion comme un des nombreux outils qui lui permettent d’évaluer le rendement de la gestion au sein des ministères. Même si nous n’avons pas vérifié ce cadre, nous avons constaté que le Secrétariat l’avait utilisé de diverses manières; il a notamment modifié le Cadre même, par exemple, en peaufinant les cotes d’évaluation. Les analystes des secteurs de programmes et les analystes du Centre d’excellence en évaluation ont également indiqué que les connaissances acquises lors des examens fondés sur le Cadre pouvaient être utiles, car elles pouvaient servir à améliorer les lignes directrices et les outils, par exemple, lors de l’élaboration des Normes d’évaluation pour le gouvernement du Canada, qui ont été publiées en même temps que la Politique sur l’évaluation de 2009. Nous avons cependant constaté que, comme ces connaissances n’étaient pas toujours consignées en dossier, leurs répercussions n’étaient pas toujours claires.

1.71 Le premier (et, jusqu’à présent, le seul) rapport sur la fonction d’évaluation publié par le Secrétariat — La santé de la fonction d’évaluation au gouvernement du Canada, Rapport pour l’exercice 2004-2005 — reposait sur les premières enquêtes annuelles d’évaluation des capacités. Ces enquêtes servent à recueillir de l’information sur l’infrastructure, les ressources, la production et les résultats en matière d’évaluation et, pour les grands ministères, à recueillir de l’information sur la planification des évaluations et les besoins en ressources. Le Secrétariat a mené une enquête sur l’évaluation des capacités tous les ans depuis 2004-2005.

1.72 Les études préliminaires, le rapport La santé de la fonction d’évaluation au gouvernement du Canada et la surveillance permanente exercée par le Secrétariat ont permis d’établir une base analytique qui a servi à l’élaboration du premier plan d’évaluation du gouvernement du Canada en septembre 2005, pour l’exercice 2005-2006. Une fois de plus, ce plan est le seul du genre puisqu’aucun autre plan n’a été établi dans la période qui s’est terminée le 31 mars 2009.

1.73 Le Secrétariat a exercé une surveillance élargie de la fonction d’évaluation. La valeur de cette surveillance, de l’établissement de rapports annuels sur la santé de la fonction d’évaluation (voir le paragraphe 1.89) et de l’élaboration d’un plan pour l’ensemble du gouvernement a été reconnue dans la Politique sur l’évaluation de 2009, qui en a fait des exigences, ainsi que dans les ébauches antérieures de cette politique. Cependant, au cours de la période visée par notre vérification, le Secrétariat n’a établi qu’un seul de ces rapports et plans. En vue de favoriser une amélioration continue, il importe que le Secrétariat poursuive ces activités de surveillance, en collaboration avec les ministères, de manière régulière et systématique.

L’évaluation de l’efficacité ne bénéficie pas d’un appui soutenu

1.74 La Politique d’évaluation de 2001 du Conseil du Trésor recommande que les évaluations examinent la pertinence des programmes, leur succès et leur efficacité par rapport aux coûts engagés. Nous nous attendions donc à ce que le Secrétariat du Conseil du Trésor fournisse aux ministères des lignes directrices et qu’il les aide à recenser ces éléments et à améliorer l’évaluation de l’efficacité.

1.75 Un des éléments clairement recensés par le Secrétariat est la nécessité d’améliorer l’utilisation de l’évaluation pour examiner les dépenses. Dans un document de travail publié en 2005 qui s’intitule L’amélioration constante de la gestion au sein du gouvernement du Canada — Notre engagement, le président du Conseil du Trésor soulève la préoccupation à savoir que l’évaluation devrait être plus directement liée aux décisions concernant l’affectation des ressources.

1.76 Lors de la vérification du Système de gestion des dépenses (chapitre 1 du Rapport de la vérificatrice générale du Canada de novembre 2006, « Le système de gestion des dépenses au centre du gouvernement »), nous avions recommandé un examen systématique de la pertinence des programmes permanents et de l’optimisation de leurs ressources. Le Comité des comptes publics s’est penché sur cette question en 2008 en recommandant au Secrétariat d’élaborer un plan d’action en vue d’embaucher et de former les évaluateurs requis, et de renforcer l’importance de l’évaluation à titre d’exigence clé dans le Système de gestion des dépenses.

1.77 Le gouvernement a accepté ces recommandations et a lancé le nouveau Système de gestion des dépenses, qui prévoit un examen stratégique. Il considérait l’évaluation comme la principale source de renseignements neutres et systématiques sur la pertinence et le rendement continus des politiques et des programmes. À la lumière de ces faits nouveaux, nous avons examiné les actions et les initiatives menées par le Secrétariat en vue d’appuyer l’évaluation de l’efficacité.

1.78 Nous avons relevé une initiative visant à élaborer un outil d’évaluation de l’optimisation des ressources, lancé dans le cadre d’un projet pilote en 2006. Cette initiative a cependant pris fin brusquement en 2008, et elle n’a jamais, au cours de la période visée par notre vérification, dépassé le stade de projet pilote. Le Secrétariat a constaté que cet outil était utilisé pour satisfaire aux exigences minimales en matière de données, plutôt que pour atteindre l’objectif de la nouvelle politique, à savoir examiner les questions liées à l’efficacité. À la fin de notre vérification, les représentants du Secrétariat nous ont fait savoir que l’élaboration du projet se poursuivait et que ce dernier était en voie d’être modifié pour tenir compte des exigences inscrites dans la nouvelle politique.

1.79 Le Centre d’excellence en évaluation a mené diverses initiatives semblables visant le renforcement de la capacité, mais nous avons constaté dans le cadre de notre vérification que les résultats de ces initiatives n’étaient pas clairs. Nous avons relevé des exigences stratégiques et des initiatives connexes destinées aux évaluateurs, qui visent à appuyer la mesure du rendement des programmes. Cependant, nous n’avons pas constaté que le Secrétariat avait fait des progrès en vue d’élaborer des outils pour aider les ministères à régler le problème relatif à l’insuffisance des données servant à appuyer les évaluations de l’efficacité, problème de longue date qui persiste toujours.

1.80 Le Secrétariat reconnaît certes la valeur de l’évaluation de l’efficacité, surtout aux fins de la gestion des dépenses, mais il n’a pas fourni de lignes directrices ni d’outils adéquats au cours de la période visée par notre vérification en vue d’appuyer cette fonction.

1.81 Le renouvellement de la Politique de l’évaluation de 2001 a pris beaucoup plus de temps que prévu. Nous avons trouvé des documents datant de 2006, de 2007 et de 2008 indiquant que la politique aurait dû être prête au cours de ces années. En fait, la nouvelle politique n’est entrée en vigueur que le 1er avril 2009. Par ailleurs, au moment de notre vérification, et en dépit des trois années consacrées à l’élaboration de la politique, le Secrétariat n’avait pas publié de lignes directrices sur sa mise en œuvre à l’intention des ministères.

1.82 Recommandation. Lors de l’élaboration d’outils, de lignes directrices et d’éléments de soutien destinés aux ministères, le Secrétariat du Conseil du Trésor devrait régulièrement recenser les lacunes qu’il doit combler, élaborer des plans pour les combler et donner suite à ces plans.

Réponse du Secrétariat du Conseil du Trésor. Recommandation acceptée. À l’heure actuelle, le Secrétariat du Conseil du Trésor élabore des directives destinées aux ministères et aux organismes afin d’appuyer la mise en œuvre de la nouvelle Politique sur l’évaluation (avril 2009) du Conseil du Trésor. Des lignes directrices sur un certain nombre de secteurs clés, y compris la planification de l’évaluation par les ministères et les organismes et les stratégies de mesure du rendement, devraient être disponibles aux ministères et aux organismes d’ici le 31 mars 2010. D’autres lignes directrices seront publiées en 2010­-2011.

Au cours des deux dernières années, le Secrétariat du Conseil du Trésor a produit des directives sur l’élaboration des cadres de mesure du rendement qu’exigeait la Politique sur la structure de gestion, des ressources et des résultats de 2005, laquelle n’était pas couverte par l’actuelle vérification. De plus, au moyen de ses examens annuels fondés sur le Cadre de responsabilisation de gestion, le Secrétariat fournit aux ministères des conseils et un soutien à l’égard de la qualité et de l’utilité des évaluations, ainsi que de la qualité des cadres de mesure du rendement associés à la structure de la gestion, des ressources et des résultats des ministères.

Le Secrétariat consulte continuellement les ministères et les organismes à propos de leurs besoins, et il surveille la mise en œuvre de la Politique afin de repérer les lacunes de la fonction d’évaluation au gouvernement. Lorsque le Secrétariat détermine qu’il est nécessaire d’élaborer d’autres outils, lignes directrices ou éléments de soutien, il intègre ces activités à ses plans.

Il faut du personnel expérimenté pour assurer la surveillance et le soutien

1.83 Nous avons examiné si le Secrétariat du Conseil du Trésor possédait les ressources humaines et financières nécessaires pour surveiller et appuyer la fonction d’évaluation des programmes dans l’ensemble de l’administration publique fédérale.

1.84 Le Centre d’excellence en évaluation s’est vu confier les grandes responsabilités suivantes :

1.85 De plus, le Centre surveille la politique sur l’évaluation. Bon nombre de ces tâches sont de nature analytique et doivent être exécutées par des employés chevronnés. Il faut posséder suffisamment de compétences pour pouvoir examiner les évaluations, les cadres de responsabilisation des programmes et les présentations et être en mesure de formuler des recommandations et des directives aux analystes des secteurs de programmes et au Conseil du Trésor lui-même.

1.86 Nous avons recueilli de l’information sur la charge de travail du personnel du Centre d’excellence en évaluation et l’avons comparée aux ressources allouées pour la période visée par notre vérification. Le financement des travaux de surveillance repose surtout sur les salaires. Pour la période vérifiée, l’effectif du Centre d’excellence a oscillé entre 8 employés en 2005-2006 et 2006-2007 et 12 employés en 2008-2009. Dans l’ensemble, les niveaux d’affectation entre 2005-2006 et 2008-2009 étaient inférieurs à l’effectif de 15 employés en 2004-2005, même si la charge de travail du Centre relativement à ses activités de surveillance s’est alourdie. Ainsi, le nombre de présentations au Conseil du Trésor revues par le Centre d’excellence a presque doublé entre 2004-2005 et 2008-2009.

1.87 Il est clair que le Secrétariat a besoin d’analystes chevronnés qui possèdent les compétences adéquates en évaluation pour s’acquitter de la charge de travail. Or, le nombre restreint d’employés affectés à ces fonctions pendant la période visée par notre vérification a peut-être contribué au manque d’appui continu apporté à l’évaluation de l’efficacité.

1.88 Recommandation. Le Secrétariat du Conseil du Trésor devrait s’assurer d’affecter suffisamment de ressources aux tâches qui exigent des compétences en évaluation.

Réponse du Secrétariat du Conseil du Trésor. Recommandation acceptée. En renouvelant la Politique sur l’évaluation, le gouvernement a raffermi son engagement à évaluer l’optimisation des ressources investies dans les programmes fédéraux, et il a réaffirmé le rôle de direction que joue le Secrétariat relativement à la fonction d’évaluation. En exerçant le leadership fonctionnel que lui attribue la nouvelle politique, le Secrétariat du Conseil du Trésor veillera à ce que les ressources nécessaires à l’exécution de ce rôle soient prises en compte et à ce que des ressources suffisantes soient allouées, au sein du Secrétariat, aux tâches qui nécessitent de l’expertise en évaluation.

La mise en œuvre des nouvelles exigences relatives à la couverture d’évaluation exige une attention particulière

1.89 En 2006, le Secrétariat avait exécuté ses études préliminaires et publié son rapport sur la santé de la fonction d’évaluation. Il connaissait les défis que devrait relever la fonction d’évaluation pour respecter l’exigence légale prévoyant l’évaluation de tous les programmes permanents de subventions et de contributions (qui constituent des dépenses de programmes directes); il savait qu’il serait difficile pour les ministères de respecter cette exigence. Cette nouvelle obligation posait surtout problème aux ministères vérifiés qui mettent en œuvre une grande proportion de ces programmes, mais les ministères ont bénéficié d’un financement central supplémentaire en 2007 pour les aider à respecter l’obligation. Plus particulièrement, comme l’a fait remarquer le Secrétariat lui-même, il est plus difficile de cibler les efforts d’évaluation en fonction des risques lorsqu’il faut couvrir tous les programmes. Lorsque cette obligation légale est entrée en vigueur en 2006, elle a entraîné des pressions en vue d’instaurer une couverture complète de toutes les dépenses de programmes directes, en parallèle avec la réforme ultérieure du Système de gestion des dépenses.

1.90 Nous avons constaté que les administrateurs généraux des ministères sont toujours responsables de la mise en œuvre de la Politique sur l’évaluation de 2009, y compris des exigences relatives à l’élargissement de la couverture (« portée »). Il sera important que le Secrétariat collabore avec les ministères pour s’assurer qu’ils sont tout à fait prêts à mettre en œuvre les exigences visant la couverture, dans le but de respecter les attentes énoncées dans la nouvelle politique sur l’évaluation.

1.91 La mise en œuvre des nouvelles exigences relatives à la couverture d’évaluation se heurte à des difficultés importantes. Par le passé, les exigences visant une couverture complète des programmes n’ont jamais été satisfaites. Les exigences légales actuelles concernant l’évaluation de l’efficacité de tous les programmes de subventions et de contributions ont été difficiles à satisfaire; les représentants des ministères nous ont indiqué qu’ils craignaient ne pas disposer des moyens nécessaires pour répondre à ces exigences. De plus, nous avons constaté qu’il y avait pénurie d’évaluateurs chevronnés et que les ministères avaient largement fait appel à des sous-traitants pendant la période visée par la vérification. À titre d’exemple, Environnement Canada a estimé qu’il lui faudrait doubler l’effectif de son unité d’évaluation au cours des quatre prochaines années ou procéder à des évaluations moins détaillées s’il voulait assurer une couverture complète de tous les programmes.

1.92 À notre avis, il sera important que le Secrétariat et les ministères évaluent l’efficacité des programmes qui sont susceptibles de subir des modifications importantes en raison de l’évolution des priorités et des circonstances. Ces programmes sont ceux pour lesquels des évaluations de la pertinence, des effets et de l’atteinte des objectifs peuvent être le plus utiles. Pendant la période de transition, ces programmes seront peut-être les plus susceptibles de bénéficier des évaluations de l’efficacité.

1.93 Recommandation. Le Secrétariat du Conseil du Trésor devrait aider les ministères à préparer la mise en œuvre des nouvelles exigences relatives à la couverture des évaluations. Pendant la période de transition, le Secrétariat devrait fournir des conseils et des lignes directrices sur l’évaluation de l’efficacité des programmes en mettant l’accent sur les programmes pour lesquels une telle évaluation serait le plus utile.

Réponse du Secrétariat du Conseil du Trésor. Recommandation acceptée. Le Secrétariat du Conseil du Trésor compte publier des conseils dans le but d’aider les ministères, pendant la période de transition, à faire des choix fondés sur les risques relativement à la sélection des programmes visés par l’évaluation. Ces conseils devraient être prêts d’ici le 31 mars 2010.

Tout au long de la période de transition, le Secrétariat aidera par ailleurs les ministères à se préparer à l’application des nouvelles exigences en matière de couverture des évaluations, qui entreront en vigueur après le 31 mars 2013. Le Secrétariat exercera un leadership au titre de l’élaboration et de la mise en commun de pratiques d’évaluation efficaces auprès des ministères, et il favorisera les initiatives axées sur le renforcement des capacités au sein de la fonction d’évaluation à l’échelle du gouvernement.

Conclusion

1.94 Les six ministères visés par notre vérification — Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada — ont appliqué des processus systématiques pour planifier leurs évaluations de l’efficacité. De même, ils ont exécuté la plupart des évaluations prévues. Cependant, les évaluations exécutées par ces ministères ne visaient qu’une faible proportion des dépenses ministérielles globales et la plupart des évaluations que nous avons examinées ont été entravées par l’insuffisance des données. Par conséquent, les ministères n’ont pas été en mesure de démontrer qu’ils répondaient de manière suffisante aux besoins en matière d’évaluation de l’efficacité.

1.95 Après avoir examiné un échantillon d’évaluations de l’efficacité, nous avons constaté que les ministères vérifiés disposaient rarement de l’information sur le rendement nécessaire pour évaluer l’efficacité des programmes.

1.96 De plus, à l’exception d’Environnement Canada qui a mis en place des processus pour recenser les améliorations requises, les ministères vérifiés n’ont pas prouvé qu’ils avaient régulièrement recensé les secteurs susceptibles d’être améliorés dans la fonction d’évaluation de l’efficacité, ni apporté les améliorations recensées au cours de la période vérifiée. Or, un cycle d’amélioration continue de ce genre permettrait de valoriser de manière constante l’évaluation de l’efficacité.

1.97 Les ministères vérifiés craignent ne pas avoir la capacité requise pour évaluer toutes les dépenses de programmes directes, comme l’exige la Politique sur l’évaluation de 2009. Même avant l’entrée en vigueur de ces exigences accrues, ils trouvaient difficile de recruter un nombre suffisant d’évaluateurs expérimentés pour répondre à tous les besoins en matière d’évaluation de l’efficacité, et ils n’avaient pas pu procéder régulièrement aux améliorations recensées. À notre avis, il sera primordial de recenser les programmes pour lesquels l’information sur l’efficacité pourra être la plus utile en vue de mettre en œuvre les exigences relatives à la couverture prévues par la nouvelle politique.

1.98 Au cours des cinq dernières années, le Secrétariat du Conseil du Trésor a lancé des initiatives en vue d’améliorer la fonction d’évaluation. Cependant, il n’a pas accordé un appui soutenu à l’évaluation de l’efficacité, un secteur important pour le Secrétariat. C’est donc dire que, même si le Secrétariat a recensé régulièrement les éléments à améliorer, il n’a pas fourni de lignes directrices adéquates à ce sujet.

1.99 Dans l’ensemble, nous avons constaté que les besoins en matière d’évaluation de l’efficacité n’ont pas été comblés de manière satisfaisante au sein des six ministères vérifiés. Il conviendrait d’apporter des améliorations dans les ministères et aux activités de surveillance et de soutien du Secrétariat du Conseil du Trésor afin de remédier à la situation.

1.100 Ces constatations sont semblables à beaucoup d’autres déjà formulées par le Bureau dans ses vérifications antérieures sur l’évaluation des programmes. Prises ensemble, elles suscitent des questions de base sur l’évaluation de l’efficacité des programmes au sein de l’administration publique fédérale.

1.101 À notre avis, la fonction fédérale d’évaluation se trouve à la croisée des chemins. Un objectif d’intérêt public important est atteint lorsque l’évaluation de l’efficacité éclaire les décisions importantes que doivent prendre les Canadiens. Les ministères doivent faire face à des attentes qui n’ont jamais été aussi grandes et ils se voient aussi confier des responsabilités supplémentaires. Il reste encore beaucoup à faire pour relever ce défi. L’amélioration continue est la voie à suivre.

À propos de la vérification

Tous les travaux de vérification dont traite le présent chapitre ont été menés conformément aux normes pour les missions de certification établies par l’Institut Canadien des Comptables Agréés. Même si le Bureau a adopté ces normes comme exigences minimales pour ses vérifications, il s’appuie également sur les normes et pratiques d’autres disciplines.

Objectifs

La vérification avait pour principal objectif de déterminer si les ministères retenus et le Secrétariat du Conseil du Trésor répondent aux besoins en matière d’évaluation de l’efficacité et s’ils recensent les améliorations à apporter dans ce domaine et y donnent suite.

Les objectifs de la vérification pour les trois secteurs d’examen sont les suivants :

Étendue et méthode

Vérification axée sur l’évaluation de l’efficacité. Conformément à l’alinéa 7(2)e) de la Loi sur le vérificateur général, la présente vérification a porté sur l’évaluation de l’efficacité des programmes dans l’ensemble de l’administration publique (c’est-à-dire l’évaluation de la mesure dans laquelle les programmes sont pertinents, ont des effets et produisent des résultats, atteignent leurs objectifs et sont efficaces par rapport aux coûts). D’autres types d’évaluation portent sur la mise en œuvre et la gestion des programmes.

Vérification qui ne vise pas la conformité. Étant donné que la Politique d’évaluation de 2001 du Conseil du Trésor a été remplacée en avril 2009, la vérification n’a pas porté sur la conformité aux politiques.

Qualité des évaluations. Nous avons examiné la qualité des évaluations en déterminant si les ministères avaient mis en place des processus, y compris des processus d’assurance de la qualité, pour obtenir l’assurance que leurs évaluations de l’efficacité conviennent à l’utilisation prévue des résultats.

Examen stratégique et Système de gestion de dépenses. Compte tenu du lien qui existe entre le Système de gestion des dépenses et l’évaluation (à savoir que l’évaluation est considérée comme une source importante d’information pour les examens stratégiques), la vérification visait à déterminer si les évaluations répondaient au besoin créé par les examens stratégiques.

Sélection des entités. Les entités retenues aux fins de la présente vérification sont le Secrétariat du Conseil du Trésor et les six ministères suivants :

La sélection des ministères s’est fondée sur des facteurs comme l’importance des dépenses, la diversité des types de programmes, la nature de la fonction d’évaluation, les cotes du Cadre de responsabilisation de gestion et l’exécution d’un examen stratégique. Notre vérification a aussi tenu compte de l’information descriptive transmise par d’autres grands ministères (c’est-à-dire ceux qui participent au processus annuel du Cadre de responsabilisation de gestion), qui ont confirmé l’exactitude de l’information qu’ils ont fournie.

Dans le cadre de notre vérification, nous avons réalisé des entrevues, examiné des dossiers et des documents, analysé l’information descriptive fournie et confirmée par les grands ministères, et rencontré des groupes de discussion qui nous ont fourni le point de vue éclairé des parties intéressées.

Période visée par la vérification

La vérification a porté sur la période qui s’étend de 2004-2005 à 2008-2009. Cette période a été retenue parce que nous avons jugé que suffisamment de temps se serait écoulé depuis l’entrée en vigueur de la politique de 2001 pour permettre d’en observer les effets. De plus, c’est en 2004-2005 que le Secrétariat du Conseil du Trésor a exécuté une évaluation provisoire de la politique de 2001. C’est aussi cette même année que le Secrétariat a retenu les services d’experts-conseils pour mener une série d’études préliminaires visant à établir l’état de la fonction à cette époque. En axant nos travaux sur cette période (entre 2005-2006 et 2008-2009), nous avons pu examiner les effets des efforts déployés par le Secrétariat pour comprendre la mesure dans laquelle la politique de 2001 était efficace, déterminer comment le Secrétariat avait recensé les problèmes entre 2002-2003 et 2004-2005, et comment il les avait réglés entre 2004-2005 et 2008-2009.

Les travaux de vérification menés aux fins du présent chapitre ont été pour l’essentiel terminés le 31 mai 2009.

Critères

Voici les critères qui ont permis de mener cette vérification ainsi que leurs sources.

Critères Sources

Nous nous attendions à ce que les ministères puissent prouver que leurs plans d’évaluation des programmes tiennent compte comme il se doit des besoins en matière d’évaluation de l’efficacité.

  • Loi sur le vérificateur général, alinéa 7(2)e)
  • Loi sur la gestion des finances publiques, paragraphe 42(1)
  • Politique d’évaluation du Conseil du Trésor (2001)
  • La fonction d’évaluation au gouvernement du Canada (2004), Annexe 2, Normes d’évaluation au gouvernement du Canada, Centre d’excellence en évaluation, Secrétariat du Conseil du Trésor
  • Guide pour l’élaboration d’un plan ministériel d’évaluation axé sur le risque (2005), section 3.2, Centre d’excellence en évaluation, Secrétariat du Conseil du Trésor
  • Politique sur les paiements de transfert du Conseil du Trésor (2008)

Nous nous attendions à ce que les ministères puissent prouver qu’ils avaient donné suite aux plans d’évaluation des programmes de manière à répondre aux besoins clés.

  • Politique d’évaluation du Conseil du Trésor (2001)
  • Guide pour l’élaboration d’un plan ministériel d’évaluation axé sur le risque (2005), p. 15, Centre d’excellence en évaluation, Secrétariat du Conseil du Trésor

Nous nous attendions à ce que les ministères puissent prouver que leurs évaluations de l’efficacité répondent comme il se doit aux besoins recensés.

  • Politique d’évaluation du Conseil du Trésor (2001)
  • La fonction d’évaluation au gouvernement du Canada (2004), Annexe 2, Normes d’évaluation au gouvernement du Canada, Centre d’excellence en évaluation, Secrétariat du Conseil du Trésor

Nous nous attendions à ce que les ministères puissent prouver qu’ils recensent régulièrement les secteurs à améliorer et apportent les améliorations requises en vue de répondre aux besoins en matière d’évaluation de l’efficacité.

  • Politique d’évaluation du Conseil du Trésor (2001)
  • La fonction d’évaluation au gouvernement du Canada (2004), Annexe 2, Normes d’évaluation au gouvernement du Canada, Centre d’excellence en évaluation, Secrétariat du Conseil du Trésor

Nous nous attendions à ce que les ministères puissent prouver qu’ils déploient des efforts raisonnables pour disposer d’un nombre suffisant d’évaluateurs qualifiés en vue de répondre aux principaux besoins en matière d’évaluation de l’efficacité.

  • Politique d’évaluation du Conseil du Trésor (2001)
  • La fonction d’évaluation au gouvernement du Canada (2004), Annexe 2, Normes d’évaluation au gouvernement du Canada, Centre d’excellence en évaluation, Secrétariat du Conseil du Trésor
  • Composante Personnes du Cadre de responsabilisation de gestion (2005), p. 1, Secrétariat du Conseil du Trésor
  • Cadre de responsabilisation en gestion de la dotation (2005), p. 4, Commission de la fonction publique du Canada
  • Réponse du gouvernement au quatrième rapport du Comité permanent sur les comptes publics : Le système de gestion des dépenses au centre du gouvernement et le système de gestion des dépenses dans les ministères, (2008), p. 12

Nous nous attendions à ce que les ministères puissent prouver que le montant et le calendrier de financement de l’évaluation de l’efficacité répondent aux besoins clés.

  • Guide pour l’élaboration d’un plan ministériel d’évaluation axé sur le risque (2005), p. 5 et 13, Centre d’excellence en évaluation, Secrétariat du Conseil du Trésor

Nous nous attendions à ce que les ministères puissent prouver que les évaluateurs jouissent d’un degré suffisant d’indépendance par rapport aux gestionnaires des programmes pour conserver leur objectivité.

  • Politique d’évaluation du Conseil du Trésor (2001)
  • La fonction d’évaluation au gouvernement du Canada (2004), Annexe 2, Normes d’évaluation au gouvernement du Canada, Centre d’excellence en évaluation, Secrétariat du Conseil du Trésor

Nous nous attendions à ce que les ministères puissent prouver qu’ils recensent régulièrement les améliorations qui doivent être apportées à leur capacité pour répondre aux besoins en matière d’évaluation de l’efficacité, et y donnent suite.

  • Politique d’évaluation du Conseil du Trésor (2001)
  • Cadre de responsabilisation en gestion de la dotation (2005), p. 5, Commission de la fonction publique du Canada

Nous nous attendions à ce que le Secrétariat du Conseil du Trésor dispose des ressources nécessaires pour exercer une surveillance de la fonction d’évaluation des programmes dans l’ensemble de l’administration publique fédérale.

  • Loi sur la gestion des finances publiques, paragraphe 6(7)

Nous nous attendions à ce que le Secrétariat du Conseil du Trésor puisse appuyer la pratique de l’évaluation à l’échelle de l’administration publique en recensant les améliorations requises et en déterminant et en mettant en œuvre les mesures qu’il doit prendre pour veiller à ce que les ministères et les organismes disposent des outils dont ils ont besoin pour obtenir les résultats souhaités.

  • Politique d’évaluation du Conseil du Trésor (2001)
  • Le système de gestion des dépenses au centre du gouvernement et le système de gestion des dépenses dans les ministères, (2008), p. 17, Rapport du Comité permanent des comptes publics

La direction a examiné les critères de vérification et elle a reconnu leur validité.

Équipe de vérification

Vérificateur général adjoint : Neil Maxwell
Directeur principal : Tom Wileman
Directeur de la mission : Colin Meredith
Directrices : Doreen Deveen
Leslie Levita

Irene Andayo
Hélène Charest
Jeff Graham
Krista Hilge
Chandrawattie Samaroo

Pour obtenir de l’information, veuillez joindre la Direction des communications en composant le 613-995-3708 ou le 1-888-761-5953 (sans frais).

Annexe — Tableau des recommandations

Les recommandations formulées au chapitre 1 sont présentées ici sous forme de tableau. Le numéro du paragraphe où se trouve la recommandation apparaît en début de ligne. Les chiffres entre parenthèses correspondent au numéro des paragraphes où le sujet de la recommandation est abordé.

Recommandation Réponse
Combler les besoins en matière d’évaluation de l’efficacité

1.37 Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada devraient élaborer et mettre en œuvre des plans d’action pour s’assurer que l’information sur le rendement des programmes est recueillie de façon continue en vue d’appuyer l’évaluation de l’efficacité des programmes. (1.14-1.36)

Réponse d’Agriculture et Agroalimentaire Canada. Recommandation acceptée. Agriculture et Agroalimentaire Canada reconnaît que la collecte systématique, par les gestionnaires, de données sur le rendement des programmes est nécessaire à l’établissement de rapports sur le rendement des programmes et aux évaluations de l’efficacité.

Conformément à la Politique sur les paiements de transfert du Conseil du Trésor, une stratégie de mesure du rendement pour la gestion en continu des programmes de paiements de transfert, qui prévoit notamment des mesures et des indicateurs du rendement et une stratégie de collecte des données, est définie pour chaque nouveau programme de paiement de transfert.

La fonction d’évaluation d’Agriculture et Agroalimentaire Canada examine les stratégies de mesure du rendement des programmes au fur et à mesure de leur élaboration pour obtenir l’assurance que les résultats des programmes sont définis, mesurables et imputables et que les stratégies, une fois mises en œuvre, sont suffisantes pour appuyer les travaux d’évaluations futurs.

À compter de 2009-2010, le Ministère exécutera des examens annuels de l’état de la mesure du rendement des programmes. Le premier examen évaluera les méthodes de mesure du rendement qui sont utilisées à Agriculture et Agroalimentaire Canada et le caractère adéquat des données recueillies sur les programmes qui seront évalués sous peu. Un plan d’action pour donner suite aux recommandations formulées sera établi et sa mise en œuvre sera surveillée en vue de renforcer les méthodes du Ministère dans ce secteur.

Réponse de Citoyenneté et Immigration Canada. Recommandation acceptée. Citoyenneté et Immigration Canada reconnaît la valeur de l’information continue sur le rendement aux fins des évaluations et il continuera d’appuyer les activités ministérielles à cet égard. Le Ministère élaborera un plan d’action qui prévoit le renouvellement du Cadre de mesure du rendement complet du Ministère et de l’architecture des activités de programmes, ainsi qu’une meilleure intégration du Cadre au processus de planification des activités.

Réponse d’Environnement Canada. Recommandation acceptée. Environnement Canada accepte cette recommandation, qui reflète l’objectif de la Politique sur l’évaluation de 2009 relativement à l’information sur le rendement. Par conséquent, des mesures sont déjà en cours d’exécution au sein d’Environnement Canada pour mettre en œuvre cette recommandation. Celles-ci incluent : la surveillance continue de la mise en œuvre des mesures annoncées dans les réponses de la direction aux évaluations précédentes qui ont cerné des préoccupations concernant l’information sur le rendement; l’élaboration et la mise en œuvre d’une stratégie en vue d’informer tous les gestionnaires du Ministère des exigences de la Politique sur l’évaluation en matière de mesure du rendement.

De plus, le plan d’évaluation du Ministère sera élargi afin d’inclure une composante de surveillance en vue de vérifier, selon les ressources disponibles, le statut des données sur le rendement recueillies au sein du Ministère et de déterminer si suffisamment d’information sur le rendement sera disponible pour appuyer les évaluations à venir. Cette composante de surveillance sera intégrée dans le plan d’évaluation 2010-2015 et mise à jour tous les ans par la suite.

En outre, pour l’exercice 2010-2011, le cadre de mesure du rendement du Ministère a été relié à l’architecture des activités de programmes du Ministère, étant donné que des mesures de rendement ont été déterminées pour tous les programmes.

Réponse de Patrimoine canadien. Recommandation acceptée. Patrimoine canadien applique son Plan d’action pour la mise en œuvre de la Politique sur la structure de gestion, des ressources et des résultats afin de veiller à ce que le personnel chargé des programmes soit en mesure de s’acquitter de ses responsabilités à l’égard de l’élaboration et de l’application de stratégies de mesure du rendement. Le Plan d’action prévoit, entre autres :

  • l’organisation de séances d’information et d’ateliers;
  • la définition d’indicateurs et de cibles connexes;
  • l’établissement de méthodes efficaces pour étayer les résultats;
  • la création d’un « centre d’expertise » sur la mesure du rendement au sein du Ministère;
  • la conception et la mise en œuvre d’outils et de directives appropriés;
  • la mise au point de systèmes et de technologies de l’information pertinents;
  • l’analyse périodique des données recueillies et la présentation de rapports à cet égard.

La mise en œuvre du Plan d’action devrait s’achever à la fin de 2011-2012.

Le Bureau du dirigeant principal de la vérification et de l’évaluation du Ministère fournit en permanence des conseils et apporte de façon continue son concours aux gestionnaires qui s’emploient à mettre en œuvre le Plan d’action. Conformément à la Politique sur les paiements de transfert, ce bureau fournit également, en temps opportun, des avis et une aide pour ce qui est de la conception des programmes et des stratégies de mesure du rendement lorsqu’il examine les documents d’approbation officiels pour la création de nouveaux programmes et le renouvellement de programmes en vigueur. Enfin, conformément à l’obligation qui lui est faite aux termes de la Politique sur l’évaluation, le bureau présentera, en 2010-2011, son premier rapport annuel sur l’état de la mesure du rendement des programmes au comité d’évaluation ministériel.

Réponse de Pêches et Océans Canada. Recommandation acceptée. Le Cadre de mesure du rendement de Pêches et Océans Canada établit des liens entre les indicateurs fondamentaux et l’architecture des activités de programmes du Ministère, ce qui permet de définir des indicateurs de rendement pour toutes les activités et sous-activités de programme. Au cours de chaque exercice, Pêches et Océans Canada procède à une analyse de l’état de l’évaluation du rendement au sein du Ministère et présente un rapport annuel au Comité d’évaluation ministériel. De plus, le Ministère élaborera et mettra en œuvre un plan d’action pour s’assurer que l’information sur le rendement des programmes est recueillie de façon continue en vue d’étayer l’évaluation de l’efficacité des programmes d’ici la fin d’août 2010.

Réponse de Ressources humaines et Développement des compétences Canada. Recommandation acceptée. Ressources humaines et Développement des compétences Canada accepte cette recommandation puisqu’elle reflète l’esprit de diverses politiques du Secrétariat du Conseil du Trésor, y compris la Politique sur l’évaluation de 2009. Ainsi, le Ministère recueille et surveille déjà de façon continue les données sur le rendement pour appuyer l’évaluation de l’efficacité, notamment en menant les actions suivantes :

  • suivre la mise en œuvre des mesures annoncées dans les réponses de la direction aux évaluations antérieures qui ont déterminé des problèmes relativement aux données pour les programmes actuels;
  • entreprendre des travaux d’évaluation préliminaires, avant le début officiel des évaluations de l’efficacité dans le cadre du processus de planification des évaluations, pour examiner l’état des données sur le rendement et des modèles logiques;
  • suivre la mise en œuvre des nouveaux programmes (p. ex., les initiatives lancées dans le cadre du Plan d’action économique) pour veiller à ce que soient disponibles les données administratives et les données sur le rendement nécessaires au soutien des activités d’évaluation futures.

Le Ministère entreprend aussi un examen exhaustif ainsi qu’une mise au point et une validation complètes de son Cadre de mesure du rendement pour le rendre plus solide et complet, en vue d’appuyer la planification, la surveillance et la gestion continues en fonction des résultats. La Direction de l’évaluation participe activement à ce projet. Les progrès réalisés à l’égard du Cadre de mesure du rendement du Ministère favoriseront le suivi du rendement ainsi que l’évaluation de la pertinence et de l’efficacité des programmes.

1.43 Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Environnement Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada devraient examiner les avantages d’intégrer des spécialistes externes au sein de leur comité d’évaluation. Le Secrétariat du Conseil du Trésor devrait établir des lignes directrices à ce sujet à l’intention des ministères.
(1.38-1.42)

Réponse d’Agriculture et Agroalimentaire Canada. Recommandation acceptée. Agriculture et Agroalimentaire Canada vient d’instaurer un certain nombre de méthodes pour garantir l’établissement de rapports d’évaluation bien étayés. Ainsi, il sollicite désormais les avis d’experts externes sur les évaluations qui sont en cours. Le Ministère examinera également la possibilité de nommer des membres externes pour siéger à son comité d’évaluation, en fonction des lignes directrices émises par le Secrétariat du Conseil du Trésor.

Réponse de Citoyenneté et Immigration Canada. Recommandation acceptée. Citoyenneté et Immigration Canada évaluera les avantages de faire siéger un expert en évaluation externe au comité d’évaluation ministériel.

Réponse d’Environnement Canada. Recommandation acceptée. Environnement Canada accepte la recommandation et attendra les directives du Secrétariat du Conseil du Trésor sur l’intégration de membres externes dans les comités d’évaluation ministériels.

Réponse de Patrimoine canadien. Recommandation acceptée. Au sein de Patrimoine canadien, c’est le Comité des politiques stratégiques, de la planification et de l’évaluation, sous la présidence de l’administrateur général, qui surveille la fonction d’évaluation. Cette structure permet une meilleure intégration entre les fonctions d’établissement des politiques, de planification et d’évaluation au Ministère. De même, Patrimoine canadien présente déjà les rapports d’évaluation clés, au besoin, à son comité de vérification ministériel pour qu’il les examine et en discute. Le Ministère collaborera avec le Centre d’excellence en évaluation du Secrétariat du Conseil du Trésor pour déterminer la valeur ajoutée que représente l’intégration des avis d’experts de l’évaluation externes pour éclairer les travaux des comités d’évaluation ministériels.

Réponse de Pêches et Océans Canada. Recommandation acceptée. Pêches et Océans Canada réfléchira au bien-fondé de l’intégration de membres externes à son comité d’évaluation ministériel, en fonction des lignes directrices émises par le Secrétariat du Conseil du Trésor.

Réponse de Ressources humaines et Développement des compétences Canada. Recommandation acceptée. Ressources humaines et Développement des compétences Canada a déjà invité des membres de l’extérieur du Ministère à son comité d’évaluation. Le Ministère envisagera de nouveau l’inclusion officielle d’experts externes à l’actuel Comité d’évaluation du Ministère et se tournera vers le Secrétariat du Conseil du Trésor du Canada pour obtenir des recommandations sur ce volet de la Politique sur l’évaluation.

Réponse du Secrétariat du Conseil du Trésor. Recommandation acceptée. Le Secrétariat du Conseil du Trésor convient qu’il devrait conseiller les ministères au sujet du bien-fondé de la participation d’experts externes à leurs comités d’évaluation. Cette mesure sera menée à bien au plus tard le 31 mars 2010.

1.48 Agriculture et Agroalimentaire Canada, Citoyenneté et Immigration Canada, Patrimoine canadien, Pêches et Océans Canada, et Ressources humaines et Développement des compétences Canada devraient instaurer des processus systématiques pour déterminer si leurs évaluations de l’efficacité répondent aux exigences établies pour l’ensemble du gouvernement et aux besoins ministériels internes, et procéder aux améliorations recensées. Le Secrétariat du Conseil du Trésor devrait exercer une surveillance et apporter l’aide supplémentaire qu’il juge nécessaire à la mise en œuvre de ces processus. (1.44-1.47)

Réponse d’Agriculture et Agroalimentaire Canada. Recommandation acceptée. Agriculture et Agroalimentaire Canada accepte cette recommandation et signale qu’au cours de la dernière année il a instauré un certain nombre de processus systématiques qui, ensemble, permettront de garantir que les évaluations de l’efficacité répondent, en temps opportun, aux besoins de la haute direction en matière d’information. Ces processus comprennent des consultations annuelles sur les priorités en matière d’évaluation, la collecte de commentaires sur les évaluations menées et les rapports annuels du chef de l’évaluation sur le rendement de la fonction d’évaluation.

Réponse de Citoyenneté et Immigration Canada. Recommandation acceptée. Citoyenneté et Immigration Canada évaluera la nécessité d’instaurer des processus systématiques, en plus du processus d’examen fondé sur le Cadre de responsabilisation de gestion, de la surveillance exercée par le comité d’évaluation ministériel, de l’obligation de présenter des rapports annuels et du processus d’évaluation du Ministère qui prévoit diverses étapes de consultation et de collecte des commentaires auprès des directions générales du Ministère.

Réponse de Patrimoine canadien. Recommandation acceptée. Patrimoine canadien reconnaît qu’il est nécessaire d’établir des processus systématiques pour déterminer si les évaluations de l’efficacité répondent aux besoins. La Direction des services d’évaluation s’emploie actuellement à élaborer un cadre de mesure du rendement et une stratégie de gestion en vue d’établir des attentes précises à l’égard du rendement ainsi que des normes visant la fonction d’évaluation du Ministère. Un processus systématique pour recueillir, analyser et communiquer les données sur le rendement et sur la satisfaction des clients sera mis en œuvre en vue de recenser les secteurs susceptibles d’être améliorés. À la lumière des données qui seront recueillies pendant la première année de la mise en œuvre (2010-2011), des rapports périodiques devraient être présentés au comité d’évaluation ministériel dès le début de 2011-2012. Cette information sur le rendement viendra compléter des données qui sont déjà communiquées dans le cadre des examens fondés sur le Cadre de responsabilisation de gestion qui sont menés par le Secrétariat du Conseil du Trésor.

Réponse de Pêches et Océans Canada. Recommandation acceptée. Cette recommandation reflète l’esprit de la Politique sur l’évaluation de 2009. C’est pourquoi Pêches et Océans Canada s’emploie déjà à mettre en œuvre un processus systématique pour déterminer si les évaluations de l’efficacité répondent aux besoins internes du Ministère et aux besoins de l’ensemble de l’administration publique fédérale (par exemple les examens stratégiques); il travaille aussi à apporter les améliorations recensées. Nous procéderons à des travaux supplémentaires dans ce secteur en fonction des lignes directrices émises par le Secrétariat du Conseil du Trésor.

Réponse de Ressources humaines et Développement des compétences Canada. Recommandation acceptée. Ressources humaines et Développement des compétences Canada emploie actuellement divers processus systématiques pour assurer la qualité et la pertinence de ses évaluations par rapport aux besoins internes et gouvernementaux. Le recours à des examens externes par des pairs et à l’expertise de comités d’évaluation consultatifs fait obligatoirement partie de nos travaux d’évaluation, en vue de faire en sorte que les évaluations répondent aux besoins d’information. Nous planifierons des travaux plus poussés pour déterminer systématiquement si les évaluations répondent aux besoins du gouvernement et des cadres supérieurs, en s’appuyant sur le processus annuel d’examen fondé sur le Cadre de responsabilisation de gestion, qui est dirigé par le Secrétariat du Conseil du Trésor. Le Ministère recensera les secteurs susceptibles d’être améliorés et fera rapport à cet égard au comité d’évaluation ministériel.

Réponse du Secrétariat du Conseil du Trésor. Recommandation acceptée. Le Secrétariat du Conseil du Trésor reconnaît qu’il devrait appuyer les ministères, au besoin, dans la mise en œuvre des processus qui visent à déterminer si les évaluations répondent aux besoins de l’ensemble de l’administration publique.

En vigueur depuis le 1er avril 2009, la nouvelle Politique sur l’évaluation du Conseil du Trésor comprend des exigences particulières en vue d’améliorer la couverture en matière d’évaluation et l’examen de l’efficacité des programmes, ainsi que les données sur le rendement des programmes pour appuyer les évaluations. La Politique attribue au secrétaire du Conseil du Trésor la responsabilité d’exercer un leadership fonctionnel de la fonction d’évaluation dans l’ensemble du gouvernement, notamment de surveiller l’état de la fonction d’évaluation à l’échelle du gouvernement et d’en rendre compte une fois l’an au Conseil du Trésor.

Le Secrétariat s’acquitte actuellement d’une bonne partie de ce travail dans le cadre du processus annuel d’examen fondé sur le Cadre de responsabilisation de gestion, processus qui n’a pas été visé par cette vérification, comme l’a indiqué le Bureau du vérificateur général. Le Secrétariat communique ses recommandations à l’égard des secteurs d’évaluation à améliorer dans les rapports d’examen du Cadre de responsabilisation de gestion qu’il transmet aux administrateurs généraux des ministères et des organismes, lesquels sont responsables de la fonction d’évaluation au sein de leur organisation respective.

La surveillance et le soutien

1.82 Lors de l’élaboration d’outils, de lignes directrices et d’éléments de soutien destinés aux ministères, le Secrétariat du Conseil du Trésor devrait régulièrement recenser les lacunes qu’il doit combler, élaborer des plans pour les combler et donner suite à ces plans. (1.74-1.81)

Réponse du Secrétariat du Conseil du Trésor. Recommandation acceptée. À l’heure actuelle, le Secrétariat du Conseil du Trésor élabore des directives destinées aux ministères et aux organismes afin d’appuyer la mise en œuvre de la nouvelle Politique sur l’évaluation (avril 2009) du Conseil du Trésor. Des lignes directrices sur un certain nombre de secteurs clés, y compris la planification de l’évaluation par les ministères et les organismes et les stratégies de mesure du rendement, devraient être disponibles aux ministères et aux organismes d’ici le 31 mars 2010. D’autres lignes directrices seront publiées en 2010-­2011.

Au cours des deux dernières années, le Secrétariat du Conseil du Trésor a produit des directives sur l’élaboration des cadres de mesure du rendement qu’exigeait la Politique sur la structure de gestion, des ressources et des résultats de 2005, laquelle n’était pas couverte par l’actuelle vérification. De plus, au moyen de ses examens annuels fondés sur le Cadre de responsabilisation de gestion, le Secrétariat fournit aux ministères des conseils et un soutien à l’égard de la qualité et de l’utilité des évaluations, ainsi que de la qualité des cadres de mesure du rendement associés à la structure de la gestion, des ressources et des résultats des ministères.

Le Secrétariat consulte continuellement les ministères et les organismes à propos de leurs besoins, et il surveille la mise en œuvre de la Politique afin de repérer les lacunes de la fonction d’évaluation au gouvernement. Lorsque le Secrétariat détermine qu’il est nécessaire d’élaborer d’autres outils, lignes directrices ou éléments de soutien, il intègre ces activités à ses plans.

1.88 Le Secrétariat du Conseil du Trésor devrait s’assurer d’affecter suffisamment de ressources aux tâches qui exigent des compétences en évaluation. (1.83-1.87)

Réponse du Secrétariat du Conseil du Trésor. Recommandation acceptée. En renouvelant la Politique sur l’évaluation, le gouvernement a raffermi son engagement à évaluer l’optimisation des ressources investies dans les programmes fédéraux, et il a réaffirmé le rôle de direction que joue le Secrétariat relativement à la fonction d’évaluation. En exerçant le leadership fonctionnel que lui attribue la nouvelle politique, le Secrétariat du Conseil du Trésor veillera à ce que les ressources nécessaires à l’exécution de ce rôle soient prises en compte et à ce que des ressources suffisantes soient allouées, au sein du Secrétariat, aux tâches qui nécessitent de l’expertise en évaluation.

1.93 Le Secrétariat du Conseil du Trésor devrait aider les ministères à préparer la mise en œuvre des nouvelles exigences relatives à la couverture des évaluations. Pendant la période de transition, le Secrétariat devrait fournir des conseils et des lignes directrices sur l’évaluation de l’efficacité des programmes en mettant l’accent sur les programmes pour lesquels une telle évaluation serait le plus utile. (1.89-1.92)

Réponse du Secrétariat du Conseil du Trésor. Recommandation acceptée. Le Secrétariat du Conseil du Trésor compte publier des conseils dans le but d’aider les ministères, pendant la période de transition, à faire des choix fondés sur les risques relativement à la sélection des programmes visés par l’évaluation. Ces conseils devraient être prêts d’ici le 31 mars 2010.

Tout au long de la période de transition, le Secrétariat aidera par ailleurs les ministères à se préparer à l’application des nouvelles exigences en matière de couverture des évaluations, qui entreront en vigueur après le 31 mars 2013. Le Secrétariat exercera un leadership au titre de l’élaboration et de la mise en commun de pratiques d’évaluation efficaces auprès des ministères, et il favorisera les initiatives axées sur le renforcement des capacités au sein de la fonction d’évaluation à l’échelle du gouvernement.

 


Définitions :

Dépenses de programmes directes — Comprennent les dépenses de fonctionnement et d’immobilisations, ainsi que les subventions et les contributions, mais ne comprennent pas les frais de la dette publique, ni les grands paiements de transfert aux particuliers ou à d’autres ordres de gouvernement. (Retourner)

Niveau de référence — Montant du financement approuvé par le Conseil du Trésor en vue de permettre aux ministères et aux organismes de mettre en œuvre les politiques et les programmes approuvés pour chacun des exercices de la période de planification. (Retourner)

Évaluation de l’efficacité — Évaluation de la pertinence des programmes, de leurs effets et de leurs résultats, de la mesure dans laquelle ils atteignent leurs objectifs et de leur efficacité par rapport aux coûts engagés. D’autres types d’évaluation permettent d’examiner la mise en œuvre et la gestion des programmes. (Retourner)

Programmes de subventions et de contributions non exigés par la loi — Programmes pour lesquels les pouvoirs de dépenser sont octroyés en vertu d’une loi de crédits adoptée par le Parlement dans le Budget principal des dépenses et le Budget supplémentaire des dépenses, par opposition aux programmes dont les pouvoirs de dépenser découlent d’autres textes de loi. (Retourner)

 

Version PDF

Pour consulter la version PDF (format de document portable), vous devez avoir un lecteur PDF sur votre ordinateur. Si vous n’en avez pas déjà un, il existe de nombreux lecteurs PDF que vous pouvez télécharger gratuitement ou acheter dans Internet :