Cette page Web a été archivée dans le Web.

1983 — Rapport du vérificateur général du Canada

Sommaire

Historique de l'évaluation de programmes

3.1 Au cours des années 1960, on s'est rendu compte que l'efficacité des programmes était un élément essentiel d'une bonne gestion dans le secteur public et on a admis qu'il fallait se doter de procédures officielles pour mesurer l'efficacité des programmes. Ceci s'est produit pour plusieurs raisons, dont deux méritent d'être signalées. En premier lieu, les méthodes de recherche en sciences sociales avaient progressé au point où il était possible de mesurer utilement la réalisation des objectifs. Deuxièmement, en raison de l'importance accordée à l'optimisation des ressources dans le cas des programmes publics complexes et coûteux, il fallait prouver de plus en plus que les dépenses étaient rentables.

3.2 Le Gouvernement du Canada attacha de plus en plus d'importance à l'évaluation de programme vers la fin des années 1960 lorsque le Conseil du Trésor incita les ministères et les organismes fédéraux à créer des divisions centrales de planification et d'évaluation en leur fournissant des ressources et des années-personnes. Les ministères répondirent à l'invitation et, comme le fit remarquer une étude du Conseil du Trésor en 1974, ils avaient créé des divisions de planification et d'évaluation ayant environ 3 500 années-personnes. Mais cette étude a aussi révélé qu'on n'y faisait guère d'évaluation de programmes. On s'y occupait surtout d'analyse des politiques et de planification.

3.3 En 1977-1978, à l'occasion d'une étude sur l'évaluation de programmes, nous avons examiné 23 programmes répartis dans 18 ministères et organismes du gouvernement. Nous avons constaté qu'on avait réussi à faire peu d'évaluation de programmes. Au cours de cette vérification, le gouvernement publia une directive (Circulaire du Conseil du Trésor no 1977-47) qui obligeait tous les ministères et organismes à établir des procédures pour évaluer systématiquement l'efficience et l'efficacité de leurs programmes.

3.4 En 1978, on créait le Bureau du contrôleur général avec pour mandat de mettre en oeuvre cette nouvelle politique. Depuis, il a établi un cadre général pour aider à structurer la fonction de l'évaluation de programme des ministères. Ces lignes directrices ont été publiées dans deux documents: Guide sur la fonction de l'évaluation de programme (mai 1981) et Principes pour l'évaluation des programmes (septembre 1981). En formant une équipe d'agents de liaison pour guider et conseiller les ministères, le Bureau du contrôleur général a aussi fortement incité et aidé les ministères à mettre en oeuvre ce cadre général.

3.5 Il n'est pas facile d'établir une nouvelle fonction, comme celle de l'évaluation de programmes, de façon uniforme, dans toute l'administration publique. Dans ce cas, la tâche ne fut pas facile parce que de nombreux gestionnaires supérieurs doutaient de la valeur de programmes l'évaluation de programmes et parce qu'on manquait d'évaluateurs de programmes qualifiés. Pour remédier à cette situation, le Bureau du contrôleur général décida en premier lieu de créer des unités d'évaluation dans les ministères et les organismes de grande taille et de les encourager à effectuer des évaluations de petits programmes ou de programmes de portée limitée pour acquérir de l'expérience et gagner la confiance des gestionnaires.

Objet de la vérification

3.6 Cette vérification avait pour but de signaler les progrès réalisés dans l'établissement de l'évaluation de programmes dans l'administration fédérale, au cours des cinq années écoulées depuis notre Rapport de 1978. Pour ce faire, nous avons choisi 19 ministères et organismes fédéraux et avons vérifié leur fonction de l'évaluation de programmes. Dans chaque cas, nous avons examiné deux domaines:

    - l'infrastructure de l'évaluation de programmes, notamment ses politiques, ses plans, ses ressources et sa gestion, afin d'évaluer dans quelle mesure les éléments organisationnels nécessaires au fonctionnement et à la productivité du service étaient en place;
    - la conduite, le compte rendu et l'utilisation des évaluations de programmes pour déterminer dans quelle mesure elles ont été: a) effectuées conformément aux lignes directrices du gouvernement; b) communiquées de façon juste et équilibrée aux fonctionnaires compétents; et c) utilisées par ces derniers.
3.7 Nous avons puisé à deux sources pour mettre au point nos critères de vérification: a) le Rapport du Comité des comptes publics, déposé à la Chambre en juillet 1980, qui entérinait les cinq critères de base élaborés par notre Bureau pour effectuer la vérification des évaluations; b) les lignes directrices du Bureau du contrôleur général qui ont servi à préciser davantage ces critères.

3.8 Nos constatations sont regroupées en trois sections. Les deux premières décrivent les constatations des vérificateurs sur l'évaluation des programmes dans les 19 ministères et organismes étudiés. La dernière traite de questions touchant l'évaluation des programmes dans l'ensemble du gouvernement.

Organisation et gestion de l'évaluation de programmes.

3.9 En vérifiant la mise en place des fonctions de l'évaluation de programmes dans 19 ministères et organismes, nous avons constaté que le gouvernement avait réalisé des progrès remarquables dans ce domaine. Tous les ministères et organismes que nous avons vérifiés ont créé des services centraux d'évaluation de programmes. En 1982-1983, les 19 unités ont utilisé 168 années-personnes et ont dépensé un peu plus de $3 millions pour obtenir les services d'experts-conseils externes. Seulement deux des ministères n'avaient pas fait approuver leur politique d'évaluation de programmes par leur sous-chef, quoique l'une d'elle ait été approuvée depuis.

3.10 Pour que leurs évaluations de programmes se fassent systématiquement et à intervalles réguliers, les ministères doivent élaborer un plan à long terme. Sur les 19 ministères visés, 16 avaient approuvé des plans d'évaluation à long terme, deux avaient élaboré des ébauches de plans et un n'avait pas de plan.

3.11 Dans plusieurs domaines, les procédés de gestion des services d'évaluation auraient pu être améliorés, notamment en ce qui concernait le contrôle des projets, tant sur le plan des ressources que des délais à respecter. En outre, plusieurs unités ne disposaient pas d'une documentation satisfaisante pour les études et certains gestionnaires ne pouvaient pas rendre compte des ressources utilisées pour les évaluations.

Travaux d'évaluation de programmes

3.12 Contrairement à ce que nous avions noté en 1978, nous avons constaté que les ministères avaient fait de gros progrès dans la planification et la réalisation des évaluations de programmes. Sur les 19 ministères examinés, 17 avaient amorcé le processus d'évaluation et 15 d'entre eux avaient terminé au moins une évaluation de programme. Plusieurs en avaient terminé davantage. En tout, 6 cadres d'évaluation, 119 études préparatoires à l'évaluation et 86 évaluations de programme avaient été effectués.

3.13 Dans les ministères qui ont relativement plus d'expérience, et chez lesquels on a pu noter une évolution, nous avons observé que la qualité des évaluations entreprises s'était généralement améliorée. Nous avons toutefois noté qu'il y aurait lieu d'apporter des améliorations dans plusieurs domaines. Un nombre important d'études préparatoires ne permettaient pas de donner des conseils judicieux au sous-chef pour la planification de l'étude d'évaluation. Dans bien des cas les insuffisances de l'étude pouvaient être attribuées aux faiblesses de l'étude préparatoire.

3.14 Un grand nombre d'évaluations comportaient des faiblesses importantes au niveau des méthodes utilisées pour effectuer les travaux planifiés, en particulier pour mesurer l'efficacité des programmes. Nous avons trouvé des questionnaires mal conçus, des données peu fiables, incomplètes ou subjectives, des plans d'échantillons mal déterminés, et des échantillons parfois trop petits ou comportant des biais. A cause de ces problèmes, la moitié des études qui tentaient de mesurer l'efficacité des programmes ne permettaient pas d'établir un lien de cause à effet entre les résultats et les activités.

3.15 Il importe de noter que la plupart des rapports d'études comportaient des commentaires nuancés sur les constatations, quoique, dans certains cas, celles-ci ne fussent pas aussi complètes qu'elles auraient dû l'être.

3.16 Même là où l'on a éprouvé des difficultés à planifier et à effectuer des études préparatoires et des évaluations, nous avons souvent constaté que certaines parties de ces travaux avaient souvent produit des renseignements valables que les gestionnaires avaient trouvé utiles.

3.17 Les 43 études que nous avons vérifiées à fond couvraient un large éventail de sujets et la plupart traitaient au moins d'un des quatre aspects fondamentaux de l'évaluation de programmes:

    - plus des trois-quarts des études s'étaient penchées sur la raison d'être du programme et s'étaient demandées si le programme était toujours pertinent ou nécessaire:
    - les trois-quarts s'étaient efforcées de déterminer dans quelle mesure le programme avait atteint un ou plusieurs de ses buts et objectifs;
    - une proportion semblable avait essayé d'établir dans quelle mesure le programme était responsable des changements observés;
    - la moitié avait essayé d'évaluer dans quelle mesure le programme comportait des solutions de rechange rentables.
3.18 Les recommandations découlant de ces études étaient tout aussi variées. Elles portaient sur des questions telles que le changement des activités de soutien, la conception et l'envergure du programme. Dans la plupart des cas, les recommandations ont été acceptées par la haute direction et ont été mises en oeuvre.

3.19 Nous avons constaté que, dans presque tous les cas, la rédaction des rapports d'évaluation respectait les procédures énoncées dans la politique d'évaluation du ministère. Toutes les politiques ministérielles exigent qu'on fasse rapport au sous-chef et presque toutes demandent qu'on fasse également rapport aux autres responsables de la gestion des programmes. Rares étaient les évaluations qui n'avaient pas fait l'objet d'un rapport et, dans ces cas, on avait pris des mesures pour s'assurer qu'un rapport serait soumis. Toutefois, nous avons également constaté qu'on pouvait améliorer la consignation des études dans les documents de stratégie globale prévus par le nouveau Système de gestion des secteurs de dépenses.

Questions concernant l'ensemble de l'administration fédérale

3.20 Les lignes directrices sur l'évaluation de programmes publiées par le Bureau du contrôleur général nous ont servi de base pour élargir et préciser les critères de vérification originellement mis au point par notre Bureau pour notre étude de 1978 et acceptés par le Comité des comptes publics en 1980. Nous croyons que ces lignes directrices fournissent aux ministères un outil valable pour organiser, planifier et effectuer leurs travaux d'évaluation de programmes. Par ailleurs, comme nous l'avons déjà mentionné, la stratégie de mise en oeuvre adoptée par le Bureau du contrôleur général visait d'abord à créer des services d'évaluation dans les principaux ministères et organismes et à inciter ces derniers à effectuer des évaluations, même de portée limitée. A notre avis, c'était là une façon raisonnable de procéder. Nous avons toutefois remarqué plusieurs secteurs où il faudra peut-être modifier ou élargir le cadre général de travail.

3.21 Selon les lignes directrices actuelles, l'évaluation de programmes porte essentiellement sur les programmes du ministère et est destinée au sous-ministre. Cependant, la mise en oeuvre de nombreux programmes demande la participation de plus d'un ministère. De plus, la structure fondamentale du Système de gestion des secteurs de dépenses fait ressortir la nature interministérielle des prises de décisions en matière de programmes.

3.22 Bien que les politiques et lignes directrices actuelles reconnaissent l'existence de programmes interministériels, elles n'énoncent aucune marche à suivre pour les évaluer. Les programmes interministériels ne sont donc pas systématiquement soumis au même type d'examen et d'évaluation que les programmes administrés entièrement par un seul ministère ou organisme.

3.23 Les organismes qui n'avaient pas établi d'infrastructure pour l'évaluation étaient, pour la plupart, de petite taille. Le Bureau du contrôleur général ne s'est penché que récemment, dans le cadre de sa stratégie de mise en oeuvre, sur les méthodes à utiliser pour évaluer les programmes de ces organismes.

3.24 Le gouvernement a recours aux sociétés de la Couronne pour réaliser des objectifs socio-politiques et les fonds à cette fin sont puisés à même le Budget des dépenses. Nous avons constaté que les objectifs socio-politiques des sociétés de la Couronne n'étaient pas, en règle générale, soumis à l'évaluation de programmes et qu'aucune évaluation n'était prévue. Au 31 mars 1983, cinq sociétés de la Couronne développaient des fonctions d'évaluation de programmes, de concert avec le Bureau du contrôleur général.

3.25 Après avoir examiné le Rapport du vérificateur général de 1978, le Comité des comptes publics a recommandé à la Chambre, en juillet 1980, que toutes les évaluations d'efficacité soient déposées à la Chambre des communes dans les 60 jours suivant leur parachèvement. Voici ce que le gouvernement a répondu, en octobre 1980, par la voix du président du Conseil du Trésor:

Après l'adoption du projet de loi sur l'accès à l'information, dans sa forme actuelle, et l'approbation d'un projet de politique du Conseil du Trésor sur la documentation des études d'évaluation de programmes, de tels renseignements seront accessibles au public. Il faudra établir une procédure quelconque, peut-être le dépôt des rapports d'évaluation par le ministre responsable dans les 60 à 90 jours suivant leur parachèvement, pour que les députés puissent se les procurer facilement.
3.26 Notre vérification nous a permis de constater que, depuis 1980, un seul rapport d'évaluation de programme a été déposé à la Chambre.

Résumé

3.27 Bien que nous ayons sévèrement critiqué la situation observée en 1978, nous avons également déclaré que "si le gouvernement canadien amplifiait et maintenait l'importance qu'il a récemment accordée à l'évaluation de programmes, il pourrait se retrouver parmi les chefs de file dans ce domaine". Le leadership n'est pas facile à exercer. Le gouvernement s'est fixé la tâche de faire de l'évaluation de programmes une partie intégrante de la gestion du secteur public. Ceci exige que le gouvernement s'engage à examiner de façon critique le succès de ses programmes et de ses politiques.

3.28 Nous avons pu constater qu'on avait fait de gros progrès. La plupart des grands ministères et bon nombre d'organismes possèdent l'infrastructure de base nécessaire à la mise en oeuvre des évaluations de programmes. Nombreux sont ceux qui tentent sérieusement d'effectuer ces évaluations. La qualité des évaluations doit toutefois être améliorée.

3.29 Pour améliorer la qualité des évaluations de programmes et démontrer son engagement, le gouvernement doit demander des évaluations de programmes, doter ses services d'évaluation d'un personnel approprié et diffuser des rapports d'évaluation.

3.30 L'évaluation de programmes exige qu'on pose des questions fondamentales sur l'existence même de ces programmes. Les demandes d'évaluation devraient indiquer clairement ce que le programme essaie de réaliser et en fonction de quoi il devrait être évalué.

3.31 Pour arriver aux résultats obtenus jusqu'ici, un des principaux problèmes rencontrés par le Bureau du contrôleur général et par les ministères a été la pénurie d'évaluateurs compétents. Cette pénurie persiste et si l'on veut maintenir les progrès et le rythme de croisière atteints jusqu'ici, la création d'un corps d'évaluateurs professionnels qualifiés sera l'un des principaux défis à relever.

3.32 Enfin, la qualité des évaluations devrait s'améliorer avec l'expérience. Pour ce faire, les rapports d'évaluation doivent être largement diffusés. Un examen à grande échelle contribuera à rehausser la qualité des produits. Il permettra également de tirer profit des leçons d'une étude pour améliorer l'étude suivante.

Réponse du gouvernement au Rapport de vérification de 1983 du vérificateur général sur l'évaluation de programmes

La méthode adoptée par le gouvernement pour l'évaluation de ses programmes vise à obtenir des renseignements pertinents et fiables sur l'utilité, le rendement et la rentabilité relative des programmes. En établissant la fonction de l'évaluation de programmes, le gouvernement s'est efforcé d'établir des procédures pour la conduite et l'examen des évaluations qui rehaussent la crédibilité des évaluations et en favorisent l'utilisation; il a aussi tenu compte du coût important de ces études. En conséquence, la méthode utilisée pour établir la fonction de l'évaluation de programmes vise à relier cette fonction à l'amélioration des pratiques de gestion dans les ministères ainsi qu'au Système de gestion des secteurs de dépenses; d'autre part, l'approche relative à la conduite des évaluations cherche à établir un équilibre entre le besoin d'objectivité et la nécessité de rattacher l'évaluation à la gestion des programmes.

Cette vérification, effectuée à mi-chemin de la phase de développement initialement prévue, est un rapport d'étage opportun sur la façon dont le gouvernement a abordé la question, sur les réalisations à ce jour et sur les travaux majeurs qu'il reste à effectuer. Les constatations, prises dans leur ensemble, constituent pour le gouvernement une sanction de son approche et une confirmation des progrès considérables qu'il a réalisés. En règle générale, les recommandations sont utiles et favorables aux efforts du gouvernement et, à quelques exceptions près, tracent un programme de travail qui cadre fort bien avec les plans du gouvernement dans ce domaine.

La plupart des grands ministères et organismes du gouvernement fédéral possèdent l'infrastructure nécessaire, c'est-à-dire les politiques, les plans et les unités d'évaluation. De plus, le Bureau du contrôleur général aide les ministères et organismes de plus petite taille et les sociétés de la Couronne à mettre au point une méthode satisfaisante pour l'évaluation de leurs programmes. Au 30 septembre 1983, 90 ministères et organismes, dont 19 sociétés de la Couronne, sont déjà en relation avec ce bureau.

La vérification a permis de déceler des problèmes de qualité dans plusieurs études d'évaluation produites entre 1980 et mars 1984. Elle remarque également une amélioration sensible de la qualité au cours de cette même période, surtout dans les ministères qui ont eu relativement plus d'expérience en la matière. Ceci confirme l'opinion du gouvernement et, quels que soient les progrès observés, ce domaines peut encore être amélioré. Une des nombreuses recommandations visant à améliorer la qualité préconise que les mesures supplémentaires soient prises pour avoir suffisamment d'évaluateur qualifiés. Ce n'est pas là une simple question d'aptitude technique. Un évaluateur pleinement qualifié doit posséder à la fois des aptitudes techniques et administratives et une connaissance approfondie des programmes et de leur gestion au sein du gouvernement fédéral. Il ne peut acquérir de telles connaissances et aptitudes que par une expérience appropriée. Nous admettons le bien-donné de cette recommandation et nous nous efforçons de lui donner suite, mais cela ne pourra se faire que graduellement. Pour sa part, le Bureau du contrôleur général offre, de manière régulière, des colloques et des ateliers sur l'évaluation, donne des avis sur la plupart des opérations de dotation en personnel supérieur affecté à l'évaluation et a récemment distribué aux ministères et organismes un document de travail sur la gestion des ressources humaines affectées à la fonction de l'évaluation. Le document comprend un certain nombre de propositions concernant le perfectionnement du personnel d'évaluation.

Bien qu'une solide infrastructure et que le souci de la qualité soient indispensables à la production de bonnes évaluations, le gouvernement s'intéresse surtout à l'utilisation des conclusions de ces études dans la gestion quotidienne des activités du gouvernement. Comme le rapport le signale, certaines mesures ont été prises concernant les recommandations de la plupart des études produites jusqu'ici. Cette conclusion est particulièrement bien accueillie et elle reflète certainement la façon dont plusieurs ministères ont abordé leurs premières évaluations. Les approches qui demandent à la haute direction et aux gestionnaires de participer à l'évaluation et qui mettent l'accent sur des questions auxquelles les ministères peuvent donner suite semblent être les plus fructueuses.

Ce rapport de vérification contient un certain nombre de recommandations concernant la présentation au Parlement des conclusions des études d'évaluation. A ce stade-ci, il semble que la façon la plus efficace et la plus appropriée de communiquer ces renseignements au Parlement soit d'inclure, lorsqu'il y a lieu, les principales constatations des études d'évaluation dans la Partie III du budget de chaque ministère. Ainsi les observations pertinentes sur l'efficacité des programmes seraient présentées de manière concise aux députés. Bien sûr, la Loi sur l'accès à l'information permet à n'importe quel citoyen de demander à prendre connaissance des résultats d'une étude d'évaluation particulière. Il semble donc qu'il ne soit pas nécessaire de communiquer ces résultats dans les rapports annuels des ministères ou d'exiger que d'autres rapports soient déposés à la Chambre. Étant donné les circonstances, il faudrait peut-être que le Comité des comptes publics examine la nécessité de déposer devant la Chambre tous les rapports d'évaluation, comme cela avait été recommandé précédemment.

Enfin, le rapport de vérification recommande une amélioration des procédures utilisées pour effectuer les évaluations interministérielles. De telles évaluations ont été réalisées dans le passé et plusieurs ont présentement en cours. Les procédures établis dans le cadre du système des comités du Cabinet permettent de déterminer la nécessité de telles évaluations, mais ceci ne s'est pas souvent présenté, peut-être parce qu'il faut d'abord démontrer qu'on peut effectuer avec succès d'évaluation de questions moins complexes. Le Bureau du contrôleur général prépare actuellement des documents de travail sur l'évaluation de plusieurs programmes interministériels et il examinera d'autres procédures visant à faciliter une telle évaluation chaque fois qu'un organisme prouvera qu'elle est nécessaire et qu'il pourra donner suite aux constatations de l'étude.

La vérification de la fonction de l'évaluation de programmes du gouvernement fédéral a été utile et ses constatations sont une bonne source de renseignements. Le gouvernement pourra ainsi décider des mesures à prendre pour développer et améliorer les services d'évaluation des ministères et organismes. Comme le confirme ce rapport de vérification, le développement, voire l'existence même de cette fonction d'évaluation, exigera une surveillance continue de la part du Bureau du contrôleur général. On va se concentrer sur l'amélioration de la qualité des produits d'évaluation et veiller à ce que les conclusions des évaluations soient utilisées par tous les niveaux de gestion au sein du gouvernement.

Introduction

3.33 Un des principes fondamentaux d'une saine gestion consiste à utiliser les renseignements sur le degré de la réalisation des objectifs. Un bon gestionnaire fixe des objectifs, définit des buts précis qui s'y rapportent et contrôle les résultats obtenus en fonction de ces buts. Il peut ensuite apporter des modifications pour obtenir les résultats désirés de manière plus efficiente et plus efficace. Dans le secteur privé, les buts et objectifs sont principalement définis en termes de bénéfices, de part du marché et de rendement des capitaux propres. Leur réalisation peut être mesurée en termes financiers qui servent à déterminer, en fin de compte, le bénéfice net.

3.34 Dans le secteur public, il n'est pas aussi simple de mesurer les résultats obtenus. Les ministères et organismes fournissent un large éventail de biens et de services à une foule de clients différents. La plupart de ces services ont quelque chose en commun: les objectifs visés sont souvent peu précis et il est assez difficile d'évaluer dans quelle mesure ils ont été atteints.

3.35 L'importance accordée à l'optimisation des ressources dans la gestion du secteur public a amené à penser que, pour améliorer l'économie, l'efficience et l'efficacité des programmes gouvernementaux, il fallait adopter des procédures systématiques pour mieux comprendre les activités des programmes et pouvoir en mesurer les effets et les répercussions.

3.36 Les évaluations de programmes se préoccupent avant tout de mesurer les besoins des clients ainsi que la mise en oeuvre et les effets des programmes, pour favoriser une gestion plus efficiente et plus efficace des programmes. L'évaluation de programmes tente par là de fournir au gestionnaire du secteur public le bénéfice net que son vis-à-vis du secteur privé tient pour acquis. Au gouvernement fédéral, l'évaluation de programmes signifie tout particulièrement l'évaluation périodique, indépendante et objective des programmes pour déterminer si les objectifs, la conception et les résultats sont satisfaisants.

3.37 Le gouvernement fédéral a toujours effectué une certaine forme d'évaluation. Les gestionnaires de programmes et ceux qui élaborent les politiques recueillaient différents types de renseignements afin de porter des jugements sur l'efficacité, l'efficience et la valeur des programmes. Les récents efforts du gouvernement fédéral se distinguent surtout par les lignes directrices qui ont été établies en vue de planifier les évaluations de programme, de les effectuer et d'en rendre compte de façon systématique.

But de la vérification

3.38 A la suite d'une étude de l'évaluation de l'efficacité des programmes dans l'ensemble du gouvernement, nous avons conclu, au chapitre 5 de notre Rapport de 1978:

L'examen de 23 programmes répartis dans 18 ministères a démontré que les tentatives d'évaluer l'efficacité des programmes ont rarement réussi. Il faudrait augmenter sensiblement la portée et la qualité de l'évaluation de l'efficacité des programmes pour que la gestion, le gouvernement et le Parlement, chacun ayant un intérêt particulier, soient raisonnablement au courant des réalisations des programmes publics.
3.39 Notre Rapport de 1978 faisait toutefois preuve d'optimisme quant à l'avenir des activités d'évaluation du gouvernement fédéral:

...on peut affirmer que si le gouvernement canadien amplifiait et maintenait l'importance qu'il a récemment accordée à l'évaluation des programmes, il pourrait se retrouver parmi les chefs de file dans ce domaine.
3.40 Cinq années se sont écoulées depuis que nous avons fait ces observations et nous faisons ici rapport des progrès réalisés dans la mise en place des mécanismes d'évaluation de programmes au gouvernement.

Historique de l'évaluation de programmes

3.41 Au cours des 10 dernières années, le gouvernement a tenté d'instituer l'évaluation de programmes dans les ministères et organismes. La pièce 3.1 donne la chronologie des principaux événements. Au cours de cette période, on a procédé de trois façons.

La pièce n'est pas disponible

3.42 Premièrement, à la fin des années 1960 et au début des années 1970, on a essayé d'encourager les ministères et organismes à établir des services de planification et d'évaluation en leur fournissant du personnel et des ressources. Sous l'égide du Conseil du Trésor, on a effectué des évaluations pour prouver qu'il était possible d'en faire. Toutefois, en 1974, une étude du Conseil du Trésor a constaté que l'évaluation des programmes n'avait guère progressé.

3.43 Deuxièmement, en 1977, le gouvernement a publié une circulaire (CT 1977-47) demandant aux ministères et organismes d'effectuer systématiquement des évaluations de programmes. A la suite de cette directive, quelques ministères ont créé des unités centrales d'évaluation de programmes et d'autres, qui en avaient déjà établi, ont augmenté leurs activités d'évaluation.

3.44 Troisièmement, en 1980, le Bureau du contrôleur général a entrepris d'instaurer l'évaluation de programmes dans toute l'administration fédérale. Sa direction de l'Évaluation des programmes a pris plusieurs mesures pour que les ministères et organismes fédéraux créent des services d'évaluation chargés de planifier et de réaliser les études d'évaluation de programmes. Cette direction a fourni aux ministères des lignes directrices détaillées sur la planification et la réalisation des évaluations de programmes; elle leur a aussi offert des conseils et des avis sur le travail d'évaluation et des cours de formation pour améliorer les connaissances et les aptitudes du personnel affecté à l'évaluation. De plus, la direction participe à la classification et à la dotation des postes des unités d'évaluation.

3.45 En 1981, le contrôleur général a publié une série de lignes directrices détaillées qui constituent un cadre de travail pour l'évaluation des programmes et qui établissent clairement les travaux d'évaluation que les ministères sont censés effectuer. Le Guide sur la fonction de l'évaluation de programme aborde trois questions fondamentales: Comment organiser un service d'évaluation de programmes dans un ministère? Sur quoi devraient porter les travaux? Comment ces travaux devraient-ils être effectués? Pour répondre à ces questions, les ministères doivent déterminer une politique ministérielle d'évaluation de programmes, une structure de composantes de programme et un plan d'évaluation de programme.

    - La politique d'évaluation de programmes doit décrire l'organisation de l'évaluation de programmes dans le ministère ainsi que la marche à suivre pour effectuer les travaux d'évaluation.
    - Les composantes de programme sont le regroupement des ressources, des activités et des extrants qui se rapportent à un ou plusieurs objectifs communs, c'est-à-dire l'objet du travail d'évaluation.
    - Le plan ministériel d'évaluation de programmes présente un calendrier pour l'évaluation cyclique des composantes de programme.
3.46 La pièce 3.2 illustre les liens entre les trois types de travaux d'évaluation prévus dans les lignes directrices. Ces travaux sont:

La pièce n'est pas disponible

    - l'étude préparatoire à l'évaluation qui sert de projet et de plan pour une étude d'évaluation;
    - l'étude d'évaluation de programme;
    - le cadre d'évaluation, c'est-à-dire un document de planification qui doit être complété durant la conception et la mise en oeuvre de tous les programmes nouveaux, largement modifiés ou, le cas échéant, reconduits.
3.47 Le cadre général que le gouvernement a adopté pour l'évaluation a été mis en oeuvre dans les ministères avec l'aide du personnel du Bureau du contrôleur général. Des agents de liaison ont été affectés aux ministères et aux organismes gouvernementaux pour fournir des conseils et de l'aide sur la façon de planifier et de réaliser des évaluations utiles et crédibles. La direction des Politiques s'est efforcée d'élargir le cadre général et de faire le lien entre les fonctions d'évaluation des ministères et les secrétariats des comités du Cabinet chargés des diverses enveloppes.

3.48 Pour la mise en oeuvre du cadre général, le Bureau du contrôleur général a établi les priorités suivantes:

    - En premier lieu, aider à créer un service d'évaluation dans les principaux ministères et organismes du gouvernement.
    - Inciter ensuite les ministères et organismes à entreprendre des études d'évaluation de programme, ne serait-ce que des études de portée restreinte.
    - S'occuper par après des organismes plus petits et déterminer comment on pourrait le mieux procéder à l'évaluation.
    - Avec le temps, élargir la portée et augmenter la qualité des évaluations produites par tous les ministères et organismes.
3.49 L'objectif du contrôleur général est d'amener, d'ici 1985-1986, les ministères à pouvoir effectuer régulièrement des évaluations de programmes utiles et de qualité.

3.50 Après avoir passé en revue les mécanismes d'évaluation de programmes dans les pays industrialisés de l'Ouest, nous pouvons dire qu'aucun autre gouvernement central n'a tenté d'établir un cadre général d'évaluation de programmes dont l'envergure soit comparable à celle du gouvernement fédéral canadien.

Portée de la vérification

3.51 La présente vérification porte sur l'évaluation de programmes répartis dans 19 ministères du gouvernement fédéral. Nous avons examiné l'organisation et la gestion des services centraux d'évaluation de programmes ainsi que la planification, la réalisation, le compte rendu et l'utilisation des études d'évaluation de programmes.

3.52 Notre examen des services centraux d'évaluation de programme a porté sur les arrangements organisationnels, les rapports hiérarchiques, les politiques d'évaluation et les plans. Nous avons également examiné les évaluations effectuées par les services d'évaluation jusqu'au 31 mars 1983, ainsi que la planification et la conception des évaluations, la collecte et l'analyse des données, les méthodes de contrôle de la qualité, les comptes rendus et l'utilisation des évaluations.

3.53 Deux groupes de ministères sont visés par la présente vérification. Le premier comprend neuf ministères qui font l'objet d'un rapport de vérification en 1983. Le second groupe comprend 10 ministères dont nous avons vérifié les évaluations de programmes au cours d'années précédentes. Cette année, nous avons procédé à un suivi de ces vérifications antérieures. L'examen de ces deux catégories de ministères dans la présente vérification permet d'avoir une bonne idée des progrès réalisés par le gouvernement en ce qui concerne la mise en place des mécanismes d'évaluation de programmes.

3.54 La pièce 3.3 offre des renseignements sur les 19 ministères visés par la présente vérification. Elle indique l'année du rapport de vérification, précise si le ministère a fait l'objet de notre vérification de l'évaluation de l'efficacité des programmes en 1978 et présente une estimation des ressources pour 1983-1984. On trouvera plus de précisions sur les ministères qui ont fait l'objet d'une vérification intégrée cette année dans les chapitres correspondants du présent rapport.

La pièce n'est pas disponible

3.55 En plus du travail de vérification effectué dans les 19 ministères, nous avons également examiné les activités entreprises par le Bureau du contrôleur général pour mettre en oeuvre les directives générales du gouvernement en matière d'évaluation de programmes. A cette occasion, nous avons vérifié certains des renseignements conservés par le Bureau du contrôleur général sur le niveau des activités d'évaluation de programme dans 56 ministères et organismes gouvernementaux avec lesquels il était en liaison au 31 mars 1983. Notre vérification nous a permis de constater que ces renseignements étaient exacts et nous les présenterons tout au long du présent chapitre avec les renseignements recueillis lors de notre vérification des 19 ministères.

3.56 Notre mandat, comme l'énonce l'article 7(2)e) de la Loi sur le vérificateur général, nous oblige à signaler au Parlement les cas où nous constatons que des procédures satisfaisantes pour mesurer l'efficacité des programmes et en rendre compte n'ont pas été appliquées, lorsqu'il aurait été raisonnable et opportun de le faire. Le rapport entre notre mandat et l'objet de la présente vérification nous oblige à faire deux distinctions.

3.57 Il y a lieu de distinguer d'abord entre l'objet de l'évaluation de programmes dans l'administration fédérale et le mandat que nous avons de vérifier comment est mesurée l'efficacité des programmes. Les évaluations de programmes effectuées au gouvernement peuvent couvrir une plus grande gamme de questions que les évaluations de l'efficacité des programmes ou même n'avoir rien à voir avec l'efficacité des programmes.

3.58 La deuxième distinction entre notre mandat et la portée de la présente vérification concerne les différentes façons de mesurer l'efficacité. Celles-ci comprennent: 1) des études périodiques d'évaluation de l'efficacité, effectuées à l'occasion et au besoin; 2) des systèmes permanents de contrôle de l'efficacité; 3) des évaluations de programmes effectuées de façon systématique et cyclique. Dans chaque cas, l'accent est mis sur la façon de mesurer et de rendre compte de l'efficacité des programmes. Ce qui diffère habituellement est la fréquence relative des contrôles effectués, la fréquence de la communication des résultats, le niveau hiérarchique auquel sont adressés les rapports ainsi que la nature du service responsable de ce travail.

3.59 Le gouvernement a placé l'accent sur la troisième méthode - les études périodiques d'évaluation de programmes effectuées sur une base cyclique par un service central ou ministériel d'évaluation dont le sous-chef est le premier client. Nous avons donc fait porter la vérification sur la fonction centrale d'évaluation de programmes et sur les études effectuées par ces unités. En conséquence, nous ne rendons pas compte dans ce chapitre des activités apparentées à l'évaluation qui ont été effectuées en dehors des unités centrales d'évaluation, ni des procédés de contrôle de l'efficacité des programmes.

Critères de vérification

3.60 Les critères de base que nous utilisons pour vérifier l'évaluation de programmes ont été publiés pour la première fois, en 1978, lors de notre vérification de l'évaluation des programmes au sein de l'administration fédérale. Ces critères ont été étudiés et adoptés par le Comité des comptes publics dans son rapport de juillet 1980. En octobre 1980, dans une lettre adressée au président du Comité, le président du Conseil du Trésor acceptait le rapport et déclarait: "J'ai discuté de son contenu avec mes fonctionnaires du Conseil du Trésor et du Bureau du contrôleur général et je suis heureux de dire que, pour nous, les recommandations du Comité sont positives et utiles". Étaient jointes à sa lettre des observations sur un certain nombre de recommandations du Comité. La seule qui se rapportait à nos critères avait trait à la question des rapports et de la communication des évaluations. Nous en discutons plus loin dans ce chapitre.

3.61 Les critères utilisés sont les suivants:

    - Il faut préciser le mieux possible les objectifs et les incidences d'un programme.
    - Il faut préciser les objectifs et les incidences mesurables d'un programme.
    - La marche à suivre pour mesurer l'efficacité d'un programme doit traduire le niveau de perfectionnement des connaissances et les résultats doivent justifier les coûts.
    - Il faut rendre compte des résultats de la mesure de l'efficacité.
    - Les évaluations doivent servir à accroître l'efficacité des programmes.
3.62 Nous avons précisé et enrichi ces critères, en nous aidant du Guide sur la fonction de l'évaluation de programme publié par le Bureau du contrôleur général, surtout en ce qui concerne l'organisation et la gestion de la fonction d'évaluation de programmes dans les ministères.

Observations et recommandations

L'évaluation de programmes dans les ministères et Organismes

Organisation et gestion de l'évaluation de programmes
3.63 Nous avons observé que le gouvernement a fait de gros progrès dans l'établissement d'une fonction d'évaluation de programmes dans les ministères et les organismes:

    - Le gouvernement a confié au Bureau du contrôleur général la responsabilité fonctionnelle de l'évaluation de programmes; ce dernier a créé une Direction de l'évaluation de programmes chargée d'encourager et d'orienter les travaux d'évaluation.
    - Le Bureau du contrôleur général a mis au point des lignes directrices appropriées pour l'évaluation de programmes et les a présentées sous la forme d'un Guide sur la fonction de l'évaluation de programme publié en mai 1981.
    - Tous les ministères et organismes que nous avons vérifiés ont créé des services centraux d'évaluation de programmes.
    - La plupart de ces ministères ont mis au point des politiques approuvées par le sous-chef et ont préparé des plans pour évaluer leurs programmes de façon cyclique.
Exigences organisationnelles pour l'évaluation de programmes
3.64 Les lignes directrices adoptées parle gouvernement pour l'évaluation de programmes stipulent que le sous-chef du ministère soit la personne responsable des évaluations de programmes. Elles exigent aussi qu'on désigne un gestionnaire qui rende compte au sous-chef de la fonction d'évaluation.

3.65 Les quatres principes fondamentaux sous-jacents aux lignes directrices du gouvernement exigent que la fonction d'évaluation soit:

    - complète: tous les programmes mis en oeuvre par un ministère doivent faire l'objet d'une évaluation;
    - systématique: l'évaluation de chacun des programmes doit être envisagée de façon ordonnée et s'appuyer sur une justification bien précise;
    - cyclique: tous les programmes ministériels doivent faire l'objet d'une évaluation tous les trois à sept ans,;
    - indépendante: les évaluateurs ne doivent pas relever directement des gestionnaires s'occupant des programmes évalués.
3.66 Pour qu'un service d'évaluation de programmes puisse fonctionner selon ces principes, le gouvernement exige que tous les ministères se dotent de trois outils essentiels, à savoir: une unité centrale d'évaluation de programmes doté de ses propres ressources, une politique d'évaluation de programmes et une structure pour la planification des évaluations. En outre, pour qu'un service d'évaluation puisse fonctionner, il faut que chaque unité joigne à ces éléments de bonnes méthodes de gestion.

3.67 Unités d'évaluation de programmes. Une unité centrale d'évaluation doit être créée dans chaque ministère et doit comprendre une série de postes avec des tâches bien définies pour effectuer les évaluations. Les 19 ministères que nous avons vérifiés avaient tous créé une unité d'évaluation de programmes et nommé un gestionnaire responsable.

3.68 La pièce 3.4 illustre la croissance du nombre d'unités centrales d'évaluation dans les 19 ministères vérifiés. Deux seulement ont une unité centrale d'évaluation de programme en place depuis 1978. Quatorze ministères ont nommé un gestionnaire responsable de l'évaluation de programmes depuis 1980.

La pièce n'est pas disponible

3.69 Les renseignements provenant du Bureau du contrôleur général et présentés dans la pièce 3.4 indiquent que, sur les 56 ministères et organismes avec lesquels il est en liaison, 41 avaient établi l'organisation de base requise pour l'évaluation de programmes.

La pièce n'est pas disponible

    - Le ministère des Finances est le seul grand ministère fédéral assujetti à la circulaire 1977-47 du Conseil du Trésor qui n'a pas nommé de gestionnaire de l'évaluation de programmes ou établi d'unité d'évaluation de programmes.
    - De nombreux petits organismes du gouvernement n'ont pas encore créé d'unité d'évaluation de programmes. L'évaluation de programmes est aussi importante pour les petits organismes que pour les grands, mais le volume de travail et les moyens organisationnels requis peuvent varier sensiblement.
3.70 En 1982-1983, les 19 unités d'évaluation avaient 201 années-personnes à leur disposition et en ont utilisé 168. L'effectif moyen des unités, d'après le nombre d'années-personnes utilisées en 1982-1983, est d'environ cinq personnes.

3.71 Les unités d'évaluation de programmes ont souvent recours aux services d'experts-conseils de l'extérieur. Les 19 unités visées par la vérification ont dépensé $ 3 274 000 pour ce genre de services en 1982-1983.

3.72 Politique d'évaluation de programmes. Selon la politique du gouvernement en matière d'évaluation de programmes, les ministères doivent émettre un énoncé de politique sur l'évaluation de programmes. Cet énoncé, qui doit être approuvé par le sous-chef, doit préciser les procédures à suivre, les individus ou les comités qui participent au processus et répartir les tâches et les pouvoirs en matière d'évaluation.

3.73 La pièce 3.5 montre combien de politiques d'évaluation de programmes ont été formulées dans les 19 ministères soumis à notre vérification, et quels ont été les progrès réalisés. Dix-sept ministères avaient des politiques d'évaluation de programmes approuvées par le sous-chef au 31 mars 1983. Deux ministères n'avaient pas de politique d'évaluation approuvées par le sous-chef, mais, depuis, le projet de politique de l'un deux a été approuvé. L'autre ministère, à savoir le Secrétariat du solliciter général, n'avait pas encore de politique d'évaluation de programmes à cette date.

La pièce n'est pas disponible

3.74 Comme l'indique la pièce 3.5, la plupart des politiques d'évaluation des ministères ont été établies au cours des trois dernières années. Nos constatations sont semblables à celles du Bureau du contrôleur général pour l'ensemble du gouvernement. Elles figurent également à la pièce 3.5 et montrent que 38 ministères et organismes sur 56 disposent de politiques approuvées par le sous-chef. Ce sont surtout les petits organismes qui n'ont pas encore de politique d'évaluation de programmes.

La pièce n'est pas disponible

3.75 Nous avons vérifié les 17 politiques approuvées en fonction des normes fixées par le gouvernement. Nous avons constaté que, dans l'ensemble, ces politiques peuvent servir de guide aux unités d'évaluation de programmes.

3.76 La participation des gestionnaires de programmes aux évaluations est importante. Nous avons constaté qu'un grand nombre de politiques ministérielles en matière d'évaluation exigeaient qu'on constitue, pour chaque étude, un comité consultatif qui comprendrait le gestionnaire du programme. Nous avons constaté, de plus, que le recours à de tels comités était fréquent dans les ministères qui n'étaient pas soumis à cette exigence.

3.77 Plans d'évaluation de programmes. L'autre élément important de la politique gouvernementale en matière d'évaluation de programmes est que toutes les composantes des programmes d'un ministère doivent être répertoriées aux fins de l'évaluation et qu'un plan d'évaluation à long terme doit être mis au point pour établir l'ordre dans lequel les évaluations seront effectuées. La mise au point de plans d'évaluation offre l'assurance que l'évaluation sera complète, systématique et cyclique.

3.78 Notre vérification a porté sur trois tâches de planification: les structures de composantes de programmes et les profils connexes décrivant chaque composante, les plans d'évaluation à long terme et la mise à jour annuelle de ces plans détaillant les activités d'évaluation prévues pour l'année en cours. La pièce 3.6 indique, pour chacune de ces tâches, le nombre de ministères qui ont satisfait aux exigences.

La pièce n'est pas disponible

3.79 Nous avons constaté que 16 des 19 ministères disposaient de structures de composantes de programme approuvées et que le projet de structures de composantes de deux ministères n'avait pas encore été approuvé par le sous-ministre au 31 mars 1983. Les structures de composantes approuvées ou à l'état de projet s'appliquaient aux activités ministérielles qui convenaient.

3.80 Les plans d'évaluation devraient énoncer les priorités et déterminer, en conséquence, le calendrier d'évaluation des composantes de programmes. Nous avons constaté que 16 des 19 ministères possédaient un plan d'évaluation à long terme approuvé par le sous-chef et que ce plan portait sur tous les programmes du ministère. Deux ministères avaient préparé des projets de plans d'évaluation à long terme.

3.81 L'existence de plans à long terme dans la majorité des 19 ministères visés par notre vérification est un phénomène que l'on retrouve également sans les 56 ministères et organismes sur lesquels le gouvernement recueille des renseignements. Le nombre de plans d'évaluation à long terme établis par ces ministères et organismes a augmenté, passant de 9 en 1980 à 33 en 1983.

3.82 Au cours des trois dernières années, on a réussi à présenter des plans à long terme plus complets et plus détaillés. Les plans d'évaluation à long terme se sont adaptés aux changements. En particulier, ils ont été révisés pour tenir compte:

    - des changements de priorités par le sous-chefs;
    - des retards à terminer les travaux d'évaluation;
    - d'attentes plus réalistes;
    - des travaux terminés à ce jour;
    - des modifications à la structure des composantes de programme.
3.83 Dix-huit des dix-neuf ministères possédaient des mises à jour annuelles approuvées ou à l'état de projet pour leurs plans à long terme.

3.84 Pour acquérir de l'expérience et assurer la crédibilité de la fonction, de nombreux ministères, en rédigeant leurs plans d'évaluation à long terme, ont choisi de faire porter leurs premières études sur de petits programmes ou sur les aspects moins difficiles de programmes plus vastes. Étant donné les compétences disponibles, il s'agissait là d'une façon raisonnable de procéder. Dans certains cas, toutefois, cette (méthode a retardé l'évaluation des grands programmes plus complexes.

3.85 Pratiques de gestion. En plus d'examiner l'organisation de l'évaluation de programmes, nous avons aussi examiné les méthodes de gestion utilisées. En règle générale, nous avons constaté que celles-ci se conformaient aux politiques d'évaluation du ministère. Nous avons toutefois remarqué qu'il y aurait lieu de se pencher sur certains points.

3.86 A mesure que les plans d'évaluation de programmes sont mis en oeuvre, il faut prendre les dispositions nécessaires pour suivre l'évolution des travaux, informer les gestionnaires du ministère des événements importants et utiliser les renseignements obtenus pour modifier les plans ultérieurs.

    - Dans presque la moitié des 19 ministères, les unités d'évaluation de programmes exercent un contrôle formel sur la mise en oeuvre des plans et rendent compte du déroulement des travaux à la direction du ministère.
    - Environ la moitié des ministères vérifiés avaient succinctement décrit les retards accusés dans les travaux d'évaluation et en avaient fait part à la haute direction. Les autres ne l'avaient pas fait.
3.87 Environ les deux-tiers des ministères vérifiés n'ont pu respecter les échéances prévues. Ces retards s'expliquent par une foule de raisons:

    - insuffisance de personnel, roulement ou manque de personnel qualifié;
    - élargissement en cours de route de la portée de l'étude;
    - demandes de travaux supplémentaires;
    - manque de fonds pour faire appel à des services de l'extérieur;
    - planification médiocre ou trop ambitieuse.
3.88 La fonction d'évaluation étant encore relativement nouvelle, on peut s'attendre à rencontrer des difficultés à élaborer des plans réalistes et à respecter les délais. Nous avons remarqué que la planification entreprise par les ministères plus expérimentés s'était améliorée.

3.89 Dans plusieurs ministères, l'unité d'évaluation de programmes ne constituait pas un centre de responsabilité financière distinct. Par conséquent certains gestionnaires ne savaient pas quelles ressources avaient été utilisées par la fonction d'évaluation. De plus, dans beaucoup d'unités, on ne contrôlait pas l'affectation des ressources à certains projets d'évaluation et les gestionnaires n'étaient pas en mesure de fournir des données sur le coût des études. Pour que les gestionnaires puissent rendre des comptes sur leurs évaluations, et pour qu'ils puissent contrôler et planifier convenablement leurs ressources, il faut qu'ils tiennent un compte exact des dollars et du temps qu'ils y consacrent.

3.90 Les ministères devraient s'assurer que les gestionnaires responsables de l'évaluation de Programme reçoivent les renseignements nécessaires pour tenir un compte des ressources et du temps consacrés aux activités d'évaluation.

3.91 Dans de nombreux ministères, les procédures utilisées pour tenir à jour les documents de travail et consigner les évaluations étaient insatisfaisantes. Si on ne tient pas bien les dossiers, des renseignements précieux risquent de devenir inutilisables, les leçons de l'expérience risquent d'être oubliées et la vérification peut s'avérer plus coûteuse que nécessaire.

3.92 Les ministères devraient s'assurer que la documentation relative aux études d'évaluation est dûment tenue à jour et conservée.

Travaux d'évaluation de programmes
3.93 Par rapport à nos constatations de 1978, les ministères ont considérablement amélioré la planification et l'exécution de leurs évaluations de programmes.

    - Dix-sept des dix-neuf ministères et organismes vérifiés ont entrepris des travaux d'évaluation. Les unités centrales d'évaluation de quinze de ces ministères ont terminé au moins une étude d'évaluation de programme
    - Beaucoup en ont terminé davantage. Dans les ministères vérifiés, nous avons noté qu'on avait achevé:
      - 6 cadres d'évaluation;
      - 119 études préparatoires à l'évaluation;
      - 86 études d'évaluation de programme.
    - La plupart de ces travaux ont été réalisés au cours des trois dernières années.
    - Parmi les 19 ministères et organismes vérifiés, la Commission nationale des libérations conditionnelles et le Secrétariat du solliciter général étaient les seuls à n'avoir pas amorcé d'étude préparatoire ou d'évaluation de programme.
3.94 Bien que le nombre d'évaluations ministérielles réalisées au cours d'une période relativement courte soit remarquable, nous avons noté que plusieurs domaines avaient besoin d'être grandement améliorés:

    - La plupart des études préparatoires à l'évaluation, surtout au début, ne permettaient pas de donner des conseils judicieux au sous-chef pour la planification de l'étude d'évaluation. Nous avons constaté que, dans plusieurs cas, les insuffisances de l'étude d'évaluation pouvaient être attribuées à des problèmes ou à des faiblesses de l'étude préparatoire.
    - Dans un grand nombre d'études d'évaluation, les méthodes utilisées pour réaliser les travaux prévus présentaient des faiblesses importantes, surtout lorsqu'il s'agissait de mesurer l'efficacité des programmes. Environ la moitié de ces études présentaient des défauts de conception tels qu'on ne pouvait attribuer avec certitude les résultats au programme.
    - Il importe de signaler que, si bon nombre des travaux d'évaluation présentaient des faiblesses, la plupart des rapports d'étude en faisaient mention, du moins dans une certaine mesure.
    - Nous avons également constaté que, même lorsqu'on avait éprouvé des difficultés à planifier ou à réaliser les études préparatoires et les évaluations, certaines parties de ces travaux avaient produit des renseignements sûrs que les gestionnaires des ministères avaient trouvé utiles.
3.95 En règle générale, il y a eu amélioration de la qualité des travaux d'évaluation entrepris par les ministères qui possèdent relativement plus d'expérience et dont on peut suivre l'évolution.

Genre et envergure des activités d'évaluation
3.96 Nous avons examiné trois types de travaux d'évaluation: les cadres d'évaluation, les études préparatoires à l'évaluation et les études d'évaluation.

3.97 Les cadres d'évaluation. Un profil de programme et un cadre d'évaluation doivent être préparés pour tous les programmes nouveaux ou reconduits. Les cadres décrivent comment le programme sera évalué; ils doivent, selon les lignes directrices, être établis lorsqu'un nouveau programme est conçu et mis en oeuvre ou lorsqu'un programme reconduit est fortement modifié. Le but est de s'assurer que les renseignements nécessaires à l'étude d'évaluation seront disponibles et que les objectifs sont clairement définis.

3.98 D'après les renseignements obtenus du Bureau du contrôleur général, 17 cadres d'évaluation ont été terminés dans 56 ministères et organismes du gouvernement. L'augmentation enregistrée a été de 1 en 1980-1981 et de 9 en 1982-1983. Nous avons constaté que 6 cadres avaient été achevés dans les 19 ministères qui ont fait l'objet de notre vérification.

3.99 Les ministères et organismes devraient établir des cadres d'évaluation au stade de la conception et au début de la mise en oeuvre de tous les programmes nouveaux ou considérablement modifiés et, le cas échéant, des programmes reconduits.

3.100 Nous avons choisi de vérifier trois cadres d'évaluation dont deux avaient été effectués à la demande expresse du Cabinet dans le cadre d'un renouvellement de programmes. Le troisième cadre concernait un programme qui existait depuis deux ans. Nous avons constaté que l'un des cadres n'offrait qu'une discussion générale des façons de procéder à l'évaluation sans décrire les façons de recueillir les données. Les deux autres cadres étaient satisfaisants.

3.101 Études préparatoires à l'évaluation. L'étude préparatoire consiste à analyser le programme et son milieu, à déterminer les questions particulières qui doivent être abordées, à établir dans quelle mesure elles peuvent être traitées dans une étude d'évaluation ainsi qu'à préciser les diverses façons de réaliser l'évaluation et à évaluer le coût de chacune d'entre elles.

3.102 D'après les renseignements obtenus du Bureau du contrôleur général sur 56 ministères et organismes, 177 études préparatoires ont été achevées. Quatre-vingt dix-neuf ont été faites en 1982-1983, soit neuf fois plus qu'en 1980-1981, où on n'en avait effectué que onze. Les ministères visés par notre vérification ont effectué 1 19 études préparatoires. Nous en avons vérifié 53 en détail.

3.103 Nous avons relevé de nombreuses faiblesses dans les études préparatoires terminées, mais nous avons aussi noté des progrès dans celles qui avaient été effectuées plus récemment par la plupart des ministères.

3.104 Toutefois, la plupart des études préparatoires à l'évaluation ne décrivaient pas de façon satisfaisante les activités des programmes ni ne déterminaient si ces activités permettraient d'atteindre les objectifs énoncés. Autrement dit, elles n'examinaient pas dans quelle mesure les activités des programmes pouvaient produire les résultats escomptés. Si ce travail n'est pas bien fait, l'étude d'évaluation fera fausse route et les ressources serviront alors à mesurer la réalisation d'objectifs qui ne se rapportent pas réellement aux activités des programmes.

3.105 Les ministères devraient s'assurer que les études préparatoires à l'évaluation décrivent convenablement les activités des programmes et déterminent si elles peuvent raisonnablement produire les résultats escomptés.

3.106 De nombreuses études préparatoires ne présentaient pas au sous-chef un bon éventail de questions sous forme d'options détaillées dont on a déterminé le coût. En conséquence, de nombreuses études avaient une portée limitée et, dans certains cas, ne posaient pas certaines questions importantes en matière d'évaluation de programmes.

3.107 Les ministères devraient s'assurer que les études préparatoires à l'évaluation présentent au sous-chef un bon éventail de sujets, de questions et d'options.

3.108 Études d'évaluation. L'évaluation de programmes, dans l'administration fédérale, porte sur l'ensemble d'un programme, sur ses répercussions, ainsi que sur les rapports entre les répercussions et les résultats obtenus, les ressources utilisées et les activités entreprises. L'évaluation de programmes se doit d'aborder les grandes questions touchant à l'existence même des programmes, en fonction des circonstances et des changements d'objectifs du gouvernement. Elle se distingue ainsi de la vérification interne qui porte sur les procédés de gestion des activités et des ressources des programmes.

3.109 D'après les renseignements obtenus du Bureau du contrôleur général, 174 études d'évaluation avaient été effectuées par les unités centrales d'évaluation de 56 ministères et organismes fédéraux. Une grande partie de cette activité a eu lieu au cours des deux dernières années. Le nombre d'études effectuées par les unités centrales d'évaluation est passé de 31 en 1980-1981 à 87 en 1982-1983. Les unités centrales d'évaluation des ministères soumis à notre vérification ont réalisé 86 études entre le 31 mars 1979 et le 31 mars 1983, ce qui représente environ 50 p. 100 de toutes les études relevées par le Bureau du contrôleur général. (Voir aussi la pièce 3.7)

La pièce n'est pas disponible

3.110 Nous avons examiné en détail 43 des études d'évaluation effectuées par les ministères et organismes que nous avons vérifiés. Ces études portaient sur une vaste gamme de sujets et la plupart abordaient au moins l'un des quatre aspects fondamentaux de l'évaluation de programmes:

    - plus des trois-quarts s'étaient penchées sur la raison-d'être du programme et s'étaient demandées si le programme était toujours pertinent ou nécessaire:
    - les trois-quarts s'étaient efforcées de déterminer dans quelle mesure le programme avait atteint un ou plusieurs de ses buts et objectifs;
    - une proportion semblable avait essayé d'établir dans quelle mesure le programme était responsable des changements observés;
la moitié avait essayé d'évaluer dans quelle mesure le programme comportait des solutions de rechange rentables.

3.111 Dans la plupart des ministères où l'on pouvait faire des comparaisons avec les travaux réalisés antérieurement, nous avons remarqué que les études effectuées récemment étaient de bien meilleure qualité.

3.112 Nous avons constaté divers problèmes dans plusieurs des études que nous avons vérifiées. Par exemple, nous avons remarqué:

    - des questionnaires mal conçus;
    - de nombreuses études contenant des données non fiables, incomplètes ou manquant d'objectivité;
    - de nombreuses études précisant mal la méthode d'échantillonnage;
    - des échantillons qui étaient trop petits pour l'usage qu'on voulait en faire ou qui comportaient des biais.
3.113 Le plupart de ces problèmes méthodologiques étaient dus à des lacunes dans la planification des études préparatoires. Les problèmes les plus évidents provenaient du fait qu'on n'avait pas suffisamment porté attention aux liens qui auraient dû exister entre les méthodes d'évaluation et les questions auxquelles on voulait répondre. Certaines études préparatoires comportaient une planification suffisante pour évaluer le côté pratique des options d'évaluation, mais cette planification n'était pas suffisante pour effectuer une étude de l'option choisie. En outre, dans certains cas, le comité du sous-chef avait formulé sa propre option pour laquelle aucun plan détaillé n'avait été mis au point. En conséquence, avant que l'évaluation ne soit entreprise, il aurait fallu s'assurer que les méthodes choisies permettaient d'obtenir ce qu'on attendait d'elles.

3.114 Ces problèmes ont eu pour conséquence que près de la moitié des études d'évaluation qui cherchaient à évaluer l'efficacité des programmes n'ont pas été en mesure de déterminer convenablement si les effets relevés étaient attribuables aux programmes.

3.115 Avant d'entreprendre une étude d'évaluation, les ministères devraient clairement préciser la méthode d'évaluation à utiliser selon l'option choisie.

3.116 Pour éliminer la collecte inutile d'information, faciliter la tâche des répondants et s'assurer qu'on satisfait aux normes de planification professionnelles et techniques, la politique gouvernementale sur la gestion de l'information prescrit que toute collecte de renseignements, nouvelle ou considérablement modifiée, doit être approuvée par le Conseil du Trésor et inscrite dans l'Inventaire des banques fédérales de données avant que les travaux ne commencent. Dans le cadre de cette politique, tout projet de collecte de données doit être évalué par Statistique Canada en fonction des normes de collecte de l'information, avant d'être approuvé et inscrit dans l'inventaire.

3.117 Nous avons constaté que 28 des 43 études examinées auraient dû être évaluées, approuvées et inscrites conformément à cette politique gouvernementale. Cependant, moins de la moitié s'étaient conformées aux exigences.

3.118 Les ministères, devraient, comme l'exige la politique, s'assurer que tous les projets de collecte de données qui font partie d'une étude d'évaluation sont évalués par Statistique Canada, approuvés et enregistrés par le Conseil du Trésor, lorsque cette collecte est nouvelle ou considérablement modifiée.

3.119 Outre les problèmes posés par la collecte des données de base pour l'évaluation, nous avons constaté qu'environ 80 p. 100 des évaluations se fiaient beaucoup aux données administratives. Bon nombre d'évaluations ont ainsi connu des difficultés parce que ces données étaient incomplètes, inexactes ou mal classées. A plusieurs reprises, on n'avait pas rassemblé certaines données qui auraient été très utiles à l'évaluation de l'efficacité des programmes et qui auraient pu être obtenues à peu de frais. De telles données constituent souvent la seule façon pratique d'évaluer avec quelque précision les répercussions d'un programme sur la clientèle. Ces banques de données devraient donc être examinées de près, bien avant d'être utilisées pour l'évaluation des programmes. De plus, si ces bases de données sont bien conçues, les renseignements qu'elles renferment seront très utiles aux gestionnaires axiaux chargés d'administrer le programme. Au besoin, les cadres d'évaluation pourraient servir à déterminer les secteurs où de telles banques de données pourraient être créées.

3.120 Pour pouvoir progresser, la fonction d'évaluation aura besoin d'un personnel qui ait les qualifications et l'expérience nécessaires. Ce personnel devrait notamment connaître les procédures gouvernementales et les méthodes d'évaluation des programmes. Les personnes de ce genre sont rares. Nous avons remarqué qu'un certain nombre d'unités d'évaluation n'avaient pas un nombre suffisant de personnes possédant les connaissances et les compétences voulues en matière d'évaluation de programmes.

3.121 Le Bureau du contrôleur général, en collaboration avec les ministères et organismes, devrait élaborer et mettre en oeuvre un plan qui permette d'avoir en permanence un nombre suffisant d'évaluateurs qualifiés.

3.122 Les ministères devraient engager un plus grand nombre d'évaluateurs qualifiés pour combler les postes vacants et permettre aux employés de suivre des cours de formation pour améliorer leurs compétences.

Qualité des rapports
3.123 Bien que la conception et la réalisation des évaluations doivent se soumettre aux contraintes des méthodes employées et accepter des compromis, le rapport d'évaluation devrait décrire la mise en oeuvre, les restrictions et les résultats de l'étude de façon complète et exacte. Puisque la fonction d'évaluation est toujours en voie de développement, les rapports d'évaluation devraient consigner toutes les procédures utilisées pour que l'expérience acquise et les renseignements obtenus puissent servir aux travaux futurs.

3.124 La plupart des rapports d'évaluation tentaient d'expliquer comment les problèmes et les restrictions de l'étude influaient sur les constatations et les conclusions à en tirer. Bon nombre, cependant, n'indiquaient pas au lecteur qu'il y avait lieu de faire de sérieuses réserves sur les résultats. Dans un petit nombre d'études, les constatations n'étaient pas présentées de façon suffisamment précise et équilibrée.

3.125 Si les rapports d'évaluation ne présentent pas de constatations équilibrées et exactes, s'ils ne discutent pas des restrictions et ne nuancent pas bien les conclusions, les renseignements présentés risquent d'induire les gestionnaires en erreur.

3.126 Les unités d'évaluation des ministères devraient veiller à ce que les rapports d'évaluation présentent les constatations des études de façon équilibrée et à ce qu'ils discutent de l'incidence des méthodes utilisées et de leurs restrictions sur l'interprétation des constatations.

Les rapports d'évaluation et leur utilisation
3.127 Rapports présentés au ministère. Les évaluations s'adressent surtout au sous-chef et c'est à lui que les rapports d'évaluation doivent être présentés. Les gestionnaires de programmes, qui doivent eux aussi prendre des décisions, devraient également recevoir une copie des rapports.

3.128 Nous avons constaté que, dans presque tous les cas, les rapports d'évaluation avaient été présentés conformément aux procédures énoncées dans la politique d'évaluation du ministère. Tous les ministères exigent que les rapports soient présentés au sous-chef et presque tous exigent qu'ils le soient à d'autres gestionnaires responsables des programmes. Peu de ministères ont omis de présenter des rapports d'évaluation et des mesures ont été prises pour que les rapports soient transmis comme il se doit.

3.129 Rapports annuels. Les rapports annuels des ministères servent à faire connaître la nature des activités des ministères au Parlement et, de façon plus générale, au public.

3.130 Lorsqu'il a passé en revue le rapport de vérification de 1978, le Comité des comptes publics a recommandé au gouvernement que "les rapports annuels des ministères comprennent des résumés non techniques des évaluations relatives à l'efficacité afin de faire ressortir l'incidence des programmes gouvernementaux".

3.131 Nous avons constaté que seuls les rapports annuels de deux ministères contenaient des résumés des évaluations de programme qui avaient été effectuées. Toutefois, dans les deux cas, on y décrivait la portée des études d'évaluation et non les constatations. Plusieurs autres rapports annuels signalaient que des études particulières avaient été effectuées ou étaient en cours.

3.132 Autres rapports publics. Le Comité des comptes publics a également recommandé que:

Les rapports techniques sur l'évaluation de l'efficacité puissent faire l'objet d'un examen et de commentaires critiques. Notre comité souhaite que ces rapports fassent l'objet d'une analyse dans des revues spécialisées afin d'obtenir les commentaires des spécialistes du milieu universitaire sur l'état de la recherche dans le domaine de l'évaluation.
3.133 Seuls quelques ministères ont déployé des efforts concertés pour rendre leurs évaluations accessibles au public. Un ministère a créé un centre de documentation contenant des études et des documents d'évaluation destinés tant au personnel du ministère qu'au public et a, sur demande, diffusé un grand nombre de ses évaluations. Quatre autres ont publié des renseignements sur certaines de leurs évaluations dans une revue de Statistique Canada traitant des enquêtes du gouvernement.

3.134 La situation variait dans les autres ministères. Certains soutenaient que les évaluations étaient accessibles au public, sur demande. Dans la plupart de ces cas, il y avait eu très peu de demandes et les ministères n'avaient guère fait d'efforts pour faire savoir que ces études étaient disponibles. D'autres ministères ont affirmé que ces documents étaient réservés à l'usage exclusif du ministère.

3.135 Le gouvernement devrait faire en sorte que les rapports annuels des ministères contiennent des résumés non techniques des évaluations de programme.

3.136 Les stratégies globales. Le Système de gestion des secteurs de dépenses souligne l'importance du mécanisme de prise de décisions par les comités du Cabinet et le rôle de ces derniers comme utilisateurs des évaluations. Il faut tenir compte des préoccupations des comités du Cabinet lors de la planification des évaluations. Un résumé des constatations des études d'évaluation et les modifications proposées à la suite de ces études doivent être signalés, au besoin, aux organismes centraux et aux comités du Cabinet dans les stratégies globales préparées chaque année. Ces rapports ont pour but d'indiquer brièvement les aspects des évaluations que le ministère juge importants ainsi que les mesures prises ou envisagées à la lumière de ces données.

3.137 Le document de stratégie globale permet au ministre qui y a apposé sa signature de communiquer directement avec ses collègues des comités du Cabinet. Ce genre de rapport contribue également à créer un lien entre la fonction d'évaluation et celle de la planification stratégique du ministère. Grâce à ce lien, les services de planification stratégique peuvent devenir de grands utilisateurs des études d'évaluation.

3.138 Nous avons constaté que, parmi les ministères vérifiés, très peu avaient indiqué dans les stratégies globales les constatations de certaines évaluations.

3.139 Les ministères devraient indiquer dans leurs stratégies globales, lorsqu'il y a lieu de le faire, les résultats de leurs évaluations et les changements proposés qui en découlent.

3.140 Utilisation des évaluations. Avant de parler de l'utilisation des études d'évaluation, il importe de reconnaître qu'il est difficile de déterminer dans quelle mesure les décisions concernant un programme ont été influencées par les résultats d'une étude d'évaluation. Les constatations ou les recommandations des études d'évaluation de programmes sont rarement le seul facteur à influer sur les décisions.

3.141 Nous avons voulu déterminer si des recommandations étaient faites à la suite des évaluations, si elles étaient soumises à l'approbation du sous-chef et si on préparait des plans de mise en oeuvre pour les recommandations approuvées. Nous avons également interrogé plusieurs sous-ministres pour connaître leur opinion sur l'utilité des renseignements produits par les évaluations.

3.142 Les sous-ministres ont déclaré que la plupart de leurs évaluations avaient été utiles, mais que certaines l'avaient été plus que d'autres. L'évaluation de programmes étant une activité nouvelle dans la plupart de leurs ministères, la majorité d'entre eux estimaient qu'il était trop tôt pour déterminer la rentabilité éventuelle de l'évaluation de programme.

3.143 Tous les rapports d'évaluation examinés, sauf trois, contenaient des recommandations. Dans presque tous les cas, la haute direction avait décidé d'accepter une partie ou la totalité des recommandations formulées dans les rapports d'évaluation. Lorsqu'aucune décision n'avaient été prise, c'était habituellement parce que l'évaluation était trop récente pour qu'on ait eu le temps de prendre une décision.

3.144 Dans près de la moitié des cas où l'on avait accepté une partie ou la totalité des recommandations, les ministères avaient préparé un plan de mise en oeuvre ou un plan d'action.

3.145 Les recommandations issues des 43 évaluations vérifiées se répartissent en quatre grandes catégories qui se chevauchent parfois. Elles portent sur des changements à la taille des programmes, à leur conception et à leurs activités de soutien ainsi que sur la réalisation d'autres études de l'efficacité ou sur la mise au point de systèmes de contrôle de l'efficacité.

    - Modification de la taille des programmes. Bon nombre d'évaluations ne recommandaient aucune modification. Toutefois, six proposaient d'accroître le programme et trois recommandaient de le réduire.
    - Modification de la conception du programme. Presque toutes les études faisaient des recommandations en vue de modifier certains aspects de la conception des programmes. Certaines recommandaient d'ajouter de nouveaux aspects aux programmes, d'en modifier certaines caractéristiques ou de mettre l'accent sur une autre partie du programme.
    - Modification des activités de soutien. Presque toutes les évaluations recommandaient des modifications aux activités de soutien rattachées aux programmes, et notamment une modification de l'effectif ou de l'organisation des services de soutien.
    - Plus de renseignements sur l'efficacité. Plus d'un tiers des études recommandaient qu'on recueille davantage de données sur l'efficacité des programmes, soit à l'aide d'autres études ou soit à l'aide de systèmes de contrôle permanent.

L'évaluation de programmes dans l'ensemble de l'administration fédérale: questions particulières

3.146 Comme nous l'avons dit précédemment, nous nous sommes servis des lignes directrices publiées par le Bureau du contrôleur général pour élargir et préciser les critères de vérification mis au point par notre Bureau pour notre étude de 1978. Le Bureau du contrôleur général a publié ces lignes directrices détaillées sur l'organisation, la planification et la réalisation des évaluations afin d'aider les ministères à établir une fonction d'évaluation de programmes. A notre avis, ces lignes directrices constituent une norme raisonnable que les ministères peuvent arriver à respecter.

3.147 La stratégie de mise en oeuvre adoptée par le Bureau du contrôleur général voulait, dans un premier temps, qu'on mette l'accent sur la création d'unités d'évaluation dans les principaux ministères et organismes et qu'on incite ces derniers à faire des études d'évaluation, ne serait-ce que de portée limitée. A notre avis, il s'agissait là d'une façon raisonnable de procéder.

3.148 Comme nous l'avons mentionné, le Bureau du contrôleur général se préoccupe de plus en plus de la portée et de la qualité des études d'évaluation effectuées par les ministères et les organismes. C'est pourquoi il a publié les Principes pour l'évaluation des programmes par les ministères et organismes fédéraux afin d'indiquer aux ministères ce qu'ils doivent faire pour mener à bien leurs travaux d'évaluation de programmes (établissement d'un cadre, étude préparatoire et évaluation). Il s'agit là de points de repères importants qui permettent d'évaluer la qualité du travail entrepris.

3.149 C'est le Bureau du contrôleur général qui est chargé de surveiller au nom du gouvernement la qualité et l'objectivité des évaluations effectuées par les ministères. Au départ, cependant, on a surtout prêté attention à la mise en place des services d'évaluation et on a encouragé les ministères à entreprendre des évaluations. Plus récemment, le Bureau du contrôleur général a remis davantage en question les renseignements fournis par l'évaluation des programmes. Pour que l'évaluation des programmes puisse continuer à faire des progrès, il faudra qu'il y ait un bon service central d'inspection et de contrôle de la qualité afin, non seulement de venir en aide aux ministères, mais aussi de s'assurer de l'exactitude de l'information fournie dans les évaluations de programmes.

3.150 Le Bureau du contrôleur général devrait développer la fonction centrale d'inspection et de contrôle de la qualité des évaluations de programmes.

Évaluation interministérielle
3.151 Selon les directives actuelles pour l'évaluation des programmes, le ministère et le sous-chef sont les principaux clients des travaux d'évaluation. Cependant, l'exécution de nombreux programmes importants fait appel à la participation de plus d'un ministère. De plus, la structure fondamentale du Système de gestion des secteurs de dépenses souligne le caractère interministériel de la prise de décision en matière de programme.

3.152 Nous avons relevé au moins 17 programmes interministériels dans les 19 ministères faisant l'objet de notre vérification. Il ressort de notre examen que certains programmes interministériels nécessitent des fonds considérables et que certains s'adressent à un vaste public. Par exemple, le Programme d'aide à l'adaptation de l'industrie et de la main-d'oeuvre, auquel participent la CElC, le ministère du Travail et le MEIR, a reçu des crédits de $450 millions pour la période allant de 1981-1982 à 1984-1985. Le programme des libérations conditionnelles, qui a une grande influence sur la vie des détenus dans les prisons canadiennes, a aussi de sérieuses répercussions sur le bien-être du grand public. Parmi les autres programmes interministériels on peut citer: le PITRC (Programme d'isolation thermique des résidences canadiennes) qui intéresse la Société canadienne d'hypothèques et de logement et le ministère de l'Énergie, des Mines et des Ressources; le programme national de recherche et de sauvetage auquel participent le ministère des Transports, le ministère de la Défense nationale et celui des Pêches et des Océans, ainsi que le programme de recrutement et de sélection des immigrants qui intéresse à la fois Emploi et Immigration et le ministère des Affaires extérieures.

3.153 Bien que la politique et les lignes directrices actuelles reconnaissent l'existence de programmes interministériels, elles n'énoncent pas de marche à suivre pour les évaluer.

3.154 Nous n'avons relevé que peu de cas d'évaluation de programmes interministériels. La plupart des ministères n'ont pas tenu compte des aspects interministériels de leurs programmes dans les profils de composantes ou dans les plans d'évaluation. Interrogés à ce sujet, les chefs des unités d'évaluation de programmes ont dit qu'ils ne savaient pas très bien comment procéder ni quelles étaient leurs responsabilités à l'égard de tels programmes.

3.155 Un des grands problèmes, lors des évaluations interministérielles, consiste à déterminer le poste ou le comité responsable de la gestion ou de la coordination d'ensemble du programme, et à qui devrait normalement s'adresser l'étude d'évaluation. Cette situation est particulièrement bien illustrée par la mise en oeuvre de la Loi sur la libération conditionnelle de détenus.

3.156 Les objectifs du programme des libérations conditionnelles sont énoncés dans la Loi sur la libération conditionnelle de détenus (article 10(l): "(ii) l'octroi de la libération conditionnelle facilitera le redressement et la réhabilitation du détenu et (iii) la mise en liberté du détenu sous libération conditionnelle ne constitue pas un risque indu pour la société". Le programme visant à atteindre ces objectifs est administré principalement par la Commission nationale des libérations conditionnelles et par le Service correctionnel du Canada.

3.157 Dans le cadre de notre vérification de la Commission nationale des libérations conditionnelles, en 1978, nous avions signalé qu'on n'avait pas fait d'évaluation de l'efficacité du système fédéral des libérations conditionnelles. Nous avons suivi les progrès accomplis à ce chapitre. Conformément à leur domaine de responsabilités, la Commission nationale des libérations conditionnelles et le Service correctionnel du Canada ont toujours l'intention de n'évaluer que leurs activités respectives dans le cadre du programme des libérations conditionnelles.

3.158 Les méthodes d'évaluation adoptées par ces deux organismes répondent peut-être à leurs besoins, mais elles ne semblent pas tenir compte des liens entre leurs activités particulières et l'obligation de rendre compte de l'efficacité globale du programme. Le mandat législatif du programme des libérations conditionnelles ne précise pas qui est responsable de la réalisation des objectifs globaux ou de l'évaluation du programme. Nous avons constaté qu'aucune évaluation du programme des libérations conditionnelles n'avait été effectuée au 31 mars 1983, bien qu'une étude en rapport avec le programme ait été réalisée par le Secrétariat du ministère du Solliciter général.

3.159 Le Secrétariat du solliciter général est chargé de coordonner l'élaboration et la mise en oeuvre des politiques avec les deux organismes et d'améliorer les politiques et les programmes du système de justice pénale. Dans le passé, le secrétariat a eu l'occasion d'effectuer des études et des évaluations de "programmes" et de lois qui avaient une incidence sur de nombreuses organisations. Puisque ses responsabilités couvrent plusieurs organismes, le secrétariat est peut-être mieux placé que quiconque pour effectuer ou coordonner l'évaluation de l'efficacité globale du programme des libérations conditionnelles, tout en laissant les deux organismes poursuivre l'évaluation de leur secteur de responsabilité respectif.

3.160 Il ressort de problèmes de ce genre que les programmes interministériels ne sont pas systématiquement soumis au même type d'examen et d'évaluation ordonnée que les programmes administrés entièrement par un seul ministère ou organisme. Comme il s'agit souvent de programmes de grande envergure, on risque donc de ne pas évaluer des activités importantes.

3.161 Le gouvernement devrait s'assurer que les ministères et organismes déterminent les dimensions interministérielles de leurs programmes dans leurs profils de composantes. Les incidences de ces dimensions interministérielles, tant sur le bon fonctionnement que sur l'évaluation du programme, devraient être examinées dans les études préparatoires et les cadres d'évaluation.

3.162 Lorsqu'il crée ou renouvelle un programme inter-ministériel, le gouvernement devrait confier à un organisme la tâche d'évaluer ce programme. Par la même occasion, il devrait désigner le responsable de la gestion globale du programme, c'est-à-dire la personne à qui s'adresse l'évaluation du programme.

3.163 Pour ce qui est des programmes interministériels existants, le gouvernement devrait améliorer les procédures en vigueur de façon à ce que ces programmes soient désignés et périodiquement évalués, lorsqu'il est raisonnable et à propos de le faire.

Les petits organismes
3.164 Les directives actuelles exigent que tous les ministères et organismes établissent une infrastructure complète d'évaluation. Toutefois, dans le cas des petits organismes, il se peut qu'il ne soit pas rentable d'y créer un service interne chargé de planifier et de réaliser des évaluations de programme.

3.165 Comme nous l'avons déjà mentionné, nous avons constaté que les organismes qui n'avaient pas établi d'infrastructure pour l'évaluation étaient presque tous de petits organismes. Dans le cadre de sa stratégie de mise en oeuvre, le Bureau du contrôleur général s'est penché depuis peu sur la place que devrait occuper l'évaluation de programmes dans ces organismes.

3.166 Le gouvernement devrait déterminer la meilleure façon de doter les petits organismes d'un service d'évaluation de programmes.

Les sociétés de la Couronne
3.167 Les sociétés de la Couronne sont un des moyens utilisés par le gouvernement pour atteindre ses objectifs socio-politiques. Dans le chapitre 2 de notre Rapport de 1982, nous avons déclaré que si la création de sociétés d'État, tout comme les dépenses fiscales, les subventions et les contributions ou l'intervention ministérielle directe, constituait un moyen d'atteindre des objectifs socio-politiques, l'orientation, le contrôle et l'obligation de rendre compte de ces sociétés avaient des répercussions bien différentes pour le gouvernement et pour le Parlement.

3.168 Dans les 19 ministères et organismes que nous avons vérifiés, nous avons observé que certaines sociétés de la Couronne étaient utilisées par le gouvernement pour aider les ministères à réaliser les objectifs de leurs programmes et que les fonds qui leur étaient destinés provenaient des Budgets des dépenses des ministères. Dans de telles circonstances, nous nous serions attendus à ce que les ministères aient prévu d'évaluer la rentabilité de ces dépenses. Nous avons constaté que les ministères n'avaient pas prévu, dans leur plan d'évaluation de programmes, d'évaluer l'efficacité de cet outil d'intervention gouvernementale.

3.169 Les renseignements obtenus du Bureau du contrôleur général indiquent qu'au 31 mars 1983, cinq sociétés de la Couronne étaient en train d'établir un service d'évaluation de programmes, conformément aux directives du gouvernement, afin d'évaluer la réalisation de leurs objectifs socio-politiques. Nous avons appris que, dans quatre des cinq cas, le client de l'évaluation dans ces sociétés serait le directeur en chef de l'exploitation de la société.

3.170 L'année dernière, au paragraphe 2.1 16, nous avons formulé la recommandation suivante:

Les sociétés qui appartiennent à la Couronne devraient faire rapport au gouvernement de leurs plans, de leur rendement et de la réalisation des objectifs. Le gouvernement devrait établir ces exigences en matière de rapport et s'assurer que ceux-ci sont produits conformément à ces exigences. Le Parlement devrait avoir connaissance des exigences de rapport, avoir la possibilité de les évaluer périodiquement et d'en tenir compte lorsqu'il envisage d'apporter des changements au mandat ou aux objectifs de la société considérée, à la législation applicable et aux propositions gouvernementales de dépenses ou autres.
3.171 Les directives du gouvernement sur l'évaluation de programmes constituent une façon raisonnable d'aborder l'évaluation du rendement des sociétés de la Couronne. Une des premières choses à faire pour les mettre en oeuvre serait de relever et de préciser les objectifs socio-politiques de ces sociétés.

3.172 Le gouvernement devrait établir des procédures pour faire en sorte que les objectifs socio-politiques des sociétés de la Couronne sont évalués et que les résultats sont communiqués, lorsqu'il y a lieu, au gouvernement et au Parlement.

Information destinée au Parlement
3.173 La présentation révisée du Budget des dépenses vise à fournir au Parlement de meilleurs renseignements sur les activités des programmes gouvernementaux, y compris des données sur le rendement. Ces renseignements sont présentés dans le Plan des dépenses du programme, c'est-à-dire dans la Partie III du Budget des dépenses. A notre avis, la Partie III serait l'endroit indiqué pour présenter au Parlement les résultats des évaluations de programmes.

3.174 Le Bureau du contrôleur général devrait s'assurer que la Partie III du Budget des dépenses signale et contienne les constatations des études d'évaluation qui portent sur le rendement des Programmes et sur la gestion des ressources.

Dépôt des études au Parlement
3.175 Après avoir examiné le Rapport du vérificateur général de 1978, le Comité des comptes publics a recommandé à la Chambre que toute évaluation de l'efficacité soit déposée à la Chambre des communes dans les 60 jours suivant leur achèvement. Parlant au nom du gouvernement, le président du Conseil du Trésor a répondu que:

Après l'adoption du projet de loi sur l'accès à l'information, dans sa forme actuelle, et l'approbation d'un projet de politique du Conseil du Trésor sur la documentation des études d'évaluation de programmes, de tels renseignements seront accessibles au public. Il faudra établir une procédure quelconque, peut-être le dépôt des rapports d'évaluation par le ministre responsable dans les 60 à 90 jours suivant leur parachèvement, pour que les députés puissent se les procurer facilement.
3.176 Dans le cadre de notre travail de vérification, nous avons constaté qu'un seul rapport d'évaluation de programmes a été déposé à la Chambre.

3.177 La Loi sur l'accès à l'information a été proclamée le 1er juillet 1983.

3.178 Le gouvernement devrait établir des procédures qui garantissent la mise en oeuvre de la recommandation du Comité des comptes publics sur le dépôt des rapports d'évaluation de programmes.