Rapport sur la revue des pratiques des missions d’appréciation directe — Pour les missions d’appréciation directe réalisées au cours de l’exercice 2017-2018

Rapport sur la revue des pratiques des missions d’appréciation directe — Pour les missions d’appréciation directe réalisées au cours de l’exercice 2017-2018

Introduction

1. Le Bureau du vérificateur général du Canada effectue des études et des audits indépendants qui fournissent de l’information, une assurance et des avis objectifs au Parlement, aux assemblées législatives territoriales, aux conseils d’administration des sociétés d’État, au gouvernement et à la population canadienne. Le Bureau réalise trois grands types d’audit législatif : les audits d’états financiers, les audits de performance et les examens spéciaux. Les audits de performance et les examens spéciaux sont qualifiés de missions d’appréciation directe.

2. Un audit de performance est une évaluation indépendante, objective et systématique de la façon dont le gouvernement gère ses activités et ses ressources et assume ses responsabilités. Les audits de performance favorisent l’efficacité au sein de la fonction publique et la reddition de comptes du gouvernement envers le Parlement et la population canadienne. Les audits de performance sont planifiés, réalisés et présentés conformément aux normes professionnelles d’audit et aux politiques du Bureau.

3. Les examens spéciaux des sociétés d’État constituent une sorte d’audit de performance. Le Bureau audite la plupart des sociétés d’État, mais pas toutes. La portée des examens spéciaux est définie dans la Loi sur la gestion des finances publiques. Un examen spécial vise à déterminer si les moyens et les méthodes d’une société d’État lui fournissent l’assurance raisonnable que ses actifs sont protégés, que la gestion de ses ressources est économique et efficiente, et que ses activités sont menées efficacement.

4. La mission de l’équipe de la revue des pratiques et de l’audit interne (RPAI) est d’accroître et de protéger la valeur de l’organisation en fournissant, de manière objective et en se fondant sur les risques, une assurance, des avis et des observations. L’équipe de la RPAI soutient le Bureau dans la réalisation de ses objectifs en formulant des recommandations sur la gestion après avoir mené un exercice systématique et rigoureux d’évaluation et d’approbation de la conception et de l’efficacité des processus de gestion des risques, de contrôle et de gouvernance.

5. L’équipe de la RPAI aide le Bureau à s’acquitter de ses obligations aux termes de la Norme canadienne de contrôle qualité 1, qui a été publiée par le Conseil des normes d’audit et de certification. Pour ce faire, elle procède à des inspections visant à déterminer dans quelle mesure les responsables de mission (chefs de mission) se conforment aux normes professionnelles, aux politiques du Bureau et aux lois et règlements applicables dans la conduite de leurs audits. Elle vérifie également que les rapports d’audit sont bien étayés et pertinents.

6. En outre, l’équipe de la RPAI réalise ses travaux conformément au Plan de la Revue des pratiques et de l’audit interne le plus récent du Bureau, lequel a été recommandé par le Comité d’audit et approuvé par le vérificateur général par intérim. Ce plan prévoit une surveillance systématique et cyclique des travaux de tous les responsables de mission du Bureau.

7. Afin de s’assurer que ses audits sont exécutés selon les normes de Comptables professionnels agréés du Canada, le Bureau établit des politiques et des procédures pour encadrer ses travaux. Celles-ci sont énoncées dans le Manuel pour les missions d’appréciation directe du Bureau, dans son Système de contrôle qualité et dans divers outils d’audit qui servent à guider les auditeurs. Les quatre vérificateurs généraux adjoints qui sont responsables des missions d’appréciation directe assurent la direction et la surveillance des missions d’appréciation directe du Bureau et contribuent à la qualité de chacun des audits.

8. Le présent rapport résume les principales observations découlant de la revue des pratiques des missions d’appréciation directe sélectionnées qui ont été réalisées au cours de l’exercice 2017-2018.

Aperçu

Objectif

9. L’objectif de la revue des pratiques est de fournir au vérificateur général par intérim l’assurance que :

Étendue et méthode

10. L’équipe de RPAI a revu les pratiques de sept missions d’appréciation directe (trois audits de performance et quatre examens spéciaux) qui ont été réalisées au cours de l’exercice 2017-2018. Selon nos méthodes, nous devons passer en revue, de manière cyclique, un échantillon d’audits terminés en examinant au moins une mission pour chaque responsable de mission à l’intérieur d’une période de suivi de quatre ans. Nous avons sélectionné les responsables de mission et les dossiers d’audit connexes par échantillonnage aléatoire.

11. Nos revues ont comporté un examen des dossiers d’audit en version électronique (TeamMate) et en version papier, le cas échéant. Nous avons revu les documents relatifs à la planification, à l’examen et à la production des rapports d’audit. Nous avons aussi eu des entretiens avec certains membres des équipes d’audit et d’autres spécialistes internes pour discuter de problèmes.

12. Nous avons examiné tous les dossiers sélectionnés, à la lumière du Système de contrôle qualité (voir l’Annexe A). Nous avons axé nos travaux sur les éléments et les contrôles de processus qui nous semblaient essentiels ou à risque élevé (voir l’Annexe B) pour les audits sélectionnés.

Notation

13. Pour chaque audit revu, nous avons noté chaque élément et contrôle de processus sélectionné du Système de contrôle qualité de la manière suivante :

14. À la fin de chacune des revues, nous avons déterminé si l’opinion de l’auditeur indépendant était bien étayée et appropriée. Nous avons aussi déterminé si le dossier d’audit était conforme dans son ensemble aux NGAA et aux politiques du Bureau.

Résultats des revues

Caractère approprié des rapports d’audit

15. Dans l’ensemble, nous avons constaté que les rapports d’audit étaient bien étayés et appropriés pour les sept dossiers passés en revue.

Conformité aux éléments et aux contrôles de processus du Système de contrôle qualité

16. En règle générale, le niveau global de conformité aux éléments du Système de contrôle qualité était bon. Les sept dossiers étaient conformes, tout en nécessitant des améliorations. La section « Observations » ci-après contient des précisions à ce sujet.

17. Notre conclusion générale sur un dossier donné repose sur la revue de tous les éléments du Système de contrôle qualité. Par conséquent, il est possible qu’un dossier ne soit pas conforme à un élément donné du Système, même si nous avons conclu qu’il était en général « conforme, tout en nécessitant des améliorations ».

Considérations particulières liées au cycle de revues de cette année

18. Lors des revues des pratiques du cycle de cette année, l’équipe de la RPAI a porté une attention particulière aux gains d’efficience possibles des équipes d’audit dans de la réalisation de leurs travaux et aux pratiques exemplaires susceptibles de profiter à d’autres équipes. Elle a également cherché des moyens d’accroître l’efficience dans ses propres processus. Par exemple, elle a étudié des façons de rendre plus efficace la revue effectuée cette année du processus de confirmation de l’indépendance.

19. Dans le rapport sommaire de l’an dernier, l’équipe de la RPAI avait recommandé aux Services d’audit d’évaluer si des changements devaient être apportés au processus ou à la politique sur la confirmation de l’indépendance, ou aux deux. Depuis, les Services d’audit ont procédé à cette évaluation et décidé de modifier la politique du Bureau afin de supprimer l’obligation qui était faite aux membres de l’équipe d’audit de confirmer leur indépendance avant de commencer à travailler à un audit.

20. Les dossiers que nous avons revus au cours du présent cycle ont été constitués avant l’examen, l’approbation et l’entrée en vigueur des modifications à la Politique sur l’indépendance du Bureau (section 3031 du Manuel pour les missions d’appréciation directe). Nous nous attendons à ce qu’une évaluation de ces dossiers en fonction de la norme en vigueur au moment de l’audit produise des observations comparables à celles formulées lors du dernier cycle de revues. Par conséquent, nous avons évalué les dossiers par rapport à la nouvelle politique.

Observations

Indépendance

21. Le Bureau a établi des politiques et des procédures sur l’indépendance, qui sont documentées dans le Manuel pour les missions d’appréciation directe. La politique ci-après figure dans le manuel à la section 3031 — Indépendance :

Toutes les personnes qui répondent à la définition de membre de l’équipe de mission, y compris les spécialistes internes et, le cas échéant, les spécialistes externes, doivent confirmer leur indépendance avant de commencer leurs travaux dans le cadre de la mission. [novembrenov.-2011]

22. Nous avons constaté que six dossiers examinés n’étaient pas conformes aux exigences de la Politique sur l’indépendance du Bureau. Nous avons en effet observé qu’il manquait sept formulaires de confirmation de l’indépendance en tout dans ces six dossiers pour des personnes qui répondaient à la définition de membre d’une équipe de mission. Il est important de noter qu’aucune menace à l’indépendance n’a été décelée dans les dossiers que nous avons revus.

23. Nous sommes d’avis qu’il s’agit d’un problème généralisé pour lequel des mesures correctives doivent être prises.

24. Recommandation visant les missions d’appréciation directe — Il faudrait rappeler aux responsables de mission de veiller à ce que les membres des équipes de mission confirment leur indépendance dès qu’ils répondent à la définition de membre de l’équipe.

Réponse de la direction — Nous acceptons cette recommandation. Nous rappellerons aux responsables de mission qu’ils se doivent de veiller à ce que les membres de leur équipe confirment leur indépendance dès qu’ils satisfont à la définition de membre de l’équipe. Nous continuerons aussi de mener des discussions avec les Services d’audit afin de trouver d’autres moyens de respecter l’esprit de la norme de manière plus efficiente.

Constitution du dossier d’audit

25. Nous avons constaté que trois des dossiers revus n’étaient pas conformes aux exigences de la politique du Bureau sur la constitution du dossier d’audit. Les trois dossiers n’ont en effet pas été constitués ni achevés dans le délai de 60 jours civils prévu. Ils ont plutôt été constitués et achevés 9, 10 et 25 jours après le délai fixé.

Consultations

26. Nous avons constaté que trois dossiers étaient conformes, tout en nécessitant des améliorations pour satisfaire aux exigences de la politique sur les consultations du Bureau. Dans le premier de ces dossiers, nous avons noté que l’équipe de mission avait fait état de la nécessité de consulter un spécialiste interne pendant la planification de l’audit. Toutefois, nous n’avons trouvé aucun document dans le dossier confirmant que cette consultation avait eu lieu. Dans les deux autres dossiers, des consultations avaient été amorcées avec des spécialistes internes lors de l’étape de la planification, mais les dossiers ne contenaient aucun document sur l’accord auquel étaient parvenues les personnes ayant demandé la consultation et les personnes consultées.

Gestion des documents contrôlés

27. Nous avons constaté qu’un dossier était conforme, tout en nécessitant  des améliorations pour satisfaire aux exigences de la politique sur Bureau sur la gestion des documents contrôlés. Dans ce dossier, la feuille de suivi des documents contrôlés n’était pas complète. Elle indiquait que plus de 17 exemplaires de documents contrôlés n’avaient pas été retournés au Bureau par l’entité. Le dossier TeamMate avait été revu et fermé sans que la confirmation du retour des documents contrôlés ait été consignée dans le dossier. Toutefois, après en avoir discuté avec le responsable de mission, l’équipe de la RPAI a reçu une feuille de suivi actualisée des documents contrôlés (qui était conservée à l’extérieur de TeamMate) indiquant que l’entité avait de fait retourné tous les exemplaires des documents contrôlés.

Corroboration (revue)

28. Nous avons constaté qu’un dossier n’était pas conforme et qu’un autre dossier était conforme, tout en nécessitant des améliorations pour satisfaire aux  exigences de la politique du Bureau sur la corroboration (revue). Dans le premier dossier, le responsable de la mission n’avait pas documenté l’identification et la revue des paragraphes à risque élevé de l’ébauche du rapport du directeur principal (PX). Le deuxième dossier ne contenait pas de preuves  suffisantes pour confirmer que le responsable de la mission avait procédé à une revue adéquate des feuilles de travail et des documents justificatifs à l’appui des paragraphes à risque élevé du rapport.

Corroboration (documentation)

29. Nous avons constaté qu’un dossier était conforme, tout en nécessitant des améliorations pour satisfaire aux exigences de la politique du Bureau sur la corroboration (documentation). Selon nous, certains des éléments probants consignés dans ce dossier n’étaient pas suffisants ni appropriés et il manquait des renvois précis vers les éléments de corroboration du rapport.

Mentions de tiers

30. Nous avons constaté qu’il y avait un dossier qui n’était pas conforme aux exigences de la politique du Bureau sur les mentions de tiers. L’équipe d’audit responsable de ce dossier n’a pas vérifié si les énoncés contenus dans les rapports d’audit qui font référence à des tiers étaient exacts et complets.

Approbation du contenu du rapport et date du rapport

31. Nous avons constaté qu’un dossier n’était pas conforme aux exigences de la politique du Bureau sur l’approbation du contenu du rapport et la date du rapport. Lors de la revue de ce dossier, nous avons constaté que le rapport d’audit avait été daté avant que le responsable de la mission n’ait confirmé sa revue de la documentation de l’audit et obtenu l’approbation du spécialiste interne.

Procédures et politiques sur la conservation des dossiers

32. Nous avons constaté qu’un dossier n’était pas conforme aux exigences de la politique du Bureau sur les procédures et politiques sur la conservation des dossiers. La section « Achèvement du dossier d’audit » de ce dossier n’avait pas été correctement documentée. Il était donc impossible de savoir s’il y avait des documents d’audit qui étaient conservés hors du dossier électronique.

Directives du Bureau sur la corroboration

33. Dans le cadre de nos revues des pratiques, nous avons constaté qu’il faudrait apporter des précisions aux directives sur la corroboration. Ainsi, la politique énoncée à la section 1111 (Nature, utilité et étendue de la documentation de l’audit) du Manuel pour les missions d’appréciation directe indique ce qui suit : « Les auditeurs doivent préparer la documentation de l’audit en suivant le principe de l’auditeur expérimenté […] ». Les directives de la section 7060 (Corroboration) mentionnent le concept de réexécution et précisent que « la corroboration préparée pour le rapport final doit satisfaire au principe de réexécution, selon lequel un autre auditeur chevronné, non familier avec le sujet traité, doit pouvoir examiner les éléments probants et les explications connexes fournies et tirer sans hésitation les mêmes conclusions ». Ces mêmes directives exigent que la corroboration contienne des renvois précis aux éléments probants qui étayent les constatations.

34. Sur la base de cette politique et de ces directives, l’équipe de la revue des pratiques s’attendait à ce que la corroboration soit réalisée selon les principes de l’auditeur expérimenté et de réexécution. Cependant, la Norme canadienne de missions de certification (NCMC) 3001 — Missions d’appréciation directe ne mentionne pas le principe de réexécution. La norme fait uniquement référence au principe de l’auditeur expérimenté. C’est donc dire que les méthodes pourraient confondre les termes « principe de l’auditeur expérimenté » et « principe de réexécution ». De plus, la documentation, les éléments probants et la corroboration sont des concepts différents qui sont parfois utilisés comme des termes interchangeables dans la section sur la corroboration du manuel d’audit. Nous estimons que, sur la base de nos travaux, les directives du Bureau sur la corroboration pourraient être plus claires.

35. Recommandation adressée aux Services d’audit — Les Services d’audit devraient revoir les directives de la section 7060 (Corroboration) du Manuel pour les missions d’appréciation directe en vue de les clarifier et de les réviser au besoin.

Réponse des Services d’audit — Recommandation acceptée. Les Services d’audit ont révisé et clarifié la section 7060 du Manuel lors de la mise à jour des méthodes de juillet 2019.

Formation destinée aux auditeurs qui réalisent des examens spéciaux

36. Il y a eu plus d’examens spéciaux revus au cours de l’exercice que d’habitude, car le Bureau avait atteint le sommet du cycle de dix ans. Nous avons donc revu un plus grand nombre de dossiers d’examen spécial. Un certain nombre d’observations sur la documentation des examens ont été formulées, surtout sur la revue de la corroboration dans le dossier. Nous sommes d’avis que les problèmes relevés sont liés, dans une certaine mesure, au fait que des auditeurs financiers réalisent des examens spéciaux, même s’ils ne connaissent pas suffisamment les méthodes pour les missions d’appréciation directe. Les responsables de mission d’examen spécial peuvent envisager la possibilité de donner une formation en temps opportun, au besoin, aux auditeurs d’états financiers qui prévoient réaliser un examen spécial.

Conclusion

37. Les sept dossiers de mission d’appréciation directe que nous avons revus étaient conformes aux normes professionnelles, aux politiques du Bureau et aux lois et règlements applicables, tout en nécessitant des améliorations.

38. Pour les sept dossiers de mission d’appréciation directe revus, nous avons conclu que le rapport d’audit était bien étayé et approprié.

Annexe A — Éléments du Système de contrôle qualité

Le présent diagramme présente les objectifs, les niveaux et les éléments du Système de contrôle qualité
Version textuelle

Ce diagramme montre trois côtés d’un cube. Chaque côté représente un aspect du Système de contrôle qualité.

Le dessus du cube présente les objectifs du Système de contrôle qualité :

  1. Conformité aux normes professionnelles et aux exigences des textes légaux et réglementaires applicables
  2. Les rapports délivrés sont appropriés aux circonstances

Le côté droit du cube montre les deux niveaux du Système de contrôle qualité :

  • Niveau du cabinet (Norme canadienne de contrôle qualitéNCCQ 1)
  • Niveau de la mission (Norme canadienne d’auditNCA 220 ou Norme canadienne de missions de certificationNCMC 3001)

Le côté gauche du cube montre les éléments du Système de contrôle qualité :

  • Leadership
  • Règles de déontologie et indépendance
  • Acceptation et maintien de la mission
  • Ressources humaines
  • Réalisation des missions
  • Suivi

Annexe B — Éléments et contrôles de processus du Système de contrôle qualité examinés

Notre examen a porté sur les éléments suivants du Système de contrôle qualité :

Leadership — Nous avons vérifié si les responsables de mission s’étaient assurés que les audits avaient été réalisés conformément aux politiques du Bureau, aux normes professionnelles et au Système de contrôle qualité du Bureau, ainsi qu’aux exigences des lois et règlements applicables.

Règles de déontologie et indépendance — Nous avons vérifié si les responsables de mission s’étaient assurés que l’indépendance de toutes les personnes effectuant des travaux d’audit, y compris les spécialistes, avait été rigoureusement évaluée et que l’information à ce sujet était consignée en dossier.

Acceptation et maintien de la mission — Pour les missions initiales et récurrentes, nous avons vérifié si les responsables de mission avaient confirmé que l’équipe disposait d’assez de temps et avait la compétence, les capacités et les ressources nécessaires, si elle respectait les règles de déontologie pertinentes, et si elle avait pris en considération l’intégrité de la direction.

Ressources humaines — Nous avons vérifié si les responsables de mission avaient évalué le caractère adéquat, la disponibilité, les aptitudes, la compétence et les ressources de l’équipe, et s’ils avaient consigné en dossier cette évaluation.

Réalisation des missions — Pour cet élément, nous avons aussi évalué les sous-éléments suivants :

Exigences des autres normes canadiennes d’audit et des politiques du Bureau

Nous avons vérifié si les responsables de mission s’étaient assuré que l’audit avait été planifié, exécuté et communiqué selon les Normes canadiennes d’audit, les lois applicables et les politiques et procédures du Bureau.

Nous avons aussi déterminé si le Bureau s’était acquitté de ses responsabilités en matière de rapports, c’est-à-dire s’il avait mis en place des méthodes d’audit appropriées, des procédures recommandées et des guides pratiques qui favorisent la mise en œuvre de stratégies d’audit efficientes permettant d’obtenir des éléments probants suffisants et en temps voulu.