Cette page Web a été archivée dans le Web.

2002 décembre — Rapport de la vérificatrice générale du Canada

Points saillants

6.1 Il est essentiel de disposer de statistiques de bonne qualité pour tenir un débat public éclairé sur la santé. Statistique Canada est l'un des principaux fournisseurs de statistiques sur la santé. L'organisme a adopté et mis en oeuvre une vaste gamme de systèmes et de pratiques lui permettant d'assurer la qualité de ses programmes statistiques et de faire en sorte que la qualité des données demeure prioritaire. Notre vérification nous a permis de constater que les systèmes et pratiques de Statistique Canada en matière d'assurance de la qualité des données sont valables et que la Division de la statistique de la santé en tient compte pour tous ses programmes de statistiques sur la santé. Cette façon de procéder permet de compiler des statistiques qui répondent aux normes de cet organisme en matière de qualité des données. Nous avons constaté que les statistiques sur la santé compilées par Statistique Canada pour les rapports fédéral, provinciaux et territoriaux de septembre 2002 sur les indicateurs de la santé sont suffisamment exactes à cette fin.

6.2 Étant donné que la Division de la statistique de la santé est directement responsable des enquêtes qu'elle mène, elle apporte les améliorations nécessaires pour assurer la qualité des données le cas échéant. En collaboration avec les organismes qui fournissent les données administratives à Statistique Canada, la Division dirige des activités en vue d'assurer et d'améliorer la qualité des données. Nous avons conclu que les systèmes et pratiques d'assurance de la qualité de Statistique Canada permettent d'assurer la qualité de ses statistiques sur la santé, sauf pour ce qui est d'une base de données.

Contexte et autres observations

6.3 Au nombre des activités actuelles liées au secteur de la santé, on concentre des efforts sur l'élaboration d'indicateurs de la santé permettant de mesurer l'état de santé des Canadiens et les résultats en matière de santé. Dans le communiqué sur la santé émis à l'occasion de leur réunion de septembre 2000, les premiers ministres s'engageaient, au nom de leurs gouvernements respectifs, à produire des rapports périodiques sur les indicateurs de la santé à compter de septembre 2002.

6.4 Notre vérification a porté sur les bases de données et les enquêtes permettant de recueillir des données en vue de ces rapports. À l'échelle fédérale, les deux principaux organismes chargés de la compilation de statistiques sur la santé sont Statistique Canada et Santé Canada. La plupart des données visées par la vérification provenaient de Statistique Canada, alors que quelques-unes provenaient de Santé Canada. Le reste des données provenaient de l'Institut canadien d'information sur la santé (ICIS), ainsi que des provinces et territoires.

6.5 La Division de la statistique de la santé, à Statistique Canada, a pour mandat de fournir des données exactes et pertinentes, en temps opportun, à propos de la santé des Canadiens et du système de santé. La Division veille à ce que ses statistiques sur la santé respectent les normes de Statistique Canada en matière de qualité des données. Elle est responsable des statistiques de l'état civil (naissances, décès), des données sur le cancer, des données pour les indicateurs sur les résultats en matière de santé et des enquêtes sur la santé.

6.6 Toutes les statistiques constituent, dans une certaine mesure, une estimation de la situation réelle. On doit donc les utiliser en tenant compte de leurs points forts et de leurs faiblesses. Cependant, la Division de la statistique de la santé n'applique pas d'une manière constante la politique de Statistique Canada visant à informer les utilisateurs sur la qualité des données et la méthodologie. Statistique Canada a établi une base de données pour informer les utilisateurs quant à la qualité des données, mais les données emmagasinées dans cette base de données ne sont pas complètes. Statistique Canada doit adopter une approche pour aider tous les gestionnaires de programme à entrer des données complètes et à jour dans cette base de données.

6.7 Il est important que la Division détermine la qualité des données qu'elle reçoit de la part d'autres organismes, de façon à ce qu'elle sache dans quelle mesure elle peut se fier à ces données pour l'utilisation qu'elle envisage. La Division reçoit des données provenant de la Base de données sur la morbidité hospitalière de l'ICIS et les utilise pour établir des indicateurs sur les résultats pour les patients. La Division a adopté une approche non interventionniste pour déterminer la qualité de ces données et ne surveille pas la qualité des données de façon adéquate. Nous avons également constaté que Statistique Canada ne surveille pas de façon officielle le respect des exigences du Programme de contribution pour l'information sur la santé en matière de reddition de comptes. L'accord de contribution lié au Programme prévoit le financement des bases de données statistiques que Statistique Canada a transférées à l'ICIS, y compris la Base de données sur les congés des patients. Cette situation a des répercussions sur le maintien de la qualité des bases de données transférées. Exception faite de cette base de données, la Division de la statistique de la santé dispose de systèmes et pratiques d'assurance de la qualité lui permettant d'assurer de façon appropriée la qualité de ses statistiques sur la santé.

6.8 Santé Canada compile des statistiques sur la santé grâce à des systèmes nationaux de surveillance des maladies. Ces systèmes permettent de recueillir des données sur les maladies chroniques, les maladies transmissibles et les blessures. Trois de ces systèmes ont permis de fournir des données en vue des rapports de septembre 2002 sur les indicateurs de la santé. Cependant, les systèmes et pratiques d'assurance de la qualité visant ces bases de données ne permettent pas d'assurer l'exactitude des données. Il n'a donc pas été possible de formuler une opinion quant à l'exactitude de ces données. Des améliorations s'imposent en ce qui a trait à ces processus.

6.9 Santé Canada doit également contrôler le financement offert à l'ICIS en vertu de l'initiative du Carnet de route de l'information sur la santé. Nous avons constaté que le Ministère ne surveille pas cette initiative de près conformément aux exigences liées à la subvention. Par conséquent, on ne peut déterminer de façon officielle si l'initiative atteint ses objectifs ou non.

6.10 Les bases de données de l'ICIS sur les congés des patients et sur la morbidité hospitalière ont permis de fournir des données ayant servi à établir plusieurs des indicateurs qui figurent dans les rapports de septembre 2002 sur les indicateurs de la santé. Les travaux de vérification dirigés par le Bureau du vérificateur général de la Colombie-Britannique ont permis de conclure que la documentation sur le processus d'assurance de la qualité des systèmes d'où proviennent les données est inadéquate. De même, une étude triennale qui fournira des données sur la qualité des données d'entrée ne sera pas terminée avant deux ans. Il n'a donc pas été possible de formuler une opinion quant à l'exactitude des données précises fournies par l'ICIS aux fins des rapports sur les indicateurs de la santé.

Réactions de Statistique Canada et de Santé Canada. Statistique Canada et Santé Canada sont d'accord avec nos recommandations. Cependant, Santé Canada estime que notre chapitre ne tient pas compte du mouvement important d'information entre Santé Canada et l'Institut canadien d'information sur la santé. Statistique Canada et Santé Canada ont indiqué l'un et l'autre dans leurs réponses qu'ils s'appliquent à mettre en oeuvre un certain nombre de mesures pour donner suite à nos recommandations.

Introduction

6.11 Les questions en matière de santé et de soins de santé continuent de soulever un vif débat au Canada. Le vieillissement de la population, l'évolution des technologies et l'accès aux services continuent de faire la manchette régulièrement. Les Canadiens exigent transparence et reddition de comptes en ce qui a trait aux décisions qui ont une incidence sur leurs services de santé. Les professionnels de la santé insistent sur l'importance de données exactes sur les maladies et leur traitement. Les restrictions budgétaires ont donné lieu à un plus grand nombre de discussions à propos des renseignements nécessaires pour prendre des décisions en matière de stratégie et de financement. L'accès à des statistiques fiables et utiles sur la santé peut contribuer à la tenue d'un débat éclairé sur la santé.

6.12 Les statistiques sur la santé désignent les données décrivant la santé des Canadiens et l'état du système de soins de santé du Canada. Les statistiques sur la santé permettent de répondre à certaines questions : Quels sont les facteurs ayant une incidence sur la santé? Combien de Canadiens ont des crises cardiaques chaque année? Ce nombre est-il en hausse ou en baisse? Quels sont les soins de santé reçus par ces personnes? Certains soins sont-ils plus efficaces que d'autres et quel en est le coût pour les contribuables? Quelles sont les mesures préventives efficaces et dans quelle mesure sont-elles généralisées?

6.13 Le concept de statistiques sur la santé a pris de l'expansion au fil des ans au Canada. Jusque dans les années 1960, la plupart des statistiques sur la santé portaient sur la fréquence des maladies. Dans les années 1960 et 1970, les statistiques ont commencé à tenir compte des coûts (financiers et autres) pour le traitement de certains problèmes de santé. Dans les années 1990, les données ont commencé à être utilisées de plus en plus pour établir des indicateurs et des critères d'évaluation relativement à des questions comme les facteurs influant sur la santé. À l'heure actuelle, on accorde beaucoup d'attention à l'élaboration d'indicateurs permettant de mesurer l'état de santé des Canadiens et les résultats pour les patients.

6.14 L'amélioration des statistiques sur la santé peut avoir les effets suivants :

• aider les Canadiens à prendre des décisions plus éclairées à propos de leur santé;
• aider les médecins à offrir de meilleurs soins aux patients en leur communiquant des données empiriques sur les résultats obtenus grâce aux actes médicaux possibles;
• aider les gestionnaires des soins de santé à améliorer le rendement des soins de santé;
• aider les chercheurs à mieux comprendre les facteurs influant sur la santé;
• aider les gouvernements à élaborer de meilleures politiques en matière de santé en leur communiquant des données cruciales et des commentaires pour évaluer les décisions antérieures et les répercussions des décisions à venir.

Récentes mesures canadiennes dans le domaine des statistiques de la santé

6.15 Depuis le dépôt, en 1991, du rapport du Groupe de travail national sur l'information en matière de santé, le Canada accorde de plus en plus d'importance aux statistiques sur la santé et aux façons de les améliorer. Les autres grandes mesures importantes comprennent la création de l'Institut canadien d'information sur la santé (ICIS) et la mise sur pied de la Commission sur l'avenir des soins de santé au Canada. De même, dans le communiqué sur la santé émis lors de leur réunion de septembre 2000, les premiers ministres canadiens s'engageaient, au nom de leurs gouvernements respectifs, à produire des rapports périodiques sur les indicateurs de la santé, à compter de septembre 2002 (voir la pièce 6.1).

Compilation de statistiques sur la santé

6.16 Les statistiques nationales, provinciales et territoriales sur la santé accessibles dans l'ensemble du Canada proviennent de trois organismes principaux (voir la pièce 6.2). À l'échelle fédérale, les deux principaux organismes responsables de la compilation de statistiques sur la santé sont Statistique Canada et Santé Canada. Le troisième, l'Institut canadien d'information sur la santé (ICIS), compile principalement des données administratives sur la santé pour l'ensemble du pays.

6.17 Statistique Canada. Le mandat de Statistique Canada est essentiellement prévu dans la Loi sur la statistique. Cette loi oblige Statistique Canada à recueillir, à analyser et à publier des renseignements statistiques sur les activités économiques, sociales et générales de la population et sur l'état de celle-ci. Il s'agit du principal organisme responsable de la coordination du système statistique du Canada.

6.18 La Division de la statistique de la santé, à Statistique Canada, est principalement responsable des programmes de statistiques sur la santé. Elle a pour mandat de fournir des données exactes et pertinentes, en temps opportun, à propos de la santé des Canadiens et du système de soins de santé. Les principales activités de la Division de la statistique de la santé comprennent la mise en oeuvre de ses programmes de statistiques sur la santé, la production de produits et de services connexes (notamment le journal trimestriel intitulé Rapports sur la santé) et la participation à des projets menés dans le contexte de l'initiative du Carnet de route de l'information sur la santé. Ses données proviennent de deux sources, soit les dossiers administratifs d'autres organismes et ses propres enquêtes. En 2001-2002, la Division disposait d'un budget d'environ 8 millions de dollars et comptait environ 100 employés à temps plein. Au cours de la même année, la Division a également reçu un financement de 10,5 millions de dollars de la part de l'ICIS, pour les projets menés dans le contexte de l'initiative du Carnet de route de l'information sur la santé.

6.19 Santé Canada. Santé Canada compile également de nombreuses statistiques sur la santé. Ses systèmes nationaux de surveillance des maladies permettent de contrôler et de recueillir des données sur les maladies chroniques, les maladies transmissibles et les blessures. Ces systèmes lui permettent de surveiller les maladies et les blessures à l'échelle nationale. Les provinces, les territoires et divers autres organismes fédéraux et non gouvernementaux fournissent également des données pour ces systèmes. De même, Santé Canada est responsable de la prestation de certains services de santé aux Premières nations et de la compilation de statistiques sur la santé des Premières nations.

6.20 Institut canadien d'information sur la santé. Organisme indépendant fondé en 1994, l'Institut canadien d'information sur la santé (ICIS) est une société sans but lucratif constituée en vertu d'une loi fédérale. L'Institut a pour mandat de coordonner l'élaboration et l'adoption d'une approche nationale intégrée dans le domaine des renseignements sur la santé. Il est financé principalement par les provinces et par le gouvernement fédéral. Au moment de la création de l'Institut, Statistique Canada lui a transféré plusieurs archives de données, soit les statistiques sur la morbidité hospitalière, les statistiques sur la santé mentale, les statistiques sur les avortements thérapeutiques, l'Enquête annuelle sur les hôpitaux et l'Enquête sur les infirmiers et infirmières autorisés. Santé Canada a également transféré plusieurs bases de données à l'ICIS. C'est le cas, notamment, de la Base de données sur les dépenses nationales en santé, de la Base de données nationale sur les médecins et de la Base de données sur les soins médicaux. Parmi ses autres responsabilités, l'ICIS administre les fonds associés à l'initiative du Carnet de route de l'information sur la santé.

Objet de la vérification

6.21 La présente vérification fait suite à nos examens antérieurs des efforts déployés par Statistique Canada pour assurer la qualité de ses statistiques nationales, soit notre vérification de 1999, intitulée « Statistique Canada — La gestion de la qualité des statistiques », et notre vérification de suivi réalisée en 2001 sur les progrès accomplis quant à la mise en oeuvre de nos recommandations. Pour ce qui est de notre vérification de 1999, intitulée « La surveillance de la santé nationale : les maladies et les blessures », elle avait permis de déceler des lacunes en ce qui a trait au système utilisé par Santé Canada pour compiler des données de surveillance. Dans notre rapport de septembre 2002, nous indiquions que Santé Canada avait réalisé très peu de progrès en vue de combler certaines de ces lacunes.

6.22 Les objectifs de la présente vérification étaient les suivants :

• déterminer si Statistique Canada a établi des systèmes et des pratiques appropriés pour assurer la qualité de ses statistiques sur la santé;
• déterminer si Statistique Canada, Santé Canada et l'ICIS ont appliqué des systèmes et pratiques d'assurance de la qualité leur permettant d'assurer l'exactitude des indicateurs de la santé établis en vue des rapports fédéraux, provinciaux et territoriaux sur les indicateurs de la santé;
• déterminer si la mise en oeuvre de l'initiative du Carnet de route de l'information sur la santé respecte l'accord de financement.

6.23 La présente vérification est opportune étant donné l'attention que reçoivent actuellement les statistiques sur la santé au Canada. Cette attention accrue fait en sorte que la qualité des statistiques compilées par Statistique Canada, par Santé Canada et par d'autres organismes fait l'objet d'un examen plus approfondi. De façon plus précise, la présente vérification porte sur la pertinence des systèmes d'assurance de la qualité de Statistique Canada pour ses cinq programmes de statistiques sur la santé permettant d'établir des indicateurs de la santé pour l'année la plus récente visée par les rapports de septembre 2002 sur les indicateurs de la santé. Ces programmes sont les suivants : les Statistiques de l'état civil, le Registre canadien du cancer, la Base de données hospitalières axées sur la personne, l'Enquête sur la santé dans les collectivités canadiennes et l'Enquête sur l'accès aux services de santé. Les cinq programmes représentent les principales bases de données de statistiques sur la santé au sein de la Division de la statistique de la santé. Nos travaux comportaient un examen de la façon de procéder employée par l'organisme pour déterminer la qualité des données provenant d'autres organismes et pour informer les utilisateurs quant à la qualité des données.

6.24 Nous avons également examiné l'exactitude des données compilées par Statistique Canada et par Santé Canada aux fins des rapports des gouvernements fédéral, provinciaux et territoriaux de septembre 2002 sur les indicateurs de la santé. Quelques-uns des indicateurs destinés à ces rapports provenaient de deux des nombreuses bases de données de l'ICIS (la Base de données sur les congés des patients et la Base de données sur la morbidité hospitalière). Le Bureau du vérificateur général de la Colombie-Britannique a dirigé une équipe de vérificateurs législatifs (dont nous faisions partie) en vue de l'examen de ces bases de données. Enfin, nous avons examiné deux programmes, soit l'initiative du Carnet de route de l'information sur la santé et le Programme de contribution pour l'information sur la santé, afin de déterminer si les exigences découlant des accords de financement sont respectées. On peut trouver d'autres précisions sur notre vérification dans la section intitulée « À propos de la vérification », à la fin du chapitre.

Observations et recommandations

Qualité des statistiques de la santé de Statistique Canada

Le processus d'assurance de la qualité des données est bien établi à Statistique Canada

6.25 Statistique Canada a mis sur pied et adopté une vaste gamme de systèmes et de pratiques lui permettant d'assurer la qualité de ses programmes statistiques et de faire en sorte que la qualité des données constitue une priorité. Lors de notre vérification de 1999, nous avions constaté que le cadre d'assurance de la qualité de Statistique Canada, tout comme celui d'autres organismes statistiques reconnus, abordait la qualité des données du point de vue de l'utilisateur. Le cadre prévoit six caractéristiques ou normes de qualité et définit un processus de gestion de la qualité pour les systèmes et pratiques d'assurance de la qualité des données (voir la pièce 6.3). Ces caractéristiques sont conformes à nos propres critères de vérification pour assurer la qualité des statistiques de façon appropriée. Nous avons constaté que Statistique Canada utilise un certain nombre de mécanismes officiels d'évaluation de la qualité des données mais que certains programmes ne les appliquent pas d'une manière constante.

6.26 Notre vérification de 1999 a fait l'objet d'un suivi en 2001. Lors de cette vérification de suivi, nous avions constaté que l'organisme avait élaboré un mécanisme officiel révisé d'évaluation de la qualité pour tous ses programmes statistiques. Statistique Canada s'est inspiré de son cadre d'assurance de la qualité pour concevoir le processus de rapports intégrés sur les programmes comme méthode d'autoévaluation rigoureuse et approfondie de la qualité des données. La pièce 6.4 résume le processus de rapports intégrés sur les programmes, ainsi que les lignes directrices de l'organisme.

Les programmes de Statistique Canada en matière de statistiques de la santé respectent les normes de l'organisme en matière de qualité

6.27 La présente vérification nous a permis de constater que les systèmes et pratiques d'assurance de la qualité de Statistique Canada sont valables. La Division de la statistique de la santé respecte le cadre d'assurance de la qualité de l'organisme et elle a établi des mesures de la qualité montrant qu'elle respecte les exigences en matière de qualité. Lorsque la Division décèle des problèmes liés à la qualité, elle prend des mesures en vue de les régler. La Division présente les résultats de ses pratiques en matière d'assurance de la qualité dans son rapport de l'examen biennal et dans son rapport de l'examen quadriennal de programme; cependant, les mesures d'évaluation de la qualité doivent être mieux documentées pour que les intervenants internes et externes soient mieux renseignés sur la qualité des données.

6.28 Étant donné que la Division de la statistique de la santé est directement responsable des enquêtes qu'elle mène, elle apporte les améliorations requises pour assurer le maintien de la qualité des données le cas échéant. En collaboration avec les organismes qui fournissent les données administratives à Statistique Canada, la Division dirige des activités en vue d'assurer et d'améliorer la qualité des données. Exception faite d'une composante de la Base de données hospitalières axées sur la personne, les systèmes et pratiques d'assurance de la qualité de la Division de la statistique de la santé permettent de compiler des données respectant les normes de Statistique Canada et d'assurer la qualité de ses statistiques sur la santé.

La Division de la statistique de la santé évalue systématiquement les procédures qu'elle applique pour assurer la qualité des données en faisant appel au processus de rapports intégrés sur les programmes

6.29 Nous nous attendions à ce que Statistique Canada applique ses systèmes et pratiques d'assurance de la qualité de manière constante à tous ses programmes de statistiques sur la santé. Nous nous attendions également à ce que l'organisme évalue le caractère adéquat de ces systèmes et pratiques en assurant la qualité conformément au cadre d'assurance de la qualité et aux lignes directrices visant la présentation de rapports intégrés sur les programmes.

6.30 Le processus de rapports intégrés sur les programmes permet d'évaluer l'assurance de la qualité. Notre vérification nous a permis de constater que la logique et la conception du processus de rapports intégrés sur les programmes de Statistique Canada sont conformes au cadre d'assurance de la qualité de l'organisme. Ce processus oblige les gestionnaires à examiner les systèmes et pratiques d'assurance de la qualité en vigueur, ainsi que les résultats obtenus grâce à ces pratiques. Les lignes directrices exigent un examen des estimations de l'exactitude des programmes statistiques et la divulgation de l'exactitude des principales sources de données dans le cas des programmes d'analyse.

6.31 La Division de la statistique de la santé a établi son rapport de l'examen biennal de programme en février 2000 et son rapport de l'examen quadriennal en novembre 2001 (voir le paragraphe 6.75 pour connaître nos observations en ce qui a trait à la Consolidation annuelle des indicateurs). Les deux rapports renferment des données utiles sur les programmes et produits de la Division, y compris des renseignements sur les défis liés aux programmes menés par la Division. De même, ils traitent de certains problèmes liés à la qualité des données dans le cas des principaux communiqués et publications statistiques. Les deux rapports ont été examinés officiellement par des comités de gestion supérieure. Ces derniers ont fait part de leurs commentaires et ils ont demandé des précisions au besoin.

6.32 Les rapports de l'examen biennal et de l'examen quadriennal de programme ne renferment pas suffisamment de résultats à propos de la qualité des données. Bien que la Division de la statistique de la santé ait appliqué des systèmes et pratiques d'assurance de la qualité à ses programmes statistiques, les rapports de l'examen biennal et de l'examen quadriennal de programme ne renfermaient pas suffisamment de résultats précis sur l'évaluation de la qualité des données, comme l'exigent les lignes directrices. Par conséquent, nous n'avons pas été en mesure de tirer une conclusion quant à savoir si les programmes de la Division respectent les systèmes et pratiques de l'organisme en matière d'assurance de la qualité. L'absence de résultats précis sur la qualité des données dans les rapports a limité la capacité de la Division de montrer dans quelle mesure elle respectait les exigences en matière de qualité des données. Cette situation a également eu une incidence sur la capacité de la Division d'amener la haute direction à se pencher sur les secteurs dans lesquels des améliorations s'imposaient.

6.33 Par conséquent, les deux rapports de programme ne renferment pas les données requises pour nous permettre de tirer une conclusion quant au caractère adéquat des systèmes et pratiques en matière d'assurance de la qualité. Nous avons donc effectué certains travaux supplémentaires pour déterminer si ce problème était attribuable à la piètre qualité de la documentation figurant dans les rapports ou à des lacunes réelles en matière d'assurance de la qualité des données. Nous avons constaté que Statistique Canada effectue plus de travaux d'assurance de la qualité que l'organisme ne l'indique dans ses deux rapports de programme.

6.34 Recommandation. Statistique Canada devrait incorporer de la documentation et du matériel de référence plus appropriés pour assurer une documentation plus complète des résultats de ses systèmes et pratiques en matière de qualité des données dans le rapport de l'examen biennal et dans le rapport de l'examen quadriennal de programme.

Réponse de l'organisme. Statistique Canada est d'accord. L'organisme citera, dans les rapports de l'examen biennal et de l'examen quadriennal de programme, des rapports précis sur la qualité des données, à l'appui des activités de programme importantes. Statistique Canada continuera d'améliorer l'utilité du processus de rapports intégrés sur les programmes grâce à un examen périodique.

Statistique Canada assure la direction des travaux pour renforcer l'intégrité des statistiques de l'état civil

6.35 Statistique Canada utilise non seulement les résultats des systèmes et pratiques d'assurance de la qualité dont il est question dans les rapports de programmes, mais également les résultats d'autres travaux, pour gérer la qualité de ses statistiques sur la santé. Nous avons constaté que Statistique Canada applique des systèmes et pratiques d'assurance de la qualité à ses données sur l'état civil et que les données respectent les normes de l'organisme en matière de qualité. Outre les indications qu'il donne dans les rapports de programmes, l'organisme évalue la qualité des données et indique certains secteurs où l'intégrité des données pourrait être améliorée. Statistique Canada dirige, en collaboration avec les provinces et territoires, des travaux visant à améliorer l'intégrité des statistiques sur l'état civil à l'échelle du Canada.

6.36 En raison des exigences législatives en matière de déclaration, les données sur l'état civil (naissances, décès, accouchements d'enfants morts-nés) sont à peu près complètes. Les provinces et territoires sont responsables de la collecte de statistiques, de leur révision et de leur transmission à Statistique Canada. Statistique Canada compile et traite les données sur l'état civil reçues. Statistique Canada a entrepris des travaux pour évaluer la qualité des données, y compris la vérification des dossiers posant des problèmes, l'exécution de nombreuses vérifications et imputations, ainsi que le suivi quant à l'incidence possible sur la qualité des données. L'organisme établit des rapports sur la saisie, la vérification et le contrôle de la qualité des données. Statistique Canada prélève également un échantillon annuel de dossiers et vérifie indépendamment ceux-ci par rapport aux données d'enregistrement initiales. L'organisme a consigné les sources et les causes des lacunes et s'attache activement à les combler.

6.37 Statistique Canada collabore avec chaque administration en vue d'assurer la qualité des données. L'organisme veille également à l'amélioration de la qualité des données en participant aux activités du Conseil de la statistique de l'état civil du Canada, un organisme créé par suite du partenariat établi entre les registres provinciaux et territoriaux des statistiques de l'état civil et Statistique Canada. Le Conseil a élaboré, pour 1999 à 2004, un plan d'activités dans lequel il s'engage à améliorer les normes nationales dans des domaines comme la définition des données, la collecte de données et la production de rapports. Par ailleurs, dans le contexte de l'initiative du Carnet de route de l'information sur la santé, Statistique Canada collabore à un projet en vue d'améliorer la qualité des données et d'accroître la capacité d'utiliser ces données pour élaborer de l'information sur les résultats en matière de santé.

Statistique Canada collabore avec les responsables des registres provinciaux et territoriaux du cancer pour améliorer la qualité des données

6.38 Nous avons constaté que l'application, par Statistique Canada, de ses systèmes et pratiques d'assurance de la qualité aux données du Registre canadien du cancer respecte ses propres normes en matière de qualité des données. L'organisme évalue la qualité des données, détermine les améliorations possibles et collabore avec les registres provinciaux et territoriaux du cancer pour apporter ces améliorations.

6.39 Le Registre canadien du cancer renferme des données compilées par les registres provinciaux et territoriaux du cancer. Les fichiers de données sont transmis à Statistique Canada aux fins de vérification de contrôle, d'élimination des fichiers redondants et en double, d'entrée des données dans un registre national, et d'analyse. Statistique Canada effectue une vaste gamme de vérifications de contrôle pour assurer l'intégralité et la qualité des données. Par ailleurs, l'organisme produit régulièrement une série de rapports sur le contrôle de la qualité et met ces rapports à la disposition des registres provinciaux et territoriaux pour améliorer la qualité globale des données et pour cibler les secteurs nécessitant une amélioration.

6.40 Statistique Canada réalise également d'autres travaux pour promouvoir la qualité de ses données. En effet, l'organisme commandite un atelier annuel sur le codage lié au Classement international des maladies. Il commande également des études sur la qualité des données pour donner suite à certaines préoccupations. Dans le contexte de l'initiative du Carnet de route de l'information sur la santé, Statistique Canada dirige des travaux réalisés conjointement avec des partenaires provinciaux et territoriaux en vue de mettre en oeuvre un projet comportant l'évaluation de l'intégralité et de la qualité des données existantes.

6.41 Recommandation. Statistique Canada devrait continuer de collaborer avec les provinces et les territoires en vue d'améliorer la qualité des bases de données renfermant des statistiques sur la santé.

Réponse de l'organisme. Statistique Canada est d'accord.

Des mesures supplémentaires s'imposent pour assurer la qualité des données dans le cas de la Base de données hospitalières axées sur la personne

6.42 Les données axées sur la personne visent à analyser la situation et à décrire les résultats obtenus par les Canadiens lorsqu'ils ont recours au système de soins de santé (c.-à-d. les résultats pour les patients). La Base de données hospitalières axées sur la personne est construite en transformant les données sur la morbidité hospitalière, lesquelles sont axées sur les événements (c.-à-d. les visites à l'hôpital), en données axées sur la personne (c.-à-d. toutes les visites à l'hôpital effectuées par la même personne). Nous avons constaté que Statistique Canada n'a pas officiellement déterminé la qualité des données sur la morbidité hospitalière provenant de l'ICIS (voir les paragraphes 6.60 à 6.64). Nous avons donc été incapables de tirer une conclusion quant à savoir si la Base de données hospitalières axées sur la personne respectait les normes de Statistique Canada en matière de qualité des données.

6.43 Cette base de données réunit les dossiers consignant les visites à l'hôpital, de manière à créer des renseignements qui peuvent servir à établir les résultats pour la santé d'une personne qui a recours aux soins de santé. Citons, à titre d'exemple de données axées sur la personne visant les résultats pour les patients, le taux de survie net de 365 jours en cas d'infarctus aigu du myocarde et le taux de survie net de 180 jours en cas d'accident vasculaire cérébral.

6.44 Les deux rapports de programmes décrits précédemment indiquent que des rapports sont préparés pour évaluer la qualité des mécanismes employés pour lier les données sur chaque personne. De même, dans le contexte de l'initiative du Carnet de route de l'information sur la santé, Statistique Canada réalise des travaux associés au projet d'information axée sur la personne. Ce projet vise à accroître la capacité de Statistique Canada de combiner les données sur les soins de santé et à utiliser cette capacité pour compiler des données sur la santé des Canadiens et sur le rendement du système de soins de santé.

6.45 Malgré tout, les rapports de programmes ne renvoient pas à des mesures précises pour évaluer la qualité des données dans le cas de la Base de données hospitalières axées sur la personne. Les rapports indiquent que Statistique Canada produit régulièrement une série de rapports de contrôle de la qualité pour surveiller la qualité des principaux éléments d'information axés sur la personne consignés aux dossiers de morbidité hospitalière. Nous avons constaté que ces rapports sur le contrôle de la qualité portaient uniquement sur certaines questions très précises et sur des cas où la transformation des données sur la morbidité hospitalière avait donné lieu à des erreurs. Statistique Canada n'a pas réalisé d'autres travaux pour déterminer la qualité globale des données provenant de cette source.

Les données de l'Enquête sur la santé dans les collectivités canadiennes respectent les normes en matière de qualité

6.46 Statistique Canada utilise une série exhaustive de systèmes et de pratiques d'assurance de la qualité pour l'Enquête sur la santé dans les collectivités canadiennes. Les résultats sont utilisés pour gérer la qualité des données, et nous avons constaté que l'enquête respecte les normes de l'organisme en matière de qualité des données.

6.47 L'Enquête sur la santé dans les collectivités canadiennes est une nouvelle enquête biennale. Elle permet de recueillir des données à propos des facteurs influant sur la santé, de l'état de santé des personnes et du système de santé, en vue de répondre aux besoins en matière de renseignements à l'échelle nationale, provinciale, territoriale et régionale. Statistique Canada a publié les résultats de sa première enquête en mai 2002.

6.48 Au début de la présente vérification, Statistique Canada a accepté de procéder à une autoévaluation des systèmes et pratiques de gestion de la qualité utilisés pour réaliser l'enquête et ce, parce que l'enquête était en cours au moment où la Division de la statistique de la santé a préparé ses rapports de l'examen biennal et de l'examen quadriennal de programme.

6.49 L'autoévaluation a permis de conclure que cette enquête repose sur un programme exhaustif d'assurance de la qualité. Ce programme permet d'assurer la qualité des données grâce à des consultations exhaustives, des essais et des mesures de surveillance et grâce à d'autres activités liées à l'assurance de la qualité des données. À la suite d'autres examens, nous avons constaté que Statistique Canada :

• avait organisé des consultations appropriées pour assurer la pertinence des statistiques pour les utilisateurs;
• avait élaboré et mis à l'essai la majeure partie de l'enquête dans le contexte d'une enquête précédente;
• avait obtenu des estimations fiables grâce à la taille de l'échantillon et à la méthode utilisée pour les régions sanitaires;
• avait mis en place une infrastructure solide pour la collecte des données;
• avait produit des rapports mensuels sur l'assurance de la qualité;
• avait communiqué les données en temps opportun.

Les données de l'Enquête sur l'accès aux services de santé respectent les normes en matière de qualité

6.50 Statistique Canada réalisait, en 2002, l'Enquête sur l'accès aux services de santé, un complément à l'Enquête sur la santé dans les collectivités canadiennes, afin de recueillir quelques données supplémentaires en vue des rapports de septembre 2002 sur les indicateurs de la santé. L'organisme a utilisé les mêmes systèmes et procédures d'assurance de la qualité que dans le cas de l'Enquête sur la santé dans les collectivités canadiennes. Nous avons conclu que l'Enquête sur l'accès aux services de santé faisait appel à des systèmes et pratiques d'assurance de la qualité appropriés pour assurer la qualité des données.

La compilation de statistiques de bonne qualité

6.51 Bien que les programmes de statistiques de la santé de Statistique Canada respectent les normes en matière d'assurance de la qualité des données, on peut toujours apporter des améliorations à cet égard. La qualité des statistiques n'est pas une norme absolue, mais elle est axée sur les éléments du cadre d'assurance de la qualité et sur l'utilisation prévue des statistiques. La mise en oeuvre d'un cadre d'assurance de la qualité exige une évaluation, une surveillance, un examen et des rajustements continuels. Statistique Canada se soucie énormément de la qualité des données. L'organisme détermine les améliorations possibles et prend des mesures pour les apporter. Par ailleurs, l'un des principes sous-jacents du cadre d'assurance de la qualité de Statistique Canada est le besoin de déployer des efforts constants pour assurer la qualité des données en tout temps.

6.52 Nous avons constaté que les systèmes et pratiques d'assurance de la qualité respectent les normes du cadre d'assurance de la qualité de Statistique Canada. Ces normes visent à assurer, entre autres choses, l'exactitude des données. Nous avons constaté que les données sont exactes aux fins de la production des rapports des gouvernements (données nationales, provinciales et territoriales en vue des rapports de septembre 2002 sur les indicateurs de la santé). Cependant, les utilisateurs qui concentrent leur attention sur les données à un niveau moins élevé ou plus détaillé (par exemple, le taux d'incidence d'une maladie à l'échelle d'une administration régionale de la santé) doivent être informés que chacune des améliorations apportées par Statistique Canada à la qualité des données au niveau provincial et territorial n'améliorera pas nécessairement l'exactitude des données à un niveau plus bas.

La communication, aux utilisateurs, de renseignements sur la qualité des statistiques sur la santé manque de constance

6.53 Toutes les statistiques constituent, dans une certaine mesure, une estimation de la réalité, c'est pourquoi on doit les utiliser en tenant pleinement compte de leurs points forts et de leurs faiblesses. La politique de Statistique Canada en matière d'information des utilisateurs en ce qui a trait à la qualité des données et à la méthodologie utilisée (voir la pièce 6.5) consiste à communiquer aux utilisateurs les renseignements dont ils ont besoin pour déterminer si les statistiques répondent à leurs besoins. Notre vérification de 1999 avait permis de conclure que l'application de la politique de Statistique Canada n'était pas constante. Lors de notre vérification de suivi, en 2001, nous avons constaté que Statistique Canada avait pris des mesures pour donner suite à nos observations. En effet, l'organisme avait commencé à créer une source de renseignements centrale devant servir à la préparation des rapports internes et à la divulgation externe des renseignements sur la qualité des statistiques. Cette base de données est la base de métadonnées intégrées. Statistique Canada a lancé la base de métadonnées intégrées en 2000 et prévoyait faire en sorte qu'elle renferme des renseignements sur la qualité des données, sur la méthodologie et les concepts sous-jacents de chacune des bases de données de l'organisme. L'intention était d'assurer ainsi la création d'une source de renseignements centrale aux fins de la production de rapports internes cohérents et efficaces et de la divulgation externe de renseignements sur la qualité des statistiques de Statistique Canada.

6.54 Nous nous attendions à ce que, conformément à la politique en vigueur, les programmes statistiques individuels permettent d'informer les utilisateurs de façon appropriée quant à la qualité des données et à la méthodologie utilisée, au moment où les données leur sont communiquées.

6.55 Nous avons constaté que la Division de la statistique de la santé applique la politique pour informer les utilisateurs quant à la qualité des données et à la méthodologie utilisée, mais son application n'est pas constante. En effet, les exigences de la politique ne sont pas toutes respectées en ce qui a trait à la divulgation de renseignements sur la qualité des statistiques sur la santé. La base de métadonnées intégrées renferme certains renseignements à propos de la qualité des données mais ces renseignements ne sont pas aussi nombreux que ce que prévoit la politique.

6.56 Application non constante de la politique. Statistique Canada a réalisé, en 2001-2002, une vérification interne du respect de la politique à l'échelle de l'organisme. Cette vérification a donné lieu à l'examen d'échantillons de produits statistiques récents, ainsi que des données d'enquête comprises dans la base de métadonnées intégrées. Elle a permis de constater que les produits de Statistique Canada ne permettent pas de transmettre un message cohérent aux utilisateurs et que le personnel affecté au programme a de la difficulté à déterminer certaines des exigences de la politique. De même, l'échantillon prélevé aux fins de la vérification interne n'englobait ni les données des enquêtes courantes sur la santé ni les données des bases de données courantes. Compte tenu de cette vérification, nous avons vérifié si les données des programmes maintenant comprises dans la base de métadonnées intégrées avait permis d'informer les utilisateurs de façon appropriée quant à la qualité des données.

6.57 La base de métadonnées intégrées renferme des statistiques incomplètes sur la santé. Nous avons constaté, dans tous les cas, que les renseignements emmagasinés dans la base de métadonnées intégrées ne sont pas aussi nombreux que ne l'exige la politique. Ainsi, la base de métadonnées ne renferme pas certains indicateurs essentiels pour évaluer la qualité des données. Dans l'ensemble, la base de données ne donne pas une idée complète de la qualité des données se rapportant aux programmes de santé.

6.58 La Division des normes, l'unité de Statistique Canada responsable de la mise à jour de la base de données, reconnaît que la base de données ne renferme pas des données complètes sur l'évaluation de la qualité. La direction de la Division a fait part de son intention d'améliorer la base de données en élaborant des modèles répondant aux besoins précis de certains secteurs de programme. La direction reconnaît la nécessité d'élaborer une nouvelle approche pour aider les gestionnaires de programme à assurer la mise à jour des renseignements contenus dans la base de données.

6.59 Recommandation. Statistique Canada devrait s'assurer que l'information sur la qualité des données des programmes de santé comprise dans la base de métadonnées intégrées est complète.

Réponse de l'organisme. Statistique Canada est d'accord. L'organisme poursuivra ses efforts en vue d'améliorer l'accès à de l'information complète et à jour sur la qualité des données des programmes de santé comprise dans la base de métadonnées intégrées.

La surveillance de la qualité des statistiques fournies par l'Institut canadien d'information sur la santé est insuffisante

6.60 Statistique Canada exerce un contrôle considérablement différent sur l'assurance de la qualité, lorsqu'il s'agit des données d'enquête et lorsqu'il s'agit des données administratives (voir le paragraphe 6.28). Statistique Canada est directement responsable de la qualité des enquêtes que réalise l'organisme. Par contre, l'organisme n'est pas directement responsable de la gestion de la qualité des données administratives recueillies par d'autres organismes. C'est le cas, notamment, des données de l'Institut canadien d'information sur la santé (ICIS). Nous nous attendions à ce que Statistique Canada détermine la qualité des données provenant de l'ICIS.

6.61 Bien que Statistique Canada ait pris des mesures pour tenir compte des préoccupations se rapportant à certaines données de l'ICIS, l'organisme n'a pris aucune mesure pour déterminer officiellement la qualité des données sur la morbidité hospitalière qui lui sont communiquées (voir la pièce 6.6). Cette situation nous préoccupe étant donné que ces données sont utilisées pour établir les indicateurs de la santé et que nous ne pourrions pas conclure à l'exactitude des données.

6.62 D'après les rapports de programme de Statistique Canada, cet organisme assure la qualité des données dans le cas des bases de données transférées à l'ICIS. Selon les rapports, avant la publication des données, Statistique Canada assure l'intégralité de celles-ci, effectue une analyse des tendances et corrige certains fichiers. Dans les rapports, il est également question d'une étude approfondie réalisée en 1998 par Statistique Canada sur la qualité des données obtenues pour préparer l'Enquête annuelle sur les hôpitaux. De même, bien que Statistique Canada ait transféré à l'ICIS l'Enquête sur les établissements de soins pour bénéficiaires internes, celle-ci lui a été retournée en raison de graves lacunes dans la qualité des données.

6.63 Nous avons toutefois noté que Statistique Canada a adopté une approche non interventionniste pour ce qui est de la qualité des données sur la morbidité hospitalière reçues de l'ICIS. Nous avons décelé peu de renseignements sur la qualité des données dans les deux bases de données pertinentes. L'ICIS avait effectué la première partie d'une étude visant la Base de données sur les congés des patients, d'où est tirée la Base de données sur la morbidité hospitalière. Il avait publié un sommaire de cette étude et, bien qu'il existe une version plus détaillée de cette étude, Statistique Canada n'a pas demandé à l'obtenir.

6.64 Les données de ces deux bases sont utilisées sur une grande échelle pour surveiller l'utilisation des soins intensifs de courte durée et pour effectuer une analyse de l'état de santé des personnes et des blessures. Les données sont également de plus en plus utilisées pour assurer un suivi en ce qui a trait aux résultats pour les patients et constituent l'une des principales sources de renseignements des divers rapports et publications. Compte tenu de leur utilisation exhaustive, la qualité des données mérite une attention toute particulière.

6.65 Recommandation. Statistique Canada devrait procéder à une détermination périodique officielle de la qualité des données sur la morbidité hospitalière reçues de l'Institut canadien d'information sur la santé.

Réponse de l'organisme. Statistique Canada est d'accord. L'organisme collaborera avec l'Institut canadien d'information sur la santé pour assurer l'établissement de rapports périodiques sur la qualité des données de la Base de données sur la morbidité hospitalière.

6.66 Les exigences du Programme de contribution pour l'information sur la santé, en matière de reddition de comptes, ne sont pas respectées. Par suite de la création de l'ICIS, en 1994, Statistique Canada a transféré plusieurs programmes de statistiques sur la santé à l'ICIS. En vertu de l'accord quinquennal visant le Programme de contribution pour l'information sur la santé conclu entre les deux organismes, Statistique Canada a transféré 4,75 millions de dollars entre 1994-1995 et 1999-2000. L'organisme a ainsi transféré à l'ICIS la responsabilité de diverses enquêtes, notamment sur la santé mentale, les avortements thérapeutiques, les données sur la morbidité et l'Enquête annuelle sur les hôpitaux. Il convient de signaler que Statistique Canada n'a pas officiellement délégué des pouvoirs à l'ICIS en vertu de la Loi sur la statistique, mais plutôt en vertu de l'accord de contribution.

6.67 L'accord de contribution décrit les exigences en matière de reddition de comptes pour le Programme de contribution pour l'information sur la santé. Entre autres, il exige que l'ICIS mette à la disposition de Statistique Canada de l'information sur les bases de données et lui soumette des rapports annuels de vérification et des rapports sur l'évaluation des programmes.

6.68 L'ICIS a soumis des rapports annuels de vérification à Statistique Canada par l'intermédiaire du représentant de Statistique Canada au sein du conseil d'administration de l'ICIS. L'accord précisait que l'ICIS devait effectuer une évaluation de programme en 1997-1998 pour les trois premières années complètes de son existence (et pour chaque période de trois ans par la suite, tant que l'ICIS recevra un financement en vertu de l'accord). Cette évaluation devait permettre d'examiner la situation et d'évaluer la valeur des principaux objectifs atteints et résultats obtenus, y compris les répercussions dans des domaines ciblés par l'ICIS.

6.69 Au lieu d'effectuer une évaluation en bonne et due forme, l'ICIS a confié à un cabinet d'experts-conseils, en 1997, la réalisation d'un examen externe. Cet examen a porté sur le mandat de l'ICIS, sa gestion et son fonctionnement. Cependant, il ne touchait pas les principaux objectifs atteints et résultats obtenus. Statistique Canada a renouvelé l'accord de contribution en 2000 pour une période supplémentaire de cinq ans (2,8 millions de dollars) sans demander une deuxième évaluation comme l'exige l'accord. En outre, l'accord de contribution renouvelé exigeait que l'ICIS établisse et soumette à Statistique Canada un cadre d'évaluation pour ses activités globales avant la fin de 2000-2001. Or, Statistique Canada n'a rien fait pour obtenir ce cadre. Nous avons constaté que Statistique Canada n'a pas pris de mesures pour assurer le respect des dispositions de l'accord de contribution en matière de reddition de comptes.

6.70 Santé Canada a également versé des fonds à l'ICIS en vertu d'un accord de contribution lié au Programme de contribution pour l'information sur la santé. En effet, le Ministère a transféré 13,4 millions de dollars et plusieurs bases de données à l'ICIS entre 1994-1995 et 1999-2000. Tout comme dans le cas de Statistique Canada, Santé Canada a renouvelé l'accord pour une période supplémentaire de cinq ans en 2000-2001 (10,4 millions de dollars) sans veiller à ce qu'une évaluation de programme soit effectuée. De même, l'accord de contribution renouvelé obligeait l'ICIS à établir et à soumettre à Santé Canada un cadre d'évaluation pour ses activités globales avant la fin de 2000-2001. Or, Santé Canada n'a rien fait pour obtenir ce cadre. Nous avons constaté que Santé Canada n'a pas pris de mesures pour assurer le respect des dispositions de l'accord de contribution en matière de reddition de comptes.

6.71 Recommandation. Statistique Canada et Santé Canada devraient surveiller méthodiquement les exigences de leur accord de contribution respectif visant le Programme de contribution pour l'information sur la santé et assurer le respect de ces exigences.

Réponse de Statistique Canada. Statistique Canada est d'accord. L'organisme a reçu et commenté un cadre d'évaluation de l'accord de contribution avec l'Institut canadien d'information sur la santé. Des démarches sont présentement en cours en vue de procéder à une évaluation officielle.

Réponse de Santé Canada. Santé Canada a déjà augmenté considérablement sa capacité de surveiller les accords de contribution et d'améliorer son interaction avec l'Institut canadien d'information sur la santé. En outre, l'Institut, Statistique Canada et Santé Canada ont élaboré conjointement un cadre pour évaluer les accords de contribution. Ce cadre orientera l'évaluation conjointe du Programme de contribution pour l'information sur la santé et du Carnet de route de l'information sur la santé qui sera terminée d'ici septembre 2003.

Statistique Canada a présenté peu d'information au Parlement sur la qualité des statistiques de la santé

6.72 Lors de notre vérification de 1999, nous avions constaté que, même si la qualité des statistiques constituait l'un des principaux engagements de Statistique Canada envers le Parlement, le rapport annuel sur le rendement de l'organisme renfermait peu de renseignements sur la qualité de ses statistiques. Nous avions donc recommandé une amélioration de ces renseignements.

6.73 Nous avons pu constater que Statistique Canada a modifié son Rapport sur le rendement depuis notre vérification de 1999, de façon à appliquer notre recommandation. Ainsi, Statistique Canada fait maintenant état du rendement en fonction de son cadre d'assurance de la qualité. Plusieurs produits statistiques essentiels au mandat de Statistique Canada ont systématiquement fait l'objet d'un compte rendu dans le Rapport sur le rendement, en ce qui a trait à la pertinence, à l'exactitude, à l'à-propos, à l'accessibilité, à la possibilité d'interprétation et à la cohérence.

6.74 Nous avons noté que la Division de la statistique de la santé a fait l'objet d'importantes modifications ces dernières années afin de répondre aux besoins en matière de données sur la santé. Or, les rapports sur le rendement de Statistique Canada pour les périodes se terminant le 31 mars 2000 et le 31 mars 2001 en font peu mention. La Division a pris de l'expansion ces dernières années, notamment en raison du financement lié à l'initiative du Carnet de route de l'information sur la santé. Statistique Canada a reçu environ 40 millions de dollars sur une période de quatre ans (de 1999-2000 à 2002-2003) pour améliorer la qualité des statistiques sur la santé, y compris en ce qui a trait à l'Enquête sur la santé dans les collectivités canadiennes, aux Statistiques de l'état civil et au Registre canadien du cancer. Les rapports sur le rendement ne font pas état des réalisations associées à ce financement supplémentaire. Ils n'indiquent pas non plus les partenaires pour ce qui est de la compilation de statistiques sur la santé à l'échelle fédérale, provinciale et territoriale.

6.75 Les indicateurs ne font pas l'objet d'une consolidation annuelle. D'après les lignes directrices de 2000-2001 de Statistique Canada visant le processus de rapports intégrés sur les programmes, la consolidation annuelle des indicateurs de rendement devait être effectuée au cours de la même année. Nous avons constaté que bien que Statistique Canada avait en main la majeure partie de l'information, l'organisme n'a pas effectué cette consolidation pour la Division de la statistique de la santé. Des représentants de la Division de la planification intégrée nous ont indiqué que cette situation était attribuable au fait que la mise en oeuvre globale du processus de rapports intégrés sur les programmes demande beaucoup de temps et d'effort, et que la consolidation annuelle des indicateurs sera effectuée au fil du temps. Il s'agit là d'un inconvénient étant donné que ces indicateurs constituent une source de renseignements pour le Rapport sur le rendement de Statistique Canada.

6.76 Recommandation. Statistique Canada devrait inclure, dans son rapport sur le rendement, de l'information sur les principaux résultats obtenus dans le contexte de ses activités relatives aux statistiques sur la santé, y compris les travaux effectués en vertu de l'initiative du Carnet de route de l'information sur la santé.

Réponse de l'organisme. Statistique Canada est d'accord. L'organisme présentera les résultats de ses activités dans le domaine de la statistique de la santé dans son rapport annuel sur le rendement, le cas échéant.

Qualité des données utilisées par Santé Canada pour compiler les statistiques sur la santé

Application restreinte des pratiques d'assurance de la qualité des données aux statistiques sur la santé

6.77 Santé Canada recueille des données sur les maladies chroniques, les maladies transmissibles et les blessures, au moyen de ses systèmes nationaux de surveillance. Notre examen de ces systèmes s'est limité aux trois bases de données renfermant des données pour les rapports de septembre 2002 sur les indicateurs de la santé, soit le Registre des maladies à déclaration obligatoire, le Système national de surveillance du diabète et le Système canadien de déclaration des cas de tuberculose. Ces trois bases de données font appel aux données administratives fournies à titre facultatif par les provinces et les territoires.

6.78 Nous nous attendions à ce que Santé Canada appliquent des systèmes et pratiques d'assurance de la qualité à ces trois bases de données. Nous nous attendions également à ce que le Ministère utilise les résultats des systèmes et pratiques d'assurance de la qualité pour gérer la qualité et pour produire des rapports sur le rendement.

6.79 Nous avons constaté que Santé Canada n'a pas de cadre global d'assurance de la qualité dans le cas de ses systèmes de surveillance. Le Ministère prend certaines mesures pour assurer la qualité, mais il s'agit principalement de mesures ponctuelles qui varient selon le système utilisé. Les mécanismes d'assurance de la qualité ne sont pas rigoureux et ne donnent pas lieu à des indicateurs concrets de la qualité. Il n'est donc pas possible de conclure à l'exactitude des données de surveillance.

6.80 Nous avons examiné les mesures prises par Santé Canada en ce qui a trait aux trois systèmes de surveillance pour assurer la bonne qualité des statistiques. Le Ministère prend certaines mesures pour améliorer la qualité des données, notamment des vérifications manuelles et automatisées des données provenant des provinces et territoires. C'est le cas, notamment, des vérifications visant à assurer la cohérence du codage entre les provinces. Santé Canada retourne les données erronées aux administrations visées pour confirmer l'exactitude des données. De même, étant donné que les administrations n'utilisent pas toutes la même version du codage de la Classification internationale des maladies, le Ministère doit effectuer une certaine conversion pour assurer l'intégrité de ses bases de données en fonction d'un système normalisé de codage.

6.81 Cependant, Santé Canada ne dispose pas de mécanismes de contrôle systématiques et, lorsque des vérifications sont effectuées, elles le sont de façon ponctuelle et non pour donner suite à une politique officielle. Le Ministère n'a pas non plus établi de normes en matière de qualité des données et n'évalue pas la qualité des données, en particulier du point de vue de l'intégralité et de l'exactitude. Santé Canada n'est donc pas en mesure de déterminer l'exactitude de ses données pour ses trois systèmes de surveillance.

6.82 Nos observations rejoignent celles formulées dans le chapitre 2, intitulé « Santé Canada — La surveillance de la santé nationale », de notre rapport de septembre 2002. On y signale que Santé Canada a fait peu de progrès en vue de combler les lacunes décelées lors de notre vérification de 1999. Par ailleurs, bon nombre de ses systèmes de surveillance n'ont toujours pas de données à jour, exactes et complètes sur les maladies.

6.83 Recommandation. Santé Canada devrait, en collaboration avec les provinces et les territoires, adopter un cadre commun d'assurance de la qualité et des normes connexes énonçant les exigences en matière de qualité pour ses systèmes de surveillance de la santé.

Réponse de Santé Canada. Santé Canada collaborera avec les provinces et les territoires à l'élaboration d'un cadre d'assurance de la qualité et de normes pour ses systèmes de surveillance de la santé. Ces normes préciseront ce qui, jusqu'ici, ne constituait que des procédures non officielles et faciliteront l'évaluation de l'exhaustivité et de l'exactitude des données de surveillance reçues des provinces et des territoires.

Vérification de l'exactitude des données afférentes aux indicateurs de la santé

6.84 Les premiers ministres publiaient, en septembre 2000, un communiqué sur la santé dans lequel les ministres de la Santé s'engageaient à produire des rapports périodiques sur l'état de santé des Canadiens, sur les résultats en matière de santé et sur le rendement des services de santé financés par l'État (voir la pièce 6.1). Lors de la Conférence des sous-ministres de la Santé, ces derniers ont approuvé 67 indicateurs devant être utilisés par les administrations et faire l'objet de rapports. Les premiers ministres ont demandé aux ministres de la Santé de déterminer, grâce à une vérification indépendante confiée à un tiers, l'exactitude de leurs données afférentes aux indicateurs de la santé.

Travaux effectués par le Conseil canadien des vérificateurs législatifs

6.85 Il était important non seulement que les administrations gouvernementales produisent des rapports comparables sur les indicateurs, mais également que les indicateurs de la santé soient vérifiés d'une façon comparable. Le Conseil canadien des vérificateurs législatifs, formé des vérificateurs généraux de chaque province et du vérificateur général du Canada, a créé le Groupe d'étude sur les indicateurs de la santé. Ce groupe vient en aide aux bureaux des vérificateurs législatifs dans leur domaine de responsabilité respectif en ce qui a trait à l'accord conclu par les premiers ministres. Les bureaux des vérificateurs législatifs du pays ont reçu le mandat, de la part de leur gouvernement, d'effectuer une vérification.

6.86 Santé Canada a reçu le mandat de préparer le rapport fédéral des indicateurs de la santé. Nous avons accédé à la demande du Ministère, c'est-à-dire vérifier le rapport en tant que tiers. Puisque nous sommes également les vérificateurs législatifs du Nunavut, des Territoires du Nord-Ouest et du Yukon, à leur demande, nous avons également vérifié leurs rapports sur les indicateurs de la santé.

6.87 Les membres du Groupe d'étude sur les indicateurs de la santé ont collaboré avec leurs ministères de la Santé respectifs pour conclure une entente quant à la nature de la vérification. Le rôle principal du Groupe d'étude consistait à remplir une mission de certification, mais il n'a pas pu le faire dans tous les cas. Dans certains cas, ce sont des vérificateurs externes qui ont rempli une telle mission. Dans d'autres cas, les vérificateurs externes devaient appliquer des procédés de vérification spécifiés (voir l'annexe).

6.88 Les données afférentes aux indicateurs de la santé provenaient de Statistique Canada, de Santé Canada, de l'ICIS et de bases de données provinciales et territoriales. Statistique Canada et, dans une moindre mesure, Santé Canada et l'ICIS ont fourni des données pour la majorité des indicateurs de la santé. Nous avons communiqué aux bureaux provinciaux de vérification les résultats de notre vérification de la qualité des statistiques compilées par Statistique Canada et par Santé Canada et pertinentes pour leurs travaux de vérification confiés à des tiers. Nous avons également participé aux travaux d'examen dirigés par le Bureau du vérificateur général de la Colombie-Britannique sur les statistiques compilées par l'ICIS pour sept indicateurs de la santé. Les bureaux des vérificateurs législatifs ont utilisé les résultats de cet examen de l'ICIS pour leurs travaux de vérification.

6.89 Nous nous attendions à ce que, au moment de la compilation des données en vue des rapports sur les indicateurs de la santé, la qualité des données provenant d'autres organismes soit vérifiée, à ce que les éléments d'information soient dûment extraits de la source de renseignements, à ce que les définitions et formules soient correctement appliquées, à ce que les calculs et présentations ne renferment aucune erreur et à ce que les faiblesses, sur le plan de la qualité, soient dûment divulguées.

6.90 Nous avons constaté que les bases de données de Statistique Canada respectent les normes de l'organisme en matière d'assurance de la qualité, sauf pour ce qui est de la Base de données hospitalières axées sur la personne, qui fait appel aux données de l'ICIS (voir les paragraphes 6.35 à 6.50). Les données ont été dûment extraites de la source de renseignements, les définitions et formules ont été correctement appliquées et les calculs et présentations ne renfermaient aucune erreur.

6.91 Nous avons constaté que les systèmes et pratiques d'assurance de la qualité de Santé Canada étaient inadéquates et ne permettaient pas d'assurer l'exactitude des données (voir les paragraphes 6.77 à 6.82). Le Ministère ne pouvait pas montrer dans quelle mesure ses données sont complètes ou précises. Nous n'avons donc pas pu formuler une opinion sur l'exactitude de ces données.

6.92 Dans le cas des travaux dirigés par le Bureau du vérificateur général de la Colombie-Britannique en vue de déterminer l'exactitude des données fournies par l'ICIS pour la préparation du rapport de septembre 2002 sur les indicateurs de la santé, les données utilisées provenaient de la Base de données sur les congés des patients et de la Base de données sur la morbidité hospitalière. Les travaux ont permis de conclure que la documentation portant sur le processus d'assurance de la qualité de l'ICIS ayant trait aux systèmes sur lesquels reposent les indicateurs est inadéquate. De même, une étude triennale, qui permettra d'obtenir des renseignements sur la qualité des données d'entrée, ne sera pas terminée avant deux ans. Il n'a donc pas été possible de formuler une opinion sur l'exactitude des données précises fournies par l'ICIS pour les rapports sur les indicateurs de la santé.

Respect des besoins en matière de renseignements sur la santé

6.93 On reconnaît l'importance de l'élaboration d'indicateurs de la santé depuis plusieurs années. Le budget fédéral de 1999 faisait état d'un certain nombre de projets et d'activités prioritaires précis dans le domaine des renseignements sur la santé, et attribuait une somme de 95 millions de dollars sur une période de quatre ans pour ces activités. L'ICIS devait s'entendre avec les provinces et territoires quant aux indicateurs de la santé devant être inclus dans les rapports, à l'élaboration de normes en matière de données, à l'adoption de mesures pour combler les lacunes en matière d'information et à l'établissement d'une capacité pour analyser les données et les transmettre aux utilisateurs qui en ont besoin. Dans son budget de 2001, le gouvernement fédéral annonçait son intention d'accorder à l'ICIS une somme supplémentaire de 95 millions de dollars, que l'Institut devait utiliser en collaboration avec Statistique Canada. Cette somme comprenait le financement pour l'élaboration d'indicateurs communs de la santé de façon à ce que des données comparables soient accessibles à tous les Canadiens à l'échelle du pays.

6.94 Santé Canada a versé les subventions à l'ICIS. Conformément aux modalités de la subvention accordée en 1999, l'ICIS devait soumettre à Santé Canada un rapport annuel faisant état des objectifs de l'ICIS pour l'année, à l'égard de l'initiative du Carnet de route de l'information sur la santé, et indiquant dans quelle mesure l'ICIS atteint ses objectifs. De même, l'ICIS devait élaborer un plan d'évaluation en 1999-2000 et le soumettre au ministre de la Santé, et tenir des registres pour faciliter une évaluation de la subvention.

6.95 Nous nous attendions à ce que l'initiative du Carnet de route de l'information sur la santé soit surveillée par les signataires, conformément aux responsabilités prévues dans les accords, y compris la question de savoir si des mesures ont été prises conformément aux accords.

Les mesures prises par Santé Canada pour surveiller l'initiative du Carnet de route de l'information sur la santé laissent à désirer

6.96 Nous avons constaté que Santé Canada ne surveille pas activement l'initiative du Carnet de route de l'information sur la santé pour s'assurer que l'Institut canadien d'information sur la santé respecte les exigences afférentes à la subvention. En particulier, le Ministère n'a pas veillé à ce que l'Institut lui soumette un plan d'évaluation. Nous avons examiné les rapports annuels présentés par l'Institut dans le contexte de l'initiative du Carnet de route de l'information sur la santé pour déterminer s'ils renfermaient des renseignements quant à savoir dans quelle mesure les objectifs prévus ont été réalisés. Ces rapports décrivaient les activités réalisées, mais ils renfermaient peu de renseignements indiquant dans quelle mesure elles ont contribué à la réalisation des objectifs du Carnet de route. Aucune évaluation officielle n'a été effectuée et soumise à Santé Canada avant que la subvention soit renouvelée pour une somme supplémentaire de 95 millions de dollars. Enfin, les modalités de reddition de comptes n'étaient pas claires, c'est-à-dire que le financement et les liens hiérarchiques ne facilitaient pas l'établissement de rapports redditionnels clairs. Dans l'ensemble, Santé Canada n'est pas en mesure de déterminer si la mise en oeuvre de l'initiative du Carnet de route respecte l'accord de financement.

6.97 Recommandation. Santé Canada devrait surveiller l'initiative du Carnet de route de l'information sur la santé conformément aux exigences afférentes à la subvention, de façon à assurer le respect de ces exigences.

Réponse de Santé Canada. Santé Canada et l'Institut canadien d'information sur la santé ont déjà élaboré conjointement un cadre d'évaluation. Ce cadre sera utilisé lors d'une évaluation officielle du Carnet de route de l'information sur la santé, effectuée par un tiers d'ici septembre 2003, selon les échéances prévues dans l'accord de financement. Il y a eu un vaste mouvement constant d'information entre l'Institut canadien d'information sur la santé et Santé Canada. Ce mouvement et le dialogue qui l'a accompagné ont fourni une base solide pour le renouvellement de l'appui financier au Carnet de route de l'information sur la santé.

Conclusion

6.98 Il n'y a pas de normes absolues en matière de qualité des statistiques. L'adoption de saines pratiques de gestion de la qualité des données exige une attention, une surveillance, un examen et des rajustements continuels. Il est toujours possible d'améliorer la qualité des statistiques.

6.99 Nous avons constaté que les systèmes et pratiques de Statistique Canada en matière d'assurance de la qualité sont valables. La Division de la statistique de la santé a appliqué des procédures d'assurance de la qualité à ses programmes statistiques; elle effectue des travaux donnant lieu à l'adoption de mesures montrant que ses programmes respectent des normes de qualité, et effectue des examens de ses pratiques en matière d'assurance de la qualité. Cependant, la documentation ayant trait à la qualité des données de Statistique Canada présente certaines lacunes.

6.100 Statistique Canada est doté d'une politique pour ce qui est d'informer les utilisateurs quant à la qualité des données et à la méthodologie utilisée. Cependant, la Division de la statistique de la santé n'applique pas la politique de manière constante et les mentions ayant trait à la qualité des statistiques sur la santé incluses dans la base de métadonnées intégrées de Statistique Canada sont incomplètes.

6.101 Bien que Statistique Canada ait pris des mesures pour déterminer officiellement la qualité des données provenant de la plupart des sources externes, l'organisme ne prend aucune mesure pour déterminer officiellement la qualité des données sur la morbidité hospitalière provenant de l'ICIS. Cette situation nous préoccupe du fait que ces données sont utilisées pour compiler des données sur les résultats en matière de santé.

6.102 Nous avons constaté que l'application des systèmes et pratiques d'assurance de la qualité par Statistique Canada ont permis d'assurer l'exactitude des données ayant trait aux indicateurs de la santé destinées aux rapports de septembre 2002 sur les indicateurs de la santé établis à l'échelle fédérale, provinciale et territoriale.

6.103 Dans le cas de Santé Canada, nous avons constaté que la contribution des provinces et des territoires aux bases de données de surveillance est facultative et qu'il n'y a pas d'entente officielle, fédérale-provinciale-territoriale, en matière d'échange de données, de normes ayant trait aux données et de définitions des données. Les systèmes et pratiques d'assurance de la qualité visant ces bases de données sont inadéquats pour assurer l'exactitude des données. Santé Canada indiquait, dans le rapport fédéral sur les indicateurs de la santé, que des améliorations s'imposent en ce qui a trait à la qualité des données. Cependant, nous avons été incapables de tirer une conclusion quant à l'exactitude des données de Santé Canada.

6.104 Les travaux de vérification dirigés par le Bureau du vérificateur général de la Colombie-Britannique ont permis de constater que la documentation sur le processus d'assurance de la qualité pour les systèmes et pratiques utilisés par l'Institut canadien d'information sur la santé (ICIS) pour fournir des données relativement à sept indicateurs de la santé du rapport de septembre 2002 est inadéquate. De même, l'étude triennale, qui permettra de fournir des renseignements sur la qualité des données d'entrée, ne sera pas terminée avant deux ans. Par conséquent, il n'a pas été possible de formuler une opinion sur l'exactitude des données précises fournies par l'ICIS en vue des rapports sur les indicateurs de la santé.

6.105 Le gouvernement fédéral a reconnu l'importance de l'élaboration d'indicateurs de la santé pour répondre aux besoins en matière de renseignements. Santé Canada doit surveiller activement l'initiative du Carnet de route de l'information sur la santé pour assurer le respect des exigences en matière de reddition de comptes et pour veiller à ce que la mise en oeuvre respecte l'accord de financement.

6.106 Dans l'ensemble, nous avons constaté que Statistique Canada joue un rôle clé pour assurer la compilation de statistiques de bonne qualité contribuant à la tenue d'un débat public éclairé sur la santé et, de façon plus précise, à la production des rapports de septembre 2002 sur les indicateurs de la santé. Notre vérification a permis d'offrir une assurance quant à la qualité de ces statistiques.

À propos de la vérification

Objectifs

Les objectifs de la vérification étaient les suivants :

• déterminer si Statistique Canada a établi des systèmes et pratiques appropriés pour assurer la qualité de ses statistiques sur la santé;
• déterminer si Statistique Canada, Santé Canada et l'Institut canadien d'information sur la santé ont appliqué des systèmes et pratiques d'assurance de la qualité leur permettant d'assurer l'exactitude des indicateurs de la santé établis en vue des rapports fédéraux, provinciaux et territoriaux sur les indicateurs de la santé;
• déterminer si la mise en oeuvre de l'initiative du Carnet de route de l'information sur la santé respecte l'accord de financement.

Étendue et méthode

La vérification portait sur les systèmes et pratiques d'assurance de la qualité de Statistique Canada en ce qui a trait à ses programmes de statistiques sur la santé. L'équipe de vérification a effectué des travaux permettant de déterminer la pertinence des travaux d'assurance de la qualité réalisés dans le contexte des programmes de statistiques sur la santé. De même, Statistique Canada et l'équipe de vérification se sont entendus pour que l'organisme procède à une autoévaluation de la qualité des données d'un produit en particulier, soit l'Enquête sur la santé dans les collectivités canadiennes, qui n'était pas visée par ses examens de la qualité auparavant. L'équipe de vérification a par la suite vérifié l'autoévaluation.

Nous avons examiné de quelle façon Statistique Canada détermine la qualité des données provenant d'autres organismes et dans quelle mesure l'organisme respecte sa politique en matière d'information des utilisateurs quant à la qualité des données et à la méthodologie utilisée. Nous avons également examiné l'exactitude des données compilées par Statistique Canada, Santé Canada et l'Institut canadien d'information sur la santé en vue des rapports fédéral, provinciaux et territoriaux de septembre 2002 sur les indicateurs de la santé. Enfin, la vérification a permis d'examiner l'initiative du Carnet de route de l'information sur la santé et le Programme de contribution pour l'information sur la santé afin de déterminer si les exigences découlant de l'accord de financement sont respectées.

Au cours de notre vérification, nous avons interviewé des gestionnaires responsables des statistiques sur la santé à Statistique Canada. Nous avons également examiné des publications, des rapports et des documents internes de l'organisme. De même, nous avons examiné des travaux effectués à Santé Canada ayant trait aux indicateurs de la santé.

Les membres de l'équipe de vérification ont participé aux travaux d'examen, dirigés par le Bureau du vérificateur général de la Colombie-Britannique, sur les systèmes et les pratiques d'assurance de la qualité en ce qui a trait à la Base de données sur la morbidité hospitalière et à la Base de données sur les congés des patients, de l'Institut canadien d'information sur la santé. Ces travaux ont été effectués parce que Statistique Canada utilise la Base de données sur la morbidité hospitalière (laquelle est établie à partir de la Base de données sur les congés des patients), et parce que plusieurs indicateurs de la santé sont établis à partir de cette source de données.

Critères

Nos attentes étaient les suivantes :

• Statistique Canada doit avoir des systèmes et pratiques d'assurance de la qualité que l'organisme applique à tous ses programmes statistiques.
• La pertinence des systèmes et pratiques d'assurance de la qualité ayant trait aux programmes et aux produits statistiques individuels doit être évaluée systématiquement, y compris en ce qui a trait à la qualité des données provenant d'autres organismes.
• Les résultats des systèmes et pratiques d'assurance de la qualité doivent être utilisés pour gérer la qualité et pour produire des rapports sur le rendement.
• Statistique Canada doit disposer d'une politique efficace pour informer les utilisateurs quant à la qualité des données et à la méthodologie utilisée pour assurer l'utilisation éclairée de ses produits statistiques.
• Les programmes statistiques individuels doivent dûment informer les utilisateurs quant à la qualité des données et à la méthodologie utilisée lors de la diffusion des données.
• Lors de la compilation de données en vue des rapports sur les indicateurs de la santé, la qualité des données provenant d'autres organismes doit être déterminée, les éléments d'information doivent être extraits de façon appropriée de la source de données, les définitions et formules doivent être correctement appliquées, les calculs et présentations ne doivent renfermer aucune erreur et les faiblesses, sur le plan de la qualité, doivent être divulguées de façon appropriée.
• La subvention accordée en vertu de l'initiative du Carnet de route de l'information sur la santé doit être surveillée par les signataires conformément aux responsabilités indiquées dans les accords, y compris déterminer si des mesures ont été prises conformément aux accords.

Équipe de vérification

Vérificatrice générale adjointe : Maria Barrados
Directeur principal : Barry Leighton
Directeur : Glenn Wheeler

Yves Genest
Denis Jobin
Catherine Livingstone
John McGrath
Albert Melanson
Paul Pilon

Pour obtenir de l'information, veuillez joindre le service des Communications, en composant le (613) 995-3708 ou le 1 888 761-5953 (sans frais).