Cette page Web a été archivée dans le Web.

2005 novembre — Rapport de la vérificatrice générale du Canada

Points saillants

Objet

Nous avons examiné la présentation des résultats de sondages dans tous les rapports ministériels sur le rendement de 2003-2004. Nous nous sommes aussi penchés sur deux des plus importants indicateurs de la qualité des sondages menés par des entreprises de recherche du secteur privé pour le compte de ministères et d'organismes fédéraux au cours de la même période. Nous avons surtout cherché à déterminer si le gouvernement fédéral exerce un leadership en matière de qualité des sondages de manière que les ministères et organismes puissent produire des sondages dont la qualité est conforme à l'utilisation prévue. Nous nous sommes en outre demandé si le leadership exercé à l'échelle gouvernementale contribue à assurer un niveau constant de qualité élevée des sondages dans l'ensemble du secteur public. Nous avons examiné les rôles particuliers que jouent le Secrétariat du Conseil du Trésor et la Direction de la recherche sur l'opinion publique, au sein de Travaux publics et Services gouvernementaux Canada. Nous nous sommes penchés sur les sondages de Statistique Canada uniquement à des fins de comparaison, et non dans le cadre de la vérification.

Pertinence

Le gouvernement peut utiliser l'information recueillie à l'aide de sondages à des fins variées, notamment pour comprendre les opinions des Canadiens sur ses priorités et ses politiques, améliorer la gestion des ministères et des organismes et en surveiller le rendement.

Pour que l'information issue des sondages soit crédible et utile aux parlementaires, aux gestionnaires du gouvernement et aux Canadiens, elle doit être de bonne qualité, surtout si elle porte sur le rendement des programmes gouvernementaux. Les sous-ministres et les administrateurs généraux doivent pouvoir compter sur la qualité de toutes les données de sondages que renferment leurs rapports ministériels sur le rendement. Il en est ainsi parce qu'ils signent des déclarations officielles témoignant que les rapports ont été préparés conformément à certains principes visant à assurer au lecteur, entre autres, que l'information contenue dans les rapports est exacte et que les lacunes et les limites des données sont bien indiquées. Des résultats de sondages de qualité médiocre présentés dans les rapports sur le rendement pourraient donner une image trompeuse du rendement des programmes. De surcroît, les décisions du gouvernement pourraient être fondées sur des données de sondages inexactes.

Le coût des sondages d'opinion publique commandés par le gouvernement fédéral peut être relativement peu élevé (entre 11 et 15 millions de dollars par année); par contre celui des programmes visés est de l'ordre de plusieurs milliards de dollars. La progression du nombre des sondages au cours des dernières années montre à quel point il importe d'en assurer la qualité. Les Canadiens, et spécialement ceux qui participent aux sondages du gouvernement fédéral, doivent être convaincus que la qualité de ces sondages permet l'utilisation qu'on prévoit en faire.

Constatations

• Les rapports ministériels sur le rendement de 2003-2004 ne donnent pas suffisamment d'information sur la qualité et les limites des résultats de sondages. Sans une telle information, le lecteur ne peut juger de la fiabilité des données.
• Deux indicateurs importants de la qualité des sondages d'opinion publique, à savoir la couverture de la population et les taux de réponse, soulèvent des questions quant à la qualité des sondages commandés par les ministères et les organismes en 2003-2004. Ces questions laissent entrevoir des problèmes possibles qui nous préoccupent.
• Chaque ministère et organisme est responsable de la qualité des sondages effectués pour son propre compte. Cela dit, les politiques du Conseil du Trésor attribuent à la Direction de la recherche sur l'opinion publique toute une gamme de responsabilités entourant la qualité des sondages qui sont donnés à contrat par le gouvernement fédéral. La Direction n'assume pas de façon satisfaisante des éléments clés de ces responsabilités, qui contribueraient à la qualité des sondages.

Réaction du Ministère et du Secrétariat du Conseil du Trésor. De façon générale, Travaux publics et Services gouvernementaux Canada et le Secrétariat du Conseil du Trésor sont d'accord avec nos recommandations. Leurs réponses respectives sont incluses tout au long du chapitre.

Introduction

L'importance des sondages pour la gestion et la communication des résultats des programmes

2.1 Le gouvernement fédéral a, au cours des dernières décennies, invité de plus en plus souvent les Canadiens à participer à nombre de sondages de toutes sortes. Par ces sondages, tel le recensement, il recueille sur leur compte des renseignements précieux qui lui sont nécessaires pour bien gérer ses programmes. Le secteur privé fait aussi des études de marché et sonde les médias et les électeurs. La hausse récente du nombre de sondages peut avoir alourdi le fardeau du répondant et contribué au recul des taux de réponse. De telles tendances soulèvent des questions quant à la qualité de ces sondages.

2.2 Le gouvernement fédéral peut utiliser à des fins diverses l'information recueillie au moyen des sondages, par exemple pour comprendre les opinions des Canadiens sur ses priorités et ses politiques ainsi que pour améliorer la gestion des ministères et organismes et surveiller leur rendement. Si la qualité des sondages n'est pas connue ou si elle est discutable, par exemple si elle donne des résultats qui ne reflètent peut-être pas fidèlement les opinions des Canadiens, le gouvernement risque alors de gérer en s'appuyant sur une information trompeuse.

2.3 Les rapports sur le rendement présentés annuellement constituent, pour les ministères et organismes, le principal moyen de communiquer au Parlement de l'information sur leur rendement. Ils fournissent souvent des renseignements tirés de sources diverses, dont des sondages de Statistique Canada, d'autres donnés à contrat et des sondages ministériels internes. Certains de ces sondages visent à connaître le niveau de rendement d'un ministère ou d'un organisme. Pour que les parlementaires puissent se fier à l'information trouvée dans les rapports ministériels sur le rendement, il importe que les données des sondages soient de qualité suffisante. Or, si les résultats de sondages présentés dans les rapports sur le rendement des ministères ne sont pas exacts, ceux-ci risquent d'induire le Parlement en erreur quant au rendement de leurs programmes.

Il existe des normes de qualité pour les sondages

2.4 Des normes nationales et internationales ont été élaborées au sujet de la tenue des sondages et des rapports de résultats destinés aux clients. Il est généralement admis que les normes de qualité suivies au Canada par Statistique Canada sont élevées. Cet organisme applique ces normes aux sondages financés à même son propre budget ainsi qu'aux services fournis aux autres ministères fédéraux contre remboursement des coûts. Les sondages menés par les autres ministères et organismes fédéraux ne sont pas assujettis aux normes de Statistique Canada, mais la qualité de ses travaux peut leur servir d'exemple. L'industrie des études de marché a aussi conçu des normes pour la recherche par sondage.

2.5 À l'extérieur du Canada, l'Organisation internationale de normalisation a récemment élaboré des lignes directrices sur la qualité des sondages et la communication des résultats. Aux États-Unis, l'Office of Management and Budget a récemment demandé à un comité d'experts en sondages de recommander, à l'égard de diverses questions concernant la qualité des sondages, des normes qui s'appliqueraient à tous les départements du gouvernement américain qui recueillent de l'information auprès du public. Ces normes, entre autres, peuvent servir de point de départ pour analyser et déterminer la qualité globale des divers sondages à la lumière de l'utilisation qu'on prévoit en faire.

Les sondages d'opinion publique commandés par le gouvernement fédéral

2.6 Les sondages d'opinion publique et les autres formes de recherche sur l'opinion publique donnés à contrat au secteur privé par le gouvernement fédéral ont fait un bond de 300 p. 100 en neuf ans; on en comptait près de 600 en 2003-2004. Le coût des travaux de recherche sur l'opinion publique donnés à contrat en 2003-2004, y compris la recherche quantitative et qualitative (par exemple, les groupes de discussion), s'élevait à 25,4 millions de dollars; de cette somme, entre 11 et 15 millions ont été affectés à 388 projets de recherche quantitative (c.-à-d. des sondages). Ces dépenses ne représentent peut-être pas une grosse tranche des budgets globaux des ministères et organismes, mais ceux-ci pourraient utiliser les données de sondages, et d'autres types d'information, pour prendre des décisions importantes concernant leurs programmes. Nous n'avons pas pu estimer le coût total des programmes ciblés par ces sondages, mais les renseignements que nous avons trouvés à ce sujet permettent de croire que les résultats des sondages donnés à contrat, qui ont été utilisés dans les rapports ministériels sur le rendement de 2003-2004, avaient trait à des programmes dont les budgets oscillaient entre 400 000 $ et 1,9 milliard de dollars. Le nombre de Canadiens qu'on invite chaque année à participer à des sondages d'opinion publique commandés par le gouvernement fédéral peut avoir dépassé un million par année, selon nos estimations.

2.7 Les sondages d'opinion publique commandés à des entreprises de recherche du secteur privé sont assujettis à l'examen de la Direction de la recherche sur l'opinion publique (DROP), maintenant rattachée à Travaux publics et Services gouvernementaux Canada (TPSGC). La Direction compte actuellement douze employés et dispose d'un budget annuel d'environ un million de dollars. Dans son Rapport annuel 2003-2004 intitulé « La recherche sur l'opinion publique au gouvernement du Canada », la Direction indique qu'elle a le mandat « de fournir un centre d'expertise en recherche sur l'opinion publique » qui contribue à assurer « la plus haute qualité de recherche possible » au gouvernement fédéral. Elle mentionne aussi que ses activités consistent à fournir des conseils, des guides méthodologiques et de l'information au milieu de la recherche gouvernementale ainsi qu'à exercer d'autres fonctions de coordination.

2.8 Selon la Politique sur les marchés du Conseil du Trésor, la recherche sur l'opinion publique au gouvernement fédéral est « la collecte planifiée [...] des opinions, attitudes, perceptions, jugements, sentiments, idées, réactions ou avis ». L'information est recueillie à l'aide de méthodes quantitatives ou qualitatives auprès de personnes, d'entreprises, d'institutions ou d'autres entités.

2.9 Chaque ministère ou organisme est responsable de la qualité des sondages d'opinion publique qu'il commande et qu'il finance. S'il exige des sondages d'un niveau élevé de qualité dans ses contrats avec les entreprises et qu'il n'obtient pas un tel niveau, il peut alors en retenir le paiement. Selon les politiques du Conseil du Trésor, il incombe par ailleurs à la Direction de la recherche sur l'opinion publique d'examiner les méthodologies des projets de sondage, et de fournir des conseils à ce sujet, avant qu'ils soient soumis au service de TPSGC chargé d'élaborer le contrat pour le ministère désireux de commander le sondage. La Direction est également tenue de mettre son expertise en sondages à la disposition du service des contrats au cours du processus de recensement des entreprises de recherche du secteur privé qui sont capables de mener les sondages. Les ministères peuvent ensuite choisir, parmi les entreprises qui se qualifient, celles à qui attribuer les divers projets de sondage. Une fois la recherche terminée, ils doivent faire parvenir à la DROP une copie des rapports de recherche finals qui sont déposés à la bibliothèque du Parlement et à Bibliothèque et Archives Canada.

Objet de la vérification

2.10 Nos objectifs de vérification étaient les suivants :

• établir si, dans leurs rapports ministériels sur le rendement, les ministères et organismes fournissent suffisamment d'information sur la qualité des données de sondages pour démontrer qu'elles peuvent servir à rendre compte du rendement au Parlement;
• décrire certains éléments principaux de la qualité des sondages qui sont menés pour le compte des ministères et organismes fédéraux par des fournisseurs de recherche du secteur privé et examinés par la Direction de la recherche sur l'opinion publique;
• évaluer si le gouvernement fédéral exerce un leadership pour ce qui est d'assurer la qualité des sondages effectués par les ministères et les organismes.

2.11 Des 90 rapports ministériels sur le rendement de 2003-2004 que nous avons examinés, 64 contenaient de l'information provenant d'une variété de sondages. Dans ces 64 rapports, nous avons dénombré 209 mentions de sondages. Nous avons aussi examiné 49 des 388 sondages quantitatifs qui sont recensés dans une base de données de la DROP sur les sondages d'opinion publique donnés à contrat à des entreprises de recherche du secteur privé en 2003-2004. Ces 49 sondages comprenaient 16 sondages à valeur élevée et 33 autres choisis aléatoirement parmi le reste des sondages. Nous avons étudié le cadre stratégique qui régit la planification, la passation de contrats et la présentation des résultats de sondages ainsi que le fonctionnement de ce cadre dans la pratique. Nous avons aussi interrogé des employés de 10 des 17 ministères et organismes qui avaient commandé les sondages tirés de la base de données de la DROP.

2.12 En 2003-2004, la Direction de la recherche sur l'opinion publique faisait partie de Communication Canada. À la dissolution de ce dernier organisme, le 31 mars 2004, elle a été rattachée à TPSGC.

2.13 La section intitulée À propos de la vérification, à la fin du chapitre, fournit d'autres détails sur l'étendue et la méthode de vérification, y compris la méthode d'échantillonnage et les questions liées à la qualité.

Observations et recommandations

Information sur la qualité des sondages

Les parlementaires ne peuvent déterminer la qualité des sondages

2.14 Le Guide de préparation — Rapports ministériels sur le rendement (2003-2004), du Secrétariat du Conseil du Trésor, vise à « donner aux parlementaires et à la population canadienne une information de première qualité sur les plans et les réalisations du gouvernement du Canada ». À cette fin, les rapports ministériels sur le rendement (RMR) devraient fournir des « renseignements clairs, complets, concis et crédibles sur le rendement financier et non financier des ministères ». Ceux-ci devraient expliquer « pourquoi le public peut faire confiance à la méthodologie et aux données utilisées pour prouver le bien-fondé du rendement ». Les rapports devraient « permettre au lecteur de prendre des décisions éclairées au sujet de la fiabilité des renseignements [fournis] sur le rendement ». Ces grands principes s'appliquent à toute l'information contenue dans les RMR, mais ils ne précisent pas suffisamment comment illustrer la qualité des données de sondages présentées dans les rapports.

2.15 Il reste que certains organismes ont établi des exigences explicites pour la communication de l'information sur les sondages dans les cas où des documents redditionnels, tels que les rapports ministériels sur le rendement, font état de résultats de sondages. L'American Association for Public Opinion Research (AAPOR), qui représente l'industrie de la recherche par sondages, a fixé des normes rigoureuses pour la communication d'un minimum de renseignements sur les sondages, entre autres sur leur qualité. Aux États-Unis, l'Office of Management and Budget a arrêté des normes pour les rapports « succincts », tels que les rapports sur le rendement des départements. Ces normes visent à assurer que les utilisateurs de données de sondages aient sur ceux-ci assez d'information pour pouvoir évaluer la qualité de ces données.

2.16 Étant donné que le Secrétariat du Conseil du Trésor a énoncé des principes généraux sur la communication de l'information et que les secteurs public et privé ont établi des normes sur la communication de l'information concernant la qualité des sondages dans les rapports, nous nous attendions à trouver dans les RMR de l'information de base sur les sondages, parallèlement aux données tirées de ceux-ci. Nous avons défini les principaux éléments de la qualité des données qui sont communs à ces normes et que l'on pourrait raisonnablement s'attendre à trouver dans un rapport ministériel sur le rendement. Afin de déterminer si les rapports déposés au Parlement communiquaient convenablement de l'information de base sur la qualité des sondages, nous avons étudié les 90 rapports ministériels sur le rendement qui lui ont été présentés en 2003-2004. Dans 64 de ces rapports figuraient 209 mentions de sondages, dont certains avaient été coordonnés par la Direction de la recherche sur l'opinion publique, et d'autres provenaient de Statistique Canada et d'un éventail d'autres sources. La pièce 2.1 énumère ces éléments principaux, en explique la pertinence et fait état de ce que nous avons constaté dans les RMR de 2003-2004.

2.17 En général, nous avons constaté qu'aucune des 209 mentions ne contenait toute l'information décrite dans la pièce 2.1. Des indicateurs clés de la qualité des sondages en étaient souvent absents, en particulier les taux de réponse, la description des bases de sondage et les intervalles de confiance. Comme les rapports ministériels sur le rendement contenaient si peu d'information sur les méthodes de sondage ou sur la qualité des données produites, le lecteur n'a pas ce qu'il faut pour juger si les données sont suffisamment exactes pour les fins prévues du sondage. Dans ce contexte, les résultats de sondages sont principalement utilisés afin de satisfaire aux obligations redditionnelles des ministères envers le Parlement. Idéalement, l'information pourrait être exposée comme suit dans une note en bas de page ou en fin de texte :

Les données présentées proviennent du [nom du sondage] mené par [nom de l'entreprise] pour le compte du [nom du ministère]. Un échantillon aléatoire stratifié non proportionnel de la population cible [taille de la population] a été sélectionné par composition téléphonique aléatoire. Le taux de réponse au sondage téléphonique a été de [xx p. 100], avec un échantillon final de [taille] et un intervalle de confiance par exemple [IC = 4,0 p. 100 @ 95 p. 100)]. Toutes les estimations ont été pondérées pour refléter la bonne répartition géographique. L'échantillon excluait les personnes de moins de [âge]. Les données ont été recueillies à partir du [date]. On peut consulter le texte du rapport final sur le site Web suivant [adresse].

2.18 Selon le Guide de préparation — Rapports ministériels sur le rendement (2003-2004), les sous-ministres et les administrateurs généraux sont tenus de signer la Déclaration de la direction dans leurs rapports sur le rendement. Cette déclaration officielle indique que le rapport a été préparé suivant certains principes conçus pour assurer au lecteur, entre autres, que l'information contenue dans le rapport est exacte et que toute faiblesse ou limite est convenablement divulguée. Les sous-ministres et les administrateurs généraux doivent donc être convaincus que les résultats de sondages sont d'une qualité assez bonne pour figurer dans les rapports sur le rendement et que le risque que cette information induise le Parlement en erreur est minime. Toutefois, à ce jour, le Guide n'indique pas aux gestionnaires comment soutenir les sous-ministres et les administrateurs généraux dans cette démarche.

2.19 Recommandation. Dans le document annuel du Secrétariat du Conseil du Trésor, intitulé Guide de préparation — Rapports ministériels sur le rendement (2003-2004), les ministères et organismes devraient être invités à veiller à ce que :

• les mentions de données de sondages soient accompagnées d'une description de base de la méthode de sondage, des indicateurs clés de la qualité des données et des limites de celles-ci;
• cette information soit facilement accessible, dans des notes en bas de page ou en fin de texte;
• une information plus détaillée sur les méthodes soit rendue publique, de préférence par un lien Internet au rapport final de sondage.

Réponse du Secrétariat du Conseil du Trésor. Grâce à son guide de préparation des rapports ministériels sur le rendement, le Secrétariat du Conseil du Trésor encourage les ministères à expliquer dans leurs rapports les motifs pour lesquels le lecteur peut avoir confiance dans la méthode et les données utilisées pour justifier les rendements. Entre autres, des rapports de bonne qualité sur le rendement devraient être équilibrés, faciles à comprendre et ne pas comporter trop de détails techniques. Le Secrétariat reconnaît qu'une justification raisonnable des méthodes de sondage, présentée discrètement, peut améliorer la qualité d'un rapport public sur le rendement. Le Secrétariat abordera la présentation des méthodes de sondage dans les prochaines versions de son guide et il continuera à collaborer avec les ministères afin d'améliorer la qualité des rapports au Parlement.

Qualité des sondages d'opinion publique

La qualité des sondages est préoccupante

2.20 Outre la manière dont l'information sur la qualité des sondages est communiquée dans les rapports ministériels sur le rendement, la qualité même des sondages nous préoccupe aussi. Cette qualité revêt de l'importance non seulement pour les RMR, mais aussi pour d'autres fins auxquelles les ministères destinent les sondages. Voilà pourquoi les sondages d'opinion publique, commandés par les ministères et organismes et examinés par la Direction de la recherche sur l'opinion publique (DROP), ont retenu notre attention. (À partir de maintenant, toute référence aux sondages portera sur les sondages d'opinion publique qui sont commandés par les ministères et les organismes et qui peuvent être examinés par la Direction de la recherche sur l'opinion publique.)

2.21 Le gouvernement fédéral a adopté des normes de l'industrie qui s'appliquent aux sondages d'opinion publique coordonnés par la DROP, par exemple le besoin de faire un essai préliminaire des questions, mais il n'a pas établi de repères qui fourniraient des seuils de qualité minimale (par exemple, les sondages dont le taux de réponse est inférieur à un certain pourcentage seraient considérés comme étant de qualité médiocre). En revanche, aux États-Unis, l'Office of Management and Budget a demandé à un comité d'experts en sondage d'élaborer des normes pour tous les ministères fédéraux qui recueillent de l'information auprès du public. Ces projets de normes et de lignes directrices pour les sondages statistiques fournissent des repères pour décrire la qualité des sondages.

2.22 La Direction reçoit les rapports finals de sondages des ministères qui les ont commandés. Nous avons examiné un échantillon de 49 dossiers de sondages de 2003-2004, prélevés dans une base de données de la DROP. Il s'agissait de 16 dossiers de sondages à valeur élevée et de 33 dossiers de sondages aléatoires, dont 45 dossiers contenaient des rapports finals de sondages. En ce qui touche la qualité des sondages, nous avons étudié deux indicateurs plus importants qui suscitent une inquiétude croissante au sein des milieux gouvernementaux et universitaires et dans le secteur privé, à savoir la couverture de la population et les taux de réponse. Ces indicateurs peuvent indiquer la possibilité de biais dans les résultats de sondages.

2.23 Couverture de la population. Lorsqu'une base de sondage exclut un segment de la population cible, il en découle un sous-dénombrement de celle-ci. Si ce segment exclu est relativement grand et a des opinions différentes des personnes qui ont répondu, les résultats du sondage pourraient être biaisés. Si la liste comprend des personnes qui ne font pas partie de la population cible, cela se traduit par un surdénombrement de la population. Ainsi, un sondage dont on tire des conclusions sur les attitudes des jeunes doit inclure tous les jeunes et exclure les adultes. De plus, la méthode de collecte des données de sondages peut avoir un effet sur la population observée. Par exemple, les sondages téléphoniques à composition aléatoire par ligne terrestre excluraient les ménages qui n'ont pas de téléphone conventionnel.

2.24 Le gouvernement fédéral n'a pas fixé de repères pour la couverture de la population. Par contre, dans les lignes directrices qu'il a proposées aux États-Unis, l'Office of Management and Budget recommande que les bases de sondage portent sur au moins 95 p. 100 de la population cible et qu'une évaluation de la possibilité de biais soit faite lorsque la couverture est inférieure à 85 p. 100. Nous nous attendions, à tout le moins, à ce que les rapports finals de sondages comprennent tous une analyse de la couverture de la population et règlent les questions relatives à la possibilité de biais.

2.25 Les rapports finals de 9 des 13 sondages à valeur élevée et de 17 des 32 sondages aléatoires décrivaient la méthode employée pour communiquer avec les personnes sondées, mais peu de ces rapports (3 sondages à valeur élevée et 3 sondages aléatoires) contenaient une analyse de la couverture de la population, précisant si certains segments de celle-ci étaient systématiquement exclus ou surreprésentés. En somme, les rapports finals de sondages que nous avons examinés comportaient rarement une analyse de la couverture de la population.

2.26 Taux de réponse. Le taux de réponse est un autre indicateur clé qui permet de vérifier si les résultats d'un sondage reflètent fidèlement les opinions de la population cible. Un taux de réponse faible n'indique pas nécessairement que les résultats sont biaisés, mais un taux de réponse extrêmement faible devrait toujours inspirer des craintes, en particulier si une analyse rigoureuse des écarts possibles entre répondants et non-répondants ne peut être effectuée ou ne l'a pas été. Une étude sur les taux de réponse, menée en 2002 par l'Association professionnelle de recherche en marketing, a révélé que les taux de réponse n'avaient cessé de diminuer, étant passés d'une moyenne de 19 p. 100 en 1997 à une moyenne de 13 p. 100 en 2002 pour les sondages téléphoniques omnibus. Une tendance similaire a été décelée à l'égard des sondages uniques.

2.27 Un taux de réponse faible ne signifie pas que les données de sondages sont nécessairement non représentatives ou biaisées; cependant le risque de biais croît à mesure que le taux de réponse diminue. Selon notre comité consultatif d'experts nationaux et internationaux en sondages, un rapport exposant les résultats de sondages devrait toujours comporter une déclaration non équivoque au sujet de la représentativité des répondants de l'échantillon. Les conseillers de l'Office of Management and Budget recommandent de procéder à une analyse lorsque les taux de réponse laissent entrevoir une possibilité de biais et d'exiger que d'autres analyses soient faites pour déterminer la représentation de l'échantillon lorsque de tels taux se situent en deçà du seuil proposé de 80 p. 100.

2.28 Nous nous attendions à ce que tous les rapports finals de sondages indiquent le taux de réponse et comportent une analyse de la représentativité de l'échantillon. Nous avons constaté que les rapports finals de 10 des 13 sondages à valeur élevée et de seulement 14 des 32 sondages aléatoires donnaient soit un taux de réponse, soit l'information nécessaire pour le calculer.

2.29 Comme la possibilité de biais augmente à mesure que le taux de réponse diminue, nous avons aussi vérifié si les rapports de sondages comprenaient une analyse visant à déterminer si répondants et non-répondants étaient semblables à trois niveaux de risque, soit des taux de réponse de 80, 50 et 20 p. 100. Nous avons constaté que, des 24 rapports finals de sondages fournissant de l'information sur le taux de réponse, seulement 3 comportaient l'analyse escomptée de la possibilité de biais. Tous trois présentaient un niveau de risque oscillant entre 20 et 50 p. 100, avec des taux de réponse de 45, 42 et 31 p. 100. Aucun des 21 autres rapports n'incluait l'analyse attendue et 9 de ces sondages présentaient le niveau de risque le plus élevé, avec des taux de réponse inférieurs à 20 p. 100.

2.30 Nous avons ensuite examiné l'étendue et la moyenne des taux de réponse et constaté que, pour les sondages à valeur élevée, ces taux variaient entre 12 et 52 p. 100, avec un taux de réponse moyen de 29 p. 100. Les taux de réponse pour les sondages aléatoires se situaient entre 8 et 66 p. 100, avec un taux moyen de 32 p. 100. Le nombre de rapports finals de sondages incluant des taux de réponse n'était pas assez élevé pour que nous puissions généraliser et étendre nos conclusions à tous les rapports de sondages commandés par le gouvernement fédéral au cours de l'exercice 2003-2004, mais nous sommes préoccupés par ce qui pourrait être une absence plus répandue d'analyse de la possibilité de biais par rapport aux taux de réponse.

2.31 Si une faible proportion de personnes accepte de participer à un sondage, le lecteur du rapport devrait se demander si leurs réponses représentent celles des autres personnes qui ont aussi été contactées mais ont décidé de ne pas participer. Si un taux de réponse de 10 p. 100 est considéré comme non biaisé, cela signifie que les réponses de 10 personnes par tranche de 100 devraient représenter l'éventail des réponses des 90 autres personnes qui ont aussi été contactées mais n'ont pas participé au sondage. Même si l'on analysait la possibilité de biais, la qualité des sondages ayant un taux de réponse aussi faible est nettement douteuse, quel que soit le repère, et devrait être un motif de préoccupation pour le gouvernement.

2.32 Nous sommes d'avis que, même si la qualité requise des sondages est fonction de leur utilisation, ils doivent tous avoir un niveau minimal de qualité, peu importe l'utilisation qu'on en fait. Il est en outre inquiétant de voir qu'aucune analyse n'est faite pour déterminer si les répondants représentent la population cible. Ces deux questions nous amènent à nous interroger sur la qualité des sondages.

2.33 Le gouvernement fédéral a établi que les normes de l'industrie s'appliqueraient aux sondages, mais ces normes ne fournissent aucun repère permettant aux ministères de déterminer la qualité des sondages, y compris pour les deux indicateurs que nous avons examinés. Nous craignons donc que les ministères ne puissent déterminer si la qualité des sondages qu'ils ont commandés correspond à l'utilisation envisagée. Actuellement, seul Statistique Canada a des normes pour l'ensemble des principaux éléments de qualité qu'il applique au cas par cas à ses propres sondages et enquêtes.

2.34 Nous n'avons pu tirer de conclusion au sujet de la qualité des sondages de 2003-2004 que nous avons examinés, en ce qui a trait à deux indicateurs principaux : la couverture de la population et le taux de réponse. Néanmoins, nos constatations donnent à penser que le niveau de qualité des sondages commandés n'est pas constant dans l'ensemble du secteur public. La couverture, les taux de réponse et la possibilité de biais dans les résultats nous préoccupent de façon particulière lorsque les questions relatives aux principaux indicateurs de la qualité des sondages ont été laissées de côté. Nous nous préoccupons également du fait que 21 des 45 rapports finals de sondages ne contenaient aucune information sur le taux de réponse. À notre avis, le gouvernement devrait aussi s'inquiéter de ces questions.

Leadership en matière de qualité des sondages d'opinion publique

Le leadership à l'échelle gouvernementale en matière de qualité des sondages d'opinion publique est limité

2.35 Les ministères sont responsables de la qualité de leurs sondages. Les sous-ministres et les administrateurs généraux sont responsables des sondages commandés par leurs ministères et organismes. Selon la Politique de communication (2002) du gouvernement du Canada, les ministères « doivent garantir la qualité et la valeur des recherches qu'ils commandent ou effectuent eux-mêmes ». Par ailleurs, si le gouvernement veut assurer un niveau de qualité constant des sondages commandés dans tout le secteur public, il existe une possibilité de contribuer à leur qualité avant et après l'étape de la passation des contrats. Cette tâche devrait être exercée par un ministère détenant le leadership à l'échelle du gouvernement pour ce qui est de conseiller l'ensemble des autres ministères et d'examiner les rapports finals de sondages.

2.36 Un ministère a besoin de conseils spécialisés sur deux plans, au sujet des sondages : les exigences auxquelles un sondage doit satisfaire pour être conforme aux normes et aux repères de qualité du gouvernement, et les exigences de qualité particulières à chaque sondage. Le ministère pourrait traduire ces exigences dans le contrat qu'il signe avec l'entreprise de recherche du secteur privé. Une fois lié par le contrat, il est ensuite tenu de veiller à ce que le rapport final de sondage réponde aux exigences de qualité énoncées dans le contrat à cet égard. Cependant, si le contrat n'oblige pas l'entreprise à produire un sondage de bonne qualité pour les fins prévues par le ministère, alors celui-ci ne peut pas avoir la garantie d'obtenir cette qualité.

Importance antérieure d'un leadership à l'échelle gouvernementale en matière de qualité des sondages d'opinion publique

2.37 Le gouvernement fédéral reconnaît depuis toujours l'importance d'avoir un ministère ou un organisme responsable qui contribue à assurer un niveau de qualité constant dans tous les sondages gouvernementaux. Dans une directive publiée en 1974, le Conseil du Trésor a approuvé des lignes directrices concernant la collecte de renseignements auprès de plus de dix répondants. La directive visait à réduire le fardeau de réponse en évitant le double emploi au chapitre des sondages, mais elle a aussi fait valoir l'importance d'assurer la qualité des sondages en concevant et en exécutant des sondages conformes aux normes statistiques. Statistique Canada était chargé de revoir systématiquement les projets de sondages de tous les ministères et organismes et les méthodes qu'ils avaient prévues, et de les conseiller à ce sujet. Il devait ensuite faire rapport au Conseil du Trésor qui déciderait si le projet devait être financé.

2.38 En vertu de cette directive, Statistique Canada trouvait peu de cas de double emploi et recevait les sondages trop tard pour pouvoir en infléchir la qualité. Aussi, lors d'une période de contraintes budgétaires au cours des années 1980, son rôle de conseil à l'égard des sondages d'opinion publique donnés à contrat a été considérablement réduit. Pourtant, Statistique Canada offre actuellement à cet égard une gamme de services, qu'il s'agisse de conseils sur la conception des sondages, de collecte de données ou d'analyse statistique. Ces travaux sont effectués sur la base du recouvrement des coûts, généralement pour d'autres ministères et organismes fédéraux. Statistique Canada nous a dit qu'il applique ses normes de qualité à tous ses travaux, dont ceux à frais recouvrables.

2.39 D'autres pays ont maintenu la fonction de leadership à l'échelle gouvernementale en ce qui concerne la qualité des sondages. Par exemple, aux États-Unis, depuis les années 1940, l'Office of Management and Budget (OMB) est chargé d'alléger, pour les citoyens et les entreprises, le fardeau de fournir de l'information au gouvernement. Il étudie les propositions de sondages, les plans méthodologiques, les fardeaux de réponse et les diverses techniques utilisées. Tous les sondages menés par le gouvernement fédéral auprès de plus de dix personnes, à l'interne ou à l'externe, doivent être examinés et respecter les normes de l'OMB avant que les départements soient autorisés à les effectuer.

2.40 Depuis une vingtaine d'années, divers ministères ont assumé la responsabilité des sondages menés au Canada pour le compte du gouvernement fédéral. Nous avons examiné les politiques du Conseil du Trésor qui ont fini par confier à la Direction de la recherche sur l'opinion publique un rôle de leadership pour contribuer à la qualité des sondages commandés dans l'ensemble du secteur public. Nous nous sommes aussi penchés sur la manière dont la Direction a interprété et mis en œuvre ces politiques.

Le Conseil du Trésor a défini un rôle de leadership à l'échelle du gouvernement quant à l'assurance de la qualité des sondages d'opinion publique

2.41 Nous avons constaté que, dans la Politique sur les services communs (2002), le Conseil du Trésor détermine les organismes de services communs qui, entre autres, contribueront à accroître l'efficacité du gouvernement et à « tirer des avantages de la mise en commun de compétences spécialisées ». Il y ajoute que « Certains services fournis par des organismes de services communs (OSC) sont désignés obligatoires [...] lorsque l'intérêt de l'ensemble de l'administration fédérale ou des considérations de cet ordre l'emportent sur les intérêts des ministères ou organismes particuliers, ou concordent avec eux ». Cet intérêt ou ces considérations peuvent signifier qu'il faut donner « accès à des centres d'expertise ou de spécialisation » et répondre à la nécessité d'assurer « un niveau élevé d'uniformité ». Quant aux services particuliers, tous les ministères visés doivent recourir à ceux des OSC obligatoires, dont la Direction de la recherche sur l'opinion publique, actuellement rattachée à TPSGC.

2.42 Selon les représentants du Secrétariat du Conseil du Trésor, la Politique de communication et ses procédures, tout comme la Politique sur les services communs, explique pourquoi la Direction est un organisme de services communs obligatoires. La Politique de communication définit la DROP comme l'autorité technique qui assure la coordination de la recherche sur l'opinion publique pour le gouvernement du Canada. Les procédures connexes à la Politique précisent que la DROP « aidera les institutions à examiner leurs méthodes de recherche et à préciser leurs objectifs de recherche, à rédiger les énoncés de travail » et « fera part aux institutions [...] des normes généralement acceptées dans l'industrie des études de marché ». Tous les ministères qui prévoient commander des sondages à des entreprises de recherche du secteur privé doivent d'abord fournir à la Direction une description du projet de sondage avant de communiquer avec l'entreprise. L'analyse des projets de sondages commandés par les ministères donne au personnel de la DROP l'occasion de leur fournir les conseils requis sur les méthodes et les exigences connexes liées à la qualité des sondages.

2.43 Selon la Politique sur les services communs et la Politique de communication, il est clair que la responsabilité finale de la qualité des sondages incombe au ministère qui passe la commande et le rôle de la Direction est celui de conseiller. Ces politiques énoncent tout aussi clairement, à notre avis, que la DROP est tenue de prodiguer des conseils en ce qui touche les questions entourant la qualité. Elle s'en trouve investie d'un rôle de leadership pangouvernemental qu'elle exerce en assumant la responsabilité qui lui incombe de conseiller de façon persuasive et constante en vue d'assurer un niveau élevé de qualité des sondages.

La Direction de la recherche sur l'opinion publique a interprété son rôle de façon restreinte

2.44 Nous nous attendions à ce que la DROP conseille les ministères aux étapes clés de la planification, de la passation de contrats et de la communication des résultats, et à ce qu'elle étaye ses conseils au moyen de documents. Ce faisant, elle contribuerait à assurer un niveau constant de qualité élevée dans l'ensemble du secteur public.

2.45 Nous avons constaté que le rapport annuel de la DROP pour la période visée confirmait largement son rôle de leadership, défini dans les politiques du Conseil du Trésor, pour l'ensemble du secteur public. Dans La recherche sur l'opinion publique au Canada, rapport annuel 2003-2004, on précise que la DROP a pour mandat de « fournir un centre d'expertise en recherche sur l'opinion publique » et que cette expertise aide les organismes gouvernementaux à « mettre au point de la recherche pertinente et fiable afin de prendre des décisions éclairées ». Dans ce rapport, on ajoute que l'aide de la DROP aux ministères et organismes contribue « à améliorer la qualité de la recherche qu'ils entreprennent » et est « taillée sur mesure ».

2.46 Par contre, les représentants de la DROP nous ont dit que le rôle défini dans le cadre stratégique pour la Direction est plus restreint, à leur avis, que celui conféré par ce cadre à un ministère qui a charge d'assurer la qualité des sondages dans l'ensemble du secteur public. Puisque la qualité des sondages incombe à chaque ministère, ils nous ont tout d'abord informés que la Direction « n'a pas la responsabilité de veiller à la qualité de leurs sondages et qu'elle ne l'évalue donc pas officiellement ». Ensuite, ils nous ont fait savoir que le personnel de la DROP fournit des conseils « à la demande de l'institution responsable », et cela, « au cas par cas, s'il existe des préoccupations ». À notre avis, la Direction doit analyser toutes les propositions qu'elle reçoit et fournir des conseils à ce sujet, pour peu qu'elle indique que, d'après ses analyses, aucun conseil essentiel n'est nécessaire. Nous avons trouvé peu de preuves confirmant que la DROP examinait systématiquement les méthodologies utilisées dans les sondages proposés par les ministères. Sans un examen systématique de la méthodologie, il serait difficile pour la DROP de savoir quand elle doit donner des conseils.

2.47 Le personnel de la DROP nous a aussi informés que, conformément à la Politique de communication du Conseil du Trésor, il exerce une fonction de coordination en mettant les ministères en rapport avec les entrepreneurs, en leur fournissant des services de soutien comme l'animation de comités interministériels, en organisant des ateliers et en préparant des guides de recherche.

2.48 Cela dit, la DROP ne s'est pas employée à fournir des conseils spécialisés aux ministères sur la qualité des différents sondages au point de justifier son rôle obligatoire d'organisme de services communs, tel qu'il est défini dans les politiques pertinentes. Nous avons conclu que la Direction n'interprète pas comme il se doit les politiques gouvernementales en ce qui a trait à son obligation, à titre d'organisme de services communs, de conseiller les ministères au sujet de la qualité des sondages.

2.49 Recommandation. Travaux publics et Services gouvernementaux Canada devrait veiller à ce que la Direction de la recherche sur l'opinion publique, en tant qu'organisme de services communs obligatoires, accorde une place suffisante à la prestation de conseils spécialisés sur la qualité de tous les sondages, aux ministères et aux organismes.

Réponse de TPSGC. Bien que les ministères soient responsables de veiller à la qualité des sondages en vertu du cadre stratégique, la Direction de la recherche sur l'opinion publique (DROP) reconnaît l'importance de cette recommandation et continuera à donner des conseils éclairés aux ministères sur la qualité des sondages. En mai 2004, de nouveaux outils de passation de marché ont été mis en œuvre pour ce qui est de la recherche nationale sur l'opinion publique, lesquels comportaient des exigences contractuelles plus rigoureuses pour l'industrie dans le but d'améliorer la qualité de la recherche. Nous ajouterons d'autres éléments de qualité à nos outils de passation de marché en recherche sur l'opinion publique qui seront renouvelés d'ici 2007 et transmis aux ministères. La DROP mettra également à jour ses guides de recherche actuels afin de mieux informer les ministères des questions se rapportant à la qualité des sondages. De plus, la DROP appliquera une méthode pour systématiser et documenter l'expertise fournie aux ministères et continuera à pratiquer un double examen des dossiers relatifs aux projets avant d'entamer le processus de passation de marché.

Le rôle de leadership à l'échelle gouvernementale en matière de qualité des sondages d'opinion publique n'est pas bien rempli

2.50 Quant au ministère imparti d'un rôle de leadership à l'échelle gouvernementale afin de contribuer à assurer un niveau constant de qualité élevée dans les sondages commandés par les ministères, nous nous attendions à ce qu'il ait des responsabilités précises en ce qui concerne :

• l'établissement de repères pour l'ensemble du gouvernement et l'adoption de normes de qualité appropriées en ce qui touche la qualité des sondages commandés par l'administration fédérale et le contenu des rapports finals de sondages;
• la prestation aux ministères de conseils spécialisés étayés sur des documents lors de l'examen des méthodes et des objectifs. De tels conseils s'appuieraient sur l'application de normes et de repères pour l'ensemble du gouvernement, à chaque sondage commandé, afin qu'il en soit tenu compte dans les contrats entre ministères et entreprises;
• l'examen des rapports finals de sondages afin de déterminer s'ils répondent aux exigences de qualité énoncées dans les conseils donnés antérieurement, avant leur dépôt à la Bibliothèque du Parlement et à Bibliothèque et Archives Canada.

2.51 Absence de repères adéquats pour assurer la qualité des sondages. Dans les procédures de la Politique de communication (2002), le Conseil du Trésor définit les responsabilités de la Direction de la recherche sur l'opinion publique quant aux conseils qu'elle doit fournir aux ministères sur les « normes généralement acceptées dans l'industrie des études de marché ». Comme nous l'avons mentionné précédemment, ces normes ne fournissent toutefois pas de repères précis, au moins en ce qui touche les deux indicateurs principaux que nous avons examinés quant à la qualité des sondages. Nous nous attendions à ce que, pour le secteur public, la Direction ait établi des repères adéquats sur lesquels elle pourrait fonder ses conseils aux ministères sur la manière de distinguer les sondages de bonne qualité de ceux de qualité médiocre. De tels conseils contribueraient également à assurer un niveau constant de qualité élevée dans les sondages de l'ensemble de l'administration fédérale.

2.52 Les représentants de la DROP ont affirmé qu'ils n'ont pas le pouvoir d'élaborer des normes de qualité pour les sondages et qu'ils sont contraints d'utiliser les normes de l'industrie des études de marché. Néanmoins, selon les procédures de la Politique de communication, l'un des objectifs du gouvernement est de faire en sorte que la recherche sur les sondages « respecte ou dépasse les normes reconnues dans l'industrie de la recherche sur l'opinion publique ». De plus, selon ces mêmes procédures, la Direction a charge de conseiller les ministères au sujet de ces normes de l'industrie, comme nous l'avons déjà mentionné. À notre avis, cet énoncé oblige la DROP à déterminer les normes pertinentes de l'industrie à appliquer aux sondages commandés par les ministères. Il lui permettrait en outre d'adapter d'autres normes pour combler les lacunes au chapitre des normes de l'industrie des études de marché, ou de concevoir ses propres repères, lorsque c'est souhaitable, afin de répondre aux besoins des travaux de sondage du gouvernement.

2.53 Recommandation. Afin d'aider les ministères à faire la distinction entre les sondages de bonne qualité et ceux de qualité médiocre, la Direction de la recherche sur l'opinion publique devrait adapter les normes pertinentes de l'industrie des études de marché et élaborer des repères adéquats qui puissent s'appliquer aux sondages commandés par les ministères.

Réponse de TPSGC. La Direction de la recherche sur l'opinion publique (DROP) reconnaît l'importance de cette recommandation. Elle constituera d'ailleurs un groupe consultatif technique composé d'experts qui comprendra la participation de Statistique Canada. Le groupe contribuera à l'élaboration de points de référence appropriés qui seront intégrés aux outils de passation de marché, lesquels seront élaborés et mis à la disposition des ministères qui s'approvisionnent en recherche sur l'opinion publique. La DROP continuera également à appliquer et à adapter les normes pertinentes de l'industrie de la recherche en marketing lorsqu'elle examinera des projets et qu'elle donnera des conseils.

Les conseils de la Direction de la recherche sur l'opinion publique en matière de qualité des sondages ne sont pas officiels

2.54 Selon nous, les conseils donnés aux ministères, en vue de contribuer à assurer un niveau de qualité constant aux sondages qu'ils commandent, devraient comprendre trois volets principaux.

2.55 Premièrement, ces conseils devraient préciser les objectifs de la recherche par sondages et inclure un examen des méthodes de recherche, suivant les procédures de la Politique de communication.

2.56 Deuxièmement, les conseils devraient aussi tenir compte des normes et repères de l'industrie qui sont appropriés au gouvernement. Pour une efficacité optimale, ces conseils doivent, à notre avis, être donnés au cas par cas et se refléter dans le contrat passé entre les ministères et les entreprises de recherche par sondages. Nous nous attendions donc à ce que la Direction fournisse aux ministères des conseils basés sur une application pertinente des normes appropriées et des repères de la qualité des sondages ou, du moins, à ce qu'elle les informe de ces normes de l'industrie, conformément aux exigences des procédures de la Politique de communication.

2.57 Troisièmement, il est nécessaire de documenter ces conseils de sorte que le ministère investi du rôle de leadership en matière de conseil puisse démontrer son efficacité à examiner les propositions de sondages et à contribuer par ses conseils à assurer un niveau constant de la qualité de la recherche par sondages au gouvernement. Dans la Politique sur la gestion de l'information gouvernementale, le Conseil du Trésor énonce « la façon dont l'information doit être créée, utilisée et conservée par les institutions fédérales en vue de remplir leurs mandats, d'appuyer la prestation des programmes et des services du gouvernement, la réalisation des priorités stratégiques du gouvernement et la capacité du gouvernement de satisfaire aux obligations en matière de responsabilisation prescrites par la loi ». Nous nous attendions donc à ce que la DROP ait documenté tous les conseils donnés aux ministères relativement à leurs projets de sondages.

2.58 La plupart des conseils donnés par la DROP ne sont pas documentés. Les représentants de la DROP ont affirmé qu'ils consacrent 40 p. 100 de leur temps à conseiller les ministères à divers stades du processus de planification, de passation de contrats et de communication de l'information sur les résultats. Nous avons examiné les 49 dossiers de sondages pour vérifier si l'on y avait documenté les conseils sur les méthodes et sur les questions qui pourraient influer sur la qualité des sondages et nous avons relevé de tels conseils dans moins de la moitié des dossiers. Le personnel de la Direction nous a informés que, la plupart du temps, la prestation de conseils au sujet des normes et les discussions à cet égard se déroulaient de façon non officielle, surtout par téléphone, et qu'il ne les avait pas documentés. La plupart des représentants des ministères et organismes clients de la Direction, que nous avons interviewés, nous ont dit que celle-ci ne les avait pas conseillés au sujet de l'élaboration et de la tenue de sondages ainsi que de la communication des résultats.

2.59 Peu de documents attestent la prestation systématique de conseils sur les méthodes ou les normes de recherche. Selon les procédures de la Politique de communication, la Direction de la recherche sur l'opinion publique est tenue d'examiner les méthodes de recherche et de donner des conseils au sujet des normes généralement reconnues. Nous nous attendions donc à trouver une liste de contrôle ou d'autres documents montrant que la DROP avait examiné systématiquement les méthodes de recherche et que les conseils donnés par son personnel étaient fondés sur des normes ou des repères. Nous n'avons trouvé ni liste de contrôle ni documents. Seulement 5 des 49 dossiers contenaient des mentions documentées des normes de l'industrie des études de marché sur lesquelles on avait fondé les opinions concernant l'énoncé de travail d'un ministère ou une proposition d'entreprise de recherche. Les conseils de la DROP au sujet des méthodes de recherche étaient donc documentés d'une façon qui n'était ni systématique ni adéquate.

2.60 L'examen rapide des propositions de sondages suscite des inquiétudes. Le personnel de la DROP a insisté sur le fait qu'il doit fournir rapidement ses conseils parce que, selon la Politique sur les services communs, « les organismes de services communs (OSC) offriront aux ministères clients des services qui appuient au mieux l'exécution rapide, efficace et économique des programmes destinés au public ». Or, nous avons constaté que, pour deux tiers des sondages aléatoires et plus du tiers des sondages à valeur élevée, la Direction avait traité les demandes en moins d'un jour. Celle-ci peut avoir donné des conseils officieux avant le début du processus officiel, mais il n'y avait que peu de chances que les ministères en aient reçu des conseils éclairés compte tenu du bref délai dont elle disposait pour examiner officiellement les projets de sondages. Les représentants de Statistique Canada ont joué un rôle semblable au cours des années 1970 et 1980, et ils nous ont dit qu'un délai d'une semaine n'était pas suffisant pour donner des conseils détaillés sur la qualité d'un projet de sondage. Nous croyons qu'à titre d'organisme offrant des services communs obligatoires, la DROP devrait considérer attentivement les risques que comporte la célérité à fournir ses conseils par rapport aux avantages de la prestation de conseils éclairés.

2.61 Les autres rôles de la DROP ne contribuent pas suffisamment à la qualité des sondages. Le personnel de la DROP nous a dit qu'il contribue à la qualité des sondages lorsqu'il aide le service des contrats de TPSGC à déterminer si une entreprise de recherche peut produire des sondages de qualité. Mais cela ne sert qu'à établir si une entreprise est capable de respecter ou de dépasser les normes générales de qualité d'un projet de sondage. Le personnel nous a aussi appris que l'offre officielle de services d'une entreprise à un ministère comporte l'obligation de respecter ou de dépasser les normes de l'industrie des études de marché. Une telle promesse ne peut cependant pas établir de façon réaliste les conditions futures de la qualité d'un sondage donné qui est effectué pour un ministère. Elle ne peut pas, non plus, prévoir les exigences en matière de qualité d'un futur sondage sur la base de son utilisation prévue. Par contre, Statistique Canada garantit le niveau élevé de qualité de ses propres sondages en appliquant ses normes à chacun d'eux, en fonction de chaque cas, selon l'utilisation prévue. Nous sommes d'avis que, même si les autres rôles de la DROP peuvent contribuer quelque peu à la qualité globale des sondages commandés, leur poids ne permet pas de garantir que les exigences relatives à la qualité de sondages particuliers sont respectées de manière uniforme à l'échelle du gouvernement.

2.62 Recommandation. Lorsque la Direction de la recherche sur l'opinion publique conseille les ministères et organismes au sujet de sondages, Travaux publics et Services gouvernementaux Canada devrait veiller à ce que :

• ces conseils soient fondés sur l'application systématique de normes et de repères pertinents à chaque sondage, en fonction de chaque cas;
• tous les conseils soient documentés;
• les ministères et organismes soient encouragés à tenir compte de ces conseils dans leurs contrats afin d'établir des attentes concrètes en matière de qualité.

Réponse de TPSGC. La Direction de la recherche sur l'opinion publique (DROP) accepte cette recommandation. Elle élaborera un cadre de travail ainsi que des outils visant à aider les conseillers à appliquer systématiquement les normes et les points de référence à la formulation de conseils, et ce, en fonction de chaque cas. De nouvelles pratiques seront adoptées afin de mieux documenter les conseils donnés aux ministères. La DROP continuera à fournir des conseils aux ministères qui devront les intégrer aux contrats afin que soient définies des attentes concrètes en matière de qualité. De plus, des éléments de qualité supplémentaires seront ajoutés aux prochains outils de passation de marché pour la recherche sur l'opinion publique, lesquels seront renouvelés d'ici 2007 dans le but d'aider les ministères à obtenir des éléments de qualité dans le processus de passation de marché.

Absence d'information complète sur les sondages d'opinion publique dans les rapports finals

2.63 Les contrats de sondages stipulent habituellement que l'entreprise de recherche doit remettre au ministère qui a commandé le sondage une forme quelconque de rapport final. Ce rapport décrit normalement les méthodes et les résultats du sondage. Cette information est importante pour permettre au lecteur de bien interpréter ces résultats. Les procédures de la Politique de communication exigent seulement que les rapports finals soient envoyés à la DROP et que celle-ci les dépose ensuite à la Bibliothèque du Parlement et à Bibliothèque et Archives Canada. Elles n'obligent pas la DROP à les examiner.

2.64 Cependant, nous prenons note que, selon la Politique sur la gestion de l'information gouvernementale, tous les ministères sont tenus « de recueillir, de créer, de recevoir et de saisir l'information de manière à [...] veiller à la pertinence, à la fiabilité et à l'exhaustivité de l'information ». À notre avis, cette exigence de la Politique permettrait à la Direction d'examiner les rapports finals et lui fournirait l'occasion d'améliorer la qualité des sondages et des archives en évaluant les rapports pour vérifier s'ils contiennent les renseignements essentiels. Grâce à cette façon de faire, la DROP pourrait boucler la boucle en évaluant dans quelle mesure les conseils fournis initialement par ses représentants à un ministère se reflètent dans l'exhaustivité du rapport de recherche final et dans la qualité du sondage. Ses évaluations pourraient servir à peaufiner et à améliorer ses services consultatifs à l'égard d'activités de recherche futures.

2.65 Dans les 49 dossiers de sondages que nous avons examinés (16 rapports de sondages à valeur élevée et 33 rapports de sondages aléatoires), nous avons constaté que la plupart des contrats rédigés par le service des contrats de TPSGC comprenaient un ensemble d'éléments communs voulant que les rapports finals décrivent la qualité des sondages. Les représentants de la DROP nous ont appris que, comme les ministères pouvaient modifier ces éléments communs, ceux-ci ne figuraient pas tous dans les contrats. Des 45 dossiers de sondages qui comprenaient des rapports finals, 10 des 13 rapports de sondages à valeur élevée et 30 des 32 rapports de sondages aléatoires devaient comprendre cet ensemble d'éléments communs décrivant la qualité des sondages. Cependant, aucun des 40 rapports finals de sondages ne contenait tous les éléments communs exigés par le contrat.

2.66 Nous avons aussi vérifié si les 45 rapports finals contenaient cinq éléments clés de la qualité que nous avions sélectionnés dans cet ensemble d'éléments communs et qui sont énumérés à la pièce 2.2. Nous avons constaté que seulement 9 rapports contenaient chacun des cinq éléments.

2.67 Dans l'ensemble, nous avons constaté que, même si la DROP avait reçu les rapports finals des sondages commandés, son personnel n'avait pas vérifié s'ils étaient exhaustifs et fiables avant de les envoyer à la Bibliothèque du Parlement et à Bibliothèque et Archives Canada. Cela est conforme au cadre stratégique actuel du Secrétariat du Conseil du Trésor à l'égard de la DROP.

2.68 Recommandation. Travaux publics et Services gouvernementaux Canada devrait veiller à ce que la Direction de la recherche sur l'opinion publique examine les rapports finals de sondages afin d'établir s'ils sont exhaustifs et fiables.

Réponse de TPSGC. La Direction de la recherche sur l'opinion publique (DROP) reconnaît l'importance de disposer de rapports finaux, complets et fiables sur les sondages. Avant de remettre les rapports finaux à la Bibliothèque du Parlement et à Bibliothèque et Archives Canada, la DROP continuera de les examiner afin de déterminer s'ils sont complets et d'informer les ministères des éléments requis selon les politiques du gouvernement du Canada. En harmonie avec les responsabilités organisationnelles liées à la qualité de la recherche en vertu de la Politique de communication du gouvernement du Canada et de la gestion des dépenses aux termes de la Loi sur la gestion des finances publiques, la DROP continuera à fournir des conseils aux ministères et à les encourager à intégrer les éléments nécessaires pour décrire la qualité et à prendre les mesures recommandées chaque fois que les normes ou les points de référence n'auront pas été respectés. Des éléments de qualité supplémentaires, visant à encourager la préparation de rapports complets et fiables, seront ajoutés aux prochains outils de passation de marché en recherche sur l'opinion publique qui seront renouvelés d'ici 2007.

Conclusion

2.69 L'accroissement du nombre des sondages du gouvernement fédéral souligne l'importance d'en assurer la qualité et de veiller à la manière dont ils sont rendus publics. Les Canadiens devraient avoir l'assurance que l'information qu'ils fournissent dans leurs réponses aux sondages sera utilisée par le gouvernement pour mieux gérer les programmes et pour informer le Parlement sur le rendement de ceux-ci.

2.70 Des directives claires n'ont pas encore été données aux ministères et aux organismes quant à la façon de présenter l'information sur la qualité des sondages dans leurs rapports sur le rendement. Le public et le Parlement n'ont donc pas été renseignés convenablement sur la qualité des sondages dont il leur a été fait rapport. Il y a donc risque qu'ils aient été induits en erreur au sujet de programmes gouvernementaux à cause de la qualité médiocre de résultats de sondages.

2.71 D'après notre examen de deux indicateurs plus importants de la qualité des sondages, nous sommes préoccupés par la qualité des sondages d'opinion publique, commandés par les ministères et organismes, que nous avons examinés. Nous nous inquiétons tout particulièrement du fait qu'on n'a pas tenu compte comme il se doit des biais possibles dans les sondages, et que des résultats de sondages ont pu induire le lecteur en erreur. Nous nous inquiétons aussi de ce que la plupart des rapports finals de sondages étaient incomplets.

2.72 Comme l'organisme investi du leadership à l'échelle gouvernementale à l'égard de la qualité des sondages, soit la Direction de la recherche sur l'opinion publique, n'a pas adapté les normes de l'industrie en fonction de leur utilisation par le secteur public et n'a pas, non plus, élaboré de repères, il a raté l'occasion de fournir aux ministères et aux organismes des conseils susceptibles de contribuer à assurer un niveau constant de qualité élevée de leurs sondages. Chacun des ministères et organismes a la responsabilité d'assurer la qualité de ses propres sondages, mais le ministère qui a pour mandat de jouer un rôle de leadership à l'échelle gouvernementale, contribuant ainsi à assurer un niveau constant de qualité élevée des sondages, n'a pas exercé ce rôle adéquatement.

À propos de la vérification

Objectifs

Nos objectifs de vérification étaient les suivants :

• établir si, dans leurs rapports ministériels sur le rendement, les ministères et organismes fournissent suffisamment d'information sur la qualité des données de sondages pour démontrer qu'elles peuvent servir à rendre compte du rendement au Parlement;
• décrire certains éléments principaux de la qualité des sondages qui sont menés pour le compte des ministères et organismes fédéraux par des fournisseurs de recherche du secteur privé et examinés par la Direction de la recherche sur l'opinion publique (DROP);
• vérifier si le gouvernement fédéral exerce un leadership pour ce qui est d'assurer la qualité des sondages effectués par les ministères et les organismes.

Étendue

Notre vérification nous a amenés à examiner si l'information communiquée au sujet de sondages provenant de sources diverses, dans un certain nombre de rapports ministériels sur le rendement, était suffisante. Nous avons aussi examiné la qualité et les rapports de résultats des sondages qui ont été menés pour le compte de ministères et organismes fédéraux par des entreprises du secteur privé, et analysés par la Direction de la recherche sur l'opinion publique. Enfin, nous avons examiné le leadership exercé en matière de qualité des sondages.

L'étendue du volet de notre vérification, qui a porté sur les sondages d'opinion publique commandés par le gouvernement fédéral, excluait ce qui suit :

• les sondages financés par le budget des services votés de Statistique Canada. Nous avons examiné les travaux à frais recouvrables de la Division des enquêtes spéciales et du Groupe de consultation statistique afin d'établir un repère pouvant servir de base de comparaison avec d'autres sondages fédéraux,
• l'information sur l'utilisation des sondages par les ministères et organismes,
• les sondages effectués par des organismes aux termes de la partie III de la Loi sur la gestion des finances publiques, étant donné qu'ils ne sont pas assujettis à l'examen de la DROP,
• les sondages effectués à des fins internes seulement ou menés au sein des ministères et organismes et ceux donnés à contrat par Conseils et Vérification Canada,
• la recherche qualitative sur l'opinion publique, étant donné l'étendue et l'utilisation plus réduites de ces données et la nature distincte des normes de qualité applicables,
• la gestion des dossiers, l'évaluation des entreprises aux fins de la passation des contrats et la coordination de ceux-ci.

Méthode

Sélection des échantillons. À l'aide d'une base de données de la DROP, consignant toute la recherche sur l'opinion publique effectuée en 2003-2004 (593 cas), nous avons recensé tous les projets qui comportaient une forme quelconque de recherche quantitative (388). Cela incluait des projets réunissant un élément quantitatif et qualitatif ainsi que des études multi-intérêts. Un dossier avait un budget dont le montant était négatif et il a été exclu du processus d'échantillonnage. Comme nous nous y attendions, la distribution présentait une asymétrie positive, et les sondages à valeur élevée étaient en minorité. À l'aide du filtre pour observations aberrantes de Tukey, nous avons défini les sondages à valeur élevée comme étant ceux qui disposaient d'un budget de 136 000 $ ou plus. Nous en avons relevé 16 de ce type.

Les autres sondages (372) ont été divisés en deux strates pour un échantillon non proportionnel : les sondages de moins de 50 000 $ (263) et ceux de plus de 50 000 $ (108). Les estimations pour cet échantillon ont été pondérées comme il se doit.

Au total nous avons sélectionné 57 sondages. Huit ont été exclus de la vérification parce qu'ils débordaient la population cible. Certains de ces dossiers étaient incomplets en raison de l'achat des données d'une étude multiclients (voir le tableau qui suit).

Les résultats pour les éléments à valeur élevée ont été communiqués au moyen d'un recensement des sondages disponibles et, pour le reste de la population, au moyen de l'échantillon stratifié non proportionnel. Les résultats sont précis à plus ou moins 12 p. 100, 18 fois sur 20. Les résultats extrêmes (moins de 10 p. 100 ou plus de 90 p. 100) sont précis à plus ou moins 10 p. 100, 18 fois sur 20.

Pour les 19 cas où le rapport final incluait au moins un relevé partiel des personnes sondées, nous avons estimé les taux de réponse aux sondages d'après l'information contenue dans le « relevé des personnes sondées » à l'aide de la méthode de calcul du taux de réponse 3 (TR3) de l'AAPOR. Cette méthode est moins prudente que celle prescrite par l'Association professionnelle de recherche en marketing; elle donne des taux de réponse plus élevés que celle de l'Association. Dans la plupart des cas, le relevé des personnes sondées ne contenait pas suffisamment d'information pour obtenir un TR3 précis. Nous avons estimé un taux d'admissibilité en nous fondant sur la population cible et sur les renseignements tirés du recensement de 2001 de Statistique Canada. Dans les cinq cas où un rapport n'affichait qu'un taux de réponse sans fournir d'information sur le mode de calcul, la valeur apparente de ce taux a été retenue. Dans les 21 autres cas, il n'y avait aucune information sur le taux de réponse.

Entrevues. Nous avons mené des entrevues auprès d'employés de 10 des 17 ministères et organismes qui composaient notre échantillon de projets de sondages donnés à contrat. Dans la plupart des cas, les personnes interviewées étaient des coordonnateurs de la recherche sur l'opinion publique en poste en 2003-2004. La sélection des ministères a été faite de façon que soient représentés des ministères de tailles diverses et d'expérience différente en recherche. Nous avons posé des questions standard à chaque ministère.

Équipe de vérification

Vérificateur général adjoint : Ronnie Campbell
Directeur principal : Barry Leighton
Directeurs : Catherine Livingstone, Colin Meredith

Doreen Deveen
John McGrath
Anupheap Ngoun
Paul Pilon
Ruth Sullivan
Jacqueline Wickett

Pour obtenir de l'information, veuillez joindre le service des Communications en composant le (613) 995-3708 ou le 1 888 761-5953 (sans frais).

Définitions :

Base de sondage — toute liste ou tout document ou instrument qui détermine les éléments de la population sondée et y donne accès. (Retourner)

Taux de réponse — proportion des répondants admissibles qui ont été sélectionnés pour participer à un sondage et qui l'ont effectivement fait. (Retourner)