La tenue d'enquêtes

Note : Le présent guide vise à ce que les enquêtes menées au Bureau soient conformes aux exigences et aux attentes raisonnables des spécialistes dans le domaine, de même qu'aux normes de vérification d'optimisation des ressources (VOR) du Bureau du vérificateur général (BVG). Les termes « doit » et « devrait » utilisés dans ce document d'orientation ne correspondent pas nécessairement à des politiques et à des normes du BVG. Toutefois, ils indiquent quelles sont les exigences et les attentes relatives à la tenue des enquêtes.

Qu'est-ce qu'une enquête? L'administration de procédés uniformes, comme des questionnaires ou des interviews structurées, en vue d'obtenir des données sur au moins vingt-cinq cas individuels, avec l'intention de faire des énoncés globaux au sujet des questions étudiées.

Les énoncés globaux fondés sur les données d'enquête peuvent être quantitatifs (p. ex., « Seulement 10 ministères sur 20 établissent leurs priorités de façon systématique et structurée ») ou ils peuvent être qualitatifs (p. ex., « Étant donné le temps qu'il a fallu pour mettre au point la structure du ministère, la planification a été difficile. »).

On utilise l'enquête pour demander à des individus quels sont les faits, quels sont leur point de vue et leurs impressions, et quel est le comportement réel. Il faut faire preuve d'une grande prudence lorsqu'on envisage d'utiliser une enquête pour obtenir des réactions à une situation hypothétique.

On peut avoir recours à des techniques d'enquête, comme le questionnaire, lorsqu'on n'a pas l'intention de faire un énoncé global. On peut, à l'occasion, utiliser certaines techniques d'enquête, comme l'échantillonnage aléatoire, pour obtenir des données factuelles à partir de documents et d'observations directes plutôt qu'auprès d'individus, avec l'intention de généraliser les conclusions par rapport à une population. Même s'il ne s'agit pas d'une enquête en soi, le recours à ces techniques dans d'autres contextes soulève bon nombre des mêmes considérations qui s'appliquent à leur utilisation dans les enquêtes.

Exigences

Il faut obtenir des conseils sur la méthodologie à cause de l'importance vitale des aspects techniques. L'enquête est à la fois un art et une spécialité très technique. Il est bon de prendre conseil auprès du RSF pour les enquêtes. On peut aussi le faire auprès d'experts de l'extérieur et des comités consultatifs internes sur la méthodologie.

Il faut revoir les conseils reçus de l'intérieur et de l'extérieur avec le RSF pour les enquêtes. On peut aussi songer à consulter le RSF pour les enquêtes lorsque des techniques d'enquête sont appliquées dans d'autres contextes que l'enquête telle qu'elle est définie ci-dessus.

Il faut songer à consulter le RSF pour la mesure quantitative lorsque des énoncés quantitatifs sont faits ou seront faits à partir des données obtenues dans le cadre de l'enquête.

Il appartient au directeur principal (PX) de veiller à ce que l'équipe de vérification dispose de compétences techniques suffisantes (voir Manuel de VOR portant sur la compétence de l'équipe de vérification) et de l'expérience nécessaire pour la tenue d'une enquête. Elle doit disposer de compétences et d'expérience dans les domaines suivants :

• Conception de l'échantillon et analyse statistique;
• Conception des instruments de collecte des données;
• Gestion des données et analyse statistique;
• Administration des enquêtes, y compris la formation des intervieweurs, la logistique et la gestion des non-réponses;
• Présentation des résultats de l'enquête.

Il faut consulter le RSF pour les enquêtes lorsqu'on fait appel à des experts de l'extérieur.

Exigences et attentes relatives aux éléments probants :

Assurance de la qualité. Il appartient au PX de veiller à ce que les procédés nécessaires soient suivis pour que les renseignements de l'enquête soient valides et fiables (voir Manuel de VOR sur les éléments probants suffisants). Les éléments probants fournis par l'enquête sont seulement aussi valides que les sources d'information examinées. Dans l'enquête, il faut utiliser des procédés qui permettent d'attester que les conclusions sont tirées de renseignements qui sont suffisamment précis, exacts et uniformes et qui ne sont pas influencés par des contraintes relatives aux aspects suivants :

• Instruments de collecte des données;
• Échantillonnage;
• Administration de l'enquête;
• Non-réponses;
• Traitement des données et analyse.

En particulier :

Tous les instruments de collecte des données doivent faire l'objet d'un essai préliminaire. L'essai préliminaire est l'administration de l'instrument à un petit ensemble de répondants tirés de la population visée par l'enquête à pleine échelle, pour déterminer les problèmes que pourrait poser l'instrument.

Les procédés pour la tenue d'une vaste enquête doivent faire l'objet d'un essai pilote. L'essai pilote consiste à mettre en ouvre tous les aspects de l'enquête, depuis la détermination de l'échantillon et la préparation des trousses à envoyer par la poste, jusqu'à l'analyse des données d'un petit échantillon tiré de la population. Il s'agit de déterminer les problèmes que pourrait poser la tenue de l'enquête.

Le vérificateur doit avoir recours à l'échantillonnage aléatoire s'il entend faire un énoncé quantitatif au sujet d'une population plus vaste en se fondant sur les résultats d'un échantillon (voir le Manuel de VOR, partie sur la vérification des systèmes de contrôle).

Les procédés d'assurance de la qualité qui sont appliqués et leurs résultats doivent faire partie du dossier de vérification.

Biais. Le PX doit veiller à ce que les instruments de collecte des données, l'échantillonnage et les procédés ne fassent l'objet d'aucun biais indu, ni ne soient perçus comme tels. On trouve des erreurs dans les données d'une enquête en raison des contraintes à la collecte des données, à l'échantillonnage et à d'autres procédés de l'enquête. Les erreurs peuvent produire des biais non intentionnels et mener à des observations et à des conclusions de vérification inexactes. Les biais, intentionnels ou non, peuvent avoir des conséquences négatives sur la validité des données de l'enquête et sur l'impression d'objectivité que veut donner le Bureau.

Corroboration. Lorsque l'enquête se fait auprès d'individus, il faut penser à faire une certaine corroboration des réponses écrites et orales aux enquêtes (voir Manuel de VOR portant sur les éléments probants suffisants). Les réponses écrites et orales données représentent l'opinion des individus sur le sujet en question. Par conséquent, les réponses des individus constituent le même type d'éléments probants que ceux qui découlent des interviews de vérification. Les réponses écrites ou orales des gestionnaires aux questionnaires sur les pratiques de gestion, les résultats des programmes et les questions financières représentent leurs points de vue sur ces sujets. Par conséquent, il faut considérer les réponses de chacun des gestionnaires comme des déclarations de la direction. C'est pourquoi le vérificateur doit accorder la même importance à la corroboration des réponses d'enquête que dans le cas des interviews de vérification et des déclarations de la direction.

Exigences et attentes pour la présentation des rapports :

Il appartient au PX de veiller à ce que les méthodes professionnelles soient respectées dans la présentation des constatations de l'enquête (voir Manuel de VOR portant sur la diligence nécessaire). Il y a maintenant des méthodes reconnues pour la présentation des résultats d'enquête. Il s'agit de fournir au lecteur suffisamment de renseignements pour qu'il puisse juger du poids à accorder aux données de l'enquête. Dans un contexte de vérification, il est ainsi possible de déterminer dans quelle mesure les données de l'enquête sont fondées, uniformes et objectives, et dans quelle mesure elles contribuent à la collecte des éléments probants nécessaires (voir Manuel de VOR portant sur les éléments probants).

Selon les méthodes professionnelles, le vérificateur doit indiquer les éléments suivants : population cible, taille de l'échantillon, méthodes d'échantillonnage, taux de réponse à l'enquête, estimation de l'erreur d'échantillonnage, fréquence de certaines réponses à chacune des questions, et formulation exacte des questions dont il signale les résultats. Il faut aussi signaler les limites susceptibles d'avoir de l'importante dans les renseignements ou les procédés de l'enquête.

Dans la partie intitulée « À propos de la vérification », il faut décrire la population cible, la méthode de sélection de l'échantillon, les moyens utilisés pour la collecte des données, le taux de réponse d'ensemble et un intervalle de confiance global (s'il y a lieu). La description des constatations doit être accompagnée des questions sur lesquelles s'appuient les constatations principales, telles qu'elles ont été formulées. Dans la description des constatations, il faut aussi expliquer les conséquences sur les observations de vérification des limites importantes dans les procédés ou les données de l'enquête. Il faut inclure dans les cahiers de corroboration des renseignements plus précis sur les éléments suivants : procédés d'échantillonnage, administration de l'enquête, les questions telles qu'elles ont été formulées, les analyses, la fréquence des réponses, l'erreur estimative pour chacune des questions, ainsi que les façons de contourner les limites importantes dans les procédés et les données de l'enquête.

Exigences et attentes professionnelles relatives au fardeau du répondant et au consentement éclairé :

Il existe aussi maintenant un ensemble de méthodes professionnelles visant à protéger la pratique d'enquête et le répondant tout en minimisant le fardeau qui lui est imposé et en veillant à ce que le répondant ait suffisamment de renseignements pour bien comprendre les conséquences de son consentement à participer à l'enquête.

Il appartient au PX de veiller à ce que soient respectées les exigences visant à minimiser le fardeau du répondant et à obtenir son consentement éclairé. Il doit notamment s'assurer que :

• l'enquête est le meilleur moyen disponible, compte tenu du coût (voir Manuel de VOR portant sur les éléments probants suffisants), pour la collecte des données nécessaires;
• le vérificateur ne demande que les renseignements nécessaires pour atteindre les objectifs de la vérification;
• les renseignements qui mentionnent ou qui permettent de reconnaître des individus ne sont recueillis que s'ils sont absolument nécessaires et que si le vérificateur prend les moyens voulus pour en assurer la confidentialité, dans la mesure du possible;
• les questions sont non sexistes, respectent les minorités et protègent les droits linguistiques.

Les répondants doivent être bien informés des points suivants :

• les buts de l'enquête;
• les utilisations qui seront faites des renseignements;
• le fait que c'est le Bureau du vérificateur général qui fait l'enquête ou qui l'a commandée;
• l'intention de publier les constatations de l'enquête dans le Rapport du vérificateur général du Canada au Parlement;
• dans quelle mesure l'identité des répondants et leurs réponses peuvent demeurer confidentielles et le demeureront;
• le nom et le numéro de téléphone d'une personne avec qui communiquer si l'on a des questions à poser ou des plaintes à formuler;
• les constatations de l'enquête.

Le vérificateur ne peut garantir la confidentialité aux répondants s'il recueille pour l'étude des renseignements nominatifs quelconques, et ce en raison d'un certain nombre de facteurs, notamment les questions que les comités parlementaires peuvent poser au vérificateur général, ou la découverte de cas de fraude, d'abus ou d'autres comportements illégaux. Par conséquent, chaque fois que le Bureau (ou toute personne qui prend connaissance des renseignements) peut reconnaître des individus selon leurs réponses, il faut veiller à ne pas prendre d'engagement au sujet de la confidentialité ou de l'anonymat. Tout engagement de ce genre doit être approuvé par le vérificateur général adjoint responsable.

Les questions portant sur les exigences relatives à la confidentialité des données de l'enquête doivent être portées à l'attention du RSF pour l'accès à l'information. Il faut porter à l'attention des services juridiques la formulation précise de tout engagement de confidentialité ou d'anonymat, ainsi que toute question au sujet de la possibilité que, pour certaines questions de l'enquête, des renseignements délicats du point de vue légal soient dévoilés. Pour ce qui est des procédés visant le maintien de la confidentialité des réponses individuelles, il faut en parler avec le RSF pour les enquêtes.

La publication des constatations de l'enquête dans le Rapport du vérificateur général du Canada doit satisfaire aux exigences selon lesquelles les répondants doivent être informés des constatations de l'enquête. Si les constatations ne sont pas publiées, il faut songer à une autre façon d'informer les répondants (p. ex., une lettre de recommandations, une séance d'information, etc.).

Principales décisions concernant l'enquête

Les décisions de vérification décrites dans les schémas de décision d'enquête ci-joints aideront le vérificateur responsable à décider s'il est opportun d'utiliser l'enquête et à s'assurer que les exigences et les attentes dont il est question dans le présent Guide pour la tenue d'enquêtes sont satisfaites.

Schéma de décision d'enquête 1 : Phase de planification de la vérification

Schéma de décision d'enquête 2 : Phase d'examen de la vérification

Schéma de décision d'enquête 3 : Phase du rapport de la vérification