La tenue d'enquêtes

Note : Le présent guide vise à ce que les enquêtes menées au BVG soient conformes aux exigences et aux attentes raisonnables des spécialistes dans le domaine, de même qu'aux normes de VOR du Bureau du vérificateur général. Les termes « doit » et « devrait » utilisés dans ce document d'orientation ne correspondent pas nécessairement à des politiques et à des normes du BVG. Toutefois, ils indiquent quelles sont les exigences et les attentes relatives à la tenue des enquêtes.

Les enquêtes imposent souvent un fardeau considérable aux répondants et elles peuvent être coûteuses et longues à mener. Il est important de déterminer, au cours de l'étape de la planification de la vérification, si une enquête peut fournir une information qui est suffisamment fondée, uniforme et objective, et qui peut contribuer à l'acquisition des éléments probants nécessaires (voir Lien actif au Manuel de VOR) et s'il y a lieu d'avoir recours à une enquête dans les circonstances. Pour savoir s'il doit ou non tenir une enquête, le vérificateur doit répondre à trois questions essentielles (voir le schéma de décision d'enquête 1 : Planification) :

• À quels besoins de renseignements précis peut-on répondre par une enquête?
• Une enquête peut-elle fournir les renseignements nécessaires à temps et à un coût raisonnable?
• Faut-il faire des énoncés généraux au sujet d'une population pour étayer les observations de vérification?

À quels besoins de renseignements précis peut-on répondre par une enquête?

Pour décider si une enquête peut être utile ou non, il importe d'être aussi précis que possible dans la définition des renseignements nécessaires pour atteindre les objectifs de la vérification, renseignements que l'on peut obtenir de cette façon.

Lorsqu'on sait de quels renseignements précis on a besoin, il faut décider de la faisabilité de l'enquête.

Une enquête peut-elle fournir les renseignements nécessaires?

Pour déterminer si une enquête peut contribuer à la vérifiabilité (voir Manuel de VOR sur la vérifiabilité) d'un sujet, il faut répondre à un certain nombre d'autres questions. Il faut avant tout se demander si les renseignements seront disponibles auprès de sources qui se prêtent à une enquête. S'il est peu probable que les individus aient les connaissances nécessaires ou si la question est si délicate qu'ils ne seront pas disposés à répondre ou à fournir des renseignements exacts, il ne convient pas de procéder à une enquête.

Il peut aussi y avoir des contraintes d'ordre pratique : l'enquête peut être trop coûteuse ou trop longue et il peut être impossible de la réaliser dans les délais fixés ou avec les ressources disponibles à cause de la taille de l'échantillon nécessaire ou de la complexité des questions à examiner. La question du délai devient plus critique lorsque le temps nécessaire pour mener à terme la planification et l'examen est de près de neuf mois.

Il faut aussi songer à la disponibilité des compétences nécessaires. Il y a un bon nombre de questions techniques à résoudre dans la planification et la tenue d'une enquête et il faut suivre des méthodes professionnelles pour en arriver à des constatations crédibles. De nombreux vérificateurs n'ont pas de formation ou d'expérience sur la tenue des enquêtes, ni d'ailleurs sur les questions méthodologiques connexes. Le RSF pour les enquêtes peut les aider à trouver les compétences nécessaires.

Il appartient au PX de veiller à ce que l'équipe de vérification dispose de compétences techniques suffisantes (voir Manuel de VOR portant sur la compétence de l'équipe de vérification) et de l'expérience nécessaire pour la tenue d'une enquête. Cette compétence doit être soit disponible au sein de l'équipe, soit obtenue à l'extérieur. Selon la nature précise de l'enquête, il faut de la compétence et de l'expérience dans les domaines suivants :

• Conception de l'échantillon et analyse statistique;
• Conception des instruments de collecte des données;
• Gestion des données et analyse statistique;
• Administration des enquêtes, y compris la formation des intervieweurs, la logistique et la gestion des non-réponses;
• Présentation des résultats de l'enquête.

Outre une compétence dans ces domaines, nécessaire au cours de l'examen, il peut en falloir également au cours de la planification pour savoir si l'enquête est une méthode applicable et si elle convient. Il est important de demander l'avis du RSF pour les enquêtes au cours de la planification (de même que pendant toute la durée de l'enquête) et de consulter d'autres experts au besoin.

Pour décider s'il y a lieu ou non d'avoir recours à une enquête, il faut en premier lieu déterminer s'il sera nécessaire de faire des énoncés globaux ou généraux sur une population plus importante, en particulier des énoncés quantitatifs au sujet d'une population de fonctionnaires, de programmes, d'opérations ou de citoyens (p. ex. la clientèle d'un programme).

Faut-il faire des énoncés généraux au sujet d'une population?

Si l'on a l'intention de faire un énoncé général au sujet d'une population (p. ex., la moitié de tous les gestionnaires pensent que le système d'information automatisé du ministère contient des erreurs importantes), l'énoncé doit s'appuyer sur un fondement logique ou statistique. Si la population est restreinte (p. ex., tous les directeurs généraux de l'organisme), il conviendrait de faire enquête auprès de tous les membres de la population (c.-à-d. de procéder à un recensement), de façon à s'appuyer sur une base raisonnable. Si la population est vaste, il faudra déterminer un échantillon représentatif choisi au moyen de procédés d'échantillonnage statistiquement fondés. Dans l'un et l'autre cas, il ne sera possible de procéder à l'enquête que si une liste des membres de la population, ou d'autres moyens de les recenser, est disponible et qu'elle peut servir à les choisir et à communiquer avec eux.

Si l'énoncé de vérification n'est pas de nature quantitative, pas plus qu'il ne peut viser à décrire une population en général, il n'est peut-être pas nécessaire d'avoir recours à des procédés d'échantillonnage aléatoire. Par exemple, si l'on veut résumer et décrire les types de problèmes qu'éprouvent les gestionnaires dans l'établissement des objectifs, il peut être suffisant de recenser un échantillon de gestionnaires dont on peut raisonnablement s'attendre qu'ils reflètent une grande diversité d'expériences et d'opinions.

La décision de procéder ou non à l'enquête doit être prise tôt, à la phase de l'examen (voir le schéma de décision d'enquête 2), au cours de la conception et de l'essai des instruments et des procédés d'enquête. Il est aussi très important de décider d'un plan d'analyse de données dès que possible. La méthode analytique choisie aura une incidence sur un certain nombre d'aspects de l'enquête, par exemple : la taille de l'échantillon et la conception de l'instrument de collecte des données.

Peut-on recueillir des données suffisamment fiables et valides?

L'une des questions essentielles à se poser pour décider s'il y a lieu de faire une enquête, c'est de savoir si les données peuvent être recueillies et constituer une base solide pour les observations de vérification. Même s'il est souvent possible de faire une évaluation tôt au cours de la planification de la vérification, il est souvent impossible de prendre une décision tant que les instruments et les procédés d'enquête ne sont pas élaborés et mis à l'essai. Il est particulièrement important de faire des essais des instruments et procédés de collecte des données d'enquêtepour s'assurer qu'ils fourniront des renseignements qui sont fiables et valides.

Malgré tout le soin apporté à la planification et à l'administration de l'enquête, il peut survenir des problèmes qui font en sorte que les données ne sont ni suffisamment fiables, ni valides. Au cours de l'analyse, le vérificateur responsable devra décider si les données peuvent servir à étayer les observations de vérification (voir le schéma de décision d'enquête 3). L'information nécessaire pour démontrer la fiabilité et la validité des données doit être indiquée ou incluse dans le dossier de vérification.