La tenue d'enquêtes

Note : Le présent guide vise à ce que les enquêtes menées au BVG soient conformes aux exigences et aux attentes raisonnables des spécialistes dans le domaine, de même qu'aux normes de VOR du Bureau du vérificateur général. Les termes « doit » et « devrait » utilisés dans ce document d'orientation ne correspondent pas nécessairement à des politiques et à des normes du BVG. Toutefois, ils indiquent quelles sont les exigences et les attentes relatives à la tenue des enquêtes.

Introduction

L'avantage principal de l'enquête tient à ce qu'elle permet au vérificateur de faire des énoncés globaux sur un sujet correspondant aux objectifs de la vérification, par exemple : « Dans l'ensemble, il y a eu une perte de ressources pour... » ou « Un quart des gestionnaires éprouvent des difficultés à établir une distinction entre... ».

Il y a deux conditions préalables pour faire un énoncé général :

• l'utilisation d'un échantillon qui permet de faire une évaluation non biaisée de la situation au sujet de laquelle l'énoncé général sera fait;
• l'utilisation d'une méthode et de questions normalisées à l'égard de tous les membres de l'échantillon.

La généralisation par rapport à une population

L'un des buts les plus courants d'une enquête, c'est de permettre au vérificateur d'en arriver à une conclusion générale (de faire une généralisation) à propos d'une population sur un sujet relié aux objectifs de la vérification. Il s'agit là d'un moyen utile lorsque l'importance d'une situation tient à son ampleur, par exemple la fréquence avec laquelle certaines lacunes dans les méthodes de gestion des ressources humaines se trouvent dans une organisation. Lorsque certaines situations peuvent être en soi importantes, d'autres méthodes, comme l'étude de cas, peuvent convenir davantage. Par exemple, dans l'examen des mécanismes de contrôle des activités dans un programme donné, il peut y avoir quelques activités qui présentent des dangers physiques importants pour le public ou pour les employés et qui exigent une attention propre.

Pour faire une généralisation par rapport à une population, il est essentiel que l'enquête soit fondée sur un échantillon représentatif de toute la population. Il n'est possible de faire une telle enquête que si la population en question peut être clairement cernée et s'il existe un moyen de repérer des individus dans cette population à des fins d'échantillonnage. Dans le cas d'une petite population, il peut être possible d'obtenir une mesure non biaisée en s'adressant à toute la population (recensement), s'il est possible de la cerner.

Quand une enquête convient-elle?

Dans une enquête portant sur des individus, on peut chercher à obtenir toute une gamme de renseignements comme les suivants :

• les caractéristiques du répondant (âge, situation dans une organisation, études ou autres titres de compétence, etc.);
• les activités antérieures ou actuelles (ce qu'ils ont fait dans le passé);
• les motifs des activités;
• des renseignements factuels relatifs au programme (dépenses, méthodes de gestion);
• le degré de satisfaction par rapport aux politiques, aux programmes et aux méthodes;
• des opinions au sujet de l'efficacité des programmes ou des méthodes.

Les techniques de collecte des données employées dans les enquêtes auprès des individus sont semblables aux interviews de vérification ou aux déclarations de la direction (lorsque l'information est obtenue auprès des gestionnaires), en ce sens qu'elles permettent d'obtenir l'opinion des répondants au sujet de faits. Elles peuvent par conséquent exiger une corroboration pour confirmer l'existence de ces faits. Il peut être difficile de poser des questions de corroboration dans le cadre de questionnaires et d'interviews structurées. Il peut donc être nécessaire d'avoir recours à d'autres techniques pour faire une corroboration. Si une corroboration indépendante est jugée essentielle, d'autres techniques, comme l'étude de cas ou l'examen de documents, peuvent être préférables. Il peut être possible, dans certains cas, d'allier une méthode d'enquête avec d'autres méthodes. On peut, par exemple, dans un questionnaire d'enquête, demander aux répondants de fournir des documents de corroboration qui seront examinés par le vérificateur.

Dans les sondages d'opinion publique et les enquêtes de marketing menés par d'autres, on a demandé aux répondants quelle serait leur réaction dans des situations hypothétiques ou futures, p. ex., ce qu'ils achèteraient dans certaines circonstances ou comment ils voteraient. Il est très difficile de corroborer les réponses des individus à des situations hypothétiques. Il faut donc faire preuve d'une grande prudence lorsqu'on pose des questions hypothétiques dans une enquête.

Bon nombre des facteurs qui s'appliquent à la conception et à l'utilisation de questionnaires, d'interviews structurées et d'échantillons dans les enquêtes menées auprès d'individus s'appliquent à l'utilisation de ces techniques à d'autres fins aussi. Dans ce cas, il faut songer à consulter le RSF pour les enquêtes.

Par exemple, les questionnaires et les interviews structurées peuvent servir à d'autres fins que la généralisation par rapport à une population. Ils peuvent servir à obtenir des renseignements auprès du personnel d'un programme, de ses gestionnaires ou de sa clientèle, dans un lieu donné, dans le cadre d'une étude de cas ou d'une série d'études de cas. Ou encore, ils peuvent servir à la formulation de recommandations appropriées relativement à des lacunes révélées par une vérification.

Plutôt que de servir à recueillir des renseignements auprès d'individus, les techniques d'enquête peuvent également mener à la formulation d'énoncés généraux fondés sur l'examen de documents, sur des observations directes et sur des éléments figurant dans des bases de données. Par exemple, une enquête sur tous les rapports d'évaluation de programme produits par les ministères et les organismes sur une période de sept ans nous a permis de faire des énoncés généraux au sujet des types de questions d'évaluation abordées pendant cette période. Le Bureau recueille souvent des renseignements au sujet des opérations (prêts, marchés, paiements faits au personnel), par exemple, qui figurent dans les bases de données des ministères et des organismes.

Considérations d'ordre pratique

Une enquête ne peut pas fournir une information qui soit aussi étendue et approfondie qu'une étude de cas et des interviews de vérification. Par conséquent, pour avoir recours à une enquête en vue de faire une généralisation par rapport à une population, il faut planifier et définir soigneusement l'information à recueillir. Cela n'est possible que si l'on possède une connaissance suffisante pour élaborer un ensemble normalisé de questions qui peuvent être administrées d'une manière uniforme. Pour ces raisons, c'est l'enquête qui convient le mieux lorsque des questions d'importance éventuelle ont déjà été bien définies et que l'enquête peut être bien ciblée.

Vu toute la planification nécessaire, il faut plusieurs mois pour mener une enquête depuis la planification jusqu'aux résultats finals, et il faut aussi souvent beaucoup de ressources. Le coût d'élaboration de l'enquête sera d'autant plus élevé que le domaine en question est moins bien compris, qu'il est difficile de recenser les membres de la population aux fins de l'échantillonnage et que la question à examiner est plus complexe.

Quand avoir recours à une enquête

L'enquête est la plus utile et la plus efficiente dans les cas suivants :

• l'importance tient à la fréquence et à l'ampleur de l'existence d'une situation dans la population étudiée;
• la population étudiée peut être clairement définie et les membres peuvent être recensés aux fins de l'échantillonnage;
• les questions d'importance éventuelle ont été bien cernées de sorte que l'enquête puisse être bien ciblée;
• une corroboration indépendante des réponses de chaque individu n'est pas nécessaire;
• on dispose de plusieurs mois pour planifier et tenir l'enquête et en analyser les résultats.

D'autres méthodes, comme des interviews de vérification, des études de cas et l'examen des documents, conviennent souvent mieux dans les cas suivants :

• l'importance peut être montrée par le recensement de lacunes dans quelques cas importants;
• le domaine en question est moins bien compris;
• on veut cerner des questions d'importance éventuelle;
• il faut une corroboration indépendante des réponses de chaque individu;
• le délai pour la vérification est extrêmement