La tenue d'enquêtes

Note : Le présent guide vise à ce que les enquêtes menées au BVG soient conformes aux exigences et aux attentes raisonnables des spécialistes dans le domaine, de même qu'aux normes de VOR du Bureau du vérificateur général. Les termes « doit » et « devrait » utilisés dans ce document d'orientation ne correspondent pas nécessairement à des politiques et à des normes du BVG. Toutefois, ils indiquent quelles sont les exigences et les attentes relatives à la tenue des enquêtes.

L'enquête a pour objet la collecte des renseignements nécessaires pour faire des énoncés globaux ou généraux sur le sujet en voie de vérification. À cette fin, il faut recueillir des renseignements auprès d'un nombre suffisant d'individus ayant les caractéristiques nécessaires pour avoir un degré raisonnable de confiance (certitude) que les énoncés généraux sont justifiés. On entend par échantillonnage le choix du bon nombre de membres de la bonne population au moyen des bonnes méthodes. La décision quant au nombre d'individus à choisir et au mode de sélection est cruciale dans le processus d'enquête. Il en est de même lorsqu'on a l'intention de faire des énoncés globaux ou généraux fondés sur un échantillon de documents, d'observations directes ou de fichiers informatisés de cas d'espèce.

Recensement ou échantillonnage?

Si l'on a l'intention de faire des énoncés généraux au sujet de la population, il faut surtout chercher à ce que l'échantillon représente bien, en nature et en proportion, la population générale dont il est tiré. Pour avoir la meilleure certitude quant à la représentativité, il faut faire un recensement, c'est-à-dire choisir tous les individus ou tous les cas qui constituent la population qui nous intéresse. Dans le cas de nombreuses vérifications, on peut obtenir une certitude plus faible, mais raisonnable, en choisissant un sous-ensemble de la population.

Il convient de procéder à un recensement dans l'un ou l'autre des cas suivants :

• soit que chacun des éléments constituant une population est important en soi ou que l'information est de nature critique et que la population est suffisamment restreinte pour qu'un recensement soit faisable;
• soit que les exigences statistiques sont telles que l'échantillon doit être presque aussi grand que la population (lorsque la population est très petite ou que la question à l'étude se produit trop rarement dans une petite population pour que l'échantillonnage procure un nombre suffisant de cas à étudier, p. ex. les rapports de rendement de tous les ministères figurant à l'Annexe I de la LGFP).

L'échantillonnage peut être plus efficient et moins coûteux qu'un recensement lorsque la population qui nous intéresse est très grande. Toutefois, si le vérificateur entend faire une généralisation par rapport à toute la population plutôt que de tout simplement décrire l'échantillon, le procédé d'échantillonnage constitue une autre source d'erreur pour les observations de vérification. Il se produit une erreur parce qu'un échantillon, peu importe la qualité de sa construction et de sa mise en oeuvre, n'est qu'une approximation de la population. L'erreur qui en découle, qu'on appelle erreur d'échantillonnage, exige que le vérificateur estime le degré de confiance que l'on peut accorder au fait que les résultats de l'échantillon constituent ou non une estimation raisonnable des résultats qui auraient été obtenus si toute la population avait été recensée.

Types d'échantillonnage

Les méthodes d'échantillonnage se divisent généralement en deux types : l'échantillonnage aléatoire (qu'on appelle aussi échantillonnage au hasard ou échantillonnage statistique) et l'échantillonnage non aléatoire (qu'on appelle aussi échantillonnage non statistique ou échantillonnage raisonné).

Échantillonnage aléatoire. L'échantillonnage aléatoire consiste à choisir des individus par des procédés reconnus comme n'étant pas biaisés; il contribue à faire en sorte que l'échantillon soit typique du grand groupe (la population) dont il est tiré. À cette fin, on utilise un procédé parmi plusieurs établis pour tirer au hasard des membres de la population pour constituer l'échantillon. Lorsqu'il a recours à des procédés assurant le caractère aléatoire d'un échantillon, le vérificateur peut évaluer statistiquement l'ampleur de l'erreur et la probabilité que l'erreur soit plus grande que des limites acceptables. C'est ainsi qu'il peut mieux porter un jugement sur la valeur des éléments probants de l'enquête. Le vérificateur doit avoir recours à l'échantillonnage aléatoire lorsqu'il entend faire un énoncé quantitatif au sujet d'une population plus grande en se fondant sur les résultats d'un échantillon.

Pour avoir recours à l'échantillonnage aléatoire, le vérificateur doit être en mesure :

• de bien définir la population capable de fournir les renseignements nécessaires pour que soient atteints les objectifs de la vérification;
• de recenser des membres de la population aux fins de l'échantillonnage (établir un cadre d'échantillonnage);
• d'avoir accès à chacun des membres de l'échantillon (il doit être en mesure de communiquer avec eux par téléphone, connaître leur adresse postale, etc., selon la méthode utilisée);
• d'établir que la taille de l'échantillon est appropriée.

Dans certains cas, il peut être impossible pour le vérificateur de recenser tous les membres de la population, p. ex. les personnes qui pratiquent l'évasion fiscale. Il peut alors avoir à s'en remettre à un cadre d'échantillonnage comprenant seulement une partie de la population, p. ex. des listes de producteurs de déclaration de revenus qui ont été poursuivis pour non-paiement de leurs impôts. Le vérificateur doit décider si la population représentée par un cadre d'échantillonnage disponible est suffisante pour répondre aux objectifs de la vérification.

L'échantillonnage aléatoire peut être une technique très poussée et exiger les services d'employés ou d'aide de l'extérieur avec la formation et la compétence nécessaires. Les techniques d'échantillonnage varient beaucoup pour ce qui est de la compétence nécessaire pour concevoir l'échantillon et pour évaluer l'erreur d'échantillonnage. La conception d'un échantillon devient plus complexe et exige une plus grande expertise dans les cas suivants :

• il faut examiner les différences entre des sous-groupes dans une population;
• les caractéristiques principales des membres de l'échantillon ne sont pas uniformément réparties dans toute la population, p. ex. il y a un petit nombre d'opérations avec une grande importance relative et un grand nombre avec une importance relative très faible;
• il n'est possible de recenser des individus membres de l'échantillon qu'en fonction de leur appartenance à des groupes différents, ou leurs caractéristiques diffèrent selon leur appartenance à un groupe (p. ex. les marchés administrés par différents ministères).

Le RSF pour les enquêtes peut donner des conseils sur les possibilités, lorsque des échantillons complexes (p. ex. échantillons aléatoires stratifiés) sont nécessaires, ainsi que sur le choix des compétences requises.

Les résultats d'un échantillonnage aléatoire bien fait sont objectifs et défendables, et ils peuvent être reproduits. Si l'échantillonnage est mal fait ou si l'enquête est mal administrée, il peut être plus difficile de justifier la stratégie d'échantillonnage adoptée et les résultats de l'enquête peuvent même être sans valeur. L'un des facteurs critiques est le suivant : dans quelle mesure l'information est-elle recueillie auprès de tous les membres de l'échantillon? Faute d'obtenir une réponse entière, l'estimation de l'erreur peut être faussée et il peut y avoir un biais important. Pour plus de précisions, se reporter aux parties 10 , 11 et 12.

Ce n'est pas parce qu'on utilise un échantillon aléatoire bien fait qu'on est pour autant à l'abri des erreurs dans la collecte de l'information (erreur de mesure). Il faut prendre soin, dans l'élaboration des procédés de collecte de l'information (c.-à-d. le questionnaire ou l'interview structurée), de veiller à ce que les données recueillies soient valides et fiables.

Échantillonnage non aléatoire. L'échantillonnage non aléatoire peut convenir lorsqu'un échantillon utile à des fins de vérification peut être circonscrit et que le vérificateur n'a pas l'intention de tirer des conclusions au sujet d'autres cas que ceux qui sont dans l'échantillon; par exemple, si le vérificateur examine les pratiques de gestion pour toutes les grandes opérations, et qu'il n'a pas l'intention d'appliquer les constatations de la vérification aux pratiques de gestion pour les plus petites opérations. Il peut convenir également lorsque les énoncés généraux sont d'ordre qualitatif plutôt que quantitatif.

Par exemple, on peut avoir l'intention de recenser les diverses opinions possibles sans faire d'observation sur la fréquence avec laquelle elles sont exprimées, p. ex. énumérer les types de problèmes auxquels se heurtent les gestionnaires lorsqu'ils essaient de mettre en place des régimes de rémunération au rendement, sans indiquer combien de fois chaque problème a été relevé par les gestionnaires ou combien de gestionnaires ont eu de tels problèmes.

Cette méthode d'échantillonnage peut convenir dans les cas suivants :

• soit lorsque le vérificateur peut relever un certain nombre de cas particuliers qui sont importants en soi;
• soit lorsqu'un écart donné par rapport aux critères est important, p. ex. s'il s'agit de déterminer la vulnérabilité à la fraude;
• soit lorsque le vérificateur s'intéresse à toute la gamme des méthodes ou des lacunes possibles et qu'il ne veut pas nécessairement les énumérer.

Il est plus difficile dans le cas de l'échantillonnage non aléatoire que dans celui de l'échantillonnage aléatoire d'estimer l'ampleur de l'erreur et la probabilité que l'erreur dépasse des limites acceptables.

L'échantillonnage non aléatoire n'équivaut pas à l'abandon de méthodes systématiques pour le choix de cas individuels. Il exige l'évaluation soignée des renseignements nécessaires et une connaissance suffisante de la population pour le recensement des cas capables de fournir l'ampleur et la qualité de renseignements nécessaires pour que soient atteints les objectifs de la vérification.

Procédés d'échantillonnage inacceptables

L'échantillonnage à l'aveuglette, comme le recours à des volontaires (une personne semble typique ou est disponible), ne constitue pas un échantillonnage aléatoire ni un échantillonnage non aléatoire satisfaisant. L'échantillonnage à l'aveuglette ne donne généralement pas d'éléments probants satisfaisants parce que le biais est probablement très prononcé. En outre, le vérificateur ne sait pas quelle population ces échantillons représentent et il ne peut être assuré que les éléments qui sont échantillonnés représentent une population qui permettra d'atteindre les objectifs de la vérification.