La tenue d'enquêtes

Note : Le présent guide vise à ce que les enquêtes menées au BVG soient conformes aux exigences et aux attentes raisonnables des spécialistes dans le domaine, de même qu'aux normes de VOR du Bureau du vérificateur général. Les termes « doit » et « devrait » utilisés dans ce document d'orientation ne correspondent pas nécessairement à des politiques et à des normes du BVG. Toutefois, ils indiquent quelles sont les exigences et les attentes relatives à la tenue des enquêtes.

Introduction

Les notions de fiabilité et de validité sont essentielles à l'évaluation de la qualité des données de l'enquête. Déterminer la fiabilité et la validité des données est une opération très technique qui est essentielle à l'évaluation de la pertinence (voir Manuel de VOR portant sur les éléments probants suffisants) de l'information pour étayer les observations de vérification.

Fiabilité, validité et erreur significative

Pour qu'une enquête puisse fournir des éléments probants suffisamment fondés, uniformes et pertinents, l'information qui en découle doit être à la fois fiable et valide. En recherche par enquête, la notion de fiabilité a un sens particulier, qui est plus étroit que l'application générale du terme en vérification. Pour être fiable, la mesure doit être uniforme d'un individu à l'autre dans l'enquête, quel que soit le milieu et quel que soit le moment. Pour qu'on puisse faire des énoncés généraux, il est essentiel que l'information soit uniforme.

On parle de validité pour expliquer dans quelle mesure les données de l'enquête sont pertinentes relativement à la conclusion tirée et sont suffisamment exactes et complètes pour étayer la conclusion. On dit généralement de la validité qu'elle répond à la question suivante : « Mesure-t-on ce qu'on veut mesurer? » Par exemple, on peut demander aux employés si les modalités d'avancement sont « justes ». Leur réponse peut exprimer non pas leur opinion sur les modalités comme telles, mais sur les résultats, c.-à-d. le fait qu'ils aient été ou non promus.

La fiabilité exige l'utilisation d'instruments uniformes de collecte des données et de procédés d'enquête [10, 11, 12 ] qui sont conçus pour améliorer l'uniformité. Pour que l'information soit pertinente, il faut une planification soignée, de sorte que l'information soit clairement reliée aux objectifs de la vérification et qu'elle soit recueillie auprès des individus qui sont le mieux en mesure de la fournir. Pour obtenir une information qui est complète et exacte, il faut des instruments de collecte des données et des procédés d'administration d'enquête qui soient bien planifiés.

Si les données de l'enquête comportent des erreurs, la fiabilité et la validité peuvent être faibles. Il peut se produire des erreurs, c.-à-d. des inexactitudes ou des lacunes dans l'information, à divers points dans la collecte, la tenue, le traitement et la présentation des données. Au moment de la collecte des données, celles-ci peuvent être mal consignées. Par exemple, dans le cas d'une interview structurée, l'intervieweur peut consigner incorrectement les renseignements fournis par le répondant. Si les méthodes de tenue des données sont insatisfaisantes, comme dans le cas des systèmes informatiques, les données peuvent être perdues ou modifiées. Par exemple, les données provenant des formulaires d'enquête auprès des clients peuvent être incorrectement saisies dans les systèmes informatiques. On peut aussi commettre des erreurs dans le traitement et la présentation des données : par exemple, lorsque les données sont transférées incorrectement à partir d'une base de données à des supports permettant d'en faire l'analyse ou d'en faire rapport.

Outre les erreurs qui peuvent être attribuables à des erreurs dans les données d'enquête, on peut aussi en commettre dans l'échantillonnage. Les données sommaires d'un échantillon ne sont qu'une approximation de ce qu'on trouverait dans l'examen de toute la population. L'écart entre les valeurs échantillonnées et les valeurs de la population s'appelle l'erreur d'échantillonnage. Ce type d'erreur peut être plus ou moins grand selon la taille de l'échantillon et les procédés d'échantillonnage. L'erreur d'échantillonnage peut être statistiquement estimée lorsqu'on utilise des échantillons aléatoires.

L'erreur en tant que source de biais

Les données d'enquête ne sont jamais complètement à l'abri de l'erreur. Toutefois, pour que les données d'une enquête soient fiables et valides, les données doivent être à l'abri d'erreurs significatives. L'erreur est significative lorsqu'elle est d'une nature ou d'une ampleur telle qu'elle aurait un effet sur les conclusions de la vérification. Le biais, en particulier, crée un risque d'erreur importante. Le biais est l'erreur causée par une source systématique. Comme il est de nature systématique, le biais est susceptible de mener à des conclusions inexactes. Par exemple, si l'on fait une enquête auprès des petites entreprises qui reçoivent des contributions ou des subventions fédérales, celles qui ont échoué peuvent être plus difficiles à joindre que celles qui ont réussi. Comme l'échantillon contiendrait une plus faible proportion d'entreprises qui ont échoué par rapport à la situation réelle, le succès des contributions et la satisfaction des entreprises pourraient être surestimés.

Il existe une source importante de biais possible dans les enquêtes lorsque l'information ne peut pas être obtenue d'une partie des membres de la population échantillonnée. Pour cette raison, il faut mettre en place des procédés visant à réduire le taux de non-réponse, à évaluer son incidence et à compenser pour les réponses manquantes.

Il existe une autre source importante de biais possible quand on a recours à des procédés d'échantillonnage non aléatoires ou lorsque l'échantillonnage aléatoire n'est pas bien administré. Il est souvent impossible d'estimer statistiquement une erreur d'échantillonnage de ce type.

Comment minimiser l'erreur

Même s'il est impossible d'éliminer complètement l'erreur, on peut la réduire à un niveau acceptable en faisant attention à la conception d'instruments uniformes de collecte des données, à la mise en oeuvre d'échantillons valables et de procédés d'échantillonnage appropriés, à l'application de bons procédés d'administration d'enquête et à la mise en oeuvre de méthodes de vérification et de correction des données, surtout des méthodes de corroboration des réponses reçues dans les questionnaires ou dans les interviews. Il faut en particulier que les instruments de collecte des données fassent l'objet d'un essai préliminaire pour minimiser les lacunes dans leur conception.

Il est plus difficile et coûteux de prévenir l'erreur dans certaines données que dans d'autres. Dans la planification de la vérification, le vérificateur doit déterminer le potentiel d'erreur importante et décider si la valeur que l'on compte tirer des données de l'enquête vaut le coût et le temps nécessaires pour réduire l'erreur d'enquête à un niveau acceptable (voir Manuel de VOR portant sur les éléments probants suffisants).