La tenue d'enquêtes

On entend par non-réponse la non-disponibilité d'unités échantillonnées. Dans une enquête, il se peut qu'il ne soit pas possible de rejoindre tous les membres de l'échantillon. Par exemple, des personnes peuvent ne pas être disponibles parce qu'elles ont déménagé sans laisser d'adresse. Dans l'échantillonnage aléatoire, la non-réponse réduit la taille de l'échantillon, de sorte qu'il y a un effet sur le calcul de l'erreur d'échantillonnage et des intervalles de confiance.

Plus important encore, tant dans l'échantillonnage aléatoire que dans l'échantillonnage non aléatoire, la non-réponse est une source de biais possible. Par exemple, si l'on fait l'échantillonnage des petites entreprises qui ont reçu de l'aide financière du gouvernement, il peut être impossible d'en rejoindre un certain nombre pour diverses raisons, dont le fait qu'elles ont cessé leurs activités. Comme les entreprises qui ont échoué ne peuvent être interrogées, les résultats sont biaisés lorsqu'il s'agit d'estimer le succès de l'aide aux petites entreprises et de recenser les caractéristiques qui pourraient servir à l'élaboration de critères de financement plus sûrs.

Il est difficile sinon impossible de déterminer l'existence d'un biais découlant de la non-réponse. Par exemple, les employés échantillonnés d'un organisme peuvent ne pas être disponibles pour diverses raisons, dont la maladie, l'absence en service commandé ou une mutation récente. Il peut être difficile de mesurer l'incidence de l'exclusion de ces individus.

Il est donc important de faire tous les efforts possibles pour saisir tous les membres de l'échantillon voulu. Il est difficile de déterminer quel est le taux de réponse acceptable. Même si un taux de réponse de 85 p. 100 à 95 p. 100 est généralement considéré comme suffisant, il y a peu de fondement scientifique pour cette règle générale, en raison de la possibilité d'un biais. Dans certains domaines d'enquête, ou avec certaines populations, les taux de réponse sont toujours faibles. Dans ces domaines, le vérificateur doit pondérer l'importance des renseignements, la disponibilité d'autres méthodes et le caractère central des renseignements par rapport aux objectifs de la vérification pour déterminer si une enquête s'impose ou non.

La non-réponse constitue une faiblesse importante dans les éléments probants. Par conséquent, le taux de réponse à une enquête doit être mentionné dans « À propos de la vérification » ou dans le texte du rapport (voir Manuel de VOR, chapitre 5).

Favoriser un taux de réponse élevé

Le vérificateur peut prendre plusieurs mesures pour essayer d'obtenir un taux de réponse satisfaisant et s'assurer de l'obtenir.

Motiver les répondants. Les répondants peuvent être plus ou moins susceptibles de répondre à une enquête selon l'importance apparente de l'enquête, la facilité d'y répondre et le temps nécessaire. Le vérificateur peut maximiser la motivation des répondants en : indiquant clairement que l'enquête est menée par ou pour le vérificateur général du Canada; expliquant clairement les buts de l'enquête et l'utilisation qui sera faite des renseignements; prévenant les répondants qu'ils seront interrogés; leur fournissant des instructions claires; préparant un bref instrument de collecte des données facile à suivre. L'enquête par interview est généralement jugée meilleure que le questionnaire postal pour atteindre et motiver les répondants.

Utiliser un cadre d'échantillonnage exact. Si le cadre d'échantillonnage est périmé ou inexact, de nombreux répondants pourraient ne pas être disponibles.

Contrôler les non-réponses et en faire le suivi. Il faut faire le contrôle des progrès dans la saisie de l'échantillon. L'intervieweur doit tenir un registre de ses tentatives pour atteindre les répondants pour ne pas oublier des répondants possibles. Il faut faire de nombreux suivis auprès des non-répondants. Dans le cas de l'enquête postale, il faut envoyer le questionnaire à de nombreuses reprises si le taux de réponse n'est pas suffisant et si les non-répondants individuels ne peuvent être repérés. S'il est possible de les repérer, un suivi par téléphone peut être utile. L'intervieweur doit faire un nombre prescrit de tentatives pour communiquer avec les personnes pour une interview directe ou téléphonique.

Beaucoup de personnes se sentent inondées de demandes de participation à des enquêtes. En faisant un suivi auprès des non-répondants, le vérificateur doit être sensible à leur réaction.

Faire l'essai pilote des méthodes d'enquête. L'essai pilote est important pour l'évaluation de la pertinence du cadre d'échantillonnage; aussi, de cette façon, les membres échantillonnés ou leurs réponses ne sont pas « perdus » pendant l'administration de l'enquête.

Rajustements pour les cas de non-réponse

Échantillonnage avec des substituts. Il arrive qu'un échantillon plus grand que nécessaire soit tiré ou que des substituts des non-répondants soient choisis au hasard dans la population restante. Cette façon de procéder est utile pour le maintien de la taille de l'échantillon, et elle est particulièrement importante lorsque les répondants ayant des caractéristiques importantes sont peu fréquents dans la population. Toutefois, les éléments ajoutés de cette façon proviennent quand même de cette partie de la population qui collabore et qui peut être atteinte. Par conséquent, cette façon de procéder ne neutralise pas nécessairement le biais qui peut découler de la perte de non-répondants. Le RSF pour les enquêtes doit déterminer si cette façon de procéder convient.

Il faut prendre soin de ne pas avoir recours à des méthodes systématiques pour remplacer les non-répondants, comme le document suivant dans un dossier, ou le domicile voisin de celui où il n'y a pas de réponse. Les membres de la population échantillonnée de cette façon peuvent ne pas avoir d'importants attributs propres à ceux qui ne sont pas disponibles.

Estimation statistique de l'effet des non-réponses. On peut avoir recours à des méthodes statistiques pour estimer l'effet des non-répondants ou pour fournir une estimation de leur réponse probable. Le vérificateur peut avoir recours à de telles méthodes s'il peut déterminer les caractéristiques susceptibles d'influer sur la réponse, p. ex., la richesse relative, l'âge, l'éducation, et s'il connaît ces éléments pour les non-répondants.