La tenue d'enquêtes

Note : Le présent guide vise à ce que les enquêtes menées au BVG soient conformes aux exigences et aux attentes raisonnables des spécialistes dans le domaine, de même qu'aux normes de VOR du Bureau du vérificateur général. Les termes « doit » et « devrait » utilisés dans ce document d'orientation ne correspondent pas nécessairement à des politiques et à des normes du BVG. Toutefois, ils indiquent quelles sont les exigences et les attentes relatives à la tenue des enquêtes.

Considérations d'ordre général

Les vérificateurs connaissent souvent les difficultés que pose la collecte de données à partir de documents, d'observations directes, de bases de données informatiques et d'individus. Toutefois, des considérations techniques particulières entrent en jeu pour la collecte de données auprès d'individus dans le cadre d'une enquête.

Il existe une diversité de méthodes d'enquête auprès des individus, chacune avec ses points forts et ses faiblesses. Voici les méthodes les plus courantes :

• le questionnaire structuré ou semi-structuré;
• l'interview directe structurée;
• l'interview téléphonique structurée.

On a aussi de plus en plus recours à des méthodes plus nouvelles pour communiquer avec les personnes, comme la distribution de questionnaires par télécopieur, courrier électronique et Internet.

Questionnaire

Avantages. Le grand avantage du questionnaire par rapport à l'interview, c'est qu'il permet la collecte de données auprès d'un grand nombre d'individus, à un coût relativement peu élevé. Il faut moins de personnel et, parfois, moins de déplacements. Les économies sont plus élevées lorsqu'il faut un grand échantillon.

Un autre avantage du questionnaire par rapport à l'interview : il contribue à la fiabilité en favorisant une meilleure uniformité. Il n'y a pas de variantes dans l'interrogation, ce qui peut se produire lorsqu'on a recours à divers intervieweurs. Le questionnaire atténue également le biais puisqu'il n'y a pas de possibilité pour l'intervieweur d'influer sur les réponses de façon intentionnelle ou non.

Inconvénients. Contrairement à l'interview, le questionnaire ne permet pas au vérificateur de clarifier certaines questions, de s'assurer qu'il comprend bien les réponses, de demander des éclaircissements ou des explications sur des réponses, ou encore de s'assurer que le répondant répond à toutes les questions du formulaire. Il peut être impossible de communiquer de nouveau avec le répondant si tous les renseignements nécessaires pour étayer une conclusion n'ont pas été demandés ou fournis, ou s'il devient manifeste que les questions n'étaient pas claires. Il n'est pas possible non plus, dans la plupart des cas, de demander une corroboration des réponses. Il n'est pas possible, en général, d'obtenir des renseignements aussi en profondeur à partir d'un questionnaire qu'à partir d'une interview. En outre, les personnes qui répondent aux questionnaires doivent avoir les compétences nécessaires en lecture et en écriture.

Élaboration du questionnaire. Comme il est difficile d'obtenir ou de donner des éclaircissements et des renseignements supplémentaires, il est essentiel de procéder avec soin à l'élaboration du questionnaire de sorte que les questions produisent tous les renseignements nécessaires et qu'elles soient claires et non équivoques. Il est essentiel, en particulier, que le vérificateur examine attentivement les objectifs de la vérification pour savoir exactement quels renseignements sont nécessaires et peuvent être raisonnablement obtenus par la voie d'un questionnaire.

En outre, pour l'élaboration d'un questionnaire de qualité, il faut avoir une connaissance du domaine en question et savoir quelle est la capacité des répondants de fournir les renseignements requis. Il faut également que le vérificateur ait une connaissance suffisante des répondants pour formuler les questions de telle sorte qu'elles soient comprises.

La quantité de connaissances préalables est plus élevée dans la mesure où l'on a recours à des questions fermées (oui-non, cocher un choix ou indiquer un degré sur une échelle) comparativement à des questions ouvertes (remplir l'espace, rédiger une réponse brève ou répondre en un paragraphe). Pour bien utiliser les questions fermées, il faut aussi que la fourchette des réponses possibles soit prévue correctement. Si les répondants n'ont pas la connaissance nécessaire et si la terminologie n'est pas clairement comprise ou définie, il y a un risque plus élevé de réponses inexactes.

En revanche, il est plus facile de mesurer et d'analyser des questions fermées que des questions ouvertes. Il est techniquement très difficile et fastidieux de démêler un grand nombre de réponses à des questions ouvertes dans lesquelles les répondants auront utilisé une terminologie très différente, sans compter l'illisibilité de certaines réponses. Dans de nombreux questionnaires, on cherche à trouver un équilibre entre les deux types de questions.

Modes d'administration du questionnaire. Le questionnaire peut être envoyé par la poste, livré en personne ou expédié par des moyens électroniques, comme le télécopieur, le courrier électronique, Internet ou une disquette.

La façon la plus courante de distribuer les questionnaires est la poste. Lorsqu'il est livré par la poste, le questionnaire peut être plus lent à administrer qu'une série d'interviews structurées. Outre qu'il est plus long d'élaborer un questionnaire que des interviews, il faut donner le temps aux répondants de recevoir les questionnaires par la poste, d'y répondre et de les renvoyer.

Il faut généralement de cinq à six mois pour concevoir un questionnaire et obtenir les renseignements si le questionnaire est envoyé par la poste, pour les types d'enquêtes menées par le Bureau. On peut compter jusqu'à neuf mois ou plus pour élaborer et mettre au point une enquête bien construite au moyen de questionnaires de plusieurs pages envoyés à des échantillons conçus pour être représentatifs de plusieurs sous-groupes dans une grande population. Dans des conditions idéales, il peut être possible de mener à terme une simple enquête en sept ou huit semaines.

Si le délai est plus court, il faut :

• un questionnaire bref (une page ou moins), avec des questions factuelles simples;
• un recensement de la population si elle compte moins de 100 individus (l'échantillon représentatif est généralement plus grand que cela);
• une population facilement identifiable (c.-à-d. que les adresses postales ou de messageries sont facilement disponibles);
• le taux de réponse initial probable de 85 p. 100 à 90 p. 100 (ce qui minimise le suivi nécessaire);
• des répondants qui sont incités à répondre rapidement.

Il peut falloir moins de temps pour distribuer et recevoir les réponses au questionnaire si l'on a recours à des moyens électroniques. L'envoi électronique peut également être conçu de façon à éliminer la nécessité du transfert manuel des réponses en une forme analysable.

L'élaboration d'une version électronique peut toutefois prendre beaucoup de temps. Dans le cas de la distribution par courrier électronique et par Internet, on ne dispose pas encore de bons moyens de protection de l'anonymat et de la confidentialité. De façon générale, dans une enquête par la voie d'Internet, les individus ne peuvent être choisis pour un échantillon qu'après avoir décidé de consulter le site par la voie duquel le questionnaire est distribué, de sorte qu'il est très difficile d'appliquer des méthodes d'échantillonnage aléatoire à une population susceptible de s'intéresser à une vérification.

Dans le choix d'un mode de distribution, il faut aussi tenir compte de la population qui peut être atteinte de cette façon. Si le questionnaire est envoyé par la poste, l'enquête est limitée aux individus qui peuvent être rejoints par la poste. La distribution électronique n'est pratique que pour les répondants qui ont accès à un ordinateur, à un télécopieur, au courrier électronique, à Internet, etc. Aussi, si le logiciel et le matériel sont incompatibles, il est possible qu'une réponse ne puisse être envoyée ou le soit difficilement.

Le RSF pour les enquêtes peut vous aider à déterminer le temps nécessaire pour mener une enquête qui répond aux besoins de la vérification. Vu le temps nécessaire à la conception et à l'administration de l'enquête, il est important de commencer la planification et de communiquer avec le RSF le plus tôt possible.

Interviews directes structurées

Avantages. Il peut être plus rapide de mener une interview directe que d'administrer un questionnaire parce qu'il n'est pas nécessaire de compter du temps pour la livraison par la poste et de laisser le temps aux répondants de remplir enfin le questionnaire. L'un des principaux avantages de l'interview est qu'elle offre plus de possibilités d'évaluer la compréhension du répondant et son interprétation des questions, de même que de clarifier toute ambiguïté au sujet du sens d'une question ou d'une réponse. Au cours d'une entrevue, il est également possible de montrer aux répondants des documents ou des objets et de solliciter leur réaction. Par exemple, on a eu recours à des interviews directes pour déterminer le sens que des sujets non alphabétisés attachent à des symboles. Pour ces raisons, l'interview directe est utile pour faire l'essai pilote de questionnaires devant être envoyés par la poste.

L'interview directe peut être utile dans certaines situations qui présentent des difficultés lorsqu'un questionnaire est envoyé par la poste. Elle convient généralement mieux que le questionnaire postal ou électronique pour les répondants dont les capacités de lecture et d'écriture ne sont pas suffisantes pour les questions posées. L'interview peut également être utile lorsqu'on pose des questions délicates. L'intervieweur peut être en mesure d'établir une relation de confiance avec le répondant et de mieux obtenir des réponses à des questions auxquelles le répondant pourrait par ailleurs hésiter à répondre ou à répondre franchement.

Lorsqu'on en sait moins sur ce que pensent les répondants d'une question ou sur l'éventail des réponses possibles à une question, l'interview structurée donne la possibilité à l'intervieweur de poser des questions supplémentaires, au besoin, pour obtenir des réponses satisfaisantes.

Inconvénients. L'interview crée toutefois la possibilité pour l'intervieweur d'influer intentionnellement ou non sur les résultats et de ne pas respecter l'uniformité de la mesure. Le répondant à une enquête réagit aux indices donnés par le comportement verbal et non verbal de l'intervieweur. Aussi, l'intervieweur doit poser des questions supplémentaires ou demander des éclaircissements, ce qui peut avoir un effet indu sur les réponses.

Par conséquent, il est essentiel que l'intervieweur ait la formation nécessaire. Grâce à cette formation, l'intervieweur comprendra de quelle façon il peut inconsciemment influer sur les réponses, l'importance de ne pas agir ainsi et les bonnes techniques qu'il peut utiliser pour aider le répondant ou obtenir les renseignements nécessaires sans nuire à l'intégrité de l'interview.

Même si elle peut être plus rapide à mener que l'enquête par questionnaire postal, l'interview directe est coûteuse en raison des heures nécessaires pour faire les interviews et du coût des déplacements.

Interview téléphonique structurée

Avantages. L'interview téléphonique possède certains des avantages et des contraintes de l'interview directe, et les frais de déplacement sont réduits. Tout comme pour l'interview directe, il est possible pour l'intervieweur de donner des éclaircissements, de demander des renseignements supplémentaires ou des réponses plus complètes, et d'encourager le répondant à répondre à des questions délicates. L'interview téléphonique se fait aussi plus rapidement que le questionnaire et l'enquête directe.

Inconvénients. L'intervieweur doit encore une fois avoir la formation voulue tout comme dans le cas de l'interview directe. L'interview téléphonique doit toutefois être brève, soit ne pas dépasser 20 à 30 minutes, de sorte qu'il est impossible de mener des interviews plus longues et plus complexes. Contrairement à l'interview directe, il n'est pas possible pour l'intervieweur de présenter des documents et d'obtenir la réaction du répondant. Il n'est pas possible non plus à l'intervieweur d'observer des indices non verbaux de perplexité ou de malaise chez le répondant.

Autres facteurs

Même si l'interview offre plus de possibilités d'éclaircissement et d'élaboration que le questionnaire postal, il est quand même crucial de concevoir soigneusement l'instrument de collecte des données pour disposer d'une méthode uniforme, qui produira des renseignements uniformes d'un répondant à l'autre. Le guide d'interview doit faire l'objet d'un essai préliminaire.

Dans le choix d'une méthode, il est important de tenir compte des caractéristiques distinctives de la population qu'on essaie d'atteindre. Même si l'intervieweur peut réussir à obtenir la confiance de certains types de répondants, d'autres répondants peuvent se sentir plus à l'aise avec le questionnaire postal, qui leur permet un meilleur anonymat. Certains répondants peuvent se montrer impatients devant un questionnaire sur papier et préférer la facilité offerte par une méthode électronique, tandis que d'autres peuvent se sentir intimidés par la technologie. Pour savoir si l'on a choisi la méthode la plus appropriée, il vaut mieux procéder à un essai préliminaire.