La tenue d'enquêtes

Note : Le présent guide vise à ce que les enquêtes menées au BVG soient conformes aux exigences et aux attentes raisonnables des spécialistes dans le domaine, de même qu'aux normes de VOR du Bureau du vérificateur général. Les termes « doit » et « devrait » utilisés dans ce document d'orientation ne correspondent pas nécessairement à des politiques et à des normes du BVG. Toutefois, ils indiquent quelles sont les exigences et les attentes relatives à la tenue des enquêtes.

Il peut se produire des erreurs à divers points pendant la collecte et l'analyse des données. Les répondants aux questionnaires et les intervieweurs peuvent faire d'autres erreurs dans la consignation des données. Il peut aussi se produire des erreurs dans le transfert des données des instruments de collecte aux bases de données informatisées, dans la rédaction des programmes informatiques servant à lire et à analyser les données tirées de bases de données informatisées, ainsi que dans le transfert des données à partir des imprimés ou des sorties aux rapports de projet ou de vérification.

Erreurs dans la collecte des données

Les risques importants pour l'exactitude des données se produisent au moment de la consignation initiale des données. Voici quelques problèmes fréquents, qui se présentent quand on remplit les instruments de collecte des données.

• questions sans réponse;
• réponses à des questions qui auraient dû être laissées de côté par le répondant, par l'intervieweur ou par l'examinateur des documents;
• réponses insatisfaisantes parce que les questions ou les instructions de l'instrument de collecte des données n'ont pas été comprises;
• erreurs dans la saisie des données;
• réponses illisibles.

Ces types d'erreur peuvent être attribuables aux causes suivantes :

• faiblesses dans les instructions;
• problèmes de structure des instruments de collecte des données;
• questions auxquelles il est difficile de répondre pour les répondants, qui exigent un jugement excessif ou qui sont de nature délicate;
• des instruments de collecte des données qui sont longs ou complexes, de sorte que le répondant est moins porté à y répondre; etc.

La planification de l'enquête et la conception des instruments de collecte des données sont des éléments importants. On peut réduire l'erreur découlant de certaines de ces sources par une planification soignée de l'enquête et par une bonne conception des instruments de collecte des données. Pour s'assurer de la motivation du répondant, il faut porter attention aux renseignements nécessaires pour étayer les objectifs de vérification, restreindre les instruments de collecte des données aux points d'information essentiels, éviter les questions délicates et expliquer le but et l'utilisation de l'enquête. Pour réduire le nombre de points omis et de réponses insatisfaisantes, il faut que les instructions soient complètes et claires, que les principaux termes utilisés dans les questions soient définis et que la structure et la présentation de l'instrument soient bien conçus. On peut minimiser les erreurs attribuables à la saisie de l'information et aux réponses illisibles en améliorant la motivation et en utilisant des instruments qui exigent des réponses simples, comme le fait de cocher une case « oui » ou « non ».

Ces considérations s'appliquent également aux enquêtes exigeant du personnel de bureau ou des consultants pour l'examen et le classement des renseignements contenus dans les documents de l'organisme.

Il est possible de repérer les erreurs potentielles et d'apporter les rajustements nécessaires au moment opportun en procédant à l'essai préliminaire des instruments de collecte des données.

Importance de la formation des intervieweurs et des codeurs. Dans les interviews à des fins d'enquête, l'intervieweur peut commettre une erreur s'il comprend mal le répondant ou s'il transcrit incorrectement les renseignements sur les formulaires d'interview. Il peut en particulier biaiser intentionnellement ou non les résultats de l'interview. Selon les recherches, il est manifeste que l'intervieweur peut influer sur les réponses par toute une gamme d'indices verbaux et non verbaux subtils, même s'il n'a aucune intention de le faire. Par exemple, le répondant peut voir dans les sourires ou les expressions approbatrices de l'intervieweur des indices de ce que l'intervieweur veut entendre ou croire.

Le risque est plus grand dans le cas des questions ouvertes. Il peut être difficile pour l'intervieweur d'inscrire au complet et avec exactitude de longues réponses. L'intervieweur doit aussi juger quand le répondant a suffisamment répondu à une question, sinon il doit poser des questions supplémentaires pour obtenir des éclaircissements ou pour s'assurer que la réponse est complète. Voilà autant de possibilités d'engendrer un biais.

Pour atténuer ces problèmes, il faut bien choisir et former les intervieweurs.

Méthodes de contrôle de la qualité. Pour mieux évaluer l'efficacité de la formation, repérer le biais et corriger les erreurs, il faut faire un suivi auprès des répondants pour vérifier les réponses dans un sous-ensemble d'interviews, prévoir la présence d'un deuxième intervieweur ou demander au répondant de vérifier une transcription de l'interview. Si l'on procède à un essai pilote, on peut mieux confirmer que le choix et la formation des intervieweurs sont satisfaisants.

Il peut aussi se produire des erreurs lorsque les renseignements obtenus dans des interviews ou des documents doivent être classés pour faciliter les analyses. Pour dégager des propres termes d'un répondant ou d'un document existant des renseignements, et les classer en catégories établies par le vérificateur, il faut faire preuve d'un jugement considérable. Par exemple, à l'occasion d'une vérification de l'évaluation au gouvernement fédéral, les vérificateurs ont examiné plus de 600 rapports d'évaluation et ont porté des jugements pour déterminer si chaque évaluation cernait bien la réussite, la pertinence ou le rapport coût-efficacité du programme évalué. Comme cette terminologie était peu utilisée dans les rapports pour en décrire le but visé, les vérificateurs ont dû juger dans quelle catégorie les évaluations se classaient le mieux.

On peut réduire les erreurs dans un tel cas en faisant coder chaque document ou interview par plus d'une personne et en donnant au codeur la formation nécessaire pour qu'il porte des jugements uniformes. Dans la vérification de l'évaluation, chaque rapport a été examiné par deux vérificateurs. Pour un premier ensemble de rapports d'évaluation, les évaluateurs ont débattu de leur opinion sur chaque rapport jusqu'à ce qu'ils soient d'accord. Le processus a été répété jusqu'à ce qu'ils soient d'accord pour au moins 90 p. 100 de leurs décisions sans débat.

Les données doivent être vérifiées. Il est essentiel de vérifier et de contrôler chaque formule de collecte des données pour repérer les données non uniformes, incomplètes ou illisibles. Si la chose est possible, il faut communiquer avec les répondants, les intervieweurs ou les sources originales des données pour régler les cas de contradictions ou pour compléter les données. S'il n'est pas possible de régler ces problèmes avant les analyses, on peut parfois avoir recours à des méthodes statistiques pour les évaluer et les régler. Ces méthodes statistiques ne doivent pas remplacer des données complètes et exactes et il faut beaucoup de savoir-faire pour les appliquer et les interpréter.

Transfert des renseignements dans des banques de données

Des erreurs peuvent également se produire dans le transfert des renseignements des instruments de collecte de données aux banques de données informatisées, en raison soit d'une mauvaise interprétation de renseignements difficiles à lire, soit de l'omission de certains renseignements, soit d'une saisie inexacte des données.

Il arrive souvent que les données d'un questionnaire ou d'une interview sur un formulaire écrit soient saisies dans une forme lisible à la machine. Pour minimiser les erreurs, il importe de donner des instructions claires aux personnes qui font la saisie des données. Une fois les données saisies, il faut les vérifier en comparant un imprimé des données avec celles de la formule originale. On peut faire la vérification pour chaque formule individuelle ou, dans le cas de très grandes bases de données, par des échantillons statistiques.

On peut réduire l'erreur humaine dans le transfert des renseignements aux bases de données au moyen de techniques de vérification assistées par ordinateur. Il s'agit de saisir les données directement sur une formule lisible à la machine ou directement dans l'ordinateur en utilisant une formule informatisée permettant de transférer les réponses dans une base de données au moyen d'un logiciel. Même si l'utilisation de formules lisibles à la machine est un moyen efficient qui contribue à minimiser l'erreur, le Bureau n'a pas les appareils nécessaires pour faire la lecture optique de ces formules et il peut en coûter cher d'obtenir ces services à l'extérieur.

On peut concevoir les instruments de collecte de données informatisés avec des mécanismes d'autovérification. Par exemple, le logiciel peut empêcher le répondant de passer à la question suivante tant qu'il n'a pas rempli la précédente, ou il peut orienter le répondant vers la prochaine question à laquelle il doit répondre selon la réponse qu'il a donnée à une question antérieure. Cette formule est possible avec les répondants qui ont à leur disposition des systèmes informatiques compatibles, dans le cas des interviews directes ou des interviews téléphoniques, ou encore des enquêtes par courrier électronique ou sur Internet.

Analyse

De nombreuses erreurs et lacunes dans la collecte des données peuvent être repérées au moment de l'analyse des données. Par l'examen des distributions de fréquences des réponses à chacune des questions et par la comparaison des réponses à diverses questions, on peut repérer les contradictions ou les tendances inhabituelles qui sont attribuables à des erreurs dans l'ensemble de données originales ou encore à des faiblesses dans la transformation des données sous forme analysable. Les personnes chargées de procéder aux analyses doivent être à l'affût de ces possibilités. Les RSF pour les mesures quantitatives et pour les enquêtes peuvent donner des conseils à ce sujet.