La tenue d'enquêtes

Note : Le présent guide vise à ce que les enquêtes menées par le BVG soient conformes aux exigences et aux attentes raisonnables des spécialistes dans le domaine, de même qu'aux normes de VOR du Bureau du vérificateur général. Les termes « doit » et « devrait » utilisés dans ce document d'orientation ne correspondent pas nécessairement à des politiques et à des normes du BVG. Toutefois, ils indiquent quelles sont les exigences et les attentes relatives à la tenue des enquêtes.

On entend par « instruments de collecte des données » les outils utilisés pour la collecte de renseignements dans le cadre d'une enquête. Il est essentiel de bien concevoir ces instruments pour en arriver à des conclusions fiables et valides. Il faut obtenir les renseignements sur une base comparable d'un individu à l'autre si l'on a l'intention de faire des énoncés globaux ou généraux en se fondant sur les données de l'enquête. Cela est particulièrement vrai lorsqu'on a l'intention de faire des énoncés généraux quantifiés pour une population plus importante (p. ex., x  p. 100, la plupart, plus que, etc.). Si les questions ou les instructions diffèrent entre les répondants ou si elles sont interprétées différemment par chacun des membres de l'équipe de vérification, les données ne sont pas fiables et on ne peut pas défendre des énoncés généraux.

La conception adéquate et appropriée des instruments de collecte des données est très importante en raison de la validité. Dans le cas du questionnaire, les questions posées, leur formulation, leur structure et l'ordre dans lequel elles sont présentées sont autant d'éléments pouvant avoir une forte incidence sur la pertinence et l'exactitude des réponses et sur la probabilité qu'on répondra aux questions.

Pour ces raisons, les instruments de collecte des données utilisés dans une enquête doivent être soigneusement planifiés et ils doivent être constitués d'un ensemble uniforme de questions pouvant être administrées d'une manière uniforme à tous les répondants.

L'élaboration d'un questionnaire et d'une interview structurée est à la fois une technique et un art. Par exemple, il existe une littérature abondante montrant que l'ordre des questions et leur placement au début ou à la fin d'un questionnaire peuvent avoir de profondes répercussions sur les réponses données. Pour certains sujets, comme les renseignements personnels, il y a eu de nombreuses recherches sur la formulation et la structure de bonnes questions. Quiconque élabore un questionnaire ou une interview structurée doit connaître les principes fondamentaux de la conception d'un questionnaire, les aspects techniques de même que la littérature technique sur le sujet faisant l'objet du questionnaire (voir Manuel de VOR portant sur la compétence de l'équipe de vérification). Il est bien sûr tout aussi important d'avoir une connaissance approfondie du sujet.

Établir la fiabilité et la validité

Il existe diverses façons d'évaluer la fiabilité et la validité des données d'une enquête. Lorsqu'on a recours à un questionnaire, il faut habituellement, pour établir la fiabilité, administrer le questionnaire ou des parties du questionnaire aux mêmes répondants à des moments différents ou dans des situations différentes pour déterminer dans quelle mesure les réponses sont les mêmes.

Le principe fondamental pour établir la validité est le même que pour la corroboration des observations et des conclusions de vérification en général, c.-à-d. comparativement aux éléments probants en provenance de sources différentes et de nature différente (voir Manuel de VOR portant sur les éléments probants suffisants). Parmi les méthodes servant à établir la validité, mentionnons la comparaison des résultats de l'enquête avec les observations du comportement, la comparaison de l'échantillon enquêté avec des groupes qui devraient être semblables ou différents sur des aspects importants, la comparaison des résultats avec ceux d'autres instruments de collecte des données devant mesurer la même chose, l'opinion d'experts et l'analyse interne de l'instrument.

Pour savoir dans quelle mesure il faut déterminer la fiabilité et la validité et quelle(s) méthode(s) utiliser, il faut examiner la nature des renseignements recueillis et les usages qui en seront faits. Il est particulièrement important d'établir la fiabilité et la validité lorsqu'on tente de mesurer des caractéristiques individuelles, comme la connaissance, le moral, les attitudes, etc. Il arrive souvent qu'on doivent avoir recours à plusieurs méthodes si la question examinée est complexe.

Échelles d'évaluation. L'utilisation d'échelles d'évaluation (« sur une échelle de un à neuf, prière de faire une marque sur la ligne, etc. ») pour comparer les réponses d'individus ou de groupes d'individus exige tout particulièrement un examen de la fiabilité et de la validité. Il faut une corroboration supplémentaire expresse lorsque le vérificateur veut utiliser une échelle d'évaluation pour comparer divers répondants l'un à l'autre, à d'autres groupes ou à un critère sur un certain sujet. Par exemple, pour atteindre les objectifs de vérification, il peut être nécessaire d'évaluer la satisfaction des employés relativement à leur emploi ou à certaines fonctions de la gestion. Par ailleurs, il peut être nécessaire d'évaluer la connaissance, comme celle des questions environnementales.

Dans de tels cas et d'autres cas semblables, il est souvent inexact d'interpréter littéralement le niveau de réponse sur un point ou sur un groupe de points en fonction d'une échelle. Par exemple, une évaluation du moral qui se situe au-dessus du point milieu n'indique pas nécessairement que le moral est satisfaisant. Il existe une tendance connue chez les répondants à une enquête de donner une réponse favorable à certains types de questions et défavorable à d'autres. Pour déterminer si l'évaluation de la satisfaction et si les réponses à des questions de connaissance sont exactes, il faut que les réponses soient comparées ou soient reliées à un point de référence quelconque. Par exemple, l'évaluation du moral des employés devrait être comparée à celle qui a été obtenue dans d'autres organisations semblables.

Il existe toute une gamme de types d'échelles, chacune avec ses hypothèses quant aux méthodes, ses avantages et inconvénients dans certaines circonstances. Il existe aussi toute une gamme de choix techniques, comme le nombre de points sur une échelle, l'utilisation ou non d'un point milieu et la façon de désigner l'échelle, autant de facteurs qui, a-t-on démontré, ont une influence profonde sur les réponses reçues. Il faut consulter le RSF pour les enquêtes relativement à ces choix.

L'utilisation d'instruments établis

Il peut être long et coûteux d'établir la validité et la fiabilité d'un instrument, surtout lorsqu'il s'agit de tester les connaissances, de mesurer les attitudes ou d'évaluer le moral des employés. La confiance est la plus élevée lorsqu'on a recours à plus d'une méthode. On peut s'économiser beaucoup d'efforts en ayant recours à des instruments confirmés, dont la fiabilité et la validité sont connues. Les personnes qui ont élaboré des instruments confirmés peuvent exiger que leur administration soit faite par du personnel spécialement formé, en particulier leur propre personnel, ou encore exiger l'achat des instruments ou le paiement de redevances.

Pour déterminer dans quelle mesure on peut se fier à des instruments confirmés de collecte des données, il est important de tenir compte des facteurs suivants :

• la réputation de la personne qui a élaboré l'instrument;
• dans quelle mesure la valeur de l'instrument a été démontrée par son usage généralisé;
• dans quelle mesure une diversité de méthodes ont servi à l'établissement de la fiabilité et de la validité;
• si l'évaluation de la validité qui a été faite est valable aux fins de la vérification;
• dans quelle mesure l'instrument a été vérifié sur des groupes semblables à ceux qui sont inclus dans la vérification;
• l'opinion d'experts indépendants.