“Ça dépend ça dépasse” : quand les répondants d’une enquête ne rentrent pas dans les cases

Mis à jour le 16 août 2021

Vous aurez saisi la référence au Père Noël est une ordure, quand Zézette répond “ça dépend” à la question “exercez-vous une activité professionnelle ?”. Si le ressort comique de la scène est évident, elle renvoie à une réalité qui l’est beaucoup moins… Car beaucoup de participants ont eux aussi l’impression en répondant à des enquêtes que “ça rentre même pas dans les cases” ! Voici quelques uns de ces cas de figure :

[wtr-time]

Non concerné

Avant de se demander si les réponses proposées conviennent à un participant, il faut déjà que la question le concerne ! Et vous seriez surpris du nombre de questions ne concernant qu’une petite partie de la population qui sont assénées à l’ensemble des répondants, pour leur plus grand malheur. La solution est pourtant simple :

• Se demander, pour chaque question, qui la question concerne. Si elle ne concerne pas tout le monde, la formulation de la question (par exemple commençant par “si…”) et les options proposées (en incluant notamment un “non concerné”) doivent clairement le montrer. Si une question ne concerne potentiellement qu’un petit nombre de répondants, ou si plusieurs questions à la suite ne concernent pas tout le monde, mieux vaut utiliser des branchements conditionnels.
• Rendre toutes les questions facultatives (à quelques exceptions près). Parce que vous n’avez jamais (vraiment jamais) la certitude qu’une question concerne tout le monde, et qu’il n’y a rien de plus frustrant pour un répondant que de se voir forcé de répondre à une question qui ne le concerne pas.

« De quoi on parle ? »

Parfois, un répondant ne saura pas de quoi il est sujet dans la question. Soit parce qu’il n’a jamais entendu parler du sujet de la question, soit parce qu’il ne le connaît pas assez bien. Si ce cas est en réalité un cas particulier du précédent, il a sa place dans cette liste dans la mesure où l’on oublie souvent de se demander si tout le monde connaît bien le sujet abordé, pour déterminer la population concernée par la question.

Quand l’association d’anciens élèves de mon école me demande pourquoi j’ai préféré ne pas utiliser telle prestation proposée par leur service carrière, ils oublient d’envisager la possibilité que je n’aie jamais entendu parler de cette prestation (ce qui était le cas).

Et le “autre” alors ?

Le grand, l’indémodable classique. La petite erreur qui a fait s’arracher des poignées de cheveux à des générations de répondants. Je veux bien sûr parler du fait de proposer une liste de possibilité sans choix “autre”. Très handicapante pour les répondants (qui ont très envie de dire quelque chose mais n’en n’ont pas la possibilité), elle l’est toute autant pour le concepteur de l’enquête, qui ne saura jamais ce qu’il a pu oublier.

Ne pas proposer de choix “autre” peut ainsi donner l’impression au répondant que l’organisateur ne le connaît pas, se fiche de sa situation, ou encore pêche par orgueil en s’imaginant connaître tous les cas possibles, ce dont on ne peut jamais être sûr.

La solution est ici simple : proposer pour toute question fermée (hors questions échelles) une option “autre” avec champ de texte complémentaire (pour que le répondant précise ce que contient ce “autre”).

Le dilemme

Même lorsque le participant se retrouve dans les choix proposés, il peut se retrouver bloqué s’il est concerné par plusieurs réponses mais n’a la possibilité d’en sélectionner qu’une seule. Il devra alors choisir arbitrairement une des réponses.

Prenons l’exemple d’une enquête qui demande au répondant s’il est :

• Etudiant
• Inscrit comme demandeur d’emploi
• Salarié
• Travailleur indépendant

Beaucoup d’enquêtes ne laisseraient qu’une réponse possible à une question de ce type, alors que l’on peut très bien être étudiant, salarié ET travailleur indépendant en même temps. Bien sûr, d’autres choix (« retraité » par exemple) et une réponse “autre” seraient tout aussi indispensables pour cette question.

Dans ce cas, la solution est très simple également : de manière générale, pour une question fermée n’étant pas une question échelle, mieux vaut laisser plusieurs réponses possibles.

Tout noir ou tout blanc

Comme dans Le Père Noël est une ordure, la réalité est parfois plus nuancée que les options proposées. Il y a en fait deux problèmes en un ici.

D’une part, des questions qui peuvent être imprécises, au périmètre mal défini, ou qui mélangent plusieurs choses à la fois. Ces questions donneront envie de répondre “ça dépend”, puisqu’on se dira que la réponse ne sera pas la même en fonction de ce que l’on cherche à obtenir. Sauf que ce n’est pas au participant de se demander quel est “l’esprit” de la question : la question et ce qu’elle cherche à obtenir ne doivent pas laisser de place à l’ambiguïté.

D’autre part, les options peuvent manquer de nuance. C’est, il faut le dire, souvent lié à l’utilisation de questions oui/non, qui sont à bannir dans la plupart des cas. La plupart des répondants n’a en effet pas un avis suffisamment tranché : la marche colossale entre le “oui” et le “non” aura tendance à les bloquer dans le choix de leur réponse, là où une échelle plus nuancée leur permettra de se décider beaucoup plus facilement et plus précisément. Pour la même raison, le choix neutre central est également recommandé (ne pas trancher est un avis à prendre en compte, beaucoup plus fidèle à l’opinion du participant que si on lui impose de trancher).

La solution à ce manque de nuance est simple :

• S’assurer de préciser suffisamment le périmètre de la question (qui, quoi, quand, où…)
• Utiliser une échelle à la place d’un simple oui/non. Le plus souvent, il s’agira :
  • D’une échelle de notation. Je recommande pour ma part l’échelle suivante, qui s’adapte à toutes les situations :
    • Pas du tout
    • Plutôt pas
    • Neutre
    • Plutôt
    • Tout à fait
    • Non concerné
  • D’une échelle de fréquence. Par exemple :
    • Tous les jours
    • Toutes les semaines
    • Tous les mois
    • Moins souvent
    • Jamais
    • Non concerné

« Je sais pas »

“La seule chose que je sais, c’est que je ne sais rien.”

Si ce cher Socrate était assez extrême en la matière, je milite pour ma part pour un droit à ne pas savoir. On ne peut pas être expert de tout, avoir un avis sur tout. Il est parfois beaucoup plus sain d’admettre que l’on ne sait pas que d’essayer à tout prix de se faire une opinion à la va-vite.

Tout comme il est beaucoup plus sain d’accepter qu’un participant n’ait pas la réponse plutôt que de le forcer à s’inventer une opinion.

Beaucoup d’enquêtes ignorent totalement ce droit à ne pas savoir ou à ne pas avoir d’avis. Alors qu’il suffit pourtant de laisser les questions facultatives (oui, encore). En bonus, on peut même ajouter une option “ne sait pas” ou “ne se prononce pas” (on évite les sigles “NSP” ou “NSPP”, que tout le monde ne connaît pas). Mais quoi qu’il en soit, la question doit rester facultative !

« Hein ? »

C’est la réaction que provoque certaines questions.

“Qu’est-ce qu’on me demande exactement ?”

S’il y a bien une chose que l’on souhaite éviter, c’est d’obtenir la réponse (forcément aléatoire) de personnes qui ne savent pas ce qu’on leur demande, ou qui ont un doute. Et c’est pour cela que toutes les questions (ou presque) doivent être facultative : vous ne savez jamais quand une question peut être mal comprise, car vous n’êtes tout simplement pas dans la tête des répondants (sinon, on ne ferait pas d’enquête 😉 ).

Conclusion

Les cas amenant à se dire “cette question n’est pas pour moi” ou “je n’ai pas les moyens d’y répondre” ne manquent pas. Faisant moi-même souvent partie de ceux qui rentrent rarement dans les cases, j’y suis particulièrement attentif, et je ne sais que trop bien ce que ressentent les répondants dans ce cas…

S’il me semblait important d’y consacrer un nouvel article, c’est parce que ce problème est souvent sous-estimé dans la conception d’enquête. Et même ceux qui cherchent à l’éviter ne s’en donnent pas forcément les moyens. Car les différents problèmes listés ci-dessus s’additionnent. De la même manière, les solutions qui y sont apportées doivent l’être de manière complémentaire. Il ne s’agit pas de mettre une réponse “autre” OU un “non concerné” OU de rendre la question facultative. Il s’agit de faire tout cela à la fois. Pourtant, il est fréquent, quand je recommande à un client d’ajouter une option “non concerné”, qu’il en profite pour rendre la question obligatoire… Ou vice-versa.

Toutes les solutions citées dans cet article sont des portes de sortie proposées aux participants. Si ces portes de sortie sont présentées intelligemment, personne ne vous reprochera jamais d’en proposer plusieurs, et régulièrement. Surtout si l’alternative est de  foncer dans le mur !

Je finirai en rappelant que dans le film, Zézette remplit un questionnaire papier. Je n’ai jamais été promoteur des enquêtes papier : après tout, les enquêtes en ligne présentent de nombreux avantages, et elles existaient déjà bien avant que je commence mes études ! Mais il faut reconnaître un immense mérite aux questionnaires papier : celui de laisser la flexibilité aux participants, le final cut en quelque sorte. Dans un questionnaire papier, les questions obligatoires n’existent pas, il n’est pas possible d’oublier une réponse “autre”… Puisque le participant fait ce qu’il veut. Il barre, rature, écrit dans la marge, ajoute des commentaires qu’on ne lui demande pas, pose lui-même les questions qu’il aurait aimé qu’on lui pose… En bref, il s’approprie le questionnaire. Tout cela n’existe pas dans les enquêtes en ligne : s’il a beaucoup d’autres qualités, leur format est incroyablement rigide.

Il est donc essentiel de comprendre que c’est le questionnaire qui doit apporter la flexibilité et la subtilité qui manquent à l’outil. En bref, une enquête en ligne doit être conçue avec encore plus de soin qu’une enquête papier. Et les solutions que je présente dans cet article permettent de faire plusieurs pas dans cette direction. Et si vous avez besoin d’aide pour créer un questionnaire « flexible et subtil », vous pouvez toujours faire appel à un expert !

A0160