Mis à jour le 1 septembre 2021
Troisième volet de mes articles présentant des cas réels d’erreurs dans les enquêtes en ligne. Après les études de marché dans l’industrie du jeu vidéo et les erreurs de mise en forme dans les enquêtes de satisfaction, nous nous attaquons aujourd’hui aux questions qui, par leur conception même, peuvent perdre les participants.
[wtr-time]
N.B. : ces exemples sont donnés à titre purement didactique et illustratif, ils ne visent aucunement à porter un jugement de valeur sur les entreprises émettrices – l’erreur est humaine ! Si vous êtes un représentant d’une des sociétés ci-dessous et aimeriez que je retire l’exemple concerné, merci de me contacter. Je précise par ailleurs qu’il s’agit d’enquêtes grand public auxquelles j’ai été invité à répondre en tant que participant lambda, et pas de cas clients sur lesquels j’ai travaillé.
1. Zalando – Victime de la mode
Chez Zalando, au-delà de mesurer la satisfaction, les enquêtes servent à déterminer le profil de leurs clients. Cela se fait notamment à travers un enchaînement d’affirmations à évaluer :
J’aurais tendance à dire que ces affirmations ne sont pas toutes suffisamment différentes les unes des autres, mais ce n’est pas une erreur en soi.
En revanche, Zalando use et abuse des questions doubles, cette (mauvaise) pratique qui consiste à mettre deux parties dans une proposition que l’on veut évaluer :
- En raison de mon mode de vie actif, j’ai besoin d’une grande variété de vêtements
- Je suis le premier à essayer les nouvelles modes ; de nombreuses personnes me considèrent donc comme un trendsetter
- Je connais les tendances de mode et je veux être le premier à les essayer
Ici, le problème est simple : parmi ces deux parties, l’une peut être vraie pour un répondant alors que l’autre ne l’est pas. Qu’est-il censé faire ? Répondre qu’il est d’accord même si une partie ne lui correspond pas ? Répondre qu’il n’est pas d’accord même s’il se reconnaît dans la moitié ? Ou alors dire qu’il est “partiellement d’accord”, ce qui ne veut pas dire grand-chose ?
Ici, la solution pour Zalando serait simple : évaluer une et une seule proposition à la fois, qu’il s’agisse de scinder la question en deux ou de ne garder qu’une des deux moitiés.
2. Auchan – Mesurer pour mesurer
Dans un questionnaire reçu après avoir commandé en ligne chez Auchan, on demande à quel point des informations sur la livraison ont été utiles :
A première vue cette question est tout à fait valable… Mais elle pose en réalité plusieurs problèmes d’expérience utilisateur.
Déjà, elle n’est pas autosuffisante : il faut se reporter aux informations de la page précédente pour pouvoir la comprendre. Il faudrait préciser dans la question de quelles informations on parle ! Il suffit en effet que le participant soit distrait durant 5 secondes entre la question précédente et celle-ci pour ne plus être sûr de savoir de quoi on parle ici…
Ensuite, cette question est construite avec en tête un cas bien précis : le client se posait des questions sur la livraison, et il a dû les chercher. La question revient en fait à “à quel point les informations ont répondu à vos questions ?”. Sauf que :
- Tout le monde n’a pas forcément eu besoin de ces informations, ou du moins ne les a pas recherchées (un beau cas de biais du candidat idéal)
- La question ne correspond finalement pas à ce que l’on cherche effectivement
Poser cette question proprement nécessiterait donc de la reformuler et de s’assurer qu’elle n’est posée qu’aux personnes concernées (par des branchements conditionnels, ou en le précisant dans la formulation). Par exemple : “Si vous vous posiez des questions sur la livraison, avez-vous trouvé facilement les informations sur notre site ? Pas du tout, Plutôt pas, Neutre, Plutôt, Tout à fait, Non concerné”
3. Pôle Emploi – Tout en nuances
Je parle ici d’un questionnaire papier, pour changer :
Ce questionnaire de quatre pages a pour objectif d’évaluer où le candidat en est de son projet professionnel. Mais si l’intention est louable, tout n’est pas parfaitement exécuté :
- On se retrouve face à une liste interminable
- Certaines questions manquent furieusement d’explications (dans “avez-vous fait le point sur vos contraintes”, il serait bon de préciser ce que l’on entend exactement par “contraintes”)
- Les questions oui/non n’ont aucune subtilité, et ne rendent service ni à la personne qui répond ni à la personne qui étudie les résultats : elles sont en général à proscrire
- L’ordre des différentes parties est assez incohérent : on fait d’abord un point sur le projet existant (il s’agit de la page ci-dessus), puis on s’intéresse aux pistes pour trouver une idée de métier, puis à la manière de prioriser ces pistes. On demande donc des nouvelles du projet… avant de demander si la personne a effectivement un projet.
4. Bankin’ – La liste omnisciente
Dans une de ses enquêtes utilisateurs, Bankin tombe dans un piège classique toujours aussi énervant pour les répondants :
Ici, Bankin’ réussit à faire trois erreurs à la fois :
- Ils ne permettent de cocher qu’une case, alors qu’un répondant peut très bien avoir eu plusieurs raisons de télécharger l’application.
- Ils ne permettent pas de sélectionner un choix “autre”. Ce qui signifie qu’ils n’imaginent pas qu’il puisse exister des raisons qu’ils n’ont pas envisagées. En plus de se priver d’informations précieuses sur ces raisons, ils adressent un message très négatif aux personnes qui ne se retrouveront pas dans cette grille toute faite (spoiler : j’en fais partie).
- Enfin, la question est obligatoire. Je ne répéterai jamais assez que les questions obligatoires sont à proscrire. La conséquence ici, c’est qu’une personne qui ne se reconnaît pas dans les options proposées est tout de même obligée d’en choisir une. Elle a donc le choix entre abandonner le questionnaire et répondre au hasard. Deux issues que Bankin’ aurait préféré éviter…
5. Centre du Burnout – La licence poétique
Vous le savez peut-être, j’ai fait un burnout, et je raconte cette expérience en vidéo dans le Journal du Burnout. Cela m’amène forcément à étudier un certain nombre d’outils et de ressources proposées. Et, si le Centre du Burnout propose des ressources précieuses pour comprendre et combattre le burnout, j’ai été beaucoup moins convaincu par leur questionnaire (alors même qu’il existe depuis plusieurs décennies des méthodes scientifiques de “mesure” du burnout).
Ce que j’ai à reprocher ici est ce que je surnomme la “licence poétique” :
Si j’apprécie en général le sens de la formule, ce n’est tout simplement pas adapté à un questionnaire. Ici, les options proposées sont trop imagées, et nécessitent une réflexion pour comprendre ce que cela peut vouloir dire. Or, un questionnaire nécessite d’utiliser des mots et expressions connus par tous, qui ne laissent pas de place à l’interprétation. Ici, le cahier des charges n’est pas rempli. Je détaille ici les bonnes pratiques pour formuler ses options !
Conclusion
Beaucoup d’erreurs dans les questionnaires sont faites avec les meilleures intentions du monde. En appliquant ce qui semble être du simple “bon sens”, on crée souvent plus de rigidité pour les répondants… Le résultat est sans appel : plus de participants qui abandonnent, et des réponses moins fiables. Face à cela, des solutions simples existent :
- Partir du principe que l’on ne peut pas envisager tous les cas de figure : il y aura toujours des participants non concernés par une question, qui voudront choisir une option à laquelle on n’a pas pensé…
- Généraliser l’utilisation d’une échelle -2/+2 (Pas du tout, Plutôt pas, Neutre, Plutôt, Tout à fait, Non concerné), véritable solution tout terrain, qui remplace les questions oui/non et les échelles de 0 à 10.
- Généraliser les questions facultatives : toutes les erreurs d’un questionnaire, petites et grandes, deviennent beaucoup plus critiques lorsque la question est obligatoire ! Les questions facultatives doivent donc être la règle, et les questions obligatoires l’exception (et quand je parle d’exception, je parle de 2 à 3 questions maximum, pas de la moitié des questions !).
En plus de cela, n’hésitez pas également à vous faire accompagner par un expert, qui vous donnera un regard neuf et vous permettra d’éviter tous les pièges et d’appliquer toutes les bonnes pratiques !
A0155
Photo by Evan Dennis on Unsplash
0 commentaire