5
(1)

Mis à jour le 8 juin 2020

Troisième volet de mes articles présentant des cas réels d’erreurs dans les enquêtes en ligne. Après les études de marché dans l’industrie du jeu vidéo et les erreurs de mise en forme dans les enquêtes de satisfaction, nous nous attaquons aujourd’hui aux questions qui, par leur conception même, peuvent perdre les participants.

Temps de lecture estimé : 7 minutes

N.B. : ces exemples sont donnés à titre purement didactique et illustratif, ils ne visent aucunement à porter un jugement de valeur sur les entreprises émettrices – l’erreur est humaine ! Si vous êtes un représentant d’une des sociétés ci-dessous et aimeriez que je retire l’exemple concerné, merci de me contacter. Je précise par ailleurs qu’il s’agit d’enquêtes grand public auxquelles j’ai été invité à répondre en tant que participant lambda, et pas de cas clients sur lesquels j’ai travaillé.

1. Zalando – Victime de la mode

Chez Zalando, au-delà de mesurer la satisfaction, les enquêtes servent à déterminer le profil de leurs clients. Cela se fait notamment à travers un enchaînement d’affirmations à évaluer :

J’aurais tendance à dire que ces affirmations ne sont pas toutes suffisamment différentes les unes des autres, mais ce n’est pas une erreur en soi.

En revanche, Zalando use et abuse des questions multiples, cette (mauvaise) pratique qui consiste à mettre deux parties dans une proposition que l’on veut évaluer :

  • En raison de mon mode de vie actif, j’ai besoin d’une grande variété de vêtements
  • Je suis le premier à essayer les nouvelles modes ; de nombreuses personnes me considèrent donc comme un trendsetter
  • Je connais les tendances de mode et je veux être le premier à les essayer

Ici, le problème est simple : parmi ces deux parties, l’une peut être vraie pour un répondant alors que l’autre ne l’est pas. Qu’est-il censé faire ? Répondre qu’il est d’accord même si une partie ne lui correspond pas ? Répondre qu’il n’est pas d’accord même s’il se reconnaît dans la moitié ? Ou alors dire qu’il est “partiellement d’accord”, ce qui ne veut pas dire grand-chose ?

Ici, la solution pour Zalando serait simple : évaluer une et une seule proposition à la fois, qu’il s’agisse de scinder la question en deux ou de ne garder qu’une des deux moitiés.

2. Auchan – Mesurer pour mesurer

Dans un questionnaire reçu après avoir commandé en ligne chez Auchan, on demande à quel point des informations sur la livraison ont été utiles :

A première vue cette question est tout à fait valable… Mais elle pose en réalité plusieurs problèmes d’expérience utilisateur.

Déjà, elle n’est pas autosuffisante : il faut se reporter aux informations de la page précédente pour pouvoir la comprendre. Il faudrait préciser dans la question de quelles informations on parle ! Il suffit en effet que le participant soit distrait durant 5 secondes entre la question précédente et celle-ci pour ne plus être sûr de savoir de quoi on parle ici…

Ensuite, cette question est construite avec en tête un cas bien précis : le client se posait des questions sur la livraison, et il a dû les chercher. La question revient en fait à “à quel point les informations ont répondu à vos questions ?”. Sauf que :

  • Tout le monde n’a pas forcément eu besoin de ces informations, ou du moins ne les a pas recherché (un beau cas de biais du candidat idéal)
  • La question ne correspond finalement pas à ce que l’on cherche effectivement

Poser cette question proprement nécessiterait donc de la reformuler et de s’assurer qu’elle n’est posée qu’aux personnes concernées (par des branchements conditionnels, ou en le précisant dans la formulation).

3. Pôle Emploi – Tout en nuances

Je parle ici d’un questionnaire papier, pour changer :

Ce questionnaire de quatre pages a pour objectif d’évaluer où le candidat en est de son projet professionnel. Mais si l’intention est louable, tout n’est pas parfaitement exécuté :

  • On se retrouve face à une liste interminable
  • Certaines questions manquent furieusement d’explications (dans “avez-vous fait le point sur vos contraintes”, il serait bon de préciser ce que l’on entend exactement par “contraintes”)
  • Les questions oui/non n’ont aucune subtilité, et ne rendent service ni à la personne qui répond ni à la personne qui étudie les résultats : elles sont en général à proscrire
  • L’ordre des différentes parties est assez incohérent : on fait d’abord un point sur le projet existant (il s’agit de la page ci-dessus), puis on s’intéresse aux pistes pour trouver une idée de métier, puis à la manière de prioriser ces pistes. On demande donc des nouvelles du projet… avant de demander si la personne a effectivement un projet.

4. Bankin’ – La liste omnisciente

Dans une de ses enquêtes utilisateurs, Bankin tombe dans un piège classique toujours aussi énervant pour les répondants :

Ici, Bankin’ réussit à faire trois erreurs à la fois :

  • Ils ne permettent de cocher qu’une case, alors qu’un répondant peut très bien avoir eu plusieurs raisons de télécharger l’application.
  • Ils ne permettent pas de sélectionner un choix “autre”. Ce qui signifie qu’ils n’imaginent pas qu’il puisse exister des raisons qu’ils n’ont pas envisagées. En plus de se priver d’informations précieuses sur ces raisons, ils adressent un message très négatif aux personnes qui ne se retrouveront pas dans cette grille toute faite (spoiler : j’en fais partie).
  • Enfin, la question est obligatoire. Je ne répéterai jamais assez que les questions obligatoires sont à proscrire. La conséquence ici, c’est qu’une personne qui ne se reconnaît pas dans les options proposées est tout de même obligée d’en choisir une. Elle a donc le choix entre abandonner le questionnaire et répondre au hasard. Deux issues que Bankin’ aurait préféré éviter…

5. Centre du Burnout – La licence poétique

Vous le savez peut-être, j’ai fait un burnout, et je raconte cette expérience en vidéo dans le Journal du Burnout. Cela m’amène forcément à étudier un certain nombre d’outils et de ressources proposées. Et, si le Centre du Burnout propose des ressources précieuses pour comprendre et combattre le burnout, j’ai été beaucoup moins convaincu par leur questionnaire (alors même qu’il existe depuis plusieurs décennies des méthodes scientifiques de “mesure” du burnout).

Ce que j’ai à reprocher ici est ce que je surnomme la “licence poétique” :

Vos nuits sont :
... des journées sans fin
... l'écran noir de vos nuits blanches
... un divin refuge

Si j’apprécie en général le sens de la formule, ce n’est tout simplement pas adapté à un questionnaire. Ici, les options proposées sont trop imagées, et nécessitent une réflexion pour comprendre ce que cela peut vouloir dire. Or, un questionnaire nécessite d’utiliser des mots et expressions connus par tous, qui ne laissent pas de place à l’interprétation. Ici, le cahier des charges n’est pas rempli. Je détaille ici les bonnes pratiques pour formuler ses options !

Conclusion

Beaucoup d’erreurs dans les questionnaires sont faites avec les meilleures intentions du monde. En appliquant ce qui semble être du simple “bon sens”, on crée souvent plus de rigidité pour les répondants… Le résultat est sans appel : plus de participants qui abandonnent, et des réponses moins fiables. Face à cela, des solutions simples existent :

  • Partir du principe que l’on ne peut pas envisager tous les cas de figure : il y aura toujours des participants non concernés par une question, qui voudront choisir une option à laquelle on n’a pas pensé…
  • Généraliser l’utilisation d’une échelle -2/+2 (Pas du tout, Plutôt pas, Neutre, Plutôt, Tout à fait, Non concerné), véritable solution tout terrain, qui remplace les questions oui/non et les échelles de 0 à 10.
  • Généraliser les questions facultatives : toutes les erreurs d’un questionnaire, petites et grandes, deviennent beaucoup plus critiques lorsque la question est obligatoire ! Les questions facultatives doivent donc être la règle, et les questions obligatoires l’exception (et quand je parle d’exception, je parle de 2 à 3 questions maximum, pas de la moitié des questions !).

En plus de cela, n’hésitez pas également à vous faire accompagner par un expert, qui vous donnera un regard neuf et vous permettra d’éviter tous les pièges et d’appliquer toutes les bonnes pratiques !

A0155

Besoin d’aide pour votre enquête ?

Un accompagnement d’expert pour concevoir, gérer ou analyser votre enquête !

Envie de recevoir des conseils réguliers ?

Abonnez-vous pour ne rien manquer !

Ils m’ont fait confiance !

Pierre nous a apporté toute son expérience du questionnaire en ligne, et nous a permis de gagner beaucoup de temps dans le cadre d’un planning serré. Nous avons particulièrement apprécié sa sensibilité sur l’expérience utilisateur !

Vincent Pilloy
Fondateur et CEO chez INOV360

Voir tous les témoignages

Photo by Evan Dennis on Unsplash

Cet article était-il intéressant ?

Note moyenne 5 / 5. Nombre de votes : 1

Pas encore de vote... Soyez le premier à noter cet article !

Vous avez trouvé cet article intéressant, merci !

N'hésitez pas à me suivre sur les réseaux sociaux pour voir mes prochains articles 🙂

Je suis désolé que cet article ne vous ait pas beaucoup intéressé...

Aidez-moi à l'améliorer !

Que pourrais-je améliorer dans l'article ?


Pierre

J'ai conçu et posé une bonne dizaine de milliers de questions depuis 2010. A travers ce site, je veux partager mon expertise pour vous aider à réussir vos projets :)

0 commentaire

Laisser un commentaire