Mis à jour le 16 août 2021
Depuis des années, je réponds à toutes les enquêtes qu’on me soumet (enquêtes clients, études de marché et d’opinion…) pour rester à la pointe sur le sujet. Parce qu’il est difficile de regarder un questionnaire que j’ai créé avec un œil neuf et extérieur… Mais c’est beaucoup plus facile quand je ne suis qu’un participant parmi d’autres ! Cela me permet de mieux me concentrer sur l’expérience utilisateur, et de relever les bonnes et mauvaises pratiques.
J’ai donc pris pour habitude de prendre des captures d’écran des exemples “remarquables” – qu’ils soient bons… ou moins bons. Aujourd’hui, je vous présente une sélection de ces “mauvais” exemples à travers des études de marché dans l’industrie du jeu vidéo. Je vous explique les erreurs qu’ils commettent, qui sont malheureusement très communes… (et pas du tout spécifique au jeu vidéo)
[wtr-time]
N.B. : ces exemples sont donnés à titre purement didactique et illustratif, ils ne visent aucunement à porter un jugement de valeur sur les entreprises émettrices – l’erreur est humaine ! Si vous êtes un représentant d’une des sociétés ci-dessous et aimeriez que je retire l’exemple concerné, merci de me contacter. Je précise par ailleurs qu’il s’agit d’enquêtes grand public auxquelles j’ai été invité à répondre en tant que participant lambda, et pas de cas clients sur lesquels j’ai travaillé.
1. EA – L’obligation de répondre
Commençons avec l’éditeur de jeux vidéo Electronic Arts ! Non pas que j’aie particulièrement une dent contre EA, mais surtout parce qu’il s’agit probablement de l’erreur la plus répandue : rendre obligatoire la réponse à chaque question.
Rappel sur les questions obligatoires
Il s’agit d’un combat sans fin entre les professionnels des questionnaires et leurs clients, qui veulent des réponses, et donc se disent qu’obliger les participants à répondre est plutôt une bonne idée ! Sauf que ce raisonnement apparemment plein de bon sens oublie malheureusement de prendre en compte un certain nombre de facteurs…
Pour faire simple, rendre les questions obligatoires amplifie toutes les erreurs du questionnaire : là où un participant pourrait simplement sauter la question face à une question maladroite, une formulation obscure, des options incomplètes ou un cas ne le concernant pas, il se retrouve avec deux choix : répondre au pif ou abandonner le questionnaire. Et je ne pense pas avoir besoin d’expliquer pourquoi aucun de ces cas n’est vraiment souhaitable.
L’exemple EA
Nous en arrivons donc à l’exemple de l’enquête Electronic Arts. On m’a dans un premier temps demandé de sélectionner dans une liste de jeux ceux dont j’avais entendu parler. On me pose alors la question suivante sur les jeux que j’ai sélectionnés :
Je dois donc ici noter des jeux dont j’ai simplement entendu parler… Chose totalement impossible pour moi pour la plupart de ces jeux ! On m’oblige pourtant à noter chacun des jeux. Ayant le choix entre dire n’importe quoi et abandonner, j’ai préféré abandonner.
Si cet exemple peut sembler caricatural, je peux vous assurer d’expérience que ce genre de cas est, sous une forme ou une autre, quasi omniprésent dans les enquêtes…
Alors que la solution est simple : rendre les questions facultatives !
Autres remarques en bref
- La question matrice est trop longue : la bonne pratique est de ne pas dépasser 5 ou 6 ligne. Dans cette question, limiter d’une manière ou d’une autre le nombre de jeux à noter aurait été une bonne idée.
- Le fait de rappeler l’échelle de notation en cours de route (la ligne intermédiaire entre “Fortnite” et “Hitman”) est en revanche plutôt une bonne pratique, qui permet à la fois de couper une question pour ne pas qu’elle ait l’air trop interminable, et de rappeler clairement le référentiel. Il aurait cependant été judicieux d’amener cette coupure plus tôt.
- L’échelle de 1 à 10 est totalement inadaptée dans ce cas… Elle est en effet trop longue pour être utilisée de manière répétée : je recommande de ne l’utiliser que pour une question de l’enquête, 3 grand maximum. Ici, on évalue plus de 10 items avec cette échelle… C’est beaucoup trop. Une échelle -2/+2 (Pas du tout, Plutôt pas, Neutre, Plutôt, Tout à fait) aurait été nettement plus pertinente (avec l’ajout d’un choix “Ne sait pas” à l’échelle).
2. Ubisoft – Les cases à cocher en pagailles
Pour ne pas faire de jaloux, passons maintenant à Ubisoft, éditeur français concurrent d’Electronic Arts ! Ubisoft a en effet une forte politique d’écoute des joueurs, et les interroge fréquemment à travers des enquêtes détaillées (et souvent un poil trop longue, il faut bien le dire). Passons à la première erreur :
Ici, une simple question cases à cocher devient d’une incroyable complexité à cause de quelques maladresses. En effet, le but est concrètement de savoir si les joueurs achètent leurs jeux chez Amazon, Fnac, Micromania, Carrefour ou Auchan. Mais la question est plombée par ces erreurs :
- Il y a trop d’options, la liste mériterait d’être raccourcie en fusionnant certaines options
- La liste est constituée de choix à rallonge, et pas forcément extrêmement clairs
- Il n’y a aucun exemple pour venir éclaircir ces formulations alambiquées : préciser que tel choix correspond à Darty et Boulanger, ou que tel autre concerne plutôt Leclerc et Auchan améliorerait bien les choses !
- Il n’y a aucune logique dans l’ordre des options. Alors oui, mettre les options dans un ordre aléatoire est une bonne pratique dans certains cas, mais ici il y a trop d’options. Il faudrait donc les regrouper logiquement pour pouvoir s’y retrouver : physique vs. en ligne, ou rassembler les types de magasins pour faire en sorte que les supermarchés et leur boutique en ligne se suivent, par exemple. Rappel : je vous explique ici quand utiliser ou non l’ordre aléatoire.
Et je rappelle ici les bonnes pratiques des questions cases à cocher !
3. Ubisoft – Sens dessus dessous
Continuons avec Ubisoft, et une erreur plus rare que les précédentes :
On passera sur la formulation un peu longue de la question pour retenir la forme inédite de cette matrice. Par convention, dans une matrice, les options entre lesquelles choisir forment les colonnes, et les différents items que l’on évalue forment les lignes. Ici, items et options sont inversés : on doit répondre une fois par colonne au lieu de répondre une fois par ligne. Le risque, c’est donc de faire bugger les participants, qui perdent tous leurs repères. Et ça, ce n’est pas bon pour la survey fatigue…
4. Nintendo – La question optionnelle obligatoire
Passons maintenant à Nintendo qui, il faut le dire, est nettement moins coutumier des enquêtes qu’Ubisoft. Je trouve cet exemple absolument fascinant :
Certes, il s’agit, comme pour EA, d’une question obligatoire qui ne devrait pas l’être. Mais ici, deux facteurs viennent s’ajouter :
- Il s’agit d’une question ouverte, qui sont traditionnellement toujours optionnelles, parce qu’elles demandent un temps et des efforts que tous les participants ne sont pas prêts à mettre (même si bien poser la question peut améliorer les choses)
- La formulation de la question indique clairement que la question ne concerne pas tout le monde ! (on n’est censé y répondre que si quelque chose n’était pas à la hauteur de nos attentes)
Malgré cela, la question est obligatoire. Pourquoi ? Probablement parce que les concepteurs ont considéré que les questions devaient être obligatoires, sans regarder en détail. Dommage ! Je rappelle donc que s’il y a bien une chose à généraliser, ce sont les questions optionnelles : aucune question ne doit être obligatoire par défaut ! (rappel : je vous en dis plus ici)
Conclusion
Je pourrais encore sortir des dizaines d’exemples :
- Cette agence de notation qui a cru qu’il était pertinent de mettre les options de ses échelles dans un ordre aléatoire (ce qui est fondamentalement opposé à la notion d’échelle)
- Ce chercheur qui s’est dit qu’il allait simplement mettre les 150 questions de son enquête sur le burnout sur une page, et laisser les participants déterminer pour chaque question s’ils étaient concernés… Alors qu’il aurait dû prendre le temps de configurer des branchements conditionnels.
Mais chaque chose en son temps : j’aurai l’occasion de partager d’autres exemples à l’avenir !
Quoi qu’il en soit, le but n’est pas de jeter la pierre aux entreprises citées dans l’article. D’une part, peu d’enquêtes sont irréprochables ! Et d’autre part, cela ne doit pas faire oublier que les entreprises en question ont pris la peine d’interroger leurs utilisateurs, avec des questions dans l’ensemble pertinentes et bien posées (je parle des dizaines de questions qui n’apparaissent pas dans cet article). Le but ici est plutôt de montrer, avec des cas concrets en milieu professionnel, les nombreux écueils qui existent dans le domaine de la création de questionnaire.
Et si certaines erreurs citées semblent finalement bien minimes, elles ne sont malheureusement pas sans conséquences : chaque hésitation, chaque effort, chaque frustration du répondant vient augmenter sa “jauge” de survey fatigue, et ainsi diminuer la qualité de ses réponses et augmenter les chances qu’il abandonne en cours de route.
Si vous voulez être sûr d’éviter les erreurs dans votre enquête, n’hésitez pas à faire appel à un expert ! La conception d’enquête est en effet une discipline dont la complexité est souvent sous-estimée, et qui nécessite une bonne dose d’expérience et d’expertise. Car, on en a eu un aperçu, ce ne sont pas les erreurs qui manquent…
Et le pire dans tout ça ? La plupart ne s’apercevront probablement jamais que leurs données sont faussées !
Bonus
Je ne résiste pas à la tentation de vous partager cette image que j’ai vue passer sur Instagram, qui se moque gentiment de l’incontournable NPS :
Pour les non anglophones :
- A quel point êtes-vous susceptible de recommander Windows 10 à un ami ou un collègue ? (sur une échelle de 1 = pas du tout, à 10 = certainement)
- Merci d’expliquer votre note
- Commentaire : “Vous devez comprendre que les gens n’ont généralement pas de conversations où ils se recommandent spontanément des systèmes d’exploitation les uns aux autres.“
A0143
Photo by Nikita Kachanovsky on Unsplash
