4 erreurs réelles à éviter dans votre enquête en ligne : l'exemple du jeu vidéo

Les erreurs les plus courantes des enquêtes en ligne ne sont pas réservées aux débutants : on les retrouve chez de grands éditeurs de jeux vidéo. Les quatre que j’ai relevées chez EA, Ubisoft et Nintendo : des questions obligatoires qui forcent à répondre au hasard ou à abandonner, une question cases à cocher aux options confuses, une matrice à l’envers et une question ouverte facultative… rendue obligatoire. Aucune n’est propre au jeu vidéo.

Depuis des années, je réponds à toutes les enquêtes qu’on me soumet (enquêtes clients, études de marché et d’opinion…) pour rester à la pointe sur le sujet. Parce qu’il est difficile de regarder un questionnaire que j’ai créé avec un œil neuf et extérieur… Mais c’est beaucoup plus facile quand je ne suis qu’un participant parmi d’autres ! Cela me permet de mieux me concentrer sur l’expérience utilisateur, et de relever les bonnes et mauvaises pratiques. J’ai donc pris l’habitude de faire des captures d’écran des exemples « remarquables », qu’ils soient bons… ou moins bons. En voici une sélection, tirée d’études de marché dans l’industrie du jeu vidéo.

N.B. : ces exemples sont donnés à titre purement didactique et illustratif, ils ne visent aucunement à porter un jugement de valeur sur les entreprises émettrices - l’erreur est humaine ! Si vous êtes un représentant d’une des sociétés ci-dessous et aimeriez que je retire l’exemple concerné, merci de me contacter. Je précise par ailleurs qu’il s’agit d’enquêtes grand public auxquelles j’ai été invité à répondre en tant que participant lambda, et pas de cas clients sur lesquels j’ai travaillé.

1. EA : l’obligation de répondre à toutes les questions

Commençons avec l’éditeur de jeux vidéo Electronic Arts ! Non pas que j’aie particulièrement une dent contre EA, mais surtout parce qu’il s’agit probablement de l’erreur la plus répandue : rendre obligatoire la réponse à chaque question.

Rappel sur les questions obligatoires

Il s’agit d’un combat sans fin entre les professionnels des questionnaires et leurs clients, qui veulent des réponses, et donc se disent qu’obliger les participants à répondre est plutôt une bonne idée ! Sauf que ce raisonnement apparemment plein de bon sens oublie malheureusement de prendre en compte un certain nombre de facteurs…

Pour faire simple, rendre les questions obligatoires amplifie toutes les erreurs du questionnaire : là où un participant pourrait simplement sauter la question face à une question maladroite, une formulation obscure, des options incomplètes ou un cas ne le concernant pas, il se retrouve avec deux choix : répondre au pif ou abandonner le questionnaire. Et je ne pense pas avoir besoin d’expliquer pourquoi aucun de ces cas n’est vraiment souhaitable.

L’exemple EA

Nous en arrivons donc à l’exemple de l’enquête Electronic Arts. On m’a dans un premier temps demandé de sélectionner dans une liste de jeux ceux dont j’avais entendu parler. On me pose alors la question suivante sur les jeux que j’ai sélectionnés :

Je dois donc ici noter des jeux dont j’ai simplement entendu parler… Chose totalement impossible pour moi pour la plupart de ces jeux ! On m’oblige pourtant à noter chacun des jeux. Ayant le choix entre dire n’importe quoi et abandonner, j’ai préféré abandonner.

Si cet exemple peut sembler caricatural, je peux vous assurer d’expérience que ce genre de cas est, sous une forme ou une autre, quasi omniprésent dans les enquêtes…

Alors que la solution est simple : rendre les questions facultatives !

Autres remarques en bref

• La question matrice est trop longue : la bonne pratique est de ne pas dépasser 5 ou 6 lignes. Dans cette question, limiter d’une manière ou d’une autre le nombre de jeux à noter aurait été une bonne idée.
• Le fait de rappeler l’échelle de notation en cours de route (la ligne intermédiaire entre « Fortnite » et « Hitman ») est en revanche plutôt une bonne pratique, qui permet à la fois de couper une question pour ne pas qu’elle ait l’air trop interminable, et de rappeler clairement le référentiel. Il aurait cependant été judicieux d’amener cette coupure plus tôt.
• L’échelle de 1 à 10 est totalement inadaptée dans ce cas… Elle est en effet trop longue pour être utilisée de manière répétée : je recommande de ne l’utiliser que pour une question de l’enquête, 3 grand maximum. Ici, on évalue plus de 10 items avec cette échelle… C’est beaucoup trop. Une échelle -2/+2 (Pas du tout, Plutôt pas, Neutre, Plutôt, Tout à fait) aurait été nettement plus pertinente (avec l’ajout d’un choix « Ne sait pas » à l’échelle).

2. Ubisoft : une question cases à cocher aux options confuses

Pour ne pas faire de jaloux, passons maintenant à Ubisoft, éditeur français concurrent d’Electronic Arts ! Ubisoft a en effet une forte politique d’écoute des joueurs, et les interroge fréquemment à travers des enquêtes détaillées (et souvent un poil trop longue, il faut bien le dire). Passons à la première erreur :

Ici, une simple question cases à cocher devient d’une incroyable complexité à cause de quelques maladresses. En effet, le but est concrètement de savoir si les joueurs achètent leurs jeux chez Amazon, Fnac, Micromania, Carrefour ou Auchan. Mais la question est plombée par ces erreurs :

• Il y a trop d’options, la liste mériterait d’être raccourcie en fusionnant certaines options
• La liste est constituée de choix à rallonge, et pas forcément extrêmement clairs
• Il n’y a aucun exemple pour venir éclaircir ces formulations alambiquées : préciser que tel choix correspond à Darty et Boulanger, ou que tel autre concerne plutôt Leclerc et Auchan améliorerait bien les choses !
• Il n’y a aucune logique dans l’ordre des options. Alors oui, mettre les options dans un ordre aléatoire est une bonne pratique dans certains cas, mais ici il y a trop d’options. Il faudrait donc les regrouper logiquement pour pouvoir s’y retrouver : physique vs. en ligne, ou rassembler les types de magasins pour faire en sorte que les supermarchés et leur boutique en ligne se suivent, par exemple. Rappel : je vous explique ici quand utiliser ou non l’ordre aléatoire.

Et je rappelle les bonnes pratiques des questions cases à cocher !

3. Ubisoft : une matrice à l’envers

Continuons avec Ubisoft, et une erreur plus rare que les précédentes :

On passera sur la formulation un peu longue de la question pour retenir la forme inédite de cette matrice. Par convention, dans une matrice, les options entre lesquelles choisir forment les colonnes, et les différents items que l’on évalue forment les lignes. Ici, items et options sont inversés : on doit répondre une fois par colonne au lieu de répondre une fois par ligne. Le risque, c’est donc de faire bugger les participants, qui perdent tous leurs repères. Et ça, ce n’est pas bon pour la survey fatigue…

4. Nintendo : une question facultative rendue obligatoire

Passons maintenant à Nintendo qui, il faut le dire, est nettement moins coutumier des enquêtes qu’Ubisoft. Je trouve cet exemple absolument fascinant :

Certes, il s’agit, comme pour EA, d’une question obligatoire qui ne devrait pas l’être. Mais ici, deux facteurs viennent s’ajouter :

1. Il s’agit d’une question ouverte, qui sont traditionnellement toujours optionnelles, parce qu’elles demandent un temps et des efforts que tous les participants ne sont pas prêts à mettre (même si bien poser la question peut améliorer les choses)
2. La formulation de la question indique clairement que la question ne concerne pas tout le monde ! (on n’est censé y répondre que si quelque chose n’était pas à la hauteur de nos attentes)

Malgré cela, la question est obligatoire. Pourquoi ? Probablement parce que les concepteurs ont considéré que les questions devaient être obligatoires, sans regarder en détail. Dommage ! Je rappelle donc que s’il y a bien une chose à généraliser, ce sont les questions optionnelles : aucune question ne doit être obligatoire par défaut ! (rappel : je vous en dis plus sur les questions obligatoires)

Conclusion

Je pourrais encore sortir des dizaines d’exemples :

• Cette agence de notation qui a cru qu’il était pertinent de mettre les options de ses échelles dans un ordre aléatoire (ce qui est fondamentalement opposé à la notion d’échelle)
• Ce chercheur qui s’est dit qu’il allait simplement poser les quelque 130 questions de son enquête sur le burnout à la suite, sur 2 pages, et laisser les participants déterminer pour chaque question s’ils étaient concernés… Alors qu’il aurait dû prendre le temps de configurer des branchements conditionnels.

Cet article ouvre d’ailleurs une série d’exemples réels, qui se poursuit avec 5 erreurs de mise en forme dans des enquêtes de satisfaction et 5 questions mal posées qui perdent les répondants.

Quoi qu’il en soit, le but n’est pas de jeter la pierre aux entreprises citées dans l’article. D’une part, peu d’enquêtes sont irréprochables ! Et d’autre part, cela ne doit pas faire oublier que les entreprises en question ont pris la peine d’interroger leurs utilisateurs, avec des questions dans l’ensemble pertinentes et bien posées (je parle des dizaines de questions qui n’apparaissent pas dans cet article). Le but ici est plutôt de montrer, avec des cas concrets en milieu professionnel, les nombreux écueils qui existent dans le domaine de la création de questionnaire.

Et si certaines erreurs citées semblent finalement bien minimes, elles ne sont malheureusement pas sans conséquences : chaque hésitation, chaque effort, chaque frustration du répondant vient augmenter sa « jauge » de survey fatigue, et ainsi diminuer la qualité de ses réponses et augmenter les chances qu’il abandonne en cours de route.

Pour limiter les erreurs dans votre enquête, un regard extérieur et expérimenté aide beaucoup : n’hésitez pas à faire appel à un expert ! La conception d’enquête est en effet une discipline dont la complexité est souvent sous-estimée, et qui nécessite une bonne dose d’expérience et d’expertise. Car, on en a eu un aperçu, ce ne sont pas les erreurs qui manquent…

Et le pire dans tout ça ? La plupart ne s’apercevront probablement jamais que leurs données sont faussées !

Bonus

Je ne résiste pas à la tentation de vous partager cette image que j’ai vue passer sur Instagram, qui se moque gentiment de l’incontournable NPS :

Pour les non anglophones :

• A quel point êtes-vous susceptible de recommander Windows 10 à un ami ou un collègue ? (sur une échelle de 1 = pas du tout, à 10 = certainement)
• Merci d’expliquer votre note
  • Commentaire : « Vous devez comprendre que les gens n’ont généralement pas de conversations où ils se recommandent spontanément des systèmes d’exploitation les uns aux autres. »

En résumé

• Une question obligatoire laisse deux choix au répondant qui ne peut pas y répondre : répondre au hasard ou abandonner. Mieux vaut laisser presque toutes les questions facultatives.
• Une question ouverte, ou une question qui ne concerne qu’une partie des répondants (« Si… »), n’a aucune raison d’être obligatoire.
• Une liste de cases à cocher reste lisible si elle est courte, formulée simplement, illustrée d’exemples (enseignes, marques) et ordonnée logiquement.
• Dans une matrice, les éléments à évaluer forment les lignes et les options de réponse les colonnes ; inverser cette convention désoriente les répondants.
• Chaque hésitation ou frustration du répondant augmente sa survey fatigue, ce qui dégrade la qualité de ses réponses et augmente le risque d’abandon.

Photo by Nikita Kachanovsky on Unsplash