Quand doit-on disposer les options d’une question fermée dans un ordre aléatoire ?

Placez les options d’une question fermée dans un ordre aléatoire quand les participants ne peuvent pas anticiper les réponses et que celles-ci n’ont pas d’ordre logique, ce qui correspond le plus souvent à une question cases à cocher. Gardez un ordre fixe pour une échelle, pour des réponses évidentes (pays, secteur, direction…) et pour une liste reprise dans plusieurs questions ; en cas de doute, renoncez à l’ordre aléatoire.

La plupart des outils d’enquête en ligne proposent de présenter les réponses d’une question dans un ordre aléatoire, différent pour chaque participant. Cette fonctionnalité permet de limiter un biais du questionnaire en « donnant les mêmes chances » à chaque choix. Une étude fondée sur l’oculométrie (le suivi du regard) a en effet montré que les participants passent plus de temps à regarder les premières options d’une liste, ce qui explique en partie qu’ils les choisissent plus souvent (Galesic, Tourangeau, Couper et Conrad, 2008). Avec l’ordre aléatoire, chaque option se retrouve tantôt au début, au milieu ou à la fin de la liste : elle n’est donc ni avantagée ni désavantagée par rapport aux autres.

S’il peut être bien utile, cet ordre aléatoire des options ne doit évidemment pas être utilisé systématiquement. Je vous présente les cas dans lesquels vous pouvez ou non utiliser cette fonctionnalité.

Les cas où vous ne pouvez pas placer les réponses dans un ordre aléatoire

L’échelle

Une échelle, c’est un ensemble d’options se suivant dans un ordre progressif logique. Exemple : pas du tout, plutôt pas, neutre, plutôt, tout à fait (pour rappel, je vous dis ici comment poser une bonne question échelle).

C’est bien sûr le cas pour une échelle de notation (ou de satisfaction), mais pas uniquement ! Il peut également s’agir d’une échelle de fréquence, chronologique… Ou n’importe quelle autre échelle pour laquelle les options suivent une progression logique d’un extrême à l’autre.

Puisque les réponses suivent une progression, il est donc logique de garder cette progression pour les participants. On ne peut donc en aucun cas placer les options d’une échelle dans un ordre aléatoire. En aucun cas, vraiment. Vous imaginez devoir répondre à une question où l’on vous demande si vous mettez la note 2, 10, 5, 1, 9, 8, 4, 6, 3, 7 ou 0 ? Moi non plus.

Les réponses évidentes

Il existe certaines questions pour lesquelles le répondant sait déjà ce qu’il va répondre avant même d’avoir lu les options proposées, parce que le choix est limité et qu’il s’agit d’une réponse factuelle.

C’est par exemple le cas si l’on demande à un répondant :

• Le pays ou le département dans lequel il habite
• Son secteur d’activité
• La direction dans laquelle il travaille au sein de l’entreprise
• Ou encore les produits d’une marque donnée qu’il a déjà achetés

Dans ce cas, les réponses ne devront pas non plus être placées dans un ordre aléatoire.

Déjà, parce qu’il n’y a aucun risque qu’une option soit désavantagée par rapport à une autre : le participant sait déjà ce qu’il va répondre. Ici, l’enjeu est donc de permettre au répondant de trouver facilement la réponse qu’il a déjà en tête.

Ensuite, parce que placer les options dans un ordre aléatoire apporterait de la confusion et des pertes de temps à une question censée être facile. J’en présente un exemple dans le deuxième point des 4 erreurs réelles relevées dans des enquêtes de jeux vidéo.

Le mieux est donc de disposer les réponses dans l’ordre le plus logique et pratique pour les répondants :

• Pour le département dans lequel il habite, le plus logique sera de classer par numéro de département.
• Pour le pays, l’ordre logique sera plutôt alphabétique. Mais si certaines réponses sont plus probables que d’autres, vous pouvez les mettre en premier. Exemple : mettre la France en premier quand vous savez que la plupart de vos répondants est susceptible d’habiter en France, puis les autres pays dans l’ordre alphabétique.

De manière générale, placez les options dans l’ordre le plus logique (souvent l’ordre alphabétique). Vous pouvez éventuellement regrouper les réponses par grandes catégories si vous avez trop d’options ou que chaque réponse a de nombreuses formulations possibles (ce qui rend donc plus difficile de la trouver par ordre alphabétique). Mais dans tous les cas, pas d’ordre aléatoire des options ici !

Les listes d’options utilisées plusieurs fois

Parfois, une même liste d’options sera utilisée dans plusieurs questions différentes. Par exemple, j’ai demandé dans une enquête le type de demandes de partenariats que les répondants recevaient, puis dans la question suivante ceux qu’ils aimeraient recevoir. Logiquement, les options proposées sont les mêmes dans les deux questions. Mieux vaut donc éviter l’ordre aléatoire pour laisser les réponses dans le même ordre. Vous permettez ainsi aux participants de s’y retrouver d’une question à l’autre.

Que faire des options « Autre », « Aucun » ou « Je ne sais pas » ?

Souvent, une question aura quelques réponses à part, qui se situeront logiquement soit au début soit à la fin de la liste de réponses - mais en tout cas pas perdues au milieu des autres réponses. Il peut notamment s’agir d’un « aucun », d’un « autre », d’un « non concerné », d’un « je ne sais pas »… (et si vous vous demandiez : oui, inclure une ou plusieurs de ces réponses est une bonne pratique, même si elle est trop souvent oubliée).

Ces réponses à part sont des « points fixes » : elles ne doivent pas être mélangées avec les autres quand vous « randomisez » (mettez dans un ordre aléatoire) les options. Beaucoup d’outils permettent aujourd’hui de les garder à leur place pendant que le reste de la liste est mélangé : SurveyMonkey propose par exemple de ne pas randomiser le dernier choix (dans ses formules payantes), Qualtrics de placer certains choix dans un ordre d’affichage fixe, et Tally de verrouiller des options. Ce n’est pas le cas de tous les outils, ni de toutes les formules : vérifiez dans le vôtre. S’il ne gère pas ces points fixes, mieux vaut parfois éviter l’ordre aléatoire pour garder une cohérence dans la disposition des options.

Quand utiliser l’ordre aléatoire des options ?

Ainsi, la bonne pratique est généralement d’utiliser l’ordre aléatoire pour une question :

• Pour laquelle les participants ne peuvent pas vraiment anticiper les réponses ou leur intitulé
• Dont les réponses n’ont pas particulièrement d’ordre logique

En pratique, ces deux critères sont quasi-systématiquement synonymes d’une question cases à cocher ou « checkbox » (c’est-à-dire une question fermée pour laquelle les participants peuvent sélectionner plusieurs réponses). Il est en effet déconseillé de limiter les participants à une seule réponse dans ce cas de figure, car il est probable que certains aient besoin de cocher plusieurs cases.

Si vous souhaitez disposer vos réponses dans un ordre aléatoire dans un cas autre que ceux listés ci-dessus, alors peut-être devriez-vous envisager :

• Que vous n’avez pas utilisé le bon type de question (vous imposez une seule réponse alors qu’il faudrait laisser la possibilité d’en choisir plusieurs)
• Ou que l’ordre aléatoire n’est pas approprié.

Si vous avez un doute, mieux vaut laisser tomber l’ordre aléatoire des options. Il peut en effet apporter beaucoup de confusion pour les participants s’il est utilisé dans un cadre inapproprié ! Et, faut-il le rappeler, la confusion des participants se transforme souvent en réponses moins fiables et en abandons…

En résumé

• L’ordre aléatoire des options limite un biais : les participants regardent davantage les premières options d’une liste et ont tendance à les choisir plus souvent.
• Il convient aux questions dont les participants ne peuvent pas anticiper les réponses et dont les options n’ont pas d’ordre logique, le plus souvent des questions cases à cocher.
• Les options d’une échelle ne se placent jamais dans un ordre aléatoire, car elles suivent une progression logique.
• Pour des réponses évidentes (pays, département, secteur, direction…), et pour une liste reprise dans plusieurs questions, gardez un ordre logique et stable.
• Les options « Autre », « Aucun », « Non concerné » ou « Je ne sais pas » restent à leur place, au début ou à la fin : si votre outil ne permet pas de les fixer, renoncez plutôt à l’ordre aléatoire.

Photo par Riho Kroll sur Unsplash