Marketing & Innovation

22 biais à éviter dans la conception d’un questionnaire en ligne

questionnaire : les biais de questionnementQuels biais éviter dans la conception de son questionnaire en ligne ? Depuis que les questionnaires en ligne, (ou CAWI pour Computer Aided Web Interviewing) ont permis depuis la fin des années 90 de démocratiser l’accès aux études marketing, tout le monde ou presque peut se lancer sur le terrain et concevoir son propre questionnaire.

22 biais à éviter dans la conception d’un questionnaire en ligne

C’est très bien, mais hélas, beaucoup d’erreurs sont commises ; ceci n’a rien de nouveau d’ailleurs, et cet article est le résultat de la refonte d’un ancien travail datant de 2000, lui-même inspiré de sources plus anciennes ; car les “biais de questionnements” n’ont pas attendu Internet pour exister ! Ces erreurs enfin, ne sont pas non plus, trois fois hélas, l’apanage des amateurs. Voici comment en 22 étapes, éviter les erreurs de conception dans son questionnaire en ligne.

22 biais à éviter dans la conception d’un questionnaire en ligne
22 biais à éviter dans la conception d’un questionnaire en ligne

note 1 : pour rassembler les 2 parties, taper http://bit.ly/22biaisq 

note 2 : dans le jargon des études de marché, on utilise le terme de “biais de questionnement”, je le reprendrai donc ici.

1. Biais N°1 : Profils (et autres questions implicantes en début de questionnaire)

Un des biais, sinon le biais de questionnement le plus fréquemment rencontré est le fait de poser les questions de profil (âge, sexe, localisation …) en début de questionnaire alors que leur place est à la fin. Il est certain que le marketeur a envie de connaître son interlocuteur et de collecter ses données, mais à trop le montrer, vous ferez fuir les répondants, ou pire, ils répondront n’importe quoi. Avec les clients et prospects, comme avec vos amis, il faut s’intéresser aux autres avant de s’intéresser à soi-même …

Ce biais se résume ainsi :

a- caractère impliquant de telles questions
b- gêne causée par ce type de questions
c- découragement causé par ces questions en tête de questionnaire (“vous ne vous intéressez pas à moi, tout ce que vous voulez ce sont mes coordonnées”)

Il en va de même pour toutes les questions impliquantes, où le questionné aurait l’impression que son avis serait moins important que ses coordonnées (et à cette peur se rajoute celle du spam). Un bémol sur les questions impliquantes utilisées à titre de filtrage en tête du questionnaire …

2. Biais N°2 : Questions sans pré-test

Si une question est mal formulée /comprise, les résultats seront sans doute inexploitables. Ce sera une question inutile ou pire, les conclusions vous mèneront sur des fausses pistes. Il faut donc pré-tester son questionnaire, en le soumettant à des répondants que vous mettrez en situation normale de réponse. Une première étape consiste déjà à se l’envoyer soi-même en prétest, ce qui vous permet de corriger les erreurs les plus flagrantes.

A l’inverse, il ne faut pas croire à la perfection ; il y aura toujours un effet d’interprétation des questions par les interviewés, le rôle de l’homme de Marketing est de minimiser cet effet, mais il n’est pas possible de le faire disparaître.

Biais N°3 : Questions à double-détente

par exemple : « Pensez-vous que la tablette tactile XYZ est utile et bon marché ? »

Il faut, dans ce cas, poser 2 questions (au-moins) ; sinon la réponse « oui » ou « non » ne serait pas interprétable, car vous ne sauriez l’attribution à l’une ou l’autre des propositions.

Biais N°4 : Questions incluant la réponse (biaisées)

WEBIT-CONGRESS-votez-pour-moi-eye-large.gifpar exemple : « Achèteriez-vous cette voiture malgré ses défauts de sécurité ? »

Cette question contient déjà l’opinion de l’intervieweur. L’interviewé sera tenté de réagir en fonction de cette opinion et non d’exprimer la sienne en dehors de cette influence.

Biais N°5 : Effets de halo

par exemple : « Pensez-vous comme le Président Obama que les impôts sont trop élevés ? »

Les liens à des personnes ou des groupes chargés en image sont dommageables à la neutralité d’une question. Ici, le répondant se verra réagir, non en fonction de son opinion relative aux impôts, mais par rapport à ses vues politiques et sous soutien, ou son opposition, au Président en question.

Biais N°6 : Le jargonnage

par exemple : « Etes-vous favorable aux QR codes? »

Kelloggs QR CodeSi l’on ne s’adresse pas à un expert, on a peu de chances d’être compris. Le grand-public ne sait pas ce qu’est un « QR code ». Utiliser une périphrase du style : « êtes-vous favorable aux codes barre 2D comme celui-ci (et vous montrez une image comme celle de droite) ». [ici, on pourrait aussi discuter du début de la phrase et la reformuler]

En l’occurrence, le terme de « QR code » recouvrant des réalités différentes, il faudra poser plusieurs questions complémentaires (utile pour afficher un site Web, pour visiter un musée (exemples), obtenir de l’info sur un produit etc. dans chacun des usages du QR code mis en situation)

Biais N°7 : Questions imprécises

par exemple : « utilisez-vous l’e-mailing  » ou « envoyez-vous des e-mails en nombre? »

la réponse ne sera pas exploitable car on n’est pas sûr que l’interviewé l’aura comprise d’une part et d’autre part car le terme est imprécis. A partir de combien d’e-mails et de quelle fréquence un envoi d’e-mails devient-il un « e-mailing ».

Il convient donc de préciser, du style : “envoyez vous des courriers électroniques en masse à plus de 1000 personnes …” et vous testez là fréquence en introduisant une réponse “0” ou “jamais” ce qui vous évite une question s’aiguill
age inutile.

Biais N°8 : QCM (choix multiples) masquant les alternatives

par exemple : « Quel est votre mode de transport privilégié ? »

  • le vélo
  • la voiture
  • la moto

Ceci est un biais très fréquemment rencontré. Il est très frustrant pour le répondant de voir que son choix préféré n’est pas inclus. ici, par exemple,  l’interviewé qui préfère le métro, ou l’avion (selon le contexte) ne pourra répondre. Il manque en outre une case « autre à préciser » indispensable.

Biais N°9 : Questions sur des échelles de temps ou de distances

Longtemps, souvent, rarement, de temps en temps, … à remplacer par : x fois/semaine, x fois/mois, x fois/jour etc.

Les distances en km ne sont pas forcément parlantes non plus. Il faut plus de temps pour faire 25 km en ville que 200 km sur une autoroute fluide. Il faut donc se méfier du contexte.

Biais N°10 : Biais dans les choix proposés

Se méfier du « point neutre » dans une échelle de valeur (très positif, plutôt positif, neutre, plutôt négatif, très négatif … en remplaçant “positif” ou “négatif” par ce que vous voulez) et veiller de préférence à créer des échelles paires au lieu des échelles impaires qui incitent à choisir la réponse médiane. Ne garder la réponse médiane que si le sujet est très délicat, très technique et Business to Business.

Biais N°11 : QCM avec recoupements

voici un exemple de recoupements mal formulés :

a. 1 heure et moins
b. 1-3 heures
c. 3 heures et plus

il vaut mieux remplacer cette échelle par :

a. moins d’1 heure
b. de 1 heure à 3 heures (inclus)
c. plus de 3 heures 

biais de questionnement - questionnaire en ligne
Biais dans votre questionnaire : évitez les questions « cactus »

Biais N°12 : L’ordre des questions est très important

Surtout si votre questionnaire contient des filtres. Des biais peuvent être induits par l’ordonnancement des questions. Ce que je vois notamment souvent, c’est une question qui demande un avis avant une autre qui demande si le répondant connaît le sujet. Pas évident de répondre sur quelque chose que vous ne connaissez pas, non ? Dans ce cas le répondant répondra n’importe quoi à la première question pour ne pas paraître idiot, et s’il ne veut pas paraître incohérent, il déclarera qu’il connaît le sujet lors de la deuxième question. Dans un cas, quand vous croiserez les réponses, vous vous retrouverez avec une incohérence, ou une réponse fausse.

Biais N°13 : Distinguer questions factuelles & d’opinions

Il ne pas mélanger les 2 sujets dans une même question. Ce sont des questions “zeugma” du style “mangez-vous du chocolat et est-ce que vous trouvez ça bon ?” … Alors je réponds quoi à votre question monsieur le sondeur ??? Pas simple.

Biais N°14 : Questions ouvertes & fermées

En “quanti”, il faut privilégier les questions fermées au maximum. Les questions ouvertes sont plus difficiles à quantifier et nécessitent une opération de regroupement intermédiaire assez longue. En outre, en moyenne, 4 réponses sur 10 à une question ouverte sont considérées comme inappropriées (statistique non brevetée SGDG, mais basée sur l’expérience) … mais, car il y a un mais …

… mais il faut toujours laisser une place pour une zone de commentaires libres (ou plusieurs si nécessaire) afin de laisser le questionné s’exprimer. Ceci est indispensable dans toutes les formes de questionnaires auto-administrés. Ceci permet aussi de s’apercevoir de certaines incohérences dans la formulation de ses questions, lorsque le répondant a pataugé car il ne l’a pas comprise. Bien-sûr, il vaut mieux patauger au moment du prétest, mais là encore, la pratique montre que c’est souvent l’inverse qui est fait.

Attention, sur Internet, les internautes utilisent les questions ouvertes comme un forum. Ils se peut qu’ils attendent également des réponses rapides et personnalisées de votre part. Notamment quand ils expriment des mécontentements. Le bon marketeur consciencieux se mettra en rapport avec le service client ; bien-sûr, tout le monde fait ça, c’est bien connu.

Biais N°15 : Eviter les réponses imposées (=> case « sans opinion »)

Si un problème n’évoque rien pour l’interviewé, celui-ci sera tenté de répondre au hasard pour ne pas paraître idiot. Ne jamais oublier la case « ne sait pas » ou « sans opinion » qui donne à l’interviewé une porte de sortie honorable.

Cette case est souvent éludée par les apprentis sondeurs qui ont peur de montrer des réponses NSP à leurs commanditaires ; c’est une grosse bêtise, car il vaut mieux un vrai NSP qu’une fausse réponse à une mauvaise question. Là encore, personne ne fait jamais cela dans la réalité.. bien-entendu.

Biais N°16 : Eviter les mots impliquants

questionnaire : les mots implicants à éviterpar exemple : « Avez-vous peur du bruit dans votre résidence ». Cette question implique un sentiment fort et une réaction de la part de l’interviewé : exemple de réaction possible : « je ne veux pas que l’on voie que j’ai peur, alors je vais répondre … » ou l’inverse : “le monde est de plus en plus dangereux etc. etc.” Il est vrai que certains d’entre nous qui n’ont pas encore coupé le bouton de la TV sont particulièrement conditionnés.

Par ailleurs, le terme de bruit est trop vague pour désigner les nuisances sonores (terme plus édulcoré mais dont il faudra s’assurer de la compréhension dans le pré-test, voire qualifier, en différents types : discussions des voisins, bruits de la circulation, moteurs des avions …)

Il vaut mieux dans ce cas retourner la question :

par exemple : « Comment qualifieriez-vous l’impact des nuisances sonores sur votre vie dans la résidence xxx ? »

a- impact très fort

b- impact plutôt fort

c- etc. maintenant vous connaissez les options (voir 1/2)

Biais N°17 : Préserver l’anonymat des réponses

C’est une obligation légale régie par la CNIL (en France), elle-même régie par une réglementation européenne de plus en plus contraignante (directive de 95 révisée en 2001, il y a sans doute eu du nouveau depuis, mais bon … il y a peut-être assez de réglementations comme cela, il serait peut-être mieux de les respecter).

Ne pas rassurer les interviewés sur ce point implique en outre que vous risquez d’induire des comportements de défense.

Biais N°18 : Proposer plusieurs modalités de réponses & « autres à préciser »

exclamation-large_thumb.gifPlus il y a de choix possibles, moins les réponses des interviewées seront biaisées, mais trop de choix tue le choix car il crée l’embarras. Il faut donc se limiter aux choix les plus importants en laissant les autres pour la case « autres à préciser ». Le prétest vous aidera à choisir les options les plus importantes. Une petite astuce que j’aime bien : dans Surveymonkey (par exemple), j’utilise l’option de lotterie pour présenter les choix dans un ordre aléatoire afin de minimiser les l’impact de l’emplacement des choix dans la liste.

La case « autres à préciser » est souvent omise dans les questionnaires mal conçus, et Dieu sait qu’il y en a ! Elle permet pourtant de se garantir des oublis qu’il n’est jamais possible d’écarter totalement dans un questionnaire, surtout lorsqu’on ne connaît pas toutes le réponses possibles (et vous ne les connaissez pas puisque vous questionnez les clients ! CQFD).

Biais N°19 : Les doubles négations

par exemple : « Ne pensez-vous pas qu’il est impossible que … »
à remplacer par « pensez-vous qu’il est possible que …”

À défaut, vous risquez de générer incompréhension et biais négatifs.

Biais N°20 : Les filtres

Il est inutile de garder les répondants indésirables qui sont nombreux sur l’Internet, sauf si vous travaillez à partir d’un access panel et d’un fichier connu. Dans le cas d’un questionnaire ouvert, les répondants sont tout le monde et n’importe qui. Un des moyens de vous débarrasser des surfeurs arrivés sur votre questionnaire par hasard est de les filtrer dès le début. Vous pourrez ainsi les éliminer par un tri croisé assez facilement. Un branchement vous permettra de les évacuer élégamment en leur disant merci

Biais N°21 : Echelles inversées

par exemple : « de 1 à 5 (de + facile à + difficile) » et de « 1 à 5 (de – favorable à + favorable) » etc.

Il faut toujours utiliser le même ordre de progression à l’intérieur d’un même questionnaire. Et aussi toujours utiliser le même nombre de choix dans une échelle. Enfin,  il faut répéter le plus possible dans le tableau les significations de l’échelle afin de ne pas obliger l’interviewé à se reporter à une légende.

Cela paraît encore un enfoncement de portes ouvertes, mais regardez les questionnaires que vous recevez, et vous verrez que cette erreur est souvent commise, surtout celle qui consiste à noter dans un sens (du – vers le + de gauche à droite), puis dans un autre (idem mais de droite à gauche !).

Biais N°22 : Explications sur les questions complexes

social-networks_thumb.gifUn questionnaire auto-administré livre l’interviewé à lui-même, c’est même son principe de base. Il est possible de reproduire sur l’écran le principe de la carte explicative utilisé dans les questionnaires en face à face ou postaux, grâce à l’introduction d’images dans les question. Or je remarque que les possibilités du html sont peu utilisées dans les questionnaires en ligne.

Biais N° 23 : éliminez les experts Marketing et en études de marché

Comme dans les DVD, sur Visionary Marketing vous avez toujours le droit à un bonus. Chaque fois que je suis interrogé, j’attends avec impatience cette question de filtre dès le départ : “êtes-vous un professionnel du marketing ?”

Et  force de constater que tous ne la posent pas. Ne pas éliminer les experts vous expose à encore plus de biais, de la part de professionnels qui passeront plus de temps à décoder vos questions qu’à y répondre en toute franchise, qui s’amuseront (c’est mon cas) à compter le nombre de biais par minute et qui … cerise sur le gâteau, seront éventuellement intéressés à grapiller des informations pour la concurrence

A bon questionneur, salut !

Yann Gourvennec

Yann Gourvennec created visionarymarketing.com in 1996. He is a speaker and author of 6 books. In 2014 he went from intrapreneur to entrepreneur, when he created his digital marketing agency. Yann Gourvennec a créé visionarymarketing.com en 1996. Il est conférencier et auteur de 6 livres. En 2014, il est passé d'intrapreneur à entrepreneur en créant son agence de marketing numérique. More »

18 commentaires

    1. Merci Christian, J’ai en fait une longue pratique du domaine, depuis … mes débuts dans le Marketing dans les années 80. A noter également que je suis l’auteur d’une méthodo de conception d’études en lignes en 1999/2000 que j’ai enseignée à Sup de Co Lille (Skema maintenant) en mastère de Marketing direct jusqu’en 2002.

      D’ailleurs, après la 2ème partie des biais de questionnements je publierai un article sur la méthodologie du questionnaire en 12 points.

Laisser un commentaire

Bouton retour en haut de la page