Sondages : les diseurs de bonne aventure

--

Date: 13 octobre 2015
Auteur: Daniel Nadeau

Les sondages, outils imparfaits?

Il y aura une élection le 19 octobre prochain et nous avons été submergés comme jamais auparavant de sondages qui cherchent à prédire l’avenir. Nous savons tous que les différentes entreprises spécialisées dans la réalisation d’enquêtes d’opinions ont connu leur part d’insuccès dans un passé récent, notamment en Alberta. Mais qu’est-ce qui explique que ces instruments de mesure autrefois réputés fiables sont devenus soudainement des boules de cristal de diseuses de bonne aventure?

Les changements de nos modes de vie

À la base, les sondages continuent d’être des outils de mesures efficaces pour connaître l’opinion d’une population à partir d’un échantillon de taille respectable. Pour comprendre les changements dans l’industrie de la cueillette et l’analyse de l’opinion, il faut en comprendre les éléments empiriques. Cela nous aidera à mieux comprendre comment les changements à nos modes de vie ont fragilisé les résultats des sondages.

Les éléments empiriques des sondages d’opinion

• Bien comprendre le problème posé

À la base d’un sondage, il y a d’abord une problématique. Une question que l’on veut éclairer de l’opinion d’une population donnée. Pour être en mesure de bien saisir cette opinion, il faut d’abord que le « sondeur » comprenne bien tous les tenants et les aboutissants d’une question. Cette connaissance fine du sujet est un préalable incontournable à la rédaction d’un questionnaire.

• Les questions posées

Le nombre de questions, l’ordre dans laquelle elles sont posées, leur formulation et le choix des mots dans ces questions sont des éléments capitaux dans la fiabilité d’un sondage. Ainsi, des mots ont une signification toute particulière dans un contexte donné. Les mots souveraineté-association en sont un exemple éloquent. Savoir comment écrire une question avec le bon choix de mots est probablement l’opération la plus névralgique de toute enquête d’opinion.

• Le contexte et le « timing »

Le moment où le sondage sera fait auprès de la population est aussi un élément capital pour s’assurer de la fiabilité des résultats d’un sondage donné. Ainsi, un questionnaire administré durant les jours d’un long congé risque d’affecter le type d’échantillon. Les gens plus fortunés partent pour des vacances lors de longs congés. On pourrait donc en rejoindre moins ce qui viendra colorer nos résultats à cause de l’échantillonnage. D’autre part, lorsqu’un sujet fait l’objet de vifs débats dans l’espace public, comme le débat sur le niqab au cours des dernières semaines, les réponses obtenues sont plus le reflet des émotions que de la raison. Ce qui n’en fait pas moins les premières pages des journaux et les nouvelles d’ouverture des bulletins d’information radio et télé. Est-ce le vrai reflet de l’opinion raisonnée d’une population?

• L’échantillon

De tous les éléments d’un sondage, l’échantillon est de loin le plus important. Pourtant, jamais sa qualité n’a été aussi variable que dans les sondages publiés tout au long de la campagne électorale. Certains échantillonnages ont une représentation trop faible d’un territoire donné pour en tirer les conclusions des manchettes que nous avons pu voir alors que d’autres ont manifestement des biais de sous-représentation ou de surreprésentation. Cela n’empêche pas les médias de se faire les haut-parleurs de ces diseurs de bonne aventure post-modernes.

Les sondages des outils fiables, mais mal compris

Dans les faits, je suis d’avis que les sondages sont toujours des outils fiables de mesure de l’opinion du plus grand nombre, mais c’est leur utilisation et leur interprétation qui posent problème. Prenons par exemple cette idée que les sites de métadonnées de sondages comme Three hundred eight ou Too close to call sont plus fiables, car ils agglutinent tous les résultats des sondages pour nous donner un portrait exact de la réalité. C’est vrai la plupart du temps, mais si l’échantillon de base et les sondages répertoriés souffrent de lacunes, cela se répercutera dans les résultats agglomérés. C’est bien pour dire, la vieille vérité des premiers jours de mon apprentissage de l’informatique est toujours aussi vrai : « garbage in, garbage out »!