Coup de théâtre dans la campagne électorale. Alors que le projet de charte de la laïcité semblait assurer la victoire électorale du Parti Québécois, voilà que les Libéraux de Philippe Couillard prennent la tête des intentions de vote pour la première fois.
Un sondage qui attira vite les critiques chez les troupes de Pauline Marois. On s’en prend à son côté non-probabiliste, sur lequel je vais m’attarder dans ce billet, mais aussi à la quantité de répondants dans la couronne de Montréal et la région de Québec, secteurs pour lesquels CROP avoue avoir doublé puis pondéré l’échantillon. Une critique sans réel fondement car le résultat a été pondéré pour ne pas débalancer le résultat.
Qu’est-ce qu’un sondage non-probabiliste? Voyons ce qu’en dit le site web de Statistique Canada:
La différence entre l’échantillonnage probabiliste et l’échantillonnage non probabiliste tient à une hypothèse de base au sujet de la nature de la population étudiée. Dans le cas de l’échantillonnage probabiliste, chaque unité a une chance d’être sélectionnée. Dans celui de l’échantillonnage non probabiliste, on suppose que la distribution des caractéristiques à l’intérieur de la population est égale. C’est ce qui fait que le chercheur croit que n’importe quel échantillon serait représentatif et que les résultats, par conséquent, seront exacts. Pour l’échantillonnage probabiliste, la randomisation est une caractéristique du processus de sélection, plutôt qu’une hypothèse au sujet de la structure de la population.
Dans le cas de l’échantillonnage non probabiliste, puisqu’on choisit arbitrairement des unités, il n’existe aucune façon d’estimer la probabilité pour une unité quelconque d’être incluse dans l’échantillon. Également, comme la méthode en question ne fournit aucunement l’assurance que chaque unité aura une chance d’être incluse dans l’échantillon, on ne peut estimer la variabilité de l’échantillonnage ni identifier le biais possible.
On ne peut mesurer la fiabilité d’un échantillonnage non probabiliste; la seule façon de mesurer la qualité des données en résultant consiste à comparer certains des résultats de l’enquête à l’information dont on dispose au sujet de la population. Encore une fois, rien ne fournit l’assurance que les estimations ne dépasseront pas un niveau acceptable d’erreur. Les statisticiens hésitent à utiliser les méthodes d’échantillonnage non probabiliste, parce qu’il n’existe aucun moyen de mesurer la précision des échantillons en découlant.
Interviewé par La Presse en 2012 suite à un sondage sur la loi spéciale contre la grève étudiante, Alain Giguère, président de la maison de sondage CROP, qui a mené le sondage mentionné au début de ce billet, explique que la méthode probabiliste, qui consiste en un sondage téléphonique dont les répondant(e)s sont choisi(e)s de façon parfaitement aléatoire, ne sera pas d’une meilleure fiabilité en raison du faible taux de réponses auquel il fera face. Combien de fois avez-vous vu vos parents (ou avez-vous vous-même) raccroché la ligne à une firme de sondage en disant simplement ne pas être intéressés? M. Giguère donne l’exemple d’un taux de réponse de 15% des personnes formant l’échantillon, un résultat dont la représentativité peut facilement être remise en doute.
Par ailleurs, l’absence des numéros de téléphones cellulaires dans les annuaires téléphoniques jette un doute sur l’aspect probabiliste de ces sondages téléphoniques. Une proportion toujours grandissante de la population se retrouve avec une probabilité nulle d’être choisie dans l’échantillon. D’un autre côté, un accès aux numéros de cellulaires par les firmes de sondage doublerait la probabilité des utilisateurs et utilisatrices d’à la fois un cellulaire et un téléphone fixe d’être retenu(e)s.
La solution retenue par les maisons de sondage est la formation de panels d’internautes qui ont manifesté leur intérêt pour les sondages. Ces panels sont constitués de gens sélectionnés en fonction des critères qu’on retrouve dans le recensement, notamment l’âge. Dans l’entrevue avec La Presse, M. Giguère insiste sur la différence entre ces sondages par panels, selon lui devenus la norme, et les sondages quotidiens qu’on retrouve sur le site web des médias de masse. Le sondeur ne leur accorde aucune valeur, pointant du doigt un échantillon provenant presque entièrement de la clientèle cible du journal et des mouvements où les partisan(e)s d’une option vont voter en masse dans le seul but de faire remonter ladite option.
Conscient que la méthode des panels soit loin d’être parfaite, Alain Giguère souligne néanmoins que c’est CROP, avec cette méthode, qui fut la première firme à détecter la vague orange aux élections fédérales de 2011, une vague qui fut bien réelle.