Les sondages politiques, côté cuisine: la marge d'erreur n'existe pas

Faire un sondage disait Fédéric Bon (1), revient à goûter la soupe pour savoir si elle est trop, ou pas assez salée. Je voulais, à mon tour, mettre mon grain de sel, dans le débat sur les sondages et prolonger mon précédent billet. Mais je m’aperçois qu’on trouve ailleurs d’excellentes explications et ressources

-tout particulièrement cette page de questions-réponses sur les sondages sur le site d’IPSOS, remarquablement claire et synthétique.

- cet article de Loïc Blondiaux, paru dans Le Monde du 9 mars,

- l’émission Arrêt sur Images sur France 5 du 11 mars.

Néanmoins, puisque qu'on se demande si souvent si les sondages peuvent se tromper, je voudrais aborder le problème de la marge d'erreur dans les sondages politiques français et expliquer pourquoi

On ne connaît pas la marge d’erreur des sondages politiques

Lorsqu’on effectue un sondage sur les intentions de vote, ses résultats ne sont qu’une approximation des intentions de vote de l’ensemble des électeurs. Ainsi, avec un échantillon de 1000 individus, la théorie statistique nous dit que la marge d'erreur est à peu près de + ou - 3%, avec un intervalle de confiance de 95%. Ou, plus clairement dit, si le résultat donné par le sondage est de 47%, il y a 95 chances sur 100 pour que le "vrai" résultat soit situé entre 44 et 50%(2)

Sauf... qu’on ne peut calculer la marge d’erreur qu’à partir d’échantillons constitués aléatoirement. Or la plupart des sondages politiques français, sinon tous, sont construits selon la méthode des quotas (on construit un échantillon qui reproduit les structures socio-démographiques de l'ensemble de l'électorat), pour laquelle on ne sait pas calculer scientifiquement la marge d’erreur. Les responsables des instituts considèrent que la marge d’erreur des sondages par quotas est équivalente à celle des sondages aléatoires. Mais les statisticiens disent qu’on n’en sait rien.

Donc, dans un sens, les commentateurs n’ont pas tort d’oublier de rappeler qu’il y a une marge d’erreur, puisqu’on ne la connaît pas!

Reste à savoir pourquoi en France, à quelques exceptions près et à l’inverse de ce qui se passe dans d’autres pays européens et aux Etats-Unis, nous ne faisons pas de sondages politiques aléatoires, mais seulement des sondages selon la méthode de quotas.

Je n’ai pas trouvé de réponse précise à cette interrogation, même dans l’ouvrage de référence de Loïc Blondiaux. Mais, il me semble qu’il y a sans doute deux explications.
- La première est économique. Les sondages par quotas sont plus rapides et moins coûteux à réaliser. Comme l’explique très bien le site de l’IPSOS : « Avec l’aléatoire, les sondés ne sont pas ' interchangeables '. Cela signifie que la personne tirée au sort doit être recontactée autant de fois que nécessaire. Grâce aux quotas, il est possible de remplacer un sondé par un autre qui a les mêmes caractéristiques socio-démographiques ». Nénamoins, même avec cette contrainte, dans bien de nombreux pays, on continue à faire des sondages aléatoires.Alors pourquoi pas en France?
- Deuxième raison: pour pouvoir réaliser un sondage politique aléatoire, il faut disposer d’une base dans laquelle figurent tous les électeurs et dans laquelle on va tirer au sort des individus. Or cette base n’existe pas en France. Contrairement à d’autres pays où il y a un fichier national des électeurs, en France les listes électorales sont constitués localement par chaque commune.

(1) Bon F., Mayer N. et Brunier M.-A., Les sondages peuvent-il se tromper? Paris: Calman-Levy, 1974.
(2) On peut réduire la marge d’erreur en augmentant la taille de l’échantillon. Par exemple, si interroge 5600 personnes, la marge d'erreur ne sera plus que de + ou - 1,3%. Mais cela renchérit le coût des sondages et allonge la durée de leur réalisation.