Ce n’est pas un secret que les sondages peuvent largement se tromper. Le jour ou l’heure à laquelle un sondage est réalisé peuvent affecter les résultats.

La décision de cibler les lignes fixes ou les portables, la formulation des questions et l’habilité des instituts de sondage à interpréter les réponses, tous ces éléments et d’autres peuvent fortement influencer les résultats d’un sondage.

Parmi les instituts de sondages israéliens, la divergence entre les résultats et le comportement réel des électeurs le jour de l’élection peut être significative.

Dans le mois qui a mené au jour-J de l’élection dans les trois dernières élections (en 2006, 2009 et 2013), l’institut de sondage Teleseker a accordé au parti travailliste, en moyenne, 2,5 sièges à la Knesset de plus que ce que le parti a fini par remporter aux élections, une erreur de 17 % sur le résultat final du parti.

L’institut de sondage Hagal Hahadash a surestimé le soutien au Likud sur la même période – avec une moyenne plus importante : 4 sièges. Et ce sont seulement des moyennes.

En réalité, les sondeurs prévoient très souvent trop de sièges pour le Likud, le parti travailliste et les partis centristes (comme Kadima, Yesh Atid et Hatnua) et Meretz, et n’en prévoient pas assez pour les ultra-orthodoxes et les partis arabes.

Ces conclusions remarquables viennent du Projet 61, un effort réalisé par l’analyste Nehemia Gershuni-Aylho pour brosser un portrait plus juste des points de vue des électeurs que les instituts israéliens ne semblent le faire.

Les mathématiques peuvent être compliquées, mais le principe est pourtant simple.

Gershuni-Aylho reprend les sondages lorsqu’ils sont publiés dans la presse israélienne, ajuste leurs résultats selon la moyenne d’erreur par parti de chaque institut de sondage sur les trois dernières élections, et publie ensuite des moyennes de ces ajustements sur les pages Facebook et Twitter du projet. Le résultat est une photographie de la situation politique qui est plus proche de la réalité que n’importe quel sondage pris séparément.

Un graphique de l'analyste Nehemia Gershuni-Aylho montrant les erreurs des instituts de sondages par parti lors des 3 dernières élections (en 2006, 2009 et 2013). Chaque groupe de colonnes représente un parti. Chaque colonne représente la marge d'erreur d'un institut de sondage. La colonne noire représente la moyenne de la marge d'erreur pour chaque parti. Les erreurs positives signifient que les erreurs sont en faveur des partis (Crédit : Project 61)

Un graphique de l’analyste Nehemia Gershuni-Aylho montrant les erreurs des instituts de sondages par parti lors des 3 dernières élections (en 2006, 2009 et 2013). Chaque groupe de colonnes représente un parti. Chaque colonne représente la marge d’erreur d’un institut de sondage. La colonne noire représente la moyenne de la marge d’erreur pour chaque parti. Les erreurs positives signifient que les erreurs sont en faveur des partis (Crédit : Project 61)

Gershuni-Aylho, âgé de 28 ans, a déjà été comparé au petit génie américain des nombres Nate Silver, dont les modèles pour les élections de 2012 ont fait honte aux sondeurs politiques les plus expérimentés et aux partis politiques majeurs.

En fait, Gershuni-Aylho n’hésite pas à donner le mérite à Silver. La méthode israélienne pour classer les sondeurs, le socle de son procédé pour ajuster les résultats des sondages, est tirée de son homologue américain « avec quelques ajustements pour un système avec plusieurs partis ».

Une récente conversation avec Gershuni-Aylho a commencé avec la question évidente : certains sondeurs ont tendance à surestimer le soutien pour les partis qui les paient, a noté le Times of Israel. Pensez-vous que les chiffres soient « améliorés » au bénéfice des clients ?

« Il y a des anomalies ; les sondeurs commettent tous des erreurs dans des directions particulières », a reconnu Gershuni-Aylho. Il a pourtant ajouté avec emphase : « Je ne crois pas qu’il y aurait des sondeurs sérieux qui changeraient les résultats. »

Pour une simple raison, c’est mauvais pour les affaires.

« Si je suis un sondeur [payé par le Likud] qui donne au Likud cinq sièges supplémentaires », et que les résultats ne correspondent pas le jour de l’élection, « est-ce que c’est bon ou mauvais pour le Likud ? Pour des petits partis, un sondage favorable peut mener les personnes à les considérer comme viables et dignes de vote. Mais pour les partis plus importants, des sondages trop optimistes peuvent donner l’impression aux électeurs qu’ils ont le luxe de voter pour des partis plus petits et plus ciblés ».

Effectivement, une des conclusions de Gershuni-Aylho est que les erreurs de sondage favorisent de manière récurrente les grands partis et sous-estiment le soutien aux petits partis sectoriels, et les erreurs des sondeurs affectent probablement, dans les urnes, leurs plus importants clients. C’est totalement le contraire que ce que l’on devrait attendre à trouver si les sondages étaient truqués pour plaire aux clients.

Comment explique-t-il donc la différence parfois très grande entre les sondages et les résultats aux urnes ?

« Certains problèmes sont structurels », c’est-à-dire qu’ils proviennent de l’acte même de sonder ou de la population qui est interrogée, et « certains sont liés à la méthodologie », explique-t-il.

Nehemia Gershuni-Aylho de Projet 61. (Crédit : Nir Ben-Yosef)

Nehemia Gershuni-Aylho de Projet 61. (Crédit : Nir Ben-Yosef)

Par exemple, quand un sondé « n’est pas sûr de son vote, il a une tendance naturelle à le donner au plus grand parti connu », pour signaler son bord politique.

Cela signifie que de nombreux répondants peuvent dire « Travailliste » pour indiquer une tendance à gauche, mais cette préférence peut se manifester, le jour du scrutin, comme un vote pour Meretz.

De l’autre côté de l’échiquier politique, on peut dire « Likud », mais hésiter entre le parti au pouvoir, Yisrael Beytenu, HaBayit HaYehudi ou d’autres partis appartenant au large spectre considéré comme « de droite ».

De tels comportements peuvent aider à expliquer pourquoi certains sondeurs ont tendance à prévoir une tendance trop optimiste pour les partis ou les camps politiques qui les emploient.

Si un sondeur est embauché par les travaillistes, il est probable que le sondage pose des questions sur le parti, ses politiques et ses dirigeants de manière beaucoup plus détaillée et plus exhaustive que pour un autre parti. Le simple fait que le sondé pense davantage au parti qui mène le sondage augmente les chances qu’il le soutienne.

La sous-représentation des Arabes et des ultra-orthodoxes dans les sondages découle de problèmes structurels. C’est un simple fait de la vie politique israélienne que les Arabes et les haredim sont moins disposés à répondre aux sondages téléphoniques.

Mais les sociétés de sondage essayent de remédier à ces comportements. « Le public arabe ne répond pas aux sondages, alors toutes les quelques semaines, [les instituts de sondage] effectuent de grands sondages [sur l’opinion arabe] et corrigent leurs sondages quotidiens en fonction de ces résultats», explique-Gershuni Aylho.

Ces « corrections » sont également utilisées pour les électeurs indécis.

«20 à 50 % des sondés peuvent dire qu’ils ne sont pas sûrs de leur vote. Nous savons que lors des élections précédentes, environ sept sièges sont allés dans des directions inattendues. Par exemple, [le parti Kadima] de Tzipi Livni a augmenté de 23 à 28 sièges au scrutin [en 2009], le Parti des retraités de 2 à 7 [en 2006], et Yesh Atid [de 14-15 dans les sondages] à 19 [le jour des élections en 2013] ».

Les sondeurs tentent de compenser les lacunes causées par les répondants récalcitrants ou indécis avec des modèles statistiques qui peuvent laisser deviner leurs réponses en fonction d’autres facteurs, comme le sexe, l’âge et le lieu géographique.

Avec autant d’obstacles pour obtenir un tableau complet de l’électorat, et une telle dépendance sur des hypothèses et des modèles statistiques, il n’est pas étonnant que tant d’erreurs se glissent dans le scrutin.

« Quelles sont vos attentes en matière de précision ? », demande Gershuni Aylho. « Si quelqu’un fait une erreur de 12 sièges – un siège de plus ou de moins pour chacun des 12 partis – c’est une excellente enquête. »

Alors, quelle société de sondage est la meilleure ? Hélas, la meilleure enquêteuse d’Israël dans les trois dernières élections, selon les calculs de Gershuni-Aylho, a pris sa retraite en 2013 : la vénérable Mina Tzemach, 79 ans, qui dirige les opérations de Dahaf depuis 1980. Panels Politics et Meno Geva (où Tsemah est aujourd’hui partenaire) arrivent en seconde et troisième place dans le classement du Project 61 des dix principaux sondeurs.

Project 61 est indépendant de tout parti politique ou d’institut de sondage, selon Gershuni-Aylho. « Je ne suis pas un sondeur moi-même. Je me contente d’analyser les chiffres. »

Ses analyses lui ont déjà valu une certaine notoriété. Ce dernier mois, il a fait une apparition sur la plupart des grandes stations de télévision et de radio d’Israël.

Était-ce sa motivation pour le projet ? Son affirmation sur sa présence justifiée uniquement par « les chiffres » est-elle valable ? Plus on suit le travail fascinant de Gershuni-Aylho, plus on commence à soupçonner qu’autre chose entre en jeu ici – que l’ensemble de cette immense entreprise lui sert d’excuse pour se consacrer à son véritable amour : dessiner de beaux graphiques.

Les résultats de 5 sondages effectués lors d'un week end à la mi-janvier2015 sont représentés par des cercles concentriques. (Crédit : Page Facebook de Project 61)

Les résultats de 5 sondages effectués lors d’un week end à la mi-janvier2015 sont représentés par des cercles concentriques. (Crédit : Page Facebook de Project 61)