I sondaggisti cercano la rivincita dopo il flop nel 2016

Una nuova folla di aspiranti oracoli è determinata a non replicare gli errori dei loro predecessori.

di Rob Arthur

La notte dell’8 novembre 2016, Charles Franklin, come milioni di altri americani, man mano che vedeva i risultati delle elezioni presidenziali sentiva aumentare la sua angoscia. Ma Franklin, un sondaggista del Wisconsin e professore di diritto e politiche pubbliche alla Marquette University, non era preoccupato a causa delle sue preferenze politiche personali; si stava giocando la sua reputazione. Solo una settimana prima, un suo sondaggio aveva mostrato Hillary Clinton con sei punti di vantaggio in Wisconsin. Invece, stava perdendo di sette decimi di punto.

Franklin lavorava con il Decision Desk della ABC, in qualità di esperto dietro le quinte responsabile delle previsioni nei singoli stati. Mentre i dati si accumulavano, era sempre più chiaro che il suo sondaggio era sbagliato.

“Nessuno vuole fare questi errori”, egli dice, ripensando a quanto successo. “E’ stato deprimente”.

Non è stato l’unico sondaggista a mancare l’obiettivo. Secondo “RealClearPolitics”, ognuno dei più di 30 sondaggi in Wisconsin nei mesi precedenti le elezioni ha visto Clinton vincere lo stato con margini che vanno da 2 a 16 punti. E questi errori sono stati ulteriormente amplificati perché venivano utilizzati per gli algoritmi informatici a livello nazionale che hanno previsto una vittoria della Clinton.

Dopo i risultati finali, tutti hanno iniziato ad ammettere i propri errori. “Mi ha fatto impressione vedere l’ampiezza dell’errore”, ha scritto Natalie Jackson, esperta di dati dell’”Huffington Post”, che aveva dato alla Clinton una probabilità di vittoria del 98 per cento.

I media hanno iniziato a denunciare il fallimento degli algoritmi di previsione. Alcuni critici si sono dimostrati più avveduti di altri, riconoscendo che alcuni sondaggisti avevano descritto una vittoria di Trump come semplicemente improbabile. Ma molti mettono in dubbio l’idea stessa di poter fare delle previsioni sulle elezioni. Alcuni hanno persino usato le scadenze elettorali come pretesto per attaccare l’intero campo della scienza dei dati.

Eppure quasi quattro anni dopo, e con un’altra tornata elettorale in arrivo, i sondaggisti stanno iniziando a pubblicare le previsioni per il 2020. Il contraccolpo subito nel 2016 non li ha dissuasi e una nuova folla di aspiranti oracoli è determinata a non replicare gli errori dei loro predecessori.

Cosa è andato storto?

Una serie di problemi ha portato agli errori del 2016. Alcuni sondaggi non sono riusciti a contattare abbastanza elettori bianchi con livelli di istruzione più bassi, mentre una parte dei sostenitori di Trump ha rifiutato di ammettere chi avrebbe votato. La strategia non convenzionale di Trump ha anche indotto al voto più cittadini nelle contee rurali fortemente repubblicane.

I sondaggisti presumevano erroneamente che queste persone si sarebbero astenute come avevano fatto nelle precedenti elezioni, il che ha fatto apparire la base di Trump più ristretta di quanto non fosse in realtà. Ma mentre i sondaggisti hanno ricevuto la maggior parte della colpa, forse si sarebbe dovuto mettere sotto accusa chi trasforma questi dati in previsioni.

“Due importanti esperti di previsioni avevano dato Hillary Clinton vincente al 99 per cento”, afferma G. Elliott Morris, dell’”Economist”. Di fronte al fallimento, si sono limitati a incolpare i sondaggisti, perché è la scelta più facile per loro”.

Almeno due sono stati gli errori principali commessi da alcuni esperti di dati che hanno contribuito a progettare gli algoritmi di previsione. In primo luogo, hanno ritenuto che le probabilità di sbagliare nel prevedere una distanza di quasi sette punti nel Wisconsin fossero basse e quelle di effettuare un errore comparabile in altri stati critici come il Michigan e la Pennsylvania fossero ancora minori.

In realtà, i problemi di polling in uno stato erano correlati con errori in altri stati simili. Supporre che i dati dei sondaggi fossero completamente indipendenti l’uno dall’altro, invece di manifestare lo stesso problema alla base, ha prodotto un’eccessiva fiducia nella vittoria della Clinton.

In secondo luogo, gli algoritmi di previsione non sono riusciti a registrare il numero record di elettori indecisi come segnale di avvertimento. Tanti elettori erano pronti a votare per Trump e i margini di sicurezza della Clinton erano molto meno stabili di quanto sembrassero.

“Era tutto sotto i nostri occhi”, dice Rachel Bitecofer, professore di scienze politiche alla Christopher Newport University. Se ci fossero stati più sondaggi negli Stati in bilico poco prima del giorno delle elezioni, ella suggerisce, gli analisti avrebbero potuto raccogliere il numero insolitamente alto di elettori che hanno deciso di presentarsi all’ultimo momento.

Durante i giorni di chiusura della campagna elettorale, stavo lavorando a “FiveThirtyEight”, un importante sito di sondaggi. Non mi stavo occupando della corsa presidenziale, ma seguivo le World Series del baseball. Quando i Chicago Cubs erano sotto di tre partite a una nella serie finale contro i Cleveland Indians, ho notato che le loro probabilità di vincita, circa una su sei, erano un pelo al di sotto delle possibilità di Trump di prendere la Casa Bianca.

Sei squadre c’erano riuscite in 113 anni di storia delle World Series, e altre sette avevano compiuto un’impresa simile in altre gare di playoff; quindi era sicuramente possibile, ma non era probabile. Successivamente, quando sia i Cubs sia Trump hanno vinto sfidando il calcolo delle probabilità, ho ricevuto un diluvio di tweet di odio che mi incolpavano per aver in qualche modo “favorito” due possibili svolte del destino.

“Se senti che ci sarà una probabilità del 20 per cento di pioggia, non porti l’ombrello. Se poi piove e ti bagni completamente, la colpa è solo tua “, afferma Steven Shepard, direttore e sondaggista elettorale di “Politico”. “Una probabilità del 20 non è così bassa”.

Molte persone sembravano guardare alla possibile vittoria della Clinton senza considerare quanto fossero realmente sicuri coloro che facevano le previsioni. Una probabilità del 70 per cento di vittoria è decisamente alta, ma avrebbe dovuto essere vista in modo molto diverso da una possibilità del 99 per cento.

Tuttavia, alcuni hanno detto il 99 per cento e hanno senza dubbio peccato di “superficialità”. Sam Wang del Princeton Election Consortium aveva stimato che le probabilità di Trump fossero inferiori all’1 per cento e si era persino impegnato a mangiare un insetto se Trump avesse guadagnato più di 240 voti elettorali.

Quando è arrivato il risultato elettorale, Wang è rimasto fedele alla sua parola. Una settimana dopo il giorno delle elezioni, è apparso alla CNN con una lattina di grilli “gourmet” (“gourmet dal punto di vista di un animale domestico”, ha chiarito) e ha onorato la sua scommessa. “Spero di poter tornare a parlare di dati e ragionare su problemi politici”, ha detto prima di immergere un grillo nel miele e, con un’espressione dolorosa, ingurgitare l’insetto.

Tripla minaccia

Non tutte le previsioni erano lontane dalla verità quanto quelle di Wang. Alcuni addirittura hanno anticipato una vittoria per Trump. Per capire queste differenze, è utile esaminare la gamma di approcci, che rientrano in tre grandi classi.

Le prime previsioni in ciascuna tornata elettorale provengono da quelli che vengono chiamati modelli fondamentali. Questi sono in genere costruiti da valutazioni di approvazione presidenziale, statistiche economiche e indicatori demografici. Un’economia forte è in genere indice di vittoria per il partito dominante, così come un alto grado di consenso. La composizione demografica di uno stato può anche essere utile per prevedere il risultato: per esempio, gli elettori bianchi non istruiti hanno votato Trump nel 2016, quindi gli Stati con una loro forte presenza tenderanno a fare lo stesso nel 2020.

Poiché questi fattori sono relativamente stabili, previsioni affidabili possono essere fatte a priori. Modelli come questo sembrano troppo semplici per catturare tutte le stranezze e gli scandali che possono affiorare nell’arco di una campagna elettorale di due anni. Ma hanno funzionato decisamente bene nel 2016: sei su 10 hanno previsto il voto popolare finale entro una forbice di un punto percentuale.

La presidenza, tuttavia, non è scelta dal voto popolare nazionale e questo è un limite importante di questi approcci: pochi predicono i risultati finali del Collegio elettorale.

I modelli di base hanno un’altra debolezza. Se succede qualcosa di improvviso, come uno scandalo o un improvviso cambiamento nell’economia (la crisi finanziaria del 2008 costituisce un buon esempio), allora queste previsioni affidabili possono improvvisamente diventare tristemente obsolete.

Per compensare ciò, circa un decennio fa gli statistici hanno iniziato a diffondere nuovi tipi di modelli quantitativi che non sono altrettanto vulnerabili a queste sorprese. Elaborano i dati del sondaggio man mano che escono e producono una stima giornaliera di chi vincerà, in modo da poter registrare i cambiamenti dell’opinione pubblica.

RealClearPolitics e Upshot del “New York Times” hanno entrambi modelli quantitativi molto apprezzati, ma nessun sistema di previsione è più famoso di “FiveThirtyEight” di Nate Silver. L’algoritmo di “538” è disponibile in diverse varianti, ma l’attenzione che Silver presta all’incertezza, lo hanno tradizionalmente distinto dagli altri modelli di previsioni. “FiveThirtyEight è il gold standard”, mi ha detto Bitecofer.

Tra le principali previsioni quantitative sulle elezioni, “FiveThirtyEight” è stato il più prudente, assegnando a Clinton una probabilità del 71,4 per cento di vincere alla vigilia delle elezioni. “Il valore di questo dato appare più chiaro ora in retrospettiva”, afferma Charles Franklin: la vittoria di Trump è stata definita un risultato improbabile, ma non impossibile.

Infine, ci sono previsioni che evitano del tutto gli approcci matematici, basandosi invece su una combinazione di intuizione, polling e output di tutti gli altri tipi di modelli messi insieme. Queste previsioni qualitative si basano su uno dei motori computazionali più sofisticati e tuttavia soggetti a errori che conosciamo: il cervello umano.

Invece di precise stime numeriche, chi usa l’approccio qualitativo in genere raggruppa i possibili risultati in una delle quattro categorie su una scala che va dal sicuro all’incerto.

“Toss-up” significa che non esiste un favorito: “Una specie di lancio della moneta”, afferma Kyle Kondik, che adotta il metodo qualitativo e collabora con la newsletter di analisi politica “Crystal Ball” dell’Università della Virginia. “Lean”, dice, è un piccolo vantaggio per un lato o l’altro. “Likely” è una probabilità maggiore per uno dei due. E “Safe”, conclude, significa che la vittoria è certa. Molti sostengono che queste classificazioni verbali aiutano i lettori a comprendere le probabilità relative meglio dei numeri offerti altrove.

Anche se queste previsioni possono sembrare meno scientifiche di quelle basate sul calcolo numerico, alcune vantano un livello di precisione impressionante. Alle elezioni di medio termine del 2018, secondo una valutazione di terze parti di diverse previsioni professionali, è stata “Crystal Ball” a fare il nome più adatto, non l’algoritmo statistico di “FiveThirtyEight”.

Tuttavia, le prestazioni tendono a oscillare da un ciclo all’altro: la strategia migliore, secondo sondaggisti e accademici, è quella di prendere in considerazione un’ampia varietà di previsioni: qualitative, quantitative e fondamentali.

Ci sarà un modello vincente?

Malgrado i fallimenti del 2016, la lista di chi vuole impegnarsi a fare previsioni elettorali per il 2020 è lunga. Morris, l’esperto dell’”Economist”, è pronto a cimentarsi. A suo parere, in passato si è mentito alle persone e sono state commesse negligenze editoriali.

Il settimanale d’informazione politico-economica costruirà il suo algoritmo utilizzando sondaggi pubblicati da organizzazioni esterne, ma condurrà anche i suoi sondaggi per valutare i risultati negli stati tradizionalmente contesi.

Anche il “Washington Post” sta facendo la sua prima scommessa sulle previsioni elettorali, ma prendendo una strada diversa. Rimarrà fuori dal gioco fino a quando le prime circoscrizioni elettorali inizieranno ad annunciare i primi voti all’Election Day, e subito dopo proporrà il suo modello analitico per giudicare la probabilità che specifici candidati vincano in uno stato o in un distretto. Attendendo il conteggio dei primi voti, gli esperti di dati del “Post” vogliono ridurre drasticamente l’errore nel prevedere il resto dei voti, anche a costo di non essere in grado di rilasciare una proiezione anticipata.

Neanche esperti di previsioni e sondaggisti se ne stanno con le mani in mano. I costruttori di modelli di base intendono raccogliere la sfida di fare previsioni sul Collegio elettorale invece che sul solo voto popolare. Bitecofer ha progettato un modello basato principalmente sui dati demografici che prevede già una vittoria elettorale di misura per lo sfidante democratico, chiunque esso sia.

Chi progetta questi algoritmi quantitativi sembra aver imparato dagli errori correlati tra stati commessi nel 2016. L’”Huffington Post” ha dichiarato un mea culpa per aver previsto la vittoria della Clinton al 98 per cento. Wang, il professore di Princeton costretto a mangiare un insetto, si è impegnato ad aggiornare il suo algoritmo per il 2020, ammettendo sul suo blog che il suo modello precedente era “un errore”.

Anche chi utilizza modelli qualitativi, nel frattempo, vuole evitare di ripetere il flop del 2016. “Con il senno di poi direi che siamo stati impulsivi, anche se i modelli basati sui fondamentali erano i più affidabili in quelle elezioni”, afferma Kondik dell’Università della Virginia.

La scarsa popolarità del presidente in carica, che dovrebbe ridurne le possibilità di vittoria, e la decisa crescita dell’economia, che dovrebbe aumentarle, implicano delle elezioni caratterizzate dall’incertezza. Anche i media hanno iniziato a fornire le loro stime in modi tali da offrire al lettore una comprensione migliore e più intuitiva del significato dei numeri. Invece di scrivere che i democratici avevano l’87,9 per cento di probabilità di prendere la Camera durante le elezioni di metà mandato del 2018, per esempio, “FiveThirtyEight” ha sottolineato che avrebbero potuto aspettarsi di vincere sette volte su otto.

“Gli psicologi hanno scoperto che le persone sono più brave a comprendere questi tipi di esempi”, ha scritto Yphtach Lelkes, professore di comunicazione all’Università della Pennsylvania.

Infine, anche i sondaggisti stanno migliorando la loro comunicazione. L’American Association for Public Opinion Research (AAPOR) ha pubblicato una retrospettiva di quanto successo nel 2016 come memorandum di quanto non ha funzionato. Si suggerisce di garantire che i campioni di popolazione siano più rappresentativi dello stato oggetto di indagine e di condurre più sondaggi negli ultimi giorni della campagna elettorale in modo da capire quali sono le tendenze di chi va a votare all’ultimo momento; un fattore che è stato decisivo per la vittoria di Trump.

Franklin, il sondaggista del Wisconsin, è stato uno degli autori di questa analisi retrospettiva di AAPOR. Il fallimento sistematico di dozzine di sondaggi in diversi stati indica che l’errore era dovuto a un cambiamento reale negli ultimi giorni prima delle elezioni, e non a errore di base precedenti.

Le previsioni elettorali allontanano dal voto

Ma mentre gli errori di quattro anni fa possono essere corretti, potrebbero presentarsi nuove difficoltà per il 2020. Alcuni esperti sostengono che le previsioni elettorali potrebbero influenzare i risultati che stanno cercando di prevedere, nel senso che quando le persone credono sicuro l’esito di un’elezione hanno meno motivazioni a votare.

Secondo un recente studio, soprattutto gli elettori democratici più convinti avrebbero potuto lasciarsi condizionare da quelle previsioni che davano vincente il loro partito nel 2016. Il fenomeno è ben conosciuto con il nome di “effetto osservatore”, per il quale il semplice atto di guardare qualcosa cambia il risultato.

Sondaggi troppo sicuri come quello di Wang avrebbe potuto ridurre significativamente l’affluenza. Dato che le elezioni sono state decise da soli 107.000 voti in tre stati, un fenomeno simile avrebbe potuto giocare un ruolo decisivo.

Anche se la previsione elettorale non hanno modificato il risultato nel 2016, potrebbero avere un impatto maggiore sulle campagne elettorali future. “Si ritiene che la logica della ‘scommessa’ aumenti il cinismo politico, influenzi l’affluenza elettorale, aumenti la polarizzazione e probabilmente soppianti le informazioni su questioni sostanziali”, ha scritto Lelkes. “Fa sì che le persone vedano la politica come un gioco, in cui tifano per la loro squadra, invece di sostenere i candidati in base alle loro posizioni politiche”. E se questi effetti sono reali, è probabile che diventino più potenti man mano che si diffondono le previsioni.

Alcuni esperti, come Silver, hanno respinto questa preoccupazione. Sostengono che non è loro compito dire alle persone se votare o meno o dire ai media di cosa parlare. Altri, tuttavia, stanno prendendo più sul serio il consiglio di Lelkes e dei suoi colleghi.

Immagine: Karsten Petrat

(rp)

Related Posts
Total
0
Share