Grande successo di pubblico

E’ la storia triste dell’incontro fra “Lies, damned lies, and statistics”, “Absence of Evidence isn’t Evidence of Absence” e la legge di Brandolini.

Il 5 marzo scorso su Scientific Reports esce “Stay-at-home policy is a case of exception fallacy: an internet-based ecological study“. Un titolo rischioso.

Lo studio ecologico di Ricardo F. Savaris e altri tre matematici brasiliani si basa su “internet”: il data-set di Google per la mobilità, quello di Our world in data e quello di stati e città del Brasile per la mortalità da covid con e senza lockdown tra febbraio e agosto 2020. Gli autori ne estraggono 87 “regioni del mondo“, nel senso di città, stati, regioni o province di un paese, e nazioni.

Le “regioni” hanno in comune una sanità decente (indice di accesso alla sanità, HDI), superfice, densità demografica, % di popolazione urbana (sic, “profile identifiers“), e una mortalità che superava una media settimanale di 100 decessi per milione di abitanti.

  • Si possono criticare i criteri arbitrari usati per includere paesi e regioni, i confronti restrittivi e la nostra definizione di un’area controllata per il Covid-19 . Tuttavia questi criteri arbitrati sono stati creati a monte della selezione dei paesi. 

Tradotto: prima hanno fatto un modello e poi hanno cercato dati che ci stavano dentro.

Il modello confronta le variazioni di mortalità e mobilità in due “regioni” per volta – per esempio l’Arabia saudita e l’Irlanda o la Bielorussia e la Corea del Sud – abbinandole con gli stessi “criteri arbitrari” entro i seguenti margini d’incertezza

  • densità demografica (+/-30%)
  • % di popolazione urbana (+/-30%)
  • HDI (+/-30%)
  • superfice (+/-50%)

Fatto questo, aggregano con un algoritmo i rispettivi valori p (arrrgh) e analisi della regressione. Ne risulta una correlazione tra lockdown e riduzione della mortalità soltanto nell’1,6% dei confronti: i quadrati blu scuro della figura 2.

Una differenza insignificante.

Smentiscono così decine di modelli epidemiologici e studi ecologici che cadrebbero nella “fallacia dell’eccezione” perché tengono conto dei lockdown “eccezionali” durante i quali la mortalità è stata inferiore a 100/milione o inesistente come in Vietnam o in Nuova Zelanda.

Logo di Altmetric

Nella classifica di Altmetric, l’articolo è al 10° posto con la maggiore “attenzione online” – “uno dei più influenti” – sui 312.480 usciti in marzo in tutte le riviste scientifiche.

E’ citato in 12 bibliografie, e valutato 6 volte di cui due per sostenere che i lockdown sono inutili e/o dannosi in paper usciti il 29 luglio e il 22 novembre. Eppure dall’11 marzo è preceduto da una nota redazionale:

  • le conclusioni dell’articolo sono oggetto di critiche che la redazione sta esaminando…

Appena approdato su Twitter, le critiche sono state immediate nei preprint e su PubPeer, ma la loro pubblicazione ha richiesto 8 e 9 mesi.

Il 29 novembre, “Pairwise difference regressions are just weighted averages” di Carlos Góes dimostra con una serie di equazioni che il metodo statistico scelto da Savaris et al. produce solo rumore: medie ponderate invece dell’assenza o presenza di una correlazione.

Il 7 dicembre, “Impact of mobility reduction on COVID-19 mortality: absence of evidence might be due to methodological issues” di Gideon Meyerowitz‐Katz (“Health Nerd”) e altri tre epidemiological data scientists dice la stessa cosa con più tatto e una serie di esperimenti con il codice e i dati forniti da Saveris et al. senza riuscire a riprodurne i risultati. E spiega a noi dummies come Saveris et al. eliminano arbitrariamente dalla statistica i dati eccezionali (“outliers”).

I redattori hanno reagito presto, fatto rivedere i due commenti da pari e seguito le regole, ma per dirla con Lonni Besançon (h/t),

  • l’ensemble du processus est un échec monumental. Pourquoi ? Parce que tout cela prend BEAUCOUP TROP DE TEMPS.

***

Smut Clyde s’è immerso in riviste di computer science e ne è uscito con un bestiario di vacche chetotiche e altre creature surreali, eppure si lamenta per che nessuno ha ancora scritto

  • Un algoritmo bradipo a retropropagazione per ottimizzare gli incontri tra macchine da cucire e ombrelli su un tavolo operatorio.

Bradipo in meno, dear Smut, ci aveva provato Franco Battiato.

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo di WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione /  Modifica )

Google photo

Stai commentando usando il tuo account Google. Chiudi sessione /  Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione /  Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione /  Modifica )

Connessione a %s...

%d blogger hanno fatto clic su Mi Piace per questo: