E’ la storia triste dell’incontro fra “Lies, damned lies, and statistics”, “Absence of Evidence isn’t Evidence of Absence” e la legge di Brandolini.
Il 5 marzo scorso su Scientific Reports esce “Stay-at-home policy is a case of exception fallacy: an internet-based ecological study“. Un titolo rischioso.
Lo studio ecologico di Ricardo F. Savaris e altri tre matematici brasiliani si basa su “internet”: il data-set di Google per la mobilità, quello di Our world in data e quello di stati e città del Brasile per la mortalità da covid con e senza lockdown tra febbraio e agosto 2020. Gli autori ne estraggono 87 “regioni del mondo“, nel senso di città, stati, regioni o province di un paese, o intere nazioni, fa lo stesso.
Le “regioni” hanno in comune una sanità decente (indice di accesso alla sanità, HDI), superfice, densità demografica, % di popolazione urbana (sic, “profile identifiers“), e una mortalità che superava una media settimanale di 100 decessi per milione di abitanti.
- Si possono criticare i criteri arbitrari usati per includere paesi e regioni, i confronti restrittivi e la nostra definizione di un’area controllata per il Covid-19. Tuttavia questi criteri arbitrari sono stati creati a monte della selezione dei paesi.
Tradotto: prima hanno fatto un modello e poi hanno cercato dati che confermavano i loro pregiudizi (bias).
Il modello confronta le variazioni di mortalità e mobilità in due “regioni” per volta – per esempio l’Arabia saudita e l’Irlanda o la Bielorussia e la Corea del Sud – abbinandole con gli stessi “criteri arbitrari” entro i seguenti margini d’incertezza
- densità demografica (+/-30%)
- % di popolazione urbana (+/-30%)
- HDI (+/-30%)
- superfice (+/-50%)
Fatto questo, aggregano con un algoritmo i rispettivi valori p (arrrgh) e analisi della regressione. Ne risulta una correlazione tra lockdown e riduzione della mortalità soltanto nell’1,6% dei confronti: i quadrati blu scuro della figura 2.
Una differenza insignificante.
Smentiscono così decine di modelli epidemiologici e studi ecologici che cadrebbero nella “fallacia dell’eccezione” perché tengono conto dei lockdown “eccezionali” durante i quali la mortalità è stata inferiore a 100/milione o inesistente come in Vietnam o in Nuova Zelanda.
Tener conto dei lockdown efficaci? Quando mai…
Nella classifica di Altmetric, l’articolo è al 10° posto con la maggiore “attenzione online” – “uno dei più influenti” – sui 312.480 usciti in marzo in tutte le riviste scientifiche.
E’ citato in 12 bibliografie, e valutato 6 volte di cui due per sostenere che i lockdown sono inutili e/o dannosi in paper usciti il 29 luglio e il 22 novembre. Eppure dall’11 marzo è preceduto da una nota redazionale:
- le conclusioni dell’articolo sono oggetto di critiche che la redazione sta esaminando…
Appena approdato su Twitter, le critiche sono state immediate nei preprint e su PubPeer, ma la loro pubblicazione ha richiesto 8 e 9 mesi.
Il 29 novembre, “Pairwise difference regressions are just weighted averages” di Carlos Góes dimostra con una serie di equazioni che il metodo statistico scelto da Savaris et al. produce solo rumore: medie ponderate invece dell’assenza o presenza di una correlazione.
Il 7 dicembre, “Impact of mobility reduction on COVID-19 mortality: absence of evidence might be due to methodological issues” di Gideon Meyerowitz‐Katz (“Health Nerd”) e altri tre epidemiological data scientists dice la stessa cosa con più tatto e una serie di esperimenti con il codice e i dati forniti da Saveris et al. senza riuscire a riprodurne i risultati. E spiega a noi dummies come Saveris et al. eliminano arbitrariamente dalla statistica i dati eccezionali (“outliers”).
I redattori hanno reagito presto, fatto rivedere i due commenti da pari e seguito le regole, ma per dirla con Lonni Besançon (h/t),
- l’ensemble du processus est un échec monumental. Pourquoi ? Parce que tout cela prend BEAUCOUP TROP DE TEMPS.
***
Smut Clyde s’è immerso in riviste di computer science e ne è uscito con un bestiario di vacche chetotiche e altre creature surreali, eppure si lamenta perché nessuno ha ancora scritto
- Un algoritmo bradipo a retropropagazione per ottimizzare gli incontri tra macchine da cucire e ombrelli su un tavolo operatorio.
Bradipo in meno, dear Smut, ci aveva provato Franco Battiato.
ocasapiens 
