Il 14 maggio 2020 è stato organizzato un webinar dal titolo Le API sui dati statistici di Istat e il progetto SDMX, con Fabio Spagnuolo (Istat), Vincenzo Patruno (Istat e vicepresidente di onData) e Andrea Borruso (presidente di onData).
in cui è stata presentata una nuova tecnologia per usufruire dei dati ISTAT usando le sue API.
Andrea Borruso ha scritto una guida dal titolo: Guida all’uso delle API REST di ISTAT molto chiara e facile da seguire, ci sono riuscito anche io, quindi è ben scritta.
In questo blog post vi dimostrerò la facilità d’uso e la potenza dello strumento.
Per chi lavora con i dati Istat ha avuto sicuramente un po’ di difficoltà nel scaricare i dati sulla popolazione residente italiana dal sito Istat, difficoltà legata al fatto che i dati hanno una struttura complessa e la relativa pagina web è anch’essa complessa, ecco uno screenshot:
Con questa nuova tecnologia basta lanciare da una shell:
curl -kL -H "Accept: application/vnd.sdmx.data+csv;version=1.0.0" "http://sdmx.istat.it/SDMXWS/rest/data/22_289/.TOTAL..9.99../?startPeriod=2011" >filtro_tot_comuni.csv
e in pochissimi secondi si ottiene un file CSV con i codici Istat (text) dei comuni italiani e la popolazione residente per gli anni 2011 in poi (2012,2013,2014,2015,2016,2017,2018 e 2019), ecco output:
poi facendo un po’ di pulizia (togliendo i campi che non ci interessano)
dove:
ITTER107contiene i codici istat dei comuni;TIME_PERIODsono gli anni dal 2012 al 2019;OBS_VALUEè il valore della popolazione.
trasformo la tabella in modo da essere più utile ai nostri scopi GIS:
- rendo chiave primaria il primo campo
shift+! - su
OBS_VALUEdigito+e poi scrivomaxe invio; - su
TIME_PERIODdigitoshift+wper fare PIVOT - per salvare la tabella
ctrl+s - ecco il risultato:
NOTE FINALI: non ho spiegato nulla in quanto la guida di Andrea è molto chiara, dico che se volessi solo l’anno 2019 dovrei modificare startPeriod=2019 (che significa a partire dall’anno 2019); se volessi un solo comune per esempio Palermo (codice Istat 082053)/.TOTAL.082053.9.99../
Aggiungo che il file contiene anche i dati sulla popolazione raggruppate per province (NUTS3), per regioni (NUTS2) e per ripartizione (NUTS1) quindi se volessi la popolazione residente in Sicilia (ITG1) dal 2012 in poi:
curl -kL -H "Accept: application/vnd.sdmx.data+csv;version=1.0.0" "http://sdmx.istat.it/SDMXWS/rest/data/22_289/.TOTAL.ITG1.9.99../?startPeriod=2011" >popResSicilia12-19.csv
per rispondere alla domanda di sopra, un modo sarebbe concatenando i NUTS2 (da Nord a Sud: ITC1+ITC2+ITC3+ITC4+ITD1+ITD2+ITD3+ITD4+ITD5+ITE1+ITE2+ITE3+ITE4+ITF1+ITF2+ITF3+ITF4+ITF5+ITF6+ITG1+ITG2)
curl -kL -H "Accept: application/vnd.sdmx.data+csv;version=1.0.0" "http://sdmx.istat.it/SDMXWS/rest/data/22_289/.TOTAL.ITC1+ITC2+ITC3+ITC4+ITD1+ITD2+ITD3+ITD4+ITD5+ITE1+ITE2+ITE3+ITE4+ITF1+ITF2+ITF3+ITF4+ITF5+ITF6+ITG1+ITG2.9.99../?startPeriod=2011" >popResRegioni12-19.csv
RIFERIMENTI
- ISTAT : https://www.istat.it/
- Guida all’uso delle API REST di ISTAT : https://ondata.github.io/guida-api-istat/
- Webinar : https://youtu.be/0OfsXybrweI
- VisiData : https://www.visidata.org/about/
- Guida VisiData (a cura di Andrea Borruso) : https://github.com/ondata/guidaVisiData/blob/master/testo/README.md
- NUTS statistical regions of Italy : https://en.wikipedia.org/wiki/NUTS_statistical_regions_of_Italy
Ringraziamenti
- onData
- Andrea Borruso
- Fabio Spagnuolo
- Vincenzo Patruno
pigrecoinfinito 
Avrei qualche domanda a proposito della procedura e su come trattare i dati ma te ne faccio solo una:
Buon pomeriggio, sarebbe possibile scaricare la SAU per comune in serie storica? Se si, potresti inserire il comando per scaricare i dati? Scusa, così sono due.
Grazie sempre per la tua passione e la tua pazienza.
Gianni
"Mi piace"Piace a 1 persona
Ciao, che cosa è la SAU??
Poi ti chiedo cortesemente di fare le domande, su questa nuova tecnologia, all’autore della guida Andrea Borruso aprendo una issue nel repository: https://github.com/ondata/guida-api-istat/issues
"Mi piace""Mi piace"
La Superficie Agricola Utilizzata (SAU) è la parte di superficie realmente utilizzata per le coltivazioni contenuta all’interno della Superficie Agricola Totale (SAT). Ho trovato comodo scaricare il dato sulla popolazione in serie storica seguendo la tua spiegazione e ho pensato che fosse altrettanto comodo scaricare in questo modo anche la SAU senza impazzire sul sito dell’ISTAT.
"Mi piace"Piace a 2 people
Grazie per la spiegazione.
Mi ripeto, apri issue nel repository della guida.
"Mi piace""Mi piace"
Ciao Gianni, l’endpoint per i dati di quel censimento è un altro. Per accedere ai dataflow (all’elenco delle tabelle disponibili) l’URL è http://sdmx.istat.it/WS_CENSAGR/rest/dataflow/IT1
Quindi – da testare – dovresti poter replicare il tutto, usando l’URL corretto.
"Mi piace"Piace a 1 persona
Ciao Gianni e Totò, grazie ai vostri commenti, ho aggiunto un paragrafo alla guida, con l’elenco di altre tre banche dati raggiungibili allo stesso modo https://ondata.github.io/guida-api-istat/#altri-banche-dati-istat-accessibili-allo-stesso-modo
"Mi piace"Piace a 1 persona
Grazie mille Andrea,
hai illuminato un angolo buoi di ISTAT. 🙂
"Mi piace""Mi piace"
Ottima integrazione alla fondamentale guida di Andrea Borruso. Però io riscontro un grosso problema sui dati ISTAT. I codici delle zone Nordest e Centro secondo la classificazione europea sono ITH e ITI mentre sui dati scaricati da ISTAT sono ITD e ITE. Perché? Allineeranno mai le classificazioni? Grazie.
"Mi piace""Mi piace"