Scaricare i dati sulla popolazione residente italiana non è mai stato cosi facile

Il 14 maggio 2020 è stato organizzato un webinar dal titolo Le API sui dati statistici di Istat e il progetto SDMX, con Fabio Spagnuolo (Istat), Vincenzo Patruno (Istat e vicepresidente di onData) e Andrea Borruso (presidente di onData).

in cui è stata presentata una nuova tecnologia per usufruire dei dati ISTAT usando le sue API.

Andrea Borruso ha scritto una guida dal titolo: Guida all’uso delle API REST di ISTAT molto chiara e facile da seguire, ci sono riuscito anche io, quindi è ben scritta.

In questo blog post vi dimostrerò la facilità d’uso e la potenza dello strumento.

Per chi lavora con i dati Istat ha avuto sicuramente un po’ di difficoltà nel scaricare i dati sulla popolazione residente italiana dal sito Istat, difficoltà legata al fatto che i dati hanno una struttura complessa e la relativa pagina web è anch’essa complessa, ecco uno screenshot:

Con questa nuova tecnologia basta lanciare da una shell:

curl -kL -H "Accept: application/vnd.sdmx.data+csv;version=1.0.0" "http://sdmx.istat.it/SDMXWS/rest/data/22_289/.TOTAL..9.99../?startPeriod=2011" >filtro_tot_comuni.csv

e in pochissimi secondi si ottiene un file CSV con i codici Istat (text) dei comuni italiani e la popolazione residente per gli anni 2011 in poi (2012,2013,2014,2015,2016,2017,2018 e 2019), ecco output:

visidata

poi facendo un po’ di pulizia (togliendo i campi che non ci interessano)

visidata

dove:

  • ITTER107 contiene i codici istat dei comuni;
  • TIME_PERIOD sono gli anni dal 2012 al 2019;
  • OBS_VALUE è il valore della popolazione.

trasformo la tabella in modo da essere più utile ai nostri scopi GIS:

  • rendo chiave primaria il primo campo shift+!
  • su OBS_VALUE digito + e poi scrivo max e invio;
  • su TIME_PERIOD digito shift+w per fare PIVOT
  • per salvare la tabella ctrl+s
  • ecco il risultato:
visidata

NOTE FINALI: non ho spiegato nulla in quanto la guida di Andrea è molto chiara, dico che se volessi solo l’anno 2019 dovrei modificare startPeriod=2019 (che significa a partire dall’anno 2019); se volessi un solo comune per esempio Palermo (codice Istat 082053)/.TOTAL.082053.9.99../
Aggiungo che il file contiene anche i dati sulla popolazione raggruppate per province (NUTS3), per regioni (NUTS2) e per ripartizione (NUTS1) quindi se volessi la popolazione residente in Sicilia (ITG1) dal 2012 in poi:

curl -kL -H "Accept: application/vnd.sdmx.data+csv;version=1.0.0" "http://sdmx.istat.it/SDMXWS/rest/data/22_289/.TOTAL.ITG1.9.99../?startPeriod=2011" >popResSicilia12-19.csv

L'immagine può contenere: 4 persone, tra cui Salvatore Fiandaca e Andrea Borruso, testo

per rispondere alla domanda di sopra, un modo sarebbe concatenando i NUTS2 (da Nord a Sud: ITC1+ITC2+ITC3+ITC4+ITD1+ITD2+ITD3+ITD4+ITD5+ITE1+ITE2+ITE3+ITE4+ITF1+ITF2+ITF3+ITF4+ITF5+ITF6+ITG1+ITG2)

curl -kL -H "Accept: application/vnd.sdmx.data+csv;version=1.0.0" "http://sdmx.istat.it/SDMXWS/rest/data/22_289/.TOTAL.ITC1+ITC2+ITC3+ITC4+ITD1+ITD2+ITD3+ITD4+ITD5+ITE1+ITE2+ITE3+ITE4+ITF1+ITF2+ITF3+ITF4+ITF5+ITF6+ITG1+ITG2.9.99../?startPeriod=2011" >popResRegioni12-19.csv

RIFERIMENTI

Ringraziamenti


7 pensieri su “Scaricare i dati sulla popolazione residente italiana non è mai stato cosi facile

  1. Avrei qualche domanda a proposito della procedura e su come trattare i dati ma te ne faccio solo una:
    Buon pomeriggio, sarebbe possibile scaricare la SAU per comune in serie storica? Se si, potresti inserire il comando per scaricare i dati? Scusa, così sono due.
    Grazie sempre per la tua passione e la tua pazienza.
    Gianni

    Piace a 1 persona

      1. La Superficie Agricola Utilizzata (SAU) è la parte di superficie realmente utilizzata per le coltivazioni contenuta all’interno della Superficie Agricola Totale (SAT). Ho trovato comodo scaricare il dato sulla popolazione in serie storica seguendo la tua spiegazione e ho pensato che fosse altrettanto comodo scaricare in questo modo anche la SAU senza impazzire sul sito dell’ISTAT.

        Piace a 2 people

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo di WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione /  Modifica )

Google photo

Stai commentando usando il tuo account Google. Chiudi sessione /  Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione /  Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione /  Modifica )

Connessione a %s...

Questo sito utilizza Akismet per ridurre lo spam. Scopri come vengono elaborati i dati derivati dai commenti.