Il dataset di partenza è un file CSV messo a disposizione nel sito ISTAT (BASI TERRITORIALI E VARIABILI CENSUARIEI)

All’interno della cartella trovo questi file:

apro un file CSV con NotePad++ e noto:

Codifica UTF-8 e delimitatore campi punto e virgola (;) – oltre 10 M di lettere e oltre 27k righe.

Il mio obiettivo è di estrarre solo 5 colonne (CODPRO, PROVINCIA, SEZ2011, A2 e A3) su un totale di 152 e poi di aggiungere un campo popolato con la somma dei campi A2 e A3, il tutto con un tool: VisiData.

Visidata è un foglio elettronico a riga di comando. Potrebbe suonare come una contraddizione, perché si accosta qualcosa con interfaccia ricca (come un foglio elettronico) a qualcosa di visualmente molto minimale. In realtà questa è una delle idee forti di questa applicazione, che prende il meglio di questi due mondi: l’approccio a griglia e multi tabella del primo, e la rapidità, l’immediatezza, l’essere easy e “subito pronto” di un terminale.

dalla guida di Andrea Borruso

—

Apro il file usando la shell Bash $ vd R09_indicatori_2011_sezioni.csv –csv-delimiter=”;”

per ottenere il risultato cercato ho seguito questi passi, uno dopo l’altro (NB: Shift+c è diverso da Shift+C occhio al caps lock):

1. Shift+c — apre foglio delle colonne
2. s — seleziono le righe (CODPRO, PROVINCIA, SEZ2011)
3. |^A[23].* — selezione le righe che iniziano con A2 e A3
4. gt — inverto selezione
5. gd — cancello elementi selezionati
6. q — torno indietro
7. # — nelle colonne A2 e A3 per definirle numero Intero
8. =A2+A3 — creo nuovo campo ‘somma’ con espressione e popolo con la A2+A3
9. Shift+^ — sul campo appena creato per rinominarlo
10. Ctrl+s — salvo il foglio.

risultato:

NOTE FINALI: ho aperto il file con NotePad++ (come visto sopra) e non è affatto agile lavorarci; ho aperto il file con LibreCalc e la selezione dei campi (per poi cancellarli) non è facile in quanto 152 colonne non sono semplici da gestire per non parlare della creazione del nuovo campo con la somma A2+A3; nulla di impossibile ma VisiData aiuta e semplifica tanto.

Riferimenti:

• Dataset ISTAT;
• VisiData (EN)
• VisiData (IT by OnData)

Sottolineo questi elementi molto interessanti di VisiData: (post FB)

– c’è una vista colonne, un po’ come avviene in uno schema editor di un db;
– è possibile selezionare colonne via regex;
– c’è l’inverti colonne selezionate (c’è l’inverti selezione, che in generale non credo ci sia nei fogli elettronici).

—

Ringraziamenti:

• Andrea Borruso

Video demo: