A. Righi, M. Scannapieco, 30 Novembre - 1 Dicembre 2021 - Webinar: Trusted Smart Statistics: sfide e opportunità Titolo: Come cambia la produzione statistica con i Big Data: il Centro e la Roadmap per le Trusted Smart Statistics

1. Come cambia la produzione
statistica con i Big Data:
il Centro e la Roadmap per le
Trusted Smart Statistics
ALESSANDRA RIGHI, MONICA SCANNAPIECO
ISTAT
30.11.2021 Trusted Smart Statistics: sfide e opportunità

2. o Uso dei Big Data: percorso dell’Istat nel quadro europeo
o Definizione di TSS
o Sistema di produzione delle TSS
o Roadmap per la produzione delle TSS 2021-2024
Indice
2
ROADMAP PER LE TRUSTED SMART STATISTICS | RIGHI - SCANNAPIECO

3. Uso dei Big Data: percorso dell’Istat nel quadro europeo
3
ROADMAP PER LE TRUSTED SMART STATISTICS | RIGHI - SCANNAPIECO

4. Il termine Smart Statistics fa riferimento a Sistemi di produzione statistica multi-fonte e multi-
output che usano tecnologie innovative, volti ad integrare in modo flessibile le nuove fonti Big
Data con i dati di indagini e di fonti amministrative
I nuovi dati sono spesso generati come sottoprodotto di processi con un’elevata componente
tecnologica
L’affidabilità delle statistiche prodotte, richiamata nella denominazione, è strettamente legata
all’affidabilità dell’Istituzione produttrice e si basa su criteri che vanno dal rispetto delle norme
che presidiano i trattamenti dati e la privacy, alle infrastrutture che permettono il trattamento dei
dati, alle caratteristiche metodologiche e alle garanzie di qualità dei processi di elaborazione
Lo sviluppo di questo Sistema necessita di consistenti investimenti sia in Infrastrutture sia in
acquisizione di nuove competenze, che devono essere di natura multidisciplinare (statistico-
metodologiche, IT, tematiche)
Definizione di TSS
4

5. Dove siamo arrivati ?
Siamo al passaggio dalla fase di ‘playground’,
che è stata necessaria a capire le potenzialità
e i limiti delle fonti Big Data, nonché i metodi
necessari a trattarle, alla fase di utilizzo
maturo delle nuove fonti
Stiamo creando un nuovo sistema di
produzione per le Trusted Smart Statistics
(TSS), che renda sostenibili e di qualità
certificata i nuovi prodotti
La Collana Statistiche sperimentali sul sito
ospita i nuovi prodotti realizzati con Big Data
Sistema di produzione delle TSS
ROADMAP PER LE TRUSTED SMART STATISTICS | RIGHI - SCANNAPIECO
5

6. Obiettivi Istat
1. Produrre Trusted smart statistics (TSS)
Per arricchire l’offerta informativa in termini di:
(i) tempestività e granularità territoriale, (ii)
capacità di cogliere nuovi fenomeni non
misurabili; (iii) partecipazione dei cittadini nei
processi di produzione
2. Creare un nuovo sistema di produzione
per le TSS
Il nuovo sistema si integra con l’infrastruttura
esistente e prevede nuove forme di
collaborazione interne/esterne e di
condivisione di conoscenze e infrastrutture
Governance
Uno Steering Committee interno è
responsabile del processo di Analisi
Strategica delle TSS e dell’individuazione
della domanda. Formula decisioni strategiche
sulle attività da sperimentare e sugli
investimenti da realizzare (Roadmap
triennale)
Il Centro per le TSS è un’organizzazione
«agile» interdipartimentale che coordina le
attività di natura tecnica, metodologica e di
messa in produzione delle TSS che vengono
collaborativamente realizzate nelle strutture
dell’Istat. Permette di sfruttare al meglio
l’interdisciplinarietà delle competenze e di
superare la frammentazione organizzativa
Sistema di produzione delle TSS
ROADMAP PER LE TRUSTED SMART STATISTICS | RIGHI - SCANNAPIECO
6

7. Sistema di produzione delle TSS
Steering
Committee
Analisi strategica e
decisioni
1
Predisporre e
monitorare la
Roadmap
triennale per le
TSS
2
Sperimentare,
industrializzare
e mettere in
produzione TSS
3
Progettare,
realizzare e
ingegnerizzare il
nuovo sistema con
investimenti
trasversali
4
Sviluppare le
partnership e
la rete di
stakeholders
Centro per le TSS
Coordinamento
7

8. Si è realizzata una riflessione strategica per
individuare i nuovi output da realizzare con Big
Data, ai quali sono stati associati obiettivi e azioni
da porre in essere in materia di
• investimenti IT e metodologici
• processi organizzativi da definire e rendere
operativi
• partnership e regole
per garantirne la realizzazione
La selezione dei progetti prioritari della Roadmap
ha coinvolto tutto l’Istituto, e si è consolidata
quando i direttori hanno selezionato gli output da
realizzare. Questi sono stati prioritizzati in base a
20 criteri decisionali su 4 domini
Domini dei Criteri di selezione
Roadmap per la produzione delle TSS 2021-2024
ROADMAP PER LE TRUSTED SMART STATISTICS | RIGHI - SCANNAPIECO
8
ARRICCHIMENTO
DELLA PRODUZIONE
STATISTICA
Arricchimento informativo
Caratteristiche della fonte
Potenzialità per la statistica
ufficale
Stadio di sviluppo
dell'output
AVANZAMENTI METODOLOGICI E DI RICERCA
AVANZAMENTI TECNOLOGICI
AVANZAMENTI RACCOLTA DATI E DIREZIONE GENERALE

9. Le fonti sono
classificate
in 5 tipologie
Per ogni
tipologia i
progetti
individuati
sono
articolati su
diversi anni
Roadmap per la produzione delle TSS 2021-2024
9
Smart Systems
Sistemi intelligenti con funzioni di rilevamento, attuazione e
controllo per analisi o decisioni basate su uso predittivo o adattivo
dei dati disponibili es. Fonti relative a sensori, scanner data,
immagini satellitari
Web Intelligence
Internet come fonte dati. Utilizzo di tecniche informatiche di
estrazione di dati da siti web per mezzo di software che simulano la
navigazione umana nel Web
Web relations
Dati da App su relazioni tra persone che si incontrano online. Es.
Social media,…
Smart personal data
Informazioni su attività degli individui a disposizione degli individui
stessi o di terze parti (imprese) coinvolte nel processo. Es.
Transazioni elettroniche
Smart surveys
Indagini che utilizzano dispositivi personali intelligenti, dotati di
sensori e applicazioni mobili. Prevedono un’interazione dinamica e
continua con l'intervistato e con i suoi dispositivi personali.
Combinano le modalità di raccolta di dati basate sull'input degli
interessati con dati raccolti passivamente dai sensori del dispositivo
(ad es. accelerometro, GPS, microfono, fotocamera, ecc.).

10. Roadmap per la produzione delle TSS 2021-2024: progetti prioritari in corso
TIPOLOGIA FONTI PROGETTI
Smart Systems
1. Indici dei prezzi con uso di scanner data per i prodotti di grocery
2. Indicatori d’incidentalità per arco ed estesa stradale con dati Open Street
maps
Web
Intelligence
Generic scraping
Ad hoc scraping
3. Statistiche sull'identificazione e caratterizzazione della dimensione Smart
Specialisation Strategy (SE) delle imprese
4. Statistiche sui posti vacanti e gli skills ricercati via web da imprese
5. Stima dei chilometri percorsi dai veicoli sulle strade del territorio
nazionale mediante web scraping dalla fonte Autoscout
6. Indici dei prezzi arricchiti con informazioni da siti d’impresa
Web relations
7. Social Mood on Economy index da Social media
8. Statistiche su stereotipi e sicurezza di genere da Social media
Smart personal data
9. Transazioni elettroniche di pagamento per le statistiche e le previsioni
macroeconomiche
ROADMAP PER LE TRUSTED SMART STATISTICS | RIGHI - SCANNAPIECO
10

11. Roadmap per la produzione delle TSS 2021-2024: progetti prioritari in corso
11
PROGETTI OBIETTIVI
Indici dei prezzi con uso di scanner data per i
prodotti di grocery
Estensione dell’utilizzo degli scanner data per individuazione dei prezzi di prodotti
di largo consumo (alimenti freschi o confezionati, prodotti per l’igiene della casa e
della persona per il calcolo dell'IPCA mensile
Indici dei prezzi arricchiti con informazioni da
siti d’impresa
Uso di tecniche di webscraping (o di API) per l'aggiornamento continuo dei prezzi
di alcune categorie merceologiche, quali apparecchi elettronici a largo consumo,…
Indicatori d’incidentalità per arco ed estesa
stradale con dati Open Street maps
Misurazione della lunghezza delle carreggiate (per senso di marcia) di arco
stradale o dei Punti di Traffico (con informazioni da Open street maps per il
miglioramento dei tradizionali indicatori statistici sull’incidentalità stradale
Stima dei chilometri percorsi dai veicoli sulle
strade del territorio nazionale mediante web
scraping dalla fonte Autoscout
Stima del chilometraggio medio percorso dai veicoli oggetto di annuncio di
vendita su Autoscout (per tipologia, classe di emissione, tipo alimentazione,
provincia) e di altre informazioni statisticamente rilevanti e confrontabili con
quelle presenti nel PRA. Comparazione e integrazioni tra le due fonti
(Amministrativa e Big Data) per studiarne le potenzialità e utilizzare il valore
aggiunto del matching delle fonti
ROADMAP PER LE TRUSTED SMART STATISTICS | RIGHI - SCANNAPIECO

12. Roadmap per la produzione delle TSS 2021-2024: progetti prioritari in corso
12
PROGETTI OBIETTIVI
Statistiche sull'identificazione e
caratterizzazione della dimensione Smart
Specialisation Strategy (SE) delle imprese
Raccolta di informazioni utili sulle imprese che operano nell'innovazione e
utilizzano queste strategie intelligenti, prerequisito per l'accesso alle risorse
dei fondi strutturali e di investimento europei
Statistiche sui posti vacanti e gli skills
ricercati via web da imprese
Utilizzo di informazioni derivanti dalle offerte di lavoro on line per produrre
nuovi indicatori ad alta frequenza sui posti offerti e gli skill ricercati
Social Mood on Economy index da Social
media
Produzione di un indice ad alta frequenza sul sentiment riguardo la situazione
economica personale e generale attraverso i messaggi di Twitter
Statistiche su stereotipi e sicurezza di
genere da Social media
Produzione di nuove misure relative alla violenza di genere a partire dalle
conversazioni su Twitter, Facebook, Istagram, Blog per lo sviluppo di studi sul
tema
Transazioni elettroniche di pagamento per
le statistiche e le previsioni
macroeconomiche
Utilizzo delle informazioni sui pagamenti elettronici per migliorare le stime e
le previsioni di indicatori sul commercio e sui consumi delle famiglie, per il
miglioramento di stime sul conto satellite del Turismo e dell'economia illegale
ROADMAP PER LE TRUSTED SMART STATISTICS | RIGHI - SCANNAPIECO

13. Roadmap per la produzione delle TSS 2021-2024: progetti prioritari programmati dal 2022
13
TIPOLOGIA FONTE PROGETTO
Smart Systems
Scanner data
Statistiche con Scanner data per indici dei
prezzi e su cambiamenti nei comportamenti di
spesa
Immagini satellitari
Statistiche con immagini satellitari sulla
copertura dei suoli e la riforestazione
Sensori
Statistiche sul trasporto navale e l’uso dei porti
con AIS
Web Intelligence
Generic scraping
Arricchimento del Registro ASIA con
informazioni da siti d’ impresa
Statistiche sulle classificazioni emergenti
d’impresa con informazioni da siti d’ impresa
Ad hoc scraping
Statistiche su spese e offerta turistica per
mezzo delle piattaforme di prenotazione
Smart personal
data
Transazioni
pagamento
Statistiche su digitalizzazione delle transazioni
elettroniche nella PA
ROADMAP PER LE TRUSTED SMART STATISTICS | RIGHI - SCANNAPIECO
 Insieme ad altre
tipologie si introduce
l’uso di immagini
satellitari e sensori
per migliorare o
integrare statistiche
tradizionali

14. Roadmap per la produzione delle TSS 2021-2024: progetti prioritari programmati dal 2022
14
DAL 2023
Smart pers.
data
Telefonia
mobile
Statistiche su
flussi di
popolazione,
turistici e
migratori
Fonti miste
Telefonia,
sensori e
immagini
Statistiche su
mobilità e
mobilità
sostenibile
Smart
surveys
Sensori e
Telefonia
Indagine sulle
spese delle
famiglie
DAL 2024
Smart Systems
Smart
meters
Aggiornamento del
Registro base degli
individui e del
Censimento della
popolazione e delle
abitazioni
Web relations
Social
media
Statistiche sul
linguaggio d'odio nelle
comunicazioni online
Fonti miste
Telefonia/
sensori
Studio sull’utilizzo di
Internet e dei social
media da parte dei
giovanissimi
Sensori e
web
Intelligen
ce
Statistiche sul traffico
aereo con device o
piattaforme dedicate
ROADMAP PER LE TRUSTED SMART STATISTICS | RIGHI - SCANNAPIECO
 Compare l’uso
congiunto di piu’
fonti Big Data
 Entrano in gioco
la Telefonia
mobile e gli Smart
meters

15. Siamo entrati nella fase passaggio verso la produzione dei
Big Data
Centro per le TSS presidia questo innovativo fronte di
produzione
Occorre allagare la sfera d’azione sia in termini di accesso a
nuove fonti dati che di partnership
Occorre creare intorno a questo progetto una Rete di
stakeholder pubblici e privati, interessati ad accompagnare
questo percorso e a scambiare conoscenze
Occorrono nuovi investimenti nella Ricerca e innovazione
con la collaborazione di privati, accademia ed enti pubblici e
di ricerca
I nuovi ecosistemi di dati si
basano su collaborazioni
tecniche, scambio di
conoscenze, co-creation
Per lo sviluppo del nuovo
Sistema per la produzione di
Trusted Smart Statistics sono
necessarie collaborazioni volte
all’innovazione
Conclusione
15
ROADMAP PER LE TRUSTED SMART STATISTICS | RIGHI - SCANNAPIECO

16. GRAZIE PER L’ATTENZIONE
Per informazioni o commenti
centrotss@istat.it
16
Per aderire al Forum degli
stakeholders
tssnetwork@istat.it