Innovazione di processo e infrastrutturale per la gestione degli indicatori delle statistiche economiche e degli aggregati di Contabilità nazionale http://www.istat.it/it/archivio/193422

1. Visione d’insieme sulla funzione degli
Operational Data Store
Antonio Laureti Palma
Roma, 12 dicembre 2016
Istat - Aula Magna, Via Cesare Balbo, 16
Seminario: Innovazione di processo e
infrastrutturale per la gestione degli indicatori
delle statistiche economiche e degli aggregati di
Contabilità nazionale

2. Operational data Store
Caratteristiche:
 Un Operational Data Store (ODS, Archivio dati
operazionale) è un repository centrale per le diverse
aree di business (aree tematiche) aziendale.
 Progettato per integrare dati da più fonti per operazioni
addizionali.
 Base di dati intermedia ottimizzata.
 Sorgente per i Data Warehouse.
 Può svolgere una funzione di Data Hub, cioè sorgente
per processi di integrazione aziendale trasversale.
2Istat - Aula Magna - Roma, 12 dicembre 2016

3. DW
Livello Sorgenti Livello ODS Livello DW
Operational data Store
Data Warehousing view:
Livello Accesso
files
Web
Portal
operazionali
indagini
indagini
ODS
3Istat - Aula Magna - Roma, 12 dicembre 2016

4. ODS: dati e metadati
 Gestione dei Dati:
 memorizzazione fisica dei dati (repliche dei dati sorgente);
 schema dati strutturato e normalizzato;
 unica vista logica su tutti i dati aziendali;
 ottimizzazione delle performance di estrazione.
 Gestione dei Metadati:
 mappatura, riconciliazione delle variabili;
 regole di coerenza;
 transcodifica verso i diversi sistemi di output;
 layout di caricamento dei diversi sistemi di output;
 parametrizzazione per i servizi operazionali centralizzati;
 tempistiche per la visualizzazione dei dati;
 utenti e ruoli nei diversi domini.
4Istat - Aula Magna - Roma, 12 dicembre 2016

5. ODS: gestione dei processi
 Minimizzazione dell’interazione (perturbazione) con i sistemi
sorgente.
 Supporta l’armonizzazione di fonti eterogenee.
 Consente l’ottimizzazione dei processi ETL.
 Favorisce, rende praticabili, le integrazione di dati su larga
scala.
 Elaborazioni in un unico ambiente dove i dati sono fortemente
accoppiati.
 Processo unidirezionale, il dato integrato o elaborato non è
restituito ai sistemi operazionali sorgente.
 Consente la centralizzazione dei controlli d’integrità e
coerenza.
 Gestisce le policy sugli accessi ai dati.
5Istat - Aula Magna - Roma, 12 dicembre 2016

6. ODS: i servizi centralizzati supportati
 Procedure di destagionalizzazione.
 Gestione della confidenzialità dei dati.
 Elaborazione di procedure sui dati: concatenamento, derivazione
e aggregazione delle variabili.
 Integrazione con SDMX Mapping Assistant Tool.
 Generazione dei dati con i layout:
 .csv per I.Stat,
 .XML per SDMX,
 GESMES/TS (GEneric Stat MESsage for Time Series).
 Alimentazione dei sistemi dei DW di diffusione (I.STAT,
Microstrategy, SEP).
6Istat - Aula Magna - Roma, 12 dicembre 2016

7. ODS: domini statistici supportati
Sono stati realizzati tre ODS nell’ambito delle statistiche
economiche:
 Statistiche Economiche Congiunturali: SITIC-Sistema
Informativo Trattamento degli Indicatori Congiunturali
 Statistiche Economiche Strutturali: SIGIS – Sistema
Informativo Gestione degli Indicatori Strutturali
 Contabilità Nazionale: Output-CN, sistema per la
gestione dei dati aggregati validati dalla Contabilità
Nazionale
7Istat - Aula Magna - Roma, 12 dicembre 2016

8. Titolo intervento, nome cognome relatore – Luogo, data
SITIC - Sistema informativo trattamento indicatori
congiunturali
Servizi centralizzati:
 riconciliazione e transcodifica delle variabili,
 destagionalizzazione,
 ETL verso i sistemi di diffusione (I.Stat, Gesmes, SDMX),
 gestite 31 indagini.
8
Indagini supportate:
1. PRODUZIONE INDUSTRIALE
2. VENDITE AL DETTAGLIO
3. COSTI COSTRUZIONE INDUSTRIALE - FABBRICATO
4. COSTI COSTRUZIONE INDUSTRIALE - TRONCO
5. PERMESSI PER COSTRUIRE
6. PREZZI ALL'IMPORTAZIONE
7. FATTURATO E DEGLI ORDINATIVI
8. COMMERCIO ESTERO, parte
9. FATTURATO ALTRI SERVIZI
10.FATTURATO E PRODUZIONE
8Istat - Aula Magna - Roma, 12 dicembre 2016

9. Indagini supportate:
11.FIDUCIA DEI CONSUMATORI
12.FIDUCIA DELLE IMPRESE
13.FIDUCIA SETTORE COMMERCIO
14.FIDUCIA SETTORE COSTRUZIONI
15.FIDUCIA SETTORE MANIFATTURIERO
16.FIDUCIA SETTORE SERVIZI
17.GRANDI IMPRESE
18.OCCUPATI E MONTI RETRIBUTIVI
19.PREZZI ABITAZIONI
20.PREZZI ALLA PRODUZIONE INDUSTRIALE
21.PREZZI CLASSI DI SPESA
22.PRODUZIONE DEL SETTORE DELLE COSTRUZIONI
23.RETRIBUZIONI CONTRATTUALI
SITIC - Sistema informativo trattamento indicatori
congiunturali
9Istat - Aula Magna - Roma, 12 dicembre 2016

10. Indagini supportate:
24.RETRIBUZIONI PER ORA LAVORATA
25.RETRIBUZIONI PER ULA
26.TURISMO
27.VELA - ORE LAVORATE
28.VELA - POSTI VACANTI
29.PREZZI ALLA PRODUZIONE DEI SERVIZI
In cantiere:
30.FORZE LAVORO MENSILE
31.COMMERCIO ESTERO, completamento
SITIC - Sistema informativo trattamento indicatori
congiunturali
10Istat - Aula Magna - Roma, 12 dicembre 2016

11. SIGIS - Sistema informativo gestione indicatori
strutturali
Servizi centralizzati:
 riconciliazione e transcodifica delle variabili,
 confidenzialità,
 ETL verso i sistemi di diffusione (I.Stat, Gesmes, SDMX)
Indagini supportate:
1. SBS, Structural Business Statistics (FRAME, SCI, PMI)
2. ICT, Information Communication and Technology
3. CIS, Community Innovation Survey
4. PRODCOM, PROduzione COMunitaria
5. RS, Ricerca e Sviluppo
6. Fitosanitari, statistiche sull'agricoltura
In cantiere:
7. output strutturali delle statistiche sull'agricoltura
14
11Istat - Aula Magna - Roma, 12 dicembre 2016

12. Outout-CN, sistema per la gestione dei dati aggregati
validati dalla Contabilità Nazionale
Servizi centralizzati:
 riconciliazione e transcodifica delle variabili,
 concatenazione, aggregazione e calcolo degli indicatori,
 ETL verso i sistemi di diffusione (I.Stat, Gesmes, SDMX)
Domini statistici supportati, in ambito SEC2010:
1. Istituzionali
2. Conti economici trimestrali e annuali
3. Occupazione
4. Territoriali
5. Parte della Finanza Pubblica
In cantiere:
6. Ambientale
7. Conti Satellite
12Istat - Aula Magna - Roma, 12 dicembre 2016

13. Livello Sorgenti Livello ODS Livello DW
Data Warehousing view
Gli ODS nel contesto delle statistiche economiche:
Livello Accesso
I.STAT
DW
competitività
EDAMIS
.csv
.gesmes
Microstrategy
SEP/SDMX.xml
SIGIS
OTUPT-CN
SITIC
STS
SBS
CN
indagini
indagini
indagini
indagini
indagini
indagini
indagini
indagini
elaborazioni
13Istat - Aula Magna - Roma, 12 dicembre 2016

14. ODS – Conclusioni 12
I. Facilitano l’implementazione di Servizi centralizzati.
II. Consentono un accesso controllato agli indicatori ed ai report
anche a utenti non direttamente coinvolti con il processo di
produzione.
III. Migliorano il monitoraggio nella produzione degli indicatori
minimizzando le interferenze con i sistemi sorgente.
IV. Forniscono strumenti di reporting condivisi e, tipicamente, più
potenti degli strumenti dei sistemi sorgente.
V. Evitano la duplicazione delle attività di gestione dei macrodato
VI. Ottimizzano le attività del personale coinvolto.
14Istat - Aula Magna - Roma, 12 dicembre 2016

15. ODS – Conclusioni 22
VII. Supportano procedure tracciabili, sicure e condivise per la
predisposizione delle diffusioni.
VIII. Consentono il miglioramento della ricerca di coerenza
dell’informazione gestita.
IX. Favoriscono i processi di tracciatura e verifica della qualità
dei dati.
X. Consentono il riuso del macro dato.
XI. Favoriscono le policy sulla sicurezza dei dati.
XII. Riducono i rischi nella gestione dei macro dati.
XIII. Consentono di disaccoppiare le tecnologie di produzione
degli indicatori dalle tecnologie per la loro diffusione.
15Istat - Aula Magna - Roma, 12 dicembre 2016