Big Data & Bird & Bird - seminar

“Big Data”

● Tante definizioni
● Un solo concetto semplice
● Grandi quantità di dati strutturati e non strutturati da
organizzare ed analizzare
● Da qualche gigabyte ai terabyte, ai petabyte fino agli zettabyte e
yottabyte

Esempi estremi di “Big Data”

● Il sistema di generazione dati della Climate Corporation - migliaia di server
per rielaborare periodicamente decenni di dati storici e generare 10.000
possibili scenari relativi al tempo per ogni collocazione geografica e
grandezza, si traduce in oltre 10 trilioni di dati relativi a possibili scenari (ad
esempio, un valore atteso di pioggia in un luogo specifico e in un momento
specifico) che possono essere utilizzati per determinare l’ammontare del
premio assicurativo e per l’analisi dei rischi, per un totale di oltre 50 terabyte
di dati presenti nei sistemi di raccolta in un qualsiasi momento.
● La Sloan Digital Sky Survey (SDSS) ha iniziato a raccogliere dati astronomici
nel 2000 ed è riuscita a raccogliere nelle prime settimane di attività più dati
di quanti ne siano mai stati raccolti nella storia dell’astronomia. Lavorando
ad un ritmo di circa 200 GB per notte, SDSS ha accumulato già più di 140
terabyte di informazioni.
● In totale i quattro rivelatori principali del Large Hadron Collider (LHC) di
Ginevra hanno prodotto 13 petabyte di dati nel 2010 (13.000 terabyte)

Overview

● Cosa intendiamo per “Big Data”?
● Un’industria in crescita
● Esempi da vendors
● La visione universitaria
● Problematiche legali
● Discussioni

Cosa intendiamo per “Big Data”?

● McKinsey & Company nel suo report di giugno 2011 indica che il
termine “Big Data” si riferisce a quei database la cui dimensione è al
di là della capacità di gestione dei normali strumenti software per
database. Questa definizione è volutamente soggettiva e incorpora
una definizione in evoluzione di quanto debba essere grande un set di
dati per poter essere considerato big data ...
● SAS/CEBR report (aprile 2012): “La quantità di dati continua a
crescere in modo esponenziale, generata da Internet, dai social media,
dal cloud computing e dai dispositivi mobili, si pone quindi una sfida
ed un'opportunità per le organizzazioni – come gestire, analizzare ed
utilizzare la sempre maggiore quantità di dati generati”.
● Big Data è un concetto aperto e la definizione variabile, dipende dalla
potenza a diposizione ma anche una quantità di dati relativamente
piccola può creare problemi di gestione

Dove è possibile reperire i “Big Data”?
● Da dove arrivano?
● Dati strutturati e non strutturati
● Quanto costano la gestione e raccolta di questi dati?
● É necessaria una nuova infrastruttura IT?
● Occorre un progetto di analisi e obiettivi da raggiungere

Dati Interni

● Ogni organizzazione produce un grande numero di dati o vi ha
accesso.
● Questi dati sono molto spesso trascurati, conservati ma non utilizzati
oppure semplicemente cancellati e persi.
● Dati macchina, e-mail, documenti, processi, sensori, traffico web ecc.

Il mondo digitale

● Il mondo dei dispositivi mobili e dei social network genera un numero
sempre maggiore di nuovi dati personali e le stesse opinioni degli
utenti possono fornire indicazioni che prima non erano
semplicemente disponibili

Cosa si intende per Big Data? – Le tre “V”
● Volume – il volume dei dati è sempre più grande
● I dati globali digitali sono arrivati fino a 1.227 exabyte nel 2010 e si prevede di
raggiungere 7.910 exabyte nel 2015. Secondo una stima, se solo un exabyte di dati fosse
salvato su DVD sarebbero necessari 13513 Boeing 747 per il trasporto di tutti i DVD
utilizzati.
● Velocità – aumento della velocità di creazione, acquisizione e condivisione dei dati
● A partire dal 2000 fino al 2010, la Sloan Digital Sky Survey ha raccolto 140 terabytes di
informazioni. Nel 2016, il suo erede sarà in grado di raccogliere lo stesso quantitativo di
informazioni ogni cinque anni
● Varietà – proliferazione di tipologie diverse di dati
● 80-85% dei dati a livello globale sono considerati attualmente non strutturati.
● Ad esempio, lo possono essere i dati relativi al traffico o alla geolocalizzazione tratti da
telecomunicazioni, blog, RFID e dati derivanti da sensori, gli spostamenti dei veicoli o
dati relativi alla posizione degli aeromobili, i dati relativi alle condizioni meteo, alle
transazioni finanziarie, alle statistiche di vendita, analisi delle parole chiave etc.
● Valore, Visione – non limitiamo il concetto alla terminologia

Cloud Computing

● Il “Cloud computing” permette l’accesso, la riorganizzazione e l’utilizzo del
“Big Data” fornendo un accesso virtualmente illimitato ed economico a
risorse hardware e software e ad uno spazio di archiviazione praticamente
illimitato ed utilizzabile in modo elastico
● Progetti di analisi dei dati possono essere usati separatamente ed
indipendentemente dal nucleo centrale delle funzioni e dei sistemi aziendali e
non appesantire i sistemi aziendali
● Opportunità e problemi dell’uso del Cloud, non più silos ma unico database

Cosa può essere fatto con i “Big Data”
● Data Mining e Data Extraction
● Analisi e Visualizzazione dei dati
● Infinite possibilità di raccolta dati e business intelligence
● Identificazione trend, rischi, errori, sprechi
● Monitoraggio in tempo reale
● Dati oggettivi
● Nuove opportunità di business

Alcuni esempi…
● Fashion - percezione del brand - “sentiment” degli utenti – studio dei trend -
logistica - contraffazione – analisi concorrenti
● Automotive – analisi dati sensori di bordo, manutenzione predittiva,
assistenza, correzione errori, prevenzioni incidenti, assistenza alla guida,
logistica prodotti e ricambi, studio garanzie prodotti
● Life Science – studi osservazionali utilizzo farmaci, studio trend
epidemiologici popolazione, studio parametri esclusione per studi clinici,
studio necessità popolazione, identificazione frodi
● Retail – Dati utente su consumi e budget di spesa, analisi uso siti ed e-
commerce, preferenze di acquisto, interazione tramite strumenti portatili
utenti, personalizzazione esperienza d’acquisto, smart carts, apps e rfid codes
sui prodotti, suggerimenti e promozioni in tempo reale, strumenti di
comparazione prezzi, geolocalizzazione

Ulteriori esempi
● Banche – connessione dati operazioni e iniziative retail, studio dei portafogli,
studio sentiment clienti, servizi valore aggiunto clienti, controllo e
prevenzione frodi
● Logistica – integrazione con dati retail, consumi e preferenze, dati
promozioni e interventi in garanzia , ottimizzazione consegna e magazzino,
logistica real time e consegne nello stesso giorno, dati di spedizione, viaggio,
consegna in tempo reale
● Advertising e Marketing – studio sentiment social network, modello
comunicazione mirata al singolo utente, uso di strumenti per analisi
semantica, linguaggio naturale e studio di cluster informativi
● Assicurazioni – personalizzazione polizze e coperture a secondo del
comportamento utente, studio storia veicolo, analisi rischi reali bene
assicurato, individuazione frodi, dati ambientali per calcolo rischio

Problematiche legali

1

● Chi possiede i “Big Data”?
● Creazione e gestione del database
● Direttiva relativa al settore degli Open Data pubblici
● Dati generati dagli utenti
● Dati organizzati e strutturati
● Dati non strutturati
● Dati estratti ed analizzati
● Diritti dei fornitori di strumenti relativi a “Big Data”


2

● Tutti diventeremo dei “big brother”?
● Nuova proposta di regolamento UE per il trattamento dei dati personali
(privacy by design, diritto all’oblio)
● Nuove tipologie di consenso, data portability, trasferimento all’estero
● Come rispettare il diritto di accesso e cancellazione?
● Dati personali persi all’interno dei “Big Data”
● Dati estratti dall’associazione di informazioni
● Data Breach Notification
● Incidente Target (previsione gravidanza)


3

● I limiti del copyright
● “Big Data”ed il principio dell’esaurimento
● Eccezioni al diritto d’autore
● Necessità di licenze per analizzare materiale protetto
● L’analisi dei dati può essere considerata utilizzo dei contenuti? Copia?
● Proposte di liberalizzazione per attività e strumenti analitici
● “Big Data” un nuovo strumento contro la pirateria?
● Proteggibilità del database e dei risultati delle analisi


4

● Sicurezza e protezione dei dati, necessità di garanzie
● Aspetti Antitrust
● Rapporti con licenze open source
● Uso dei dati in ambito contenzioso
● Aumento delle garanzie e delle responsabilità
● Mercati regolamentati (borsa, finanza, banche, pubblicità, assicurazioni)

Thank you
Avv Roberto Camilli
+39 02 30 35 60 00
roberto.camilli@twobirds.com

Bird & Bird is an international legal practice comprising Bird & Bird LLP and its affiliated and associated businesses.

Bird & Bird LLP is a limited liability partnership, registered in England and Wales with registered number OC340318 and is authorised and regulated by the
Solicitors Regulation Authority. Its registered office and principal place of business is at 15 Fetter Lane, London EC4A 1JP. A list of members of Bird & Bird LLP and
of any non-members who are designated as partners, and of their respective professional qualifications, is open to inspection at that address.

twobirds.com

Bird & Bird & Big Data

Big Data & Small Steps
La risposta è là fuori. Qualcuno trovi una domanda intelligente.

Prof. Carlo Alberto Carnevale Maffè
Bocconi University – SDA Bocconi School of Management
C.A. Carnevale-Maffè 1

In Hoc Data, Vinces

§ Nate Silver (34 anni) ha previsto correttamente
49 stati su 50, sia nel 2008 sia nel 2012.
§ Aveva sviluppato “Pecota” (Player Empirical
Comparison and Optimization Test Algorithm)
per prevedere le prestazioni dei giocatori di
baseball.
§ Fa il blogger (“FiveThirtyEight”) sul New York
Times


La Ricchezza delle Nozioni
“Se anche parlassi tutte le lingue degli uomini (…) e conoscessi
tutti i misteri e tutta la scienza (…), sarei come un bronzo che
risuona o un cembalo che tintinna” (1 Cor. 13,1-2)

1.Big Data, Tiny Understanding
§ Ogni possibile risposta, in attesa di qualche
plausibile domanda

2.Gli economics degli analytics
§ L’abbondanza dei dati genera una scarsità relativa di
attenzione umana.

3.Che farne di (questo) management?
§ Ci serve ancora chi oggi viene pagato per fare
controllo e reporting?


La vertigine della complessità

§ Aumento dell’ interdipendenza
sistemica…
§ determinato dalla specializzazione
deliberata
§ orientata all'aumento di produttività…

Il mito newtoniano del Dato Universale:

§ Asimmetrie informative d'ambiente
§ Asimmetrie interpretative d’impresa.

§ Inoltre…

§ Razionalità limitata
§ Ambiguità causale
§ Policentrismo dei poteri e delle leggi


A tale of Builders & Brickmakers
§ “Once upon a time, there were men called scientists. These men were builders who constructed edifices, called
explanations or laws, by assembling bricks, called facts. When the bricks were sound and were assembled
properly, the edifice was useful and durable. If the bricks were faulty or if they were assembled badly, the edifice
would crumble.
§ The brickmakers became obsessed with the making of bricks. When reminded that the ultimate goal was edifices,
not bricks, they replied that, if enough bricks were available, the builders would be able to select what was
necessary and still continue to construct edifices.
§ It became difficult to find the proper bricks for a task because one had to hunt among so many. It became difficult
to find a suitable plot for construction of an edifice because the ground was covered with loose bricks. It became
difficult to complete a useful edifice because, as soon as the foundations were discernible, they were buried under
an avalanche of random bricks.
§ And, saddest of all, sometimes no effort was made even to maintain the distinction between a pile of bricks
and a true edifice”.

Bernard Forscher,
“Chaos in the
Brickyard”, Science
Magazine, 18 October
1963


La complessità, semplicemente…

Specializzazione

Flows
Flows
Evoluzione

Entropia
Stocks
Stocks

Inorganico Organico Socio-economico
Internet of Things Life Sciences The Web


Lo sviluppo urbano, esempio di
specializzazione e interdipendenza

piccola casa metropoli moderna
nella prateria
Residenti 5 5 ml
I/O giornalieri 1-2 1-2 ml
Alimentazione autonoma quasi totalmente
dipendente
Energia locale quasi totalmente
dipendente
Delta quasi zero alcuni kg/giorno
CO2/individuo/giorno
Delta produttivitá/10 poco piú di zero 30-50%
anni
Interscambio 10-20% 98%
ambientale


Fare sistema o fare mercato?

§ Fare sistema accresce
l'interdipendenza, ma non
necessariamente la
specializzazione e quindi
non migliora la
produttività

§ Fare mercato allenta gli
incastri (loose coupling),
migliora la flessibilità e la
propensione
all’adattamento


Gli analytics sono un mercato, non un sistema

§ E’ la somma che fa il totale, ma
non è la somma che fa il sistema.
§ Il sistema è un insieme di
equazioni a incognite crescenti

§ La complessità è una fitta pioggia
di piccoli asteroidi, e l'impresa è il
mammifero intenzionale,
l’organismo geneticamente
automodificato


Complessità, maestra di vita

“L'essenza della tirannia è
la negazione della complessità”
Jacob Burkhardt, storico

§ Gestire la complessità vuol dire
rinunciare a eccessive pretese di:
§ Prevedibilità temporale
§ Visibilità spaziale
§ Creazione del consenso sistemico

§ Investendo invece su:
§ Rapidità decisionale
§ Dislocamento e contestualizzazione
§ Leadership

§ Complessità come humus
dell'impresa e graticola del dirigismo


Predicting the Present (con una sbirciatina al futuro)

§ Udite, udite:

§ La gente compra quel che sta
cercando

e..

§ La gente non compra quel che non
sta cercando.

§ Forecasting & “NowCasting”:
§ E’ dimostrato che l’uso di strumenti
di analisi delle frequenze di ricerca
consente di interpolare con
precisione alcuni dati di breve
periodo (vendite di prodotti,
destinazioni di viaggi, consumer
confidence, etc)

§ Fonte: H.Choi & H.Varian, Predicting the Present with Google
Trends, December 18, 2011.
§ M. Marsella & C. Miani, “Il Mutuo? Si stima con Google”,
Lavoce.info, 26 agosto 2012 C.A. Carnevale-Maffè 11

Gli economics degli analytics

Quando i dati diventano abbondanti, la
scarsità relativa dell’attenzione umana
aumenta
§Economics of deleting
§ Oggi costa piú cancellare che tenere.
Prima i beni complementari alla non
cancellazione costavano cari (e.g.,
l’album delle foto) e la selezione aveva
senso economico. Ora non più.
§Economics of sharing
§ C’erano più opere d’arte chiuse nelle
cantine dei musei, di quante ce ne
fossero visibili al pubblico. Ora non più.
§Economics of calculating
§ Si inseguiva il mito di HAL9000:
centralizzato, strutturato, onniscente.
Ora non più.

§Gli effetti di Big Data Analytics su:
§ R&D
§ Working Capital
§ Risk Management


Capitale & Lavoro

§ Gli Analytics, nuova moneta

§ L'elasticitá incrociata tra capitale e lavoro si é
notevolmente ridotta: il capitale é sempre meno una
controparte o un sostituto del lavoro e sempre più una
diversa forma di lavoro.
§ L'I.P. é uno stock di lavoro che diventa
convertibile in capitale
§ Gran parte della capitalizzazione di borsa delle
imprese è rappresentato da asset intangibili, in
ultima analisi basati sull’accumulazione di un
surplus di lavoro

§ Se capitale e lavoro restano due categorie
aristoteliche inconciliabili, due entitá
economiche e sociali separate, allora
rimaniamo prigionieri di concetti come quello di
classe, sia essa dirigente o operaia, e siamo
condannati a perpetuare relazioni di tipo
sindacale, giochi a somma zero nel processo di
rappresentanza degli interessi.


“First, Let’s Fire all the Managers”

§ Management is the least efficient
activity in your organization (Gary
Hamel, HBR, 2011).

§ Il management è una soluzione
gerarchica e labour-intensive al
problema della gestione della
complessità, della hidden action e
della hidden information.

§ La supervisione e la reportistica
cessano di essere compiti a valore
aggiunto.
§ Rimangono tali la leadership e
l’imprenditorialità, ma che sono un
tema di uomini e non di tecnologie.


Grazie e buon lavoro!

Prof. CarloAlberto Carnevale-Maffè
Scuola di Direzione Aziendale – Università Bocconi
Email: carloalberto.carnevale@sdabocconi.it


Bird & Bird & Big Data

Nuvole Nere sull’Oceano Blu
“La verità, vi prego, sul Cloud Computing”

Prof. Carlo Alberto Carnevale-Maffè
C.A. Carnevale-Maffè – SDA Bocconi 1
Bocconi University – School of Management Copyright SDA Bocconi 2013

Cloud: un’Istituzione Economica,
non solo un’infrastruttura tecnologica

• Il cloud è un’istituzione
economica, non solo
un’infrastruttura tecnologica.
• E’ laboratorio di innovazione
organizzativa, crocevia di
scambi informativi, piattaforma
di relazioni di business.
• In questo senso la nuvola dei
processi di business è la nuova
Unità Economica d’Italia.

2

La nuvola non è un taxi.
E’ uno hub
• La nuvola non è un
offerta speciale per
rottamare i server.
• La nuvola non è un
hosting del nostro
disordine applicativo, un
monte dei pegni delle
nostra bigiotteria
informatica.
• La nuvola è uno hub di
processi economici
interoperabili.

La nuvola è meglio di Internet

• Perché è standard ma
non è la giungla
dell’anonimato.
• Perché è interoperabile
ma anche difendibile
dagli intrusi.
• Perché ha un servizio
garantito e non è best
effort, tipo “attendere
prego”.

Il Cloud è la FED del computing
(non la BCE…)
Le banche sono il cloud dei soldi.
•Nessuno pensa che sia più razionale tenerli
nella propria cassaforte, invece di depositarli
in un istituto di credito.
•E non è solo sicurezza, è il principio del
rendimento della “moneta-dato”

•Come le Banche sono il cloud dei Soldi, il
Cloud, come una brava Banca Centrale, è il
“prestatore di ultima istanza” di risorse
computazionali e garantisce la liquidità e la
libera circolazione dei dati. (Basta non
metterlo a Cipro…)


La nuvola, Banca d’Italia dei Dati

• Le banche sono il cloud dei
soldi.
• Nessuno pensa che sia più
razionale tenerli nella propria
cassaforte, invece di depositarli
in un istituto di credito.
• E non è solo sicurezza, è il
principio del rendimento della
“moneta-dato”
• Il cloud, come la Banca
Centrale, garantisce la
circolarità e la liquidità dei dati


Va’ dove ti porta il cielo…
1. L’Era dei Messaggi, l’Età
delle Istanze. Il Cloud come
distruzione creativa dei sistemi
legacy.

2. Tesoro, mi si sono ristretti i
processi. Il workflow si
frammenta e si contamina.

3. Uno vale Uno, Nessuno,
Centomila. Cambia l’osmosi
organizzativa: il “Noi” e il
“E' pungente a toccarlo, come un pruno, “Loro” convivono sotto lo
o lieve come morbido piumino? stesso cirro.
E' tagliente o ben liscio lungo gli orli?
La verità, vi prego, sull’Amore.”


Contro le Migrazioni
La distruzione creativa dei processi legacy
• Un progetto cloud è un volo in
mongolfiera. Ci si solleva da terra
per asportazione di pesi.

• Non si vola tra le nuvole con la
zavorra della legacy.

• Cogliete l’occasione per spaccare
tutto, per buttare tutto, per rifare
tutto. Vabbé, almeno qualcosa.

• Il problema non è mettere SAP
sul cloud. É metterci il business.


Microeconomia dei Cloud Services
OGGI… … DOMANI
Price S1: Traditional Price
Application Silos
D3 S3: Cloud
P1 Apps +
D1 Data+Service
s
-
C1 = P1 x V1 S2: Cloud Applications

P2 D2
C2 = P2 x V2 C3M2
Volume V1 + V2 Volume

Growing supply of applications, The size of the market will have
lower variable costs and lower to grow through
barriers to entry and access, “complementarities”
increase volumes but drastically (with data, services, and value-
added business processes)
reduce average prices…

Il Cloud è deflatore economico della bolla dei silos applicativi

Il Cloud è Generale
(“La guerra è finita”)
Il nemico è scappato, è vinto, è battuto

•Il Cloud è già mainstream, un po’ come l’ecologia e la pace
nel mondo, le energie rinnovabili e la spending review.
•Non essere più minoranza va metabolizzato dai digitali non
nativi, quelli che vanno in giro con almeno 2 o 3 pennette
USB nella borsa.
•Quelli nativi, come i pesci, non sanno che cos’è l’Acqua del
Cloud.
•Dietro la collina non c'è più nessuno, al massimo una smart
city, un’agenda digitale già un po’ sgualcita.

Queste cinque stelle

•Con il Cloud, Internet non è più trastullo di tardoadolescenti
garruli, ma diventa movimento & istituzione, organizzazione
di lotta e di governo. Prendi un Liquid Feedback, e ci fai una
pietra d’inciampo nazionale.


Il dato è come un professore in politica:
“sale” sulla nuvola. E poi non scende più

• Il Cloud è forza gravitazionale
irresistibile, sifone di dati, black
hole di processi, polo magnetico
delle interazioni.

• Il Cloud è sistema simbolico di
segnalazione, come lo sono le
nuvole nel cielo. Unico segnale
evidente all’occhio umano della
dinamica dei fluidi nella rotazione
terrestre.

• Il Cloud scatena fenomeni
organizzativi di collaborazione, è il
luogo della sharing economy. Che
non è buonismo, ma efficienza.

Il Cloud e il ciclo del processo

• Cloud come luogo di ibridazione
informativa dei processi.

• Come l’acqua, il processo evapora per
finire sulla nuvola.

• E come l’acqua purificata
dall’evaporazione poi si contamina
con l’atmosfera, così il processo
contaminato dall’interoperabilità
ricade sulla terra.

• A volte come pioggerellina, a volte
come grandine.


Uno vale Uno,
Nessuno, Centomila.
• Il Cloud è la base di un modello organizzativo
che ridefinisce le identità professionali. Sulla
nuvola, siamo tutti Vitangelo Moscarda.

• Mobilità, telelavoro simmetrico (non c’è più differenza di
profondità, né asimmetria informativa determinata dal luogo
di accesso)

• Private/personal: il cloud è invasivo ed evasivo (nel senso
di evasione…)

• Company/channels: Il cloud è sistema operativo di filiera,
non d’azienda

• Come l’ERP ha superato le applicazioni dipartimentali, così
il cloud supererà quelle aziendali.

E smettete di mandarmi le e-mail.
• “Ti ho mandato una email” is the
new “Peppa Tencia”.

• La PEC è la continuazione del FAX
con altri mezzi tecnologici. Una specie
di dichiarazione di guerra, consegnata
ufficialmente dagli ambasciatori.

• Segnalatemi le istanze, sono stufo
di fare download.

• Fatemi notificare un alert dal
daemon di Facebook.

• Taggatemi su un contenuto
rilevante, fate un retweet, mettete
un hashtag.

• Ma volete imparare ad usarli per
lavorare, ‘sti Social Network?

Perché Mobile & Cloud cambiano i
processi economici?
A. It’s Yours: Authentication
& Billing & App based
(not just browser-based)

B. It’s Your (Share of) Life
(personale e professionale)

C. It’s (Native) Social
(rete di Persone, non solo
rete di Pagine)


Marx & il capitale sulle nuvole

• I mezzi di produzione
digitali appartengono al
popolo (ne avete in tasca
almeno uno a testa).

• Lavoratori di tutto il
mondo, unite i vostri dati
(tanto il remote storage
su FaceBook o YouTube è
gratuito).

Uno spettro si aggira per il data-center

• Fine del monopolio delle
imprese su:

– Produzione
– Presidio
– Accesso
– Distribuzione

dei dati digitali


La fine del monopolio sul valore aggiunto
L’evoluzione delle “asimmetrie organizzative”
2000-2011
•Arriva la “Rete delle Pagine”: impatto sulle “asimmetrie informative”
•Nuove forme di disintermediazione e ri-intermediazione
Ma:
•Immutata struttura di mercato tra domanda e offerta

?
2012-2020
•Arriva la “Rete delle Persone”: Impatto sulle “asimmetrie organizzative”
•Nuove forme di collaborazione/competizione tra domanda e offerta
E:
•Modifica della struttura di mercato, fine del monopolio aziendale sulla catena del valore
aggiunto.


Il contenuto diventa “bastardo”

• Perduta la sua integrità originale,
nell’attraversare le Nuvole, il
contenuto diventa infinitamente ri-
editabile e re-intermediabile.
Chiunque lo guardi e lo tocchi, lo
modifica economicamente.

• Il paradosso dei Big Data e la
sindrome degli Highlights: sempre
meno utenti sono interessati al
contenuto originale e integrale, o al
dato puntuale e disaggregato,
sempre più si accontentano di una
sintesi veloce e contestualizzata (e
possibilmente gratuita).


Occhio che sul Cloud il cliente
mette le mani. Anzi, le dita.

§Il Pollice
§L’Indice
§Il Medio

§(L’Anulare…)

Totò & il Dato-Malafemmina
• “Nojo..vol-au-vent..savoir…”

– Archetipo di interrogazione in
linguaggio naturale, sintassi
anticipatoria del web semantico

• L’informazione, si sa, è ’na
malafemmina, a cui l’IT Manager
canta sconsolato:

– “Te voglio bene e t'odio,
nun te pozzo scurdà...”


Liberté, égalité, fraternité…
• “Tutti i dati
digitali sono
liberi, uguali e
interdipendenti”


Tutti i dati sono liberi?

• Siamo davvero
convinti di riuscire a
tenerli chiusi nel
perimetro aziendale?

• Per quanto tempo
riusciremo ad
invocarne la proprietà
intellettuale?


Tutti i dati sono interdipendenti?

La missione di Google:

“Organize
the world's
information
and make it
universally
accessible
and useful”


Vito Catozzo’s Way

• Driver di gestione dei
dati digitali secondo
IDC:

– Security
– Compliance
– Preservation


Il nuovo centro?
E’ in periferia

– La produzione e l'accesso a documenti
multimediali cresce proporzionalmente di
più ai confini dell’impresa, non al centro
– Il document management infra-
organizzativo è efficiente, ma non
intercetta la nuova complessità “ai bordi”
dell’impresa
– I social media sono il luogo di produzione
e di accesso documentale più dinamico e
dove i volumi e la complessita di formati
crescono esponenzialmente.
– I documenti crescono al centro come
conseguenza di quello che succede ai
bordi.

XaaS?

Ad unificare i
processi di filiera e di DaaS
territorio, tra imprese
e PA, tra cittadini e
organizzazioni, serve
un nuovo strato
condiviso.

Il DaaS dev’essere
ibrido, sia pubblico
sia privato, sia aperto
sia ad accesso
condizionato


Clouds & Weather Forecasts…
• Il nuovo mercato del Cloud è “interstiziale”

• La sfida è nelle opzioni di interoperabilità
dei processi esistenti, non nella migrazione di
servizi tradizionali dai server aziendali al
Cloud.

• La migrazione, in quanto tale, è un “gioco a
somma negativa”, perché viene effettuata a
un costo medio minore.

• Ma il business sarà sempre “on site”: il Cloud
è essenzialmente una nuova opportunità di
attivare “connecting links” tra processi
economici.


Il Cloud, un'arte che si fa
"per via di levare"
1. Mercato Pubblico: “Carving out” e
ridefinizione dei processi istituzionali del
Paese, oggi (mal)gestiti direttamente dalla PA

2. Mercato Privato: Creazione di una
“domanda ICT forzosa” tramite processi delle
filiere sistemiche localizzate (e.g., tourism,
food, logistics)

3. Mercato del lavoro : avvio di modelli di
“Crowdsourcing” strutturale per l’aumento
della partecipazione al lavoro giovanile e
femminile


Il valore ai tempi del colera (digitale)

Diritti, standard, linguaggi
specialistici e nazionali, asset
complementari, esperienza,
comportamento associato, etc.

SINTASSI
• Valore = f ( LATENZA
)

Frequenza, sincronicità verticale e
orizzontale, sequenzialità, serialità,
allertamento, interstizialità, set-up e
storage, etc.


L’Advertising? Beyond the Line

Circolo Virtuoso

Valore
Cliente

Attention Intention Conversion Relation Totale

Advertising Intenzione di Transazione Servizi Post
acquisto Experience

Advertising: il valore del tempo e dell’incertezza

OGGI DOMANI

Attention Future/Stimato Spot/Puntuale

Intention (Future)/Attesa Spot/Puntuale

Conversion N.A. Spot/Puntuale

Relation Opportunistica Strutturale


Internet: lo Hub di un “Mercato Multilaterale”

4 Mercato della comunicazione 4 Mercato Human
tra aziende e consumatori: Content Attention: offerta
media company fornitrici di Providers sussidiata e/o a
servizi pubblicitari/ marketing pagamento all’utente
alle aziende finale di contenuti e
servizi

Communication Content Platform
Platform (M1)
(M2)
Hub

Merchants & People &
Institutions Communities
Relation & Commerce Platform
(M3)
4 Mercato degli scambi di beni e servizi tra aziende e
consumatori: media company quali intermediari
fra aziende e consumatori nella compravendita di
beni e servizi

34
Quale contributo del Cloud
al “sistema Paese”?
• Modernizzazione, abbattimento
delle barriere fisiche, esternalità
positive di linguaggio:

¿ Dopo Dante, Manzoni, Mike
Buongiorno, ….

¿ La sintassi dell’ICT per la nuova
sfida alla costruzione della
“nazione economica”

O si fa l’Italia (sul Cloud), o si muore

Grazie!

Prof. Carlo Alberto Carnevale-Maffè

Strategic Managament Dept.
Bocconi University- SDA Bocconi School of Management
Twitter: @carloalberto
Facebook.com/Carloalberto.Carnevale


Cloud Computing Summit

L’Italia vista dalla Nuvola
Relazione di:
Prof. Carlo Alberto Carnevale Maffè
Scuola di Direzione Aziendale – Università Bocconi

La nuvola è un’istituzione economica, non solo un’infrastruttura
tecnologica.
E’ laboratorio di innovazione organizzativa, crocevia di scambi
informativi, piattaforma di relazioni di business.
In questo senso la nuvola è la nuova Unità Economica d’Italia.

Tra i cirri del credit crunch e i cumulonembi della recessione, la
nuvola di tecnologia all’orizzonte è quindi gravida di novità per le
imprese e per il Paese. Le piccole e medie aziende guardano tuttora
le innegabili opportunità del cloud con un certo scetticismo, per il
timore di vedersi sottratto il controllo dei propri dati o di non poter
più disporre di un interlocutore che si prenda la responsabilità del
servizio. Si sbagliano. Vediamo perché, in tre semplici passaggi. 1) Il
cloud è il modo più sicuro e flessibile per gestire l’ICT nelle piccole e
medie imprese. Non solo fa risparmiare, ma contribuisce a crescere.
2) Il mondo delle software house e dei systems integrator che oggi
affianca le PMI, lungi dallo scomparire, vede schiudersi un nuovo
mercato di integrazione dei processi, oltre il presidio dei tradizionali
sistemi IT interni all’azienda. 3) Una volta sul cloud, le PMI vi
ritroveranno anche le grandi imprese e la PA, colmando il
tradizionale gap infrastrutturale, con applicazioni e informazioni alle
quali oggi non hanno accesso.

La nuvola non è un offerta speciale per rottamare i server. La nuvola
non è un hosting del nostro disordine applicativo, un monte dei pegni
delle nostra bigiotteria informatica. La nuvola è uno hub di processi
economici interoperabili.
L’esempio di Google è lampante. Le foto pubblicate su Picasa dagli
utenti sono sì sulla nuvola, ma tramite la geolocalizzazione possono
essere viste anche da google maps e street view. Stessa cosa succede

per i giudizi degli utenti sui locali pubblici, che non sono chiusi
dentro al silos applicativo verticale, ma condivisi.
Le piattaforme di accesso autenticato tramite FB, Twitter o G+ sono
un altro esempio di come la nuvola consenta l’interoperabilità tra
processi e l’ottenimento di grandi effetti di esternalità positiva.

Comunque, sia, la nuvola è troppo importante per lasciarla agli
ingegneri.

La nuvola è meglio di internet. Perché è standard ma non è la giungla
dell’anonimato. Perché è interoperabile ma anche difendibile dagli
intrusi. Perché ha un servizio garantito e non è best effort, tipo
“attendere prego”.

Dunque, sopra alle nuvole, il sole? Sì, ma a certe condizioni.
Per prima cosa sgombriamo il campo dalle diffuse ma infondate
obiezioni sulla sicurezza dei dati. Il cloud è il modo più affidabile e
sicuro per conservare e rendere disponibili in ogni momento dati e
applicazioni cruciali per le imprese.
Le statistiche parlano chiaro: il livello di ridondanza architetturale e
di disponibilità reale che offrono i servizi cloud professionali sono
nettamente superiori a quelli accessibili a una piccola e media
impresa che tiene tutto sul proprio server nello scantinato. Basti una
semplice metafora: le banche sono il cloud dei soldi. Nessuna azienda
pensa che sia più razionale tenerli nella propria cassaforte e rischiare
scassi e furti, invece di depositarli nei forzieri di un istituto di credito.
Oltre alla maggiore affidabilità l’altro fattore determinante è la
flessibilità e l’economicità d’esercizio. I servizi cloud propongono un
percorso ineludibile nell’evoluzione dell’ICT dal ruolo di pura
infrastruttura tecnologica a funzione flessibile di servizio nel
supportare l’azienda nei repentini cambiamenti e nelle diverse fasi
del ciclo economico. Funzionano con un modello di costi su base
flessibile, consentendo alle piccole e medie aziende di affrancarsi
dall’onere di investimenti al buio. Se a questo si aggiungono la
rapidità di implementazione e la flessibilità, non è difficile
comprendere come la nuvola meriti il serio interesse dei responsabili
IT e degli imprenditori di aziende di ogni settore e dimensione, che
vedono in questo modello una valida alternativa per trasformare
costi fissi in più maneggevoli costi variabili d’esercizio.

Per quanto riguarda l’offerta dei servizi da parte dei systems
integrator, va smentita l’idea che il cloud ne cancelli il ruolo. Al
contrario, nei Paesi dove il cloud ha già preso piede, si è registrata
una crescita di nuove imprese dell’ecosistema ICT. Certamente, alle
tradizionali software house la nuvola richiede un’evoluzione dei
modelli di relazione e di proposizione nei confronti dei propri clienti,
nonché un importante sforzo di educazione relativo agli ambiti di
applicazione e alle modalità di valutazione della tecnologia erogata in
forma di servizio. Invece che sui tradizionali sistemi IT, i
professionisti che affiancano le imprese dovranno focalizzarsi
sull’integrazione di processi di business e di nuovi devices, aprendosi
al grande scenario della cosiddetta “Internet of Things”, dove
l’informatica non mette più in rete solo posti di lavoro, ma ogni
elemento fisico di un’organizzazione.

Ma l’infrastruttura che serve per far migrare le piccole medie
imprese sul cloud richiede uno sforzo congiunto degli operatori,
della Pubblica amministrazione e di tutto il Sistema Paese. In altre
parole: c’è banda e banda. Un conto è la banda larga per le famiglie, e
un altro quella per le imprese. La banda che serve per il cloud
professionale deve essere non solo larga, ma stabile, garantita,
disponibile e sicura. Il cloud a cosiddetto “best effort”, che non
garantisce alcun livello di servizio, va bene al più per i ragazzotti
garruli e per le start-up squattrinate. Alle PMI serve un cloud
garantito “end-to-end” che connetta affidabilmente i luoghi di lavoro
ai data center. Vale ancora l’esempio della banca: se le affidate i
gioielli di famiglia, non reagireste bene se vi rispondesse: tornate tra
qualche giorno, oggi abbiamo un problema.

Per far ripartire il motore ingolfato dell'economia italiana serve
dunque aria nuova, d'alta quota, oltre le nebbie della crisi, seguendo i
venti dell'innovazione. L’imprenditore che vuole crescere, oggi, ha la
testa sulla Nuvola e i piedi ben piantati in terra.

I servizi cloud non sono solo un vantaggio economico per la singola
impresa o istituzione pubblica, ma consentono di unire tra loro
aziende e PA, di collegare processi ora frammentati e incompatibili,
di scambiare dati aperti, gli Open Data, in linea con le direttive
europee e l'Agenda Digitale Italiana. Sulla nuvola tecnologica dei
servizi cloud, l'Italia dell'innovazione si può ritrovare più unita, senza
tuttavia doversi uniformare a un unico modello, anzi conservando
tutte le sue specificità, ma guadagnando in immediatezza e

interoperabilità. Con la nuvola, le imprese e la PA hanno accesso ai
migliori servizi disponibili al mondo, ma alla giusta dimensione,
pensati per crescere con loro. E insieme, più uniti, far tornare a
crescere il Paese.

Overview della
proposta IBM
22.marzo.2013

Carlo Patrini
Information Architect
carlo.patrini@it.ibm.com
+393357248561

© 2013 IBM Corporation

Abbiamo bisogno di acquisire maggiore conoscenza

Le esigenze di acquisire maggior conoscenza
(insights) sono sempre più necessarie ed urgenti

2

Rispondere a domande.. sempre nuove, sempre urgenti
e sempre… strategiche
Qual è stata l’ efficacia Come potremmo sfruttare al
Vorrei scoprire nuovi della campagna C123 ? meglio i dati storici per
segmenti cliente…. capire in anticipo le azioni
dei nostri compratori ?
Quali prodotti si
vendono meglio oggi
in Italia?

Cosa dicono le persone del nostro
nuovo prodotto ?

il 91% dei clienti insoddisfatti si
rivolgerà ad altri fornitori Cosa dice la gente al
nostro servizio
Come migliorare la ns customer Call center ?
retention ?

lIntegrare il Business con la Tecnologia
lUtilizzare dati storici e di sintesi – strutturati e non
lTrarre il massimo profitto dall'analisi delle informazioni estratte da tutte le fonti disponibili

3
2012 IBM Corporation

Il Data Warehouse e la Business Analytics
sono un’ottima risposta
…sempre sollecitata dal mercato che chiede..

• Volumi più elevati
• Più elevata qualità dei dati
• Maggior controllo sul processo
Reporting
•e soprattutto maggior SEMPLICITA Analysis
AUTONOMIA e PERFORMANCE Predictive Analytics
•…….

Master Data
Management Cubi

Fonti Data
dati da Warehouse
sistemi ETL
gestionali Data
Integration
Data Quality
Data Delivery
4

DWH più snelli, veloci e reattivi …
l’appliance DWH è la soluzione

Il DWH è fondamentale
però a volte è lento e troppo Mumble
ingessato e non evolve
con i tempi del business .. mumble….
la soluzione è
IBM Netezza

5

E il business è interessato ad acquisire info che
vanno oltre la transazione

Fail
Fail Fail Yes!
Fail Fail
Fail Fail Fail

Fail Fail Fail
Fail
Inizio Fail Fine
processo acquisto Fail processo acquisto
Fail
Albero
Il DWH generalmente traccia la transazione
decisionale
finale, quella conclusiva.
del
Per “leggere” meglio il processo di acquisto serve
processo
conoscere anche il resto
di acquisto

6

Big Data: il nuovo oceano dei dati
I dati sotto la superficie ancora
inesplorati

12+ terabytes 30 miliardi
di Tweets Sensori, RFID, altri device
al giorno che generano dati in
streaming

Volume Velocità

Varietà Veridicità
100’s Solo 1 su 3
Di tipi dati diversi Utenti di business ritiene di
avere informazioni affidabili 7
7 © 2013 IBM Corporation

La conoscenza è contenuta anche in fonti non
convenzionali …perchè ignorarle?
25Tb Facebook /giorno
q Il Business necessita di gestire ed usare in modo
massivo una quantità sempre crescente di
informazioni non convenzionali e generalmente
create all’esterno delle organizzazioni aziendali

q La maggior parte di queste informazioni non
convenzionali, sono semistrutturate o
completamente destrutturate

q Le organizzazioni soffrono se non possono
acquisire la conoscenza contenuta nelle
informazioni di business
Ø I sistemi tradizionali analizzano solo dati strutturati
Ø Il mancante 80% è costituito da informazioni non
strutturate o semi strutturate (Gartner).

200k twitter al minuto

Big Data 290 milioni twitter anno
12Tb twitter/giorno

8

Quando si parla di “data explosion”

83x

6,000,000 users on Twitter 500,000,000 users on Twitter
pushing out 300,000 pushing out 400,000,000
tweets per day tweets per day
1333x

9

Approccio Tradizionale e Approccio Big Data

10

BIG DATA
Stato dell’arte
11

Which is the State-of-The-Art?

>1100 Business Managers >200 CIOs

IBM and the Saïd Business School (on Global Scale) and SDA Bocconi University (on local
Scale) partnered to benchmark global big data activities
12 www.ibm.com/2012bigdatastudy 12

Big Data: lo stato dell’arte

1 Customer analytics are driving big data initiatives

Big data is dependent upon a scalable and extensible
2 information foundation

Initial big data efforts are focused on gaining insights
3 from existing and new sources of internal data

4 Big data requires strong analytics capabilities

The emerging pattern of big data adoption is
5 focused upon delivering measureable business value

IBM e Saïd Business School (Università di Oxford – ricerca globale) e Università SDA Bocconi
(Italia) hanno collaborato per un benchmark sulle iniziative Big Data
13

Key Findings: Big Data Activities

>1000 Business Managers

24% 47% 28%
Have Not Begun Big Data Planning Big Data Pilot & Implementation of
Activities Activities Big Data Activities

25% 57% 18%

>200 CIOs

14

IBM Big Data Platform & Ecosystem
IBM SOCIAL MEDIA ANALYTICS IBM CONTENT ANALYTICS
Out-of-the-Box Social Analytics Out-of-the-Box Text analytics
6 Environment Open environment with Enterprise Search 5

Analytic Applications
INFOSPHERE BI / Exploration / Functional Industry Predictive Content
DATA EXPLORER Reporting Visualization App App Analytics Analytics
BI / PURE DATA for Analytics
Reporting
(VIVISIMO) (NETEZZA)
IBM Big Data Platform 2
4 4
Visualization Application Systems – Optimized Very Large
– Search (and federate
& Discovery Development Management Data Warehousing
data) in a big data context

Accelerators

Hadoop Stream Data INFOSPHERE
INFOSPHERE
System Computing Warehouse STREAMS
BIGINSIGHTS
3
1
– Analyse large
1 – Analyse large
structured and
structured and unstructured data set in
unstructured data sets Information Integration & Governance
streaming

15

Il Data Warehouse e la Business Analytics…. ben si
integrano con la BIG DATA platform
1 IBM InfoSphere BigInsights

6
Cognos 5
External Source Systems
Applications
Structured,
Semi Structured/ Unstructured Data Spreadsheets 4
Sensors IBM Vivisimo
Data
Warehouse 2
Master Data
Management Cubi

Netezza
ETL
Data Integration 3
Data Quality IBM InfoSphere Streams
Data Delivery

16

L’ecosistema Big Data : la chiave è l’interoperabilità

Traditional /
Relational
Traditional
Warehouse Data Sources

Data Analytics on
Warehouse Structured Data

Non-Traditional /
Non-Relational
Streaming Data Sources
Data

InfoSphere Analytics on
Streams Data In-Motion

Non-Traditional/
Non-Relational
Data Sources
Internet-Scale
Data Sets
Traditional/Relational InfoSphere Analytics on
BigInsights Data at Rest
Data Sources

17

La piattaforma IBM Big Data:
La nuova frontiera di Analisi

Data Ingest
01011001100011101001001001001
100100100110100101010011100101001111001000100100010010001000100101 11000100101001001011001001010
01100100101001001010100010010
01100100101001001010100010010
11000100101001001011001001010
01100100101001001010100010010
Arricchire 01100100101001001010100010010
Analisi Real Time

01100100101001001010100010010
01100100101001001010100010010
11000100101001001011001001010
01100100101001001010100010010
01100100101001001010100010010
01100100101001001010100010010
Modello 01100100101001001010100010010
01100100101001001010100010010
Analitico 11000100101001001011001001010
01100100101001001010100010010
Adattivo 01100100101001001010100010010
01100100101001001010100010010
11000100101001001011001001010

18
18

Analisi Tradizionale estesa ai Big Data

1 Pre-Processing Hub 2 Query-able Archive 3 Exploratory Analysis

Data Explorer
Combinare dati
strutturati con
Data Explorer non strutturati
BigInsight Find and view

Streams BigInsight BigInsight

Streams
Information Information Information Server
Server Server

Data Data Data
Warehouse Warehouse Warehouse
19

Applicazioni Big Data

q Analisi cosa si dice sui Social
Media di un argomento
q Analisi messaggi Call Center
q Analisi dei LOG.
q Identificazione delle frodi.
q Ricercare dati attraverso un
motore federato
q Analisi di dati provenienti
da sensori
q ........
Si ricorre ad una soluzione Big Data, ad esempio, quando:

- risulta necessario analizzare TUTTI i dati potenzialmente disponibili e
quando l’elaborazione di un loro campione non sarebbe significativa
e in grado di fornire risultati efficaci.
- si vuole ESPLORARE, anche in modo interattivo, i dati disponibili nei casi
in cui le misure e gli indicatori di business non siano predeterminati.
- occorre analizzare un FLUSSO CONTINUO ed ampio di dati per prendere
decisioni in tempo reale

Il fenomeno Big Data non è legato ad un particolare settore di industria
fa leva sulla crescita del volume dei dati e su ulteriori dimensioni come la
Velocità e la Varietà dei dati disponibili. 20

Biginsights per elaborare in
Vestas optimizes
modo molto veloce Petabytes
di dati capital investments
based on 2.5
Petabytes of
information.
§ Model the weather to
optimize placement of
turbines, maximizing power
generation and longevity.
§ Reduce time required to
identify placement of turbine
from weeks to hours.
§ Incorporate 2.5 PB of
structured and semi-
structured information flows.
Data volume expected to
grow to 6 PB. 21
21

Infosphere Streams e Cisco turns to IBM big
Biginsights data for intelligent
per la gestione degli ambienti
infrastructure
management.
§ Optimize building energy
consumption with centralized
monitoring and control of
building monitoring system.
§ Automates preventive and
corrective maintenance of
building systems.
§ Uses Streams, InfoSphere
BigInsights and Cognos
§ Log Analytics
§ Energy Bill Forecasting
§ Energy consumption optimization
§ Detection of anomalous usage
22
22
§ Presence-aware energy mgt.
22
§ Policy enforcement

Infosphere Streams nel campo medico

Big Data enabled doctors from University of Ontario to apply neonatal infant monitoring to
predict infection in ICU 24 hours in advance

IBM Data Baby
youtube.com
23
23

Infosphere Streams per la Dublin City Centre Increases
ottimizzazione del traffico Bus Transportation
Performance
Capabilities Utilized:
Stream Computing

• Public transportation awareness solution
improves on-time performance and
provides real-time bus arrival info to
riders
• Continuously analyzes bus location data
to infer traffic conditions and predict
arrivals
• Collects, processes, and visualizes
location data of all bus vehicles
• Automatically generates transportation
routes and stop locations

Results:
• Monitoring 600 buses across 150 routes
• Analyzing 50 bus locations per second
• Anticipated to Increase bus ridership
24
24
24

CUSTOMER Analytics – GRUPO BBVA
seamlessly monitors and improves its online reputation
.
- Enables BBVA to consistently respond to and gain insight
into customer needs and feedback.
“What is great about this
solution is that it helps
- Gives BBVA the ability to measure the success of its outputs us to focus our actions
on the most important
and approaches to engaging stakeholders and customers. topics of online
discussions and
immediately plan the
- Shows whether positive or negative sentiments have
correct and most
increased or not, looks for the source and reason of suitable reaction.” –
Online Communication
comments and helps make decisions and plans. Department, BBVA

Behavioral
Data
25

CUSTOMER Analytics – MEDIASET
.
Social Analytics to collect Customer longitudinal point
of views from Web 2.0 and correlate them
with internal data “Big Data is a great
opportunity for TV
innovation in the next
Better understand its marketing campaigns and consumer
years. TV viewing is
preferences, transforming into a
multiplatform and
participative experience:
Looking for ways to analyze and differentiate consumer
the better we know and
experiences understand our viewers,
the better we can serve
them." – Valerio Motti,
Helped the client to assess the company’s corporate brands, Head of Marketing
with respect to one of its main pay-TV competitors Innovation, Mediaset
S.p.A.

Trandational
Data

Behavioral
Data
26
26

VIVISIMO – referenze

27

CASE
History

28

SUCCESS STORIES : tra le varie fonti…. eccone due

LINK

PDF File
Ricorda : Recuperare link che contiene questo doc 29

LINK UTILI

30

BIG Data : alcuni utili link

Big Data HUB & Success Stories
http://www.ibmbigdatahub.com/

Big Data University
http://bigdatauniversity.com/

BigInsights tec enablement wiki
https://www.ibm.com/developerworks/mydeveloperworks/wi
kis/home?lang=en_US#/wiki/BigInsights

FREE ebook – Harness the power of BigData
http://www.ibmbigdatahub.com/blog/research-director-reflects-
new-big-data-book

31

Mi fermo qui….

grazie per la
pazienza

32

HADOOP
&
BIGINSIGHTS
33

Biginsights basato su Hadoop ….. perchè ?

CPU istruzioni al secondo – miglioramenti significativi
1990 44 Mips at 40 Mhz
2000 3.562 Mips at 1.2 Ghz
2010 147.600 Mips at 3.3 Ghz

RAM Memory - miglioramenti significativi
– 1990 640 K
– 2000 64 Mb
– 2010 8-32 GB

Disk capacity - miglioramenti significativi
– 1990 20 MB
– 2000 10 GB
– 2010 1 TB

Disk latency (velocità di leggere e scrivere su disco ) - miglioramenti
poco significativi
Negli ultimi 7-10 anni non ci sono state enormi migliorie
correntemente la velocita è di circa 70 – 80 MB / sec

34

Quanto tempo ci vuole per scandire 1 TB ?

q 1 TB (at 80 MB / sec)
– 1 disk 3.4 hours
– 10 disks 20 min
– 100 disks 2 min
– 1000 disks 12 sec

q Per ovviare alla Disc Latency la risposta è la ..elaborazione parallela

q Hadoop : un nuovo modo per memorizzare ed elaborare i dati

ØScritto in Java
ØProgettato per lavorare su hardware non specializzato
ØGira in ambiente Linux
ØScalabile, Flessibile,Robusto

35

What is Hadoop?

§ Apache Hadoop = free, open source framework for data-
intensive applications
– Inspired by Google technologies (MapReduce, GFS)
– Yahoo has been the largest contributor to the project (Doug Cutting),
– Well-suited to batch-oriented, read-intensive applications
– Originally built to address scalability problems of Nutch, an open source
Web search technology

§ Enables applications to work with thousands of nodes and
petabytes of data in a highly parallel, cost effective manner
– CPU + disks of commodity box = Hadoop “node”
– Boxes can be combined into clusters
– New nodes can be added as needed without changing
• Data formats
• How data is loaded
• How jobs are written

36

Two Key Aspects of Hadoop

§ MapReduce framework
– MapReduce is a software framework introduced by
Google to support distributed computing on large data
sets of clusters of computers.
– How Hadoop understands and assigns work to the nodes
(machines)

§ Hadoop Distributed File System = HDFS
– Where Hadoop stores data
– A file system that spans all the nodes in a Hadoop cluster
– It links together the file systems on many local nodes to
make them into one big file system

37

Hadoop ed il paradigma Map Reduce
§I dati sono memorizzati su un sistema distribuito di server
§Le funzioni elaborative vengono inviate dove ci sono I dati
§Ogni server elabora I dati di propria competenza e condivide i risultati
§Il sistema può scalare raggiungendo migliaia di nodi e PB di dati

public static class TokenizerMapper
public static class TokenizerMapper
Hadoop Data Nodes
extends Mapper<Object,Text,Text,IntWritable> {{
extends Mapper<Object,Text,Text,IntWritable>
private final static IntWritable
private final static IntWritable
one == new IntWritable(1);
one new IntWritable(1);
private Text word == new Text();
private Text word new Text();
public void map(Object key, Text val, Context
public void map(Object key, Text val, Context
StringTokenizer itr ==
StringTokenizer itr
new StringTokenizer(val.toString());
new StringTokenizer(val.toString());
while (itr.hasMoreTokens()) {{
while (itr.hasMoreTokens())
word.set(itr.nextToken());
word.set(itr.nextToken());
context.write(word, one);
context.write(word, one);
}}
1. Map Phase
(spezza il job in piccole parti)
}}
}}

public static class IntSumReducer

2. Shuffle
public static class IntSumReducer
extends Reducer<Text,IntWritable,Text,IntWrita
extends Reducer<Text,IntWritable,Text,IntWrita

Distribute map
private IntWritable result == new IntWritable();
private IntWritable result new IntWritable();
public void reduce(Text key,
public void reduce(Text key,
Iterable<IntWritable> val, Context context){
Iterable<IntWritable> val, Context context){
int sum == 0;
int sum 0;
for (IntWritable vv :: val) {{ tasks to cluster (riordina I risultati parziali per
for (IntWritable val)
sum += v.get();
sum += v.get();
.. .. ..
le elaborazione finale)
3. Reduce Phase
(rielabora il tutto per ottenere
MapReduce Application
un singolo risultato)
Shuffle

Result Set Return a single result set

38

BigInsights estende le capabilities di Hadoop open
source con l’aggiunta di nuove funzionalità ….

InfoSphere BigInsights

Advanced Engines

Development Tools
Analytic Applications
Enterprise Indexing
BI / Exploration / Functional Industry Predictive Content

capabilities Reporting Visualization App App BI /
Analytics Analytics
Report

Connectors ing

IBM Big Data Platform
Visualization Application Systems
Workload Optimization & Discovery Development Management

Administration & Security Accelerators

Hadoop Stream Data
System Computing Warehouse

Open source IBM tested & supported
based open source components Information Integration & Governance
components

39

Infosphere BigInsights : due edizioni

Con BigInsights le aziende possono indirizzare l’ elaborazione di enormi quantità di
dati mai prima sfruttate e ricavare nuova conoscenza in modo efficiente, ottimizzato e
scalabile.
Tale infrastruttura sfrutta il MapReduce framework di Hadoop per affrontare
l’elaborazione parallela di grandi insiemi di dati distribuiti su numerosi nodi. 40
40

Infosphere BigInsights : due edizioni

Enterprise Edition
GPFS-SNC Native Support*
Spreadsheet-style data exploration
Job and Workflow Management
Productivity and Efficiency Improvements
Integration with InfoSphere Warehouse
Integration with Netezza
Integration with DB2
Large Scale Indexing
Basic Edition Text Analytics
Machine Learning*
Free Download, Easy Installation Tiered Terabyte Pricing
24x7 Web Support, 10TB Limit
Paid Support Option * = coming soon

41

Biginsights on Cloud

42

IBM BigInsights on Cloud
Hadoop for everyone

43

Infosphere Streams

44

Infosphere Streams

InfoSphere Streams dispone di un’infrastruttura software agile e scalabile per
l’analisi in tempo reale di enormi flussi di dati in movimento, di qualsiasi natura e
provenienti da innumerevoli sorgenti.

Tale tipo di elaborazione aumenta la precisione e la velocità del processo
decisionale in diversi campi come quelli sanitario, astronomico,
manifatturiero, finanziario e molti altri ancora.
45

Categories of Problems Solved by Streams

§ Applications that require on-the-fly processing, filtering and analysis
of streaming data
– Sensors: environmental, industrial, surveillance video, GPS, …
– “Data exhaust”: network/system/web server/app server log files
– High-rate transaction data: financial transactions, call detail records

§ Criteria: two or more of the following
– Messages are processed in isolation or in limited data windows
– Sources include non-traditional data (spatial, imagery, text, …)
– Sources vary in connection methods, data rates, and processing
requirements, presenting integration challenges
– Data rates/volumes require the resources of multiple processing nodes
– Analysis and response are needed with sub-millisecond latency
– Data rates and volumes are too great for store-and-mine approaches

46

Elaborazione real time time con infosphere streams

à continuous ingestion infrastructure provides services for
scheduling analytics across h/w nodes
à continuous analysis
establishing streaming connectivity
…
Filter
Transform Annotate

Correlate
Classify

achieve scale
by partitioning applications into components 47
by distributing across stream-connected hardware nodes 2012 IBM Corporation

Infosphere Data
Explorer
(ex VIVISIMO)
48

Vivisimo e la sua missione

Aiuta le organizzazioni a scoprire,
organizzare, analizzare e navigare
grandi quantità di dati eterogenei e
dinamici, sia strutturati che
destrutturati, indipendentemente da
dove siano gestiti o storicizzati, per
incrementare l’efficienza ed il valore
nei processi di business.

49

Vivisimo nell’azienda

Relational
Data § Garantire l'accesso a numerose
applicazioni e archivi dati
File
Systems
§ Scoprire e navigare all’interno di
Content
Management
tutta l’azienda
§ Fondere informazioni strutturate
Email

Velocity Platform
e non strutturate per guidare
l’azienda verso:
CRM
Application/ – Migliori decisioni
Users
Supply
– Operazioni più efficienti
Chain – Migliore comprensione dei
clienti
ERP
– Innovazione
Commenting

RSS Feeds § Strumenti Social per la
Tagging
collaborazione ed il riutilizzo
Rating Cloud

Shared Custom
Folders Sources

Social Tools External
Sources
50

Vivisimo ricerca federata

51
51

Vivisimo architettura

User Profiles Application SDK Federated Sources

Authentication/Authorization
Query transformation
Personalization
Display Subscriptions Feeds Web Results

Text Analytics Meta-Data
Search Engine
Thesauri Faceting
Clustering BI
Ontology Support Tagging
Semantic Processing Taxonomy
Entity Extraction Collaboration
Relevancy

Connector
Framework

CM, RM, DM RDBMS Feeds Web 2.0 Email Web CRM, ERP File Systems

52

CUSTOMER
Analytics
esempi..
53

CUSTOMER Analytics - alcuni esempi ..
Deeper Customer Analytics Examples and Best Practice and leverage Big Data:
Ready for Business

Behavioral Data

Connect with Clients &
prospects, with Brands
...analyse strong and weak
Delight customers with targeted signals in discussion
….social and transactional
propositions You

Real time interaction
Interaction Data across channels Transaction
Interact!
Data

Single view
Business Data,
Social Data,
Interactive data

Enterprise Systems
54

CUSTOMER Analytics – MOBY Lines .
Digital marketing optimization: lifetime individual
tracking, microsegmentation, channel attribution,
proposition automation
Intuitive

Social
collection

Digital & Multichannel
Marketing / individual
digital analytics, real time Single view
Business Data,
monitoring, I/O ERP data, Social Data,
Interactive data
dynamic segments, mkt.
automation 55
Enterprise Systems

CUSTOMER Analytics – GARANTY bank – un filmato..
Garanty Real time interaction across channels

Single view
Business Data,
Social Data,
Interactive data

56

Big Data & Bird & Bird - seminar

Big Data & Bird & Bird - seminar

Recommended

Recommended

More Related Content

What's hot

What's hot (10)

Viewers also liked

Viewers also liked (15)

Similar to Big Data & Bird & Bird - seminar

Similar to Big Data & Bird & Bird - seminar (20)

Recently uploaded

Recently uploaded (9)

Big Data & Bird & Bird - seminar