Introduction au Big Data dans le domaine de l'Observation de la Terre

1. Big Data from Space
Le Big Data et les satellites d’Observation de laTerre
Jérôme GASPERI

2. IQu’est ce q ue le Big Dat a

3. BIG

5. Volume Variété Vitesse
€Valeur

6. Volume

7. 1 octet

8. 1 Ko

9. 1 Mo

10. 1 Go
x3

11. 1 To
x2

12. 1 Po

13. 1 Eo

14. 1 Zo
etc.

15. 1 Yo

16. Variété Vitesse

18. €Valeur

19. Brett Ryder - http://www.economist.com/node/15579717
Extraire l’information

20. OCEANOuverture - Libéral & artistique vs conservateur
Conscienciosité - organisation vs spontanéité
Extraversion - émotions positives vs timide et réservé
Agréabilité - coopératif vs compétitif
Neuroticisme - émotions désagréables vs calme et relax

21. http://fivethirtyeight.com/datalab/this-algorithm-knows-you-better-than-your-facebook-friends-do/

22. Big Data...Big Problem ?

24. 1 milliard de milliard d’opér at ions par seconde en 2 0 24
1,000,000,000,000,000,000

25. vs
~ 30W ~ 30MW
1x 3x

26. 9%Part de la consommation française d’électricité due au data centers
http://www.latribune.fr/entreprises-finance/industrie/energie-environnement/efficacite-energetique-les-data-centers-encore-defaillants-619895.html

27. Your Online World:
Green IRL, or #dirty?
Amazon
Web
Services
Digital
Realty
Dupont
Fabros
Ebay
Google
Facebook
Oracle
HP
Yahoo
IBM
Microsoft
Apple
Salesforce
Rackspace
Equinix
Telecity
http://www.greenpeace.org/usa/clickclean/#report
2014

28. IIBig D a t a f rom s pa ce
Vo l u m e

29. Doter l'Europe d'une capacité opérationnelle et autonome
d'observation de la Terre en tant que « services d’intérêt général
européen, à accès libre, plein et entier »
Le programme Copernicus

30. Coordination technique
Missions Sentinels
Missions Contributrices
Atmosphère
Climat
Marine
Sécurité
Terre
Urgences
Coordination
Etats membres
ESPACE SERVICES IN SITU
Plateformes d’accès
Applications avals

31. Coordination technique
Missions Sentinels
Missions Contributrices
Atmosphère
Climat
Marine
Sécurité
Terre
Urgences
Coordination
Etats membres
ESPACE SERVICES IN SITU
Plateformes d’accès
Applications avals
0.9 Mds €3.4 Mds €

32. Atmosphere monitoring

33. Climate Change

34. Emergency

35. Land monitoring

36. Marine monitoring

37. Security

38. Sentinel-1
RADAR
S1A - April 2014
S1B mid 2016
Sentinel-2
OPTICAL
S2A - June 2015
S2B mid 2016
Sentinel-3
ALTIMETER / SEA SURFACE
S3A - Summer 2015
S3B mid 2016
Sentinel-4
ATMOSPHERE
2018
Sentinel-5P
ATMOSPHERE
End 2015Sentinel-5
ATMOSPHERE
2020
Sentinel-6
ALTIMETER
2020
Sentinel
Le volet spatial du programme
Copernicus

39. Sentinel-1
RADAR
S1A - April 2014
S1B mid 2015
Sentinel-2
OPTICAL
S2A - June 2015
S2B mid 2016
Sentinel-3
ALTIMETER / SEA SURFACE
S3A - Summer 2015
S3B mid 2016
PEPS
Plateforme d’Exploitation des Produits Sentinel
2015-2017
Phase 1

40. Sentinel 1Radar en bande C
Surveillance maritime,
Géophysique, Glaciologie, etc.
Orbite Héliosynchrone
Altitude 693 km

41. Observation Optique, Evolutions
des sols, Agriculture,
Cartographie, etc.
Orbite Héliosynchrone
Altitude 786 km
Sentinel 2

42. Sentinel 3
Hauteurs des océans, Couleur et température
de surface
Orbite Héliosynchrone
Altitude 814 km

44. 2017
7 POVolume stocké au CNES Toulouse fin 2017
DVDs

45. Bull HPSS
2 PO
7 PO
Disques durs
Stockage Bandes
Migration automatique
Récupération « transparente »
Montage NFS
CNES data center - Toulouse, France

46. https://peps.cnes.fr

47. IIIBig D a t a f rom s pa ce

48. Chercher dans des millions d’images ?
Trouver

49. Quand Où Comment

50. Contenu de l’image ?
Quoi

51. ex. Dans le cadre d’une étude d’impact sur l’augmentation du niveau des océans,
je cherche des images sans nuage de villes côtières situées en Asie
:) :)
:(

52. Sven Sachsalber | http://www.palaisdetokyo.com/fr/events/sven-sachsalber

53. Sven Sachsalber | http://www.palaisdetokyo.com/fr/events/sven-sachsalber
17 hours 45 minutes

54. Traiter les images

55. Du pixel...
Image satellitaire
...à l’information
Carte d’occupation du sol
Cultures
Bâtiment Forêt

56. Orfeo Toolbox Remote sensing image library
Open Source
Developed by the French Space Agency
Exemple 1

57. Orfeo Toolbox More than 70 high level processing chains
orthorectification
segmentation
classification
etc.

58. Orfeo Toolbox More than 70 high level processing chains
orthorectification
segmentation
classification
etc.
Supervised learning
(land cover is computed from a set of "well known areas" given by user)
Based on SVM
(http://en.wikipedia.org/wiki/Support_vector_machine)

60. Deep learning
Exemple 2
????

61. http://techcrunch.com/2014/08/15/google-buys-jetpac-to-give-context-to-visual-searches/
+ =
Deep learning

62. Deep learning !!!!
Plutôt adapté à l’extraction d’objets (ex. aéroport, route, tank, etc.)
Quelle base de référence d’images ?

64. Emprise de l’image
Bords de côtes
Toponymes
(Continents, Pays, Régions, Etats)
Densité de population
Occupation du sol
…etc…
Couches d’informations
github.com/jjrom/itag
iTag
[…etc…]
{
"name":"Europe",
"id":"continent:europe",
"countries":[
{
"name":"Italy",
"id":"country:italy",
"pcover":37.02,
"regions":[
{
"name":"Valle d'Aosta",
"id":"region:valle-d-aosta",
"states":[
{
"name":"Aoste",
"id":"state:aoste",
"pcover":37.02,
"toponyms":[]
}
]
}
]
},
[…etc…]
Temps de traitement < 1 seconde

65. Métadonnées
« améliorées »
Métadonnées
« traditionnelles »

66. California
Coastal
town
spring
without clouds
github.com/jjrom/resto
resto

67. Brett Ryder - http://www.economist.com/node/15579717
Extraire l’information

68. Heatmaps
Visualiser tous les résultats de recherche ?
Problème

69. ~201 300 produits
11/02/2016

70. ~11000 produits
11/02/2016

71. « Pléiades les 15 derniers jours »

72. « Villes aux Etats-Unis les 15 derniers jours »

73. « Zones cultivées aux Etats-Unis »
Carte de référence pour comparaison

74. […] je cherche des images sans nuage de villes côtières situées en Asie

75. IVO ne m ore t hing

76. Extraire l’information« We create as much information in two days now
as we did from the dawn of man through 2003 »
Eric Schmidt

77. Avant 2003 Après 2003

78. 1 gramme = 455 Exaoctet

79. Merci !