"Déjà-vu ? C'est généralement un bug dans la Matrice. Ça arrive quand ils modifient quelque chose..." Le monde de l'analytics est en train de changer, mais plus discrètement que ces 15 dernières années. Cette fois, pas de technologie permettant un passage à l'échelle X ou bien promettant des performances Y. Retour aux sources, à la sémantique et au bon vieux DataWarehouse centralisé. Il y a comme une sensation de déjà vu : serait-ce un retour en arrière ? Non ! Mais nous avons vécu un cycle IT, et nous allons voir ce qui a changé par rapport à la dernière fois... TAKE AWAY Une vision du futur des architectures Data en analysant leur passé, les organisations et usages actuels, et les tendances technologiques.

1. 1
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Archi Data : déjà-vu ?
2010
2000 2020 Futur…

2. Coin
Coin
!
2
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Qui suis-je ?
Référent Data @ OCTO Technology
Benjamin Joyen-Conseil
Data Engineering
Data Science
Data centrée
utilisateur
@BenJoyenConseil Github & LinkedIn

3. Coin
Coin
!
3
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2023 : Modern Data Stack est la matrice

4. Coin
Coin
!
4
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Data Warehouse au centre : déjà vu

5. Coin
Coin
!
5
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2000 : Retour vers le passé
2010
2000 2020 Futur…

6. Coin
Coin
!
6
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2000 à 2010 : Explosion du modèle
2010
2000 2020 Futur…

7. Coin
Coin
!
7
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2000
2000 à 2010 : Explosion du modèle
2010 2020 Futur…
2000 2010
2010

8. Coin
Coin
!
8
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2010 : Le Bilan
2010
2000 2020 Futur…

9. Coin
Coin
!
9
La Duck Conf by OCTO Technology © 2023 - All rights reserved
décennie 2010
Les ETLs
2
2010
2000 2020 Futur…

10. Coin
Coin
!
10
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Moyen Age : Retour vers le passé
2010 2020 Futur…
Moyen Age 2010

11. 11
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2010 à 2020 : multiplication des produits SaaS
2000 2020 Futur…
2010
2010

12. Coin
Coin
!
12
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2010 à 2020 : ETL devient EL(T)
2010
2000 2020 Futur…

13. Coin
Coin
!
13
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2010 à 2020 : ETL devient EL(T)
2010
2000 2020 Futur…

14. Coin
Coin
!
14
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2015 : DAG et QA
2010
2000 2020 Futur…
2015

15. Coin
Coin
!
15
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2020
Le cycle IT
touche à sa fin
3
2010
2000 Futur…
2020

16. 16
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2023 : Les nouveaux standards
๏ Le DW Cloud ouvre l’analytique à toute entreprise
๏ data pipeline…………as Code
data modelisation…....as Code
data contract…………....as Code
๏ DAG : accessibilité du pipeline data aux
populations data
๏ Les datasets respectent des contrats, pour servir
leurs utilisateurs
2010
2000 2020 Futur…

17. Coin
Coin
!
17
La Duck Conf by OCTO Technology © 2023 - All rights reserved
à l’horizon 2025
Prédictions
4
2010
2000 2020 Futur…

18. Coin
Coin
!
18
La Duck Conf by OCTO Technology © 2023 - All rights reserved
1 - Shift right : reporting…..as Code
2010
2000 2020 Futur…

19. Coin
Coin
!
19
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2 - Remise en question du SQL pour illisibilité !
WITH table_0 AS (
SELECT
employees.*,
ROW_NUMBER() OVER (
PARTITION BY role
ORDER BY
join_date
) AS _rn
FROM
employees
)
SELECT
table_0.*
FROM
table_0
WHERE
_rn <= 1
SQL
from employees
group role (
sort join_date
take 1
)
PRQL
étape 2
étape 1
étape 3
étape 4
étape 1
étape 2
étape 3
étape 5
étape 4
2010
2000 2020 Futur…

20. Coin
Coin
!
20
La Duck Conf by OCTO Technology © 2023 - All rights reserved
dbt
3 - Modern Data Stack en boîte 🥫
approche
embarquée de
l’analytique
Apache
Arrow
DuckDB
● vectorization
● IO-Stream
● compression
● statistiques
● PostgreSQL
● Parquet
● embarqué
● natif
la
performance
accessible
Analytique
avec Layers
● build DW layers
● idempotence
langage
moderne de
transformations
PRQL
● orthogonal
● moderne
● compatible SQL
2010
2000 2020 Futur…
Data Warehouse Serverless

21. Coin
Coin
!
21
La Duck Conf by OCTO Technology © 2023 - All rights reserved
3 - Apache Arrow + duckDB + dbt + PRQL = MDS en boîte 🥫
- simple
- portable
- légère
- rapide à instancier
2010
2000 2020 Futur…

22. 22
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
La Matrice encore plus accessible
2000 Data Analystes
2010 Data Ingénieurs
2015 Data Scientifiques
2020 Data PO, PM, UX
2025 Data Citizen

23. Coin
Coin
!
23
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Again and again…

24. Coin
Coin
!
24
La Duck Conf by OCTO Technology © 2023 - All rights reserved