Data in Motion Frankfurt

1. Cut the elephant into slices
AXEL LUDWIG (SVA) & DIRK BÖNNING (GLS)

2. 01
DATA IN MOTION – FRANKFURT 2022
AGENDA
17.10.2022 2
SVA & GLS
02 Use-Case ShipIT
03 Alte Welt
04 Aktuelle Welt
05 Probleme
06 Vision – Neue Welt

3. Personal & Finanzen
3
17.10.2022
SVA & GLS

4. SVA System Vertrieb Alexander GmbH
ÜBER UNS
17.10.2022 4
1997
gegründet
4.200+
Kunden
Lokationen
26
Wiesbaden

5. GLS Group
ÜBER UNS
17.10.2022 5
GLS subsidiaries
GLS partners
In fiscal year 2021/22
GLS Group achieved a
total revenue of 5
billion Euros.
In fiscal year 2021/22
GLS Group transported
870 million parcels.
More than 250,000
customers trust GLS.
Through own
subsidiaries and partners
GLS Group covers more
than 40 countries.
GLS Group operates
about 120 national and
regional hubs as well
as over 1,600 depots
and agencies.
Over 37,000 delivery
vans and more than
4,500 long distance
trucks are on the road
for GLS.
Over 22,000
employees work every
day for GLS to ensure a
smooth parcel shipment.
In more than 33,000
Parcel Shops parcels
can be sent and
received.

6. Personal & Finanzen
6
17.10.2022
Use-Case ShipIT

7. GLS
Site
USE CASE SHIPIT
17.10.2022 7
Customer
Site
Customer
software
ERP - LocalBackend
Local
Backend
Webservices
Local
Backend
Frontend
Stand-alone Multi Frontends
Local
Backend
Fronten
d
Fronten
d
Fronten
d
GLS ShipIT Data Hub
GLS Core
ERP - WebBackend
Customer
software
Central
WebBackend
X
Central
WebBackend
2
Central
WebBackend
1
ShipIT löst zwei in
die Jahre
gekommene
Kundensysteme ab
ShipIT bedient
Mittelstand bis
Großkunden.
ShipIT muss „alle“
Kundenszenarien
abdecken
Performanz !
Durchsatz !
Latenz !

8. Personal & Finanzen
8
17.10.2022
Alte Welt

9. ALTE WELT
17.10.2022 9
GLS
Core
Client
Datahub
Integrations
Plattform
Batch Betrieb
DB Replicator
REST
REST
Integrinteationsplattf
orm
Hohe Latenzen
durch Batch Betrieb
Datahub
Monolith -> Lange deployment
Zyklen, eingeschränkte
Skalierung
DB Replicator
Fremdsoftware = Black Box und
partiell überfordert > 1.000
Installationen
Probleme:

10. Personal & Finanzen
10
17.10.2022
Aktuelle Welt

11. Anforderungen:
• Datenbankreplizierung mittels CDC + Kafka
• Cloudbasierte Lösung
• Skalierbarkeit
• REST- und Kafka Consumer-Schnittstelle
• Upgrade alter Clients ohne Neuinstallation
• Vorbereitung zukünftiger Splittung des Monolithen
(„Cut the elephant into slices“)
Aktuelle Welt
17.10.2022 11
Quelle: https://medium.com/@zrehan286/approaching-a-problem-f6d6138e70d1

12. AKTUELLE WELT
17.10.2022 12
GLS
Core
Client
Datahub
Integrations
Plattform
Batch Betrieb
DB Replicator
REST
REST
REST
Avro

13. KStreams-
Aktuelle Welt
17.10.2022 13
Authorizer
ShipIT Client
Synchronizer
Consumer-
Applications
KStreams-
App
GLS
Core
Datahub
(RDS)

14. Personal & Finanzen
14
17.10.2022
Probleme

15. • Deduplizieren / Pseudo-Updates filtern
• Keys
• Foreign Keys
• Primary Keys ≠ Kafka-Keys
• Partitionierung
• Retention Policy
• Stammdaten vs. Transaktionsdaten
• Bad Data
• Notfallplan „epoch raise“
• Betrieb
• Handling vieler Applikationen
• Epoch raise fehleranfällig
🡺 Automatisierung: Terraform, Ansible, Kubernetes
Probleme
17.10.2022 15

16. Personal & Finanzen
16
17.10.2022
Vision – Neue Welt

17. NEUE WELT
17.10.2022 17
GLS
Core
Client
Datahub
Integrations
Plattform
Batch Betrieb
DB Replicator
REST
REST
REST
Avro

18. REST
17.10.2022 18
GLS
Core
Client
Batch Betrieb
DB Replicator
REST
REST
Avro
Nummernkreis
NEUE WELT

19. REST
17.10.2022 19
GLS
Core
Client
Batch Betrieb
DB Replicator
REST
REST
Avro
Nummernkreis
NEUE WELT
Sendungsverfolgung

20. REST
17.10.2022 20
GLS
Core
Client
Batch Betrieb
DB Replicator
REST
Avro
Nummernkreis
NEUE WELT
Sendungsverfolgung
DataReceiver
REST

21. REST
17.10.2022 21
GLS
Core
Client
Batch Betrieb
DB Replicator
REST
REST
Avro
Nummernkreis
Sendungsverfolgung
DataReceiver
Lobster EDI
NEUE WELT

22. REST
17.10.2022 22
GLS
Core
Client
Batch Betrieb
DB Replicator
REST
REST
Avro
Nummernkreis
Sendungsverfolgung
DataReceiver
Lobster EDI
NEUE WELT

23. 17.10.2022 23
GLS
Core
Client
Batch Betrieb
DB Replicator
REST
REST
Avro
Nummernkreis
Sendungsverfolgung
DataReceiver
Lobster EDI
NEUE WELT

24. TIPP: MACHE DIE SCHEIBEN NICHT ZU GROSS
17.10.2022 24

25. BESUCHT UNS AM STAND DER SVA
THE END