Integration in der Cloud mit Camel, Karaf und Cellar

•

0 gostou•716 visualizações

inovex GmbH

Tecnologia

Achim Nierbeck | inovex

Integration in der Cloud mit
Camel, Karaf und Cellar

Agenda
•
•
•
•
•
•

Vorstellung
Cloud? Integration? Cluster?
Protagonisten - Eine Vorstellung
Integration + Cloud
Demo
... don't Panic!

Vorstellung
• Achim Nierbeck
• inovex GmbH
– Pforzheim, Karlsruhe, München Köln

• @anierbeck
• open source
– Apache Karaf PMC
– Apache Kalumet PMC
– OPS4j Pax Web Project Lead

Integration? Cluster? Cloud?
Situation
• wie kommen die
Daten an ihr Ziel
• woher kommen die
Daten
• welche Daten

Image: © Nevit Dilmen found at Wikimedia commons

Integration mit Camel

Apache Camel is messaging
technology glue with routing. It joins
together messaging start and end
points allowing the transference of
messages from different sources to
different destinations. For example:

JMS->JSON
HTTP->JMS
or funneling

FTP->JMS, HTTP->JMS
JMS=>JSON
Quelle: Universal Business Adapter (IBM)

http://stackoverflow.com/questions/8845186/what-exactly-is-apache-camel

EAI - Enterprise Application Integration

• Gregor Hohpe und
Bobby Woolfe
• Martin Fowler: „the
missing piece“ zu Patterns
of Enterprise Application
Architecture

Die Protagonisten
• Apache Camel
– Eines der am weitesten verbreiteten EAI
Frameworks

• Apache Karaf
– Leichtgewichtiger OSGi Container
– perfekte Laufzeitumgebung für Camel

• Apache Karaf-Cellar
– Karaf Cluster Lösung --> Cloud Lösung

Karaf Cellar - Farming

Maven Repo

Node 1

Whitelist:
- xxx
- yyy
Blacklist:
- zzz

Node 2

Whitelist:
- xxx
- zzz
Blacklist:
- yyy

Karaf Cellar - Farming

Node 1

Whitelist:
- xxx
- yyy
Blacklist:
- zzz

Node 2

Whitelist:
- xxx
- zzz
Blacklist:
- yyy

re
Featu
install
xxx

Maven Repo

Karaf Cellar - Farming

Maven Repo

Node 1
Replicate
Node 2

Whitelist:
- xxx
- yyy
Blacklist:
- zzz

Whitelist:
- xxx
- zzz
Blacklist:
- yyy

Karaf Cellar - Farming

Maven Repo

Node 1

Whitelist:
- xxx
- yyy
Blacklist:
- zzz

Node 2

Whitelist:
- xxx
- zzz
Blacklist:
- yyy

e
tur
a
Fe tall
ins
x
xx

Karaf Cellar - Farming

Maven Repo

Node 1

Whitelist:
- xxx
- yyy
Blacklist:
- zzz

Node 2

Whitelist:
- xxx
- zzz
Blacklist:
- yyy

e
tur
a
Fe tall
ins
z
zz

Integration in der Cloud

Apache Camel
Apache Karaf-Cellar
Apache Karaf

Cloud Integration

EC-Node 1

© twitter.com

EC-Node 3

S3
EIP:
Privat Node

Data

EC-Node 2

HDFS

Cloud Integration

EC-Node 1

© twitter.com

EC-Node 3

S3
to(s3://bucket/object)

EIP:
Privat Node

Data

EC-Node 2

HDFS

Cloud Integration

EC-Node 1

© twitter.com

EC-Node 3

S3
EIP:
Privat Node

to(cxf:endpoint)

Data

EC-Node 2

HDFS

Cloud Integration

EC-Node 1

© twitter.com

EC-Node 3

S3
EIP:

EC-Node 2

Privat Node

Data

from(cxf:endpoint).to(jms:queue)

HDFS

Cloud Integration

from(twitter://xxx).bean(filterBean).to(hdfs://storage)
EC-Node 1

© twitter.com

EC-Node 3

S3
EIP:
Privat Node

Data

EC-Node 2

HDFS

Cloud Integration

EC-Node 1

© twitter.com

EC-Node 3

S3
EIP:

HDFS

EC-Node 2

Privat Node

Data

from(jms).convertTo(String.class).
to(hazelcast:seda:queue)

Cloud Integration

EC-Node 1

© twitter.com

EC-Node 3

S3
EIP:
Privat Node

Data

EC-Node 2

HDFS

from(hazelcast:seda:queue).
to(hdfs:storage)

DEMO

from(seda:x).to(blobstore)

Brow

se

EC-Node 1

S3
EIP:
Privat Node

from(file).to(cxf)

EC-Node 2

from(cxf)
.to(hazelcast:
seda:
queue)

... don't Panic
• Bring dein Handtuch mit
• http://camel.apache.org
• http://karaf.apache.org
• http://karaf.apache.org/index/subprojects/cellar.html
• Showcase:
https://github.com/inovex/camel-cloud-integartion-jax2013/
• Fragen immer jederzeit auf den Mailinglisten
• … am Inovex Stand

Mais conteúdo relacionado

Semelhante a Integration in der Cloud mit Camel, Karaf und Cellar

Mehrserver Lösungen

Avarteq

Infrastructure as Code mit Terraform

Harald Schmaldienst

Rails in Production - telewebber Architektur

Heiko Seebach

Java scheint mit seinem Memory- und Runtime-Overhead in Zeiten von Cloud-native und Serverless nicht wirklich gut für die Zukunft gerüstet. Erschwerend kommt hinzu, dass viele auf Java basierende Frameworks mit Annotation Scanning, Aufbau von Proxies und Caches das Start- und Speicherverhalten weiter negativ beeinflussen. Bedeutet das das Aus für Java in der Wunderwelt der Cloud? Mitnichten! Projekte wie Quarkus versuchen, Java in der Cloud zur Numero Uno werden zu lassen. Und das auf beeindruckende Art und Weise. Die Session zeigt anhand praktischer Beispiele, was heute bereits möglich ist.

Supersonic Java für die Cloud: Quarkus

OPEN KNOWLEDGE GmbH

Infra coders meetup

Aleksandar Lazic

7. IPv6 Umstellung in einem Kleinbetrieb - Marcel Klebl

Digicomp Academy AG

PHP Deployment mit Ansible

Michael Döhler

Digitale Sprachassistenten sind in aller Munde. Alexa mischt mit dem Amazon Echo ganz vorne mit. Doch die meisten Entwickler verbinden die Programmierung von Alexa Skills nicht direkt mit PHP. Im Frühsommer 2017 basierte der am häufigsten eingesetzte deutschsprachige Skill jedoch auf einer PHP-Anwendung. In dieser Session erfahren Sie vom Entwickler dieses Skills, wie Sie Ihren Alexa Skill konfigurieren können und wie Sie für das Backend auf Ihre PHP-Kenntnisse zurückgreifen können. Zudem lernen Sie, welche Fallstricke es bei der Entwicklung zu beachten gibt, und wie Sie diese meistern.

IPC 2017 - Alexa Skills für Amazon Echo mit PHP entwickeln

Ralf Eggert

Rack-Middleware

Hussein Morsy

Semelhante a Integration in der Cloud mit Camel, Karaf und Cellar (9)

Mehrserver Lösungen

Infrastructure as Code mit Terraform

Rails in Production - telewebber Architektur

Supersonic Java für die Cloud: Quarkus

Infra coders meetup

7. IPv6 Umstellung in einem Kleinbetrieb - Marcel Klebl

PHP Deployment mit Ansible

IPC 2017 - Alexa Skills für Amazon Echo mit PHP entwickeln

Rack-Middleware

Mais de inovex GmbH

lldb kann mehr als nur einfache Breakpoints oder po. In dem Vortrag zeigt Oliver Bayer, wie sich mit Hilfe von lldb Programmcode zur Ausführungszeit manipulieren lässt, ohne das hierfür der Sourcecode anzupassen ist. Sei es, damit Test- oder Debugcode nicht in die produktiv App gelangt, oder weil der Sourcecode für einen Teil der App nicht vorliegt. Event: macoun, 04.10.2019 Speaker: Oliver Bayer, inovex Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

lldb – Debugger auf Abwegen

inovex GmbH

With the advent of Deep Learning (DL), the field of AI made a giant leap forward and it is nowadays applied in many industrial use-cases. Especially critical systems like autonomous driving, require that DL methods not only produce a prediction but also state the certainty about the prediction in order to assess risks and failure. In my talk, I will give an introduction to different kinds of uncertainty, i.e. epistemic and aleatoric. To have a baseline for comparison, the classical method of Gaussian Processes for regression problems is presented. I then elaborate on different DL methods for uncertainty quantification like Quantile Regression, Monte-Carlo Dropout, and Deep Ensembles. The talk is concluded with a comparison of these techniques to Gaussian Processes and the current state of the art. Speaker: Dr. Florian Wilhelm, Simon Bachstein, inovex Event: PyCon/PyData Berlin 2019 Datum: 10.10.2019 Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Are you sure about that?! Uncertainty Quantification in AI

inovex GmbH

In 2010 ImageNet finally ended the AI winter and gave machines the sense of sight. Within the following years dramatic improvements in tasks such as image classification and object detection lead to innovations like face ID and autonomous driving. Recently, similar developments happened in the field of natural language. Using Attention mechanism and transformers tasks such as question answering and text summarization reached new benchmarks. This talk will not only explain those, but point out how Transfer Learning and open source models such as Google Bert will open the field to new innovations in AI. Speaker: Nico Kreiling, inovex Event: AIxIA, 01.10.2019 Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Why natural language is next step in the AI evolution

inovex GmbH

Die Worldwide Developers Conference (WWDC) ist eine von Apple jährlich durchgeführte Konferenz für Software-Entwickler (MacOS, iOS und WatchOS). Um die WWDC 2019 nochmal Revue passieren zu lassen, wurde beim Mobile Development Karlsruhe Meetup zu einer offenen Diskussionsrunde eingeladen. Die Slides fassen die für inovexler Philipp interessantesten Neuigkeiten der WWDC2019 zusammen und dienten beim Meetup als Diskussionsgrundlage. Event: 9. Mobile Development Meetup (WWDC Edition) Speaker: Philipp Wallrich, inovex Datum: 17.06.2019 Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

WWDC 2019 Recap

inovex GmbH

Trust is good, control is better – A short story about Network Policies. Abstract: Probably everybody who uses Kubernetes in a productive environment with multiple users possibly has looked at policies. Often the operators of the cluster(s) just trust the policies but in some cases it might be useful to control if the policies actually have taken action and often there are just to many Policies in the cluster setup to manually test them all (and obviously you don’t want to do this). Testing the effectiveness of the Network Policies can be done in different approaches. In this talk we will show you the benefits and drawbacks of different approaches and what solution we finally chose. Also we will show you some other tools and how they complement our solution. As a takeaway you will get an overview of different testing strategies for policies, as well as understanding challenges in testing policies in general and the Kubernetes ecosystem. Event: ContainerDays 2019 Datum: 26.06.2019 Speaker: Johannes M. Scheuermann, Maximilian Bischoff (beide inovex) Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Network Policies

inovex GmbH

Interpretierbarkeit von ML-Modellen hat die Zielsetzung, die Ursachen einer Prognose offenzulegen und eine daraus abgeleitete Entscheidung für einen Menschen nachvollziehbar zu erklären. Durch die Nachvollziehbarkeit von Prognosen lässt sich beispielsweise sicherstellen, dass deren Herleitung konsistent zum Domänenwissen eines Experten ist. Auch ein unfairer Bias lässt sich durch die Erklärung aussagekräftiger Beispiele identifizieren. Prognosemodelle lassen sich grob in intrinsisch interpretierbare Modelle und nicht-interpretierbare (auch Blackbox-) Modelle unterscheiden. Intrinsisch interpretierbare Modelle sind dafür bekannt, dass sie für einen Menschen leicht nachvollziehbar sind. Ein typisches Beispiel für ein solches Modell ist der Entscheidungsbaum, dessen regelbasierter Entscheidungsprozess intuitiv und leicht zugänglich ist. Im Gegensatz dazu gelten Neuronale Netze als Blackbox-Modelle, deren Prognosen durch die komplexe Netzstruktur schwer nachvollziehbar sind. In diesem Talk erläuterte Marcel Spitzer das Konzept von Interpretierbarkeit im Kontext von Machine Learning und stellte gängige Verfahren zur Interpretation von Modellen vor. Besonderen Fokus legte er dabei auf modellunabhängige Verfahren, die sich auch auf prognosestarke Blackbox-Modelle anwenden lassen. Event: M3 Minds Mastering Machines Speaker: Marcel Spitzer Blog-Artikel: https://www.inovex.de/blog/machine-learning-interpretability/ Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Interpretable Machine Learning

inovex GmbH

Das Ökosystem rund um Kubernetes wächst täglich. Insbesondere cloud-native Continuous-Deployment-Strategien stehen Hoch im Kurs und werden in diversen Open-Source-Projekten vorangetrieben. In einer Reihe von Evalutionen nimmt inovex diese Tools genauer unter die Lupe - den Anfang macht Jenkins X. Jenkins X wurde im März 2018 veröffentlicht. Das Konzept hinter dem Tool ist primär, bestehende Teillösungen (Helm, Skaffold, Prow, Tekton) einzusetzen, um sie abstrahiert in ein Kommandozeilen-Interface zu packen. Der Vortrag beschreibt sowohl die klassische Architektur als auch den "Severless"-Ansatz. Des weiteren werden das Kommandozeilen-Tool "jx", der allgemeine Entwicklungs-Workflow sowie diverse Features vorgestellt. Bei unseren Tests im Rahmen der Evaluation sind uns einige Stolpersteine aufgefallen. Es sind vor allem die vielen eingesetzten Dritt-Tools, die den Betrieb und den Upkeep eines mit Jenkins X erstellten Clusters verkomplizieren. Als Fazit stellen wir Jenkins X im Mai 2019 ein "befriedigend" aus und beobachten gespannt, wie sich das Tool in den kommmenden Monaten und Jahren weiterentwickeln wird. Event: Talk4Nerds, 29.04.2019 Speaker: Simon Kienzler, Johannes M. Scheuermann (beide inovex) Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Jenkins X – CI/CD in wolkigen Umgebungen

inovex GmbH

Neben dem großen Machine-Learning-Trend in der Cloud zeichnet sich zunehmend die Tendenz ab, bestimmte Aufgaben direkt auf Edge-Geräten auszuführen. Wir erkunden die Vorteile von Auswertungen direkt an der Quelle der Daten und die damit verbundenen Herausforderungen. Denn die Rechenleistung der Cloud steht uns hier leider nicht zur Verfügung. Zur Lösung stehen uns verschiedene Hardwareoptionen wie CPUs, GPUs, FPGAs oder spezielle ASICs und Frameworks zur Verfügung, die wir am Beispiel von einem Convolutional Neural Network evaluieren. Dabei gibt es praktische Tipps und Erfahrungen aus realen Projekten sowie anschauliche Demos auf verschiedenen Hardwareplattformen. Vorkenntnisse: Vorkenntnisse über tiefe neuronale Netze sind von Vorteil. Lernziele: - Verständnis über die Vorteile von AI auf Edge-Geräten und den damit verbundenen Herausforderungen. - Wissen über die verschiedenen Hard- und Softwarelösungen erlangen, um diese in eigenen Projekten einzusetzen. Event: building IoT, 03.04.2019 Speaker: Dominik Helleberg, inovex Mehr Tech-Vorträge: inovex.de/vortraege Mehr Blog-Artikel: inovex.de/blog

AI auf Edge-Geraeten

inovex GmbH

Der Talk auf der Konferenz „Talk4Nerds“ der R+V Versicherung bot eine Einführung in Prometheus als Monitoring-Lösung. Dabei ging inovexler Christoph auf die Anforderungen an ein modernes Monitoring Tool ein, wie Prometheus diesen Anforderungen entspricht und warum es zum defacto Standard im Kubernetes-Umfeld geworden ist. Abschließen beleuchtete Christoph die Non-Goals und wie man diese mit zusätzlichen Tools dennoch erreichen kann. Speaker: Christoph Petrausch (inovex) Event: Talk4Nerds Datum: 29.04.2019 Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Prometheus on Kubernetes

inovex GmbH

Recommender systems support the decision making processes of customers with personalized suggestions. These widely used systems influence the daily life of almost everyone across domains like ecommerce, social media, and entertainment. However, the efficient generation of relevant recommendations in large-scale systems is a very complex task. In order to provide personalization, engines and algorithms need to capture users’ varying tastes and find mostly nonlinear dependencies between them and a multitude of items. Enormous data sparsity and ambitious real-time requirements further complicate this challenge. At the same time, deep learning has been proven to solve complex tasks like object or speech recognition where traditional machine learning failed or showed mediocre performance. Join Marcel Kurovski to explore a use case for vehicle recommendations at mobile.de, Germany’s biggest online vehicle market. Marcel shares a novel regularization technique for the optimization criterion and evaluates it against various baselines. To achieve high scalability, he combines this method with strategies for efficient candidate generation based on user and item embeddings—providing a holistic solution for candidate generation and ranking. The proposed approach outperforms collaborative filtering and hybrid collaborative-content-based filtering by 73% and 143% for MAP@5. It also scales well for millions of items and users returning recommendations in tens of milliseconds. Event: O'Reilly Artificial Intelligence Conference, New York, 18.04.2019 Speaker: Marcel Kurovski, inovex GmbH Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Deep Learning for Recommender Systems

inovex GmbH

In seinem Meetup Talk berichtete Maximilian von den aktuellen Problemen von Cloud Computing – insbesondere im Internet of Things – und wie diese durch Edge Computing mitigiert werden können. Er erklärte, wie eine generische Edge-Computing-Architektur aussehen kann und zeigte Anwendungsfälle, von denen manche auch schon in existierenden Produkten umgesetzt sind. Im Anschluss stellte er Azure IoT Edge vor und erläuterte, wie es das bestehende IoT Framework von Microsoft erweitert sowie die Grundkonzepte, die IoT Edge bereitstellt. Auch die Probleme in dem noch jungen Produkt wurden angesprochen, aber auch die Vorteile und Features, die es liefert. In der gemeinsamen Demo mit Eli haben dann beide Speaker die technischen Details von Azure IoT Edge gezeigt und demonstriert, beispielsweise wie Code automatisiert von einer CI/CD-Pipeline in Azure DevOps auf ein IoT-Gerät deployed werden kann. Event: inovex Meetup, 12.03.& 19.03.2019 Speaker: Maximilian Bischoff, inovex Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Azure IoT Edge

inovex GmbH

Es liegt in der Natur des Menschen das Unvorhersehbare vorherzusagen: Wetter, Aktienkurse, Krankheitsverläufe, die Reaktion eines Menschen. Neueste Deep Learning Ansätze sind in der Lage solche sequentielle Sachverhalte immer genauer zu prognostizieren, setzen aber auch immer größere Datenmengen und Rechenleistungen voraus, die sowohl in Forschung als auch in der Praxis häufig nicht vorliegen. Wie kann man gute Ergebnisse erreichen, wenn nur wenig Daten vorliegen? Marisa Mohr stellte in ihrem Vortrag einen neuen und vielversprechenden informationstheoretischen Ansatz zum Feature Learning von sequentiellen Daten vor, der potenziell auch mit wenigen Daten auskommt. Dabei ging es speziell um ordinale Muster in Zeitreihen, wie sie beispielsweise als Veränderung von Emotionen im Gesprächsverlauf zu finden sind. Eine solche Entwicklung ist für Menschen in der Regel leicht zu erkennen. Chatbots hingegen können nicht intuitiv auf solche Emotionsverläufe reagieren, sondern müssen entsprechend programmiert werden. Details: Deep-Learning-Ansätze wie LSTMs, RNNs oder TCNs haben sich im Umgang mit sequentiellen Daten bewährt. Neuronale Netzwerke sind tief im technischen Sinn, weil sie mehrere (verborgene) Schichten besitzen, aber nicht weil sie ein tiefes Verständnis von Problemen entwickeln. In diesem Vortrag stellte Marisa einen symbolischen informationstheoretischen Ansatz des Representation Learnings von Zeitreihen vor und damit eine Möglichkeit, konzeptionelle Schichten zu konstruieren. Die Idee hinter der sogenannten Permutationsentropie besteht darin, anstelle der Werte einer Zeitreihe die Ordnungsrelation zwischen den Werten zu betrachten, und so auf das natürliche Auf und Ab des zugrundeliegenden dynamischen Systems zurückzugreifen. Event: inovex Meetup: Das Unvorhersehbare vorhersagen: Zeitreihen und Chatbots, 26.03.2019 Speakerin: Marisa Mohr (inovex) Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Representation Learning von Zeitreihen

inovex GmbH

Menschliche Kommunikation folgt zwar einer ganzen Reihe von Regeln, diese lassen sich aber schwer formalisieren. Nicht zuletzt deshalb, weil in unseren Interaktionen immer auch eine Fülle von Welt- und implizitem Kontextwissen eine Rolle spielt. Rein regelbasierte Chatbots sind daher nicht nur äußert komplex in der Programmierung, sondern stoßen in vielen Anwendungsbereichen schnell an ihre Grenzen. In diesem Vortrag gab Anna Weißhaar einen Überblick über die aktuellen Lösungen und Herausforderungen im Bereich digitale Assistenten. Der Fokus lag dabei auf Ansätzen, die Chatbots „chatty“ machen, sie also möglichst adäquat auf im Voraus unbekannte Nutzereingaben reagieren zu lassen. Event: inovex Meetup: Das Unvorhersehbare vorhersagen: Zeitreihen und Chatbots, 26.03.2019 Speaker: Anna Weißhaar (inovex) Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Talk to me – Chatbots und digitale Assistenten

inovex GmbH

Nicht zuletzt durch die medienwirksame Erfolge des maschinellen Lernens durch DeepMind, OpenAI und Kollegen ist Künstliche Intelligenz im Moment wieder in aller Munde. Einerseits locken zahlreiche neue, vorher undenkbare Anwendungen wie die automatische Diagnose von Krankheiten, autonome Fahrzeuge und Drohnen, oder die automatische Übersetzung gesprochener Wörter. Andererseits warnen mahnenden Stimmen wird vor dem zunehmendem Einflussnahme der „Algorithmen“ auf fast alle Bereiche unseres Lebens sowie vor unerwünschten Folgen von sich verselbstständigenden Computern gewarnt. Einige träumen von – oder fürchten sich vor – der vermeintlich unausweichlichen Singularität, an der sich nichts weniger als das Schicksal der gesamten Menschheit entscheiden wird. Doch was verbirgt sich hinter dem Begriff Künstliche Intelligenz? Je nachdem, wen man fragt, erhält man unterschiedliche, bisweilen gegensätzliche Antworten. Dieser Vortrag stellt einige dieser Antworten vor und versucht sie (nicht nur) anhand von Beispielen aus Forschung und Anwendung einzuordnen. Event: Business Analytics Day, 07.03.2019 Speaker: Dr. Matthias Richter, Dr. Stefan Igel (inovex) Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Künstlich intelligent?

inovex GmbH

In den letzten drei Jahren haben wir die Infrastruktur der Fernseh-Plattform waipu.tv gebaut. Dabei haben wir angefangen Tools für den Betrieb in Golang zu schreiben. Aus einigen der Tools wurden Core-Services, die auch die Last einer Fußball-WM-Übertragung locker wegstecken. Wir wollen euch zeigen, wie wir mit der selben Tool-Chain (Golang & Co) Betriebs-Probleme lösen und kritische Business-Applikationen entwickeln. Klassisch DevOps oder Golden Hammer? Speaker: Christoph Petrausch, Igor Lankin (beide inovex) Event: DevOpsConference, 04.12.2018 Mehr Tech-Vorträge: inovex.de/vortraege Mehr Tech-Artikel: inovex.de/blog

Dev + Ops = Go

inovex GmbH

Das Android Open Source Project, kurz AOSP, ist das Betriebssystem, das auf den meisten heutigen und wahrscheinlich auch auf deinem Smartphone läuft. Es ist die Basis für das Android-App-Universum und wird von Millionen Nutzern und Entwicklern auf der Welt verwendet. Wegen der offenen Verfügbarkeit des Source Codes ist es auch die Basis für bekannte Custom ROMs wie LineageOS. Der erste Teil des Talks gab eine Übersicht über die Architektur des Betriebssystems, das App-Ökosystem, den Hardware Abstraction Layer (HAL), die Sicherheitskonzepte und einige neue Betriebssystementwicklungen wie Project Treble in Android 8.0. Der zweite Teil des Talks gab einen Einblick in den Quellcode und die Struktur des AOSP: Wie lädt man sich den Source Code herunter, wie baut man das AOSP für unterstützte Geräte und wie kann man die eigenen ROMs auf ein Smartphone flashen? Zum Spaß wurde auch noch in einige Implementierungsdetails von Android-App-API-Funktionen geblickt, die man als App Developer schon aufgerufen hat. Speaker: Stefan Lengfeld, inovex Event: inovex Meetup Köln, 23.10.2018 Mehr Tech-Vorträge: www.inovex.de/vortraege Mehr Tech-Artikel: www.inovex.de/blog

Das Android Open Source Project

inovex GmbH

Interpretable Machine Learning describes the process of revealing causes of predictions and explaining a derived decision in a way that is understandable to humans. The ability to understand the causes that lead to a certain prediction enables data scientists to ensure that the model is consistent to the domain knowledge of an expert. Furthermore, interpretability is critical to obtain trust in a model and to be able to tackle problems like unfair biases or discrimination against particular subgroups. This talk covers an introduction to the concept of interpretability and an overview of popular interpretability techniques. Speaker: Marcel Spitzer, inovex Event: Kaggle Munich Meetup, 20.11.2018 Mehr Tech-Vorträge: www.inovex.de/vortraege Mehr Tech-Artikel: www.inovex.de/blog

Machine Learning Interpretability

inovex GmbH

Online vehicle marketplaces are embracing artificial intelligence to ease the process of selling a vehicle on their platform. The tedious work of copying information from the vehicle registration document into some web form can be automated with the help of smart text-spotting systems, in which the seller takes a picture of the document, and the necessary information is extracted automatically. Florian Wilhelm details the components of a text-spotting system, including the subtasks of object detection and optical character recognition (OCR). Florian elaborates on the challenges of OCR in documents with various distortions and artifacts, which rule out off-the-shelf products for this task. After offering an overview of semisupervised learning based on generative adversarial networks (GANs), Florian evaluates the performance gains of this method compared to supervised learning. More specifically, for a varying amount of labeled data, he compares the accuracy of a convolution neural network (CNN) to a GANthat uses additional unlabeled data during the training phase, showing that GANs significantly outperform classical CNNs in use cases with a lack of labeled data. What you'll learn: Understand how semisupervised learning with GANs works Explore beneficial semisupervised methods based on GANs for use cases with a limited amount of labeled data Gain insight into an interesting OCR use case of an online vehicle marketplace Event: O'Reilly Artificial Intelligence Conference, London, 11.10.2018 Speaker: Dr. Florian Wilhelm Mehr Tech-Vorträge: www.inovex.de/vortraege Mehr Tech-Artikel: www.inovex.de/blog

Performance evaluation of GANs in a semisupervised OCR use case

inovex GmbH

IT im 21. Jahrhundert – What a time to be alive! Es gibt einen (unüberschaubaren) Zoo an Methoden und Produkten die uns so viel Freude an der Arbeit bereiten! Sie sind modern, weil sie neu sind. Sie fordern unser Können heraus, weil sie komplex sind. Sie lösen einige Probleme, die wir vorher nicht hatten. Jeder will sie verwenden, weil Google, Netflix & Co. sie propagieren und Hand auf’s Herz: Will nicht jeder gerne so arbeiten wie Google, Netflix & Co.? Aber macht das wirklich Sinn? In diesem Vortrag blicken wir auf diverse Erkenntnisse aus dem Einsatz agiler Produktentwicklung, DevOps, Continuous Integration/Delivery, Infrastructure as Code, Immutable Infrastructure (bspw. Docker/Kubernetes), Application Logging und Service Monitoring. Learning Goals: - Wir müssen den Einsatz von Methoden und Tools an die Menschen ausrichten, die sie (weiter-)entwickeln und benutzen sollen. - Manchmal lösen wir mit neuen Tools Probleme, die wir vorher nicht hatten. - Die Suche nach einfachen Lösungen für komplexe Probleme ist essentiell, aber nicht immer einfach. Event: Continuous Lifecycle, 15.11.2018 Speaker: Arnold Bechtoldt Mehr Tech-Vorträge: www.inovex.de/vortraege Mehr Tech-Artikel: www.inovex.de/blog

People & Products – Lessons learned from the daily IT madness

inovex GmbH

Pulumi (pulumi.io) offers an open source platform to create/manage and deploy your infrastructure in realy programming languages like JavaScript/TypeScript, Go and Python. As Cloud platforms the major 3 cloud providers are supported and additionally you can also use Pulumi with OpenStack and Kubernetes to deploy your applications in the cloud. In this talk we will take a look how Pulumi is different to traditional solutions like Terraform or the Cloud Provider specific solutions (e.g. CloudFormation). The main focus will be on deploying your services on top of Kubernetes. The talk will contain a little theory part about Pulumi, the rest of the talk is more focused on demos and practical parts. One focus of the talk is the difference of Pulumi to kubectl and helm (or to be precise how they complement each other. As a takeaway of this talk you should understand the basics of Pulumi and know what are the differences to the traditional deployment tools. Event: CNCF Meetup Hamburg & Stuttgart, 29.10.2018 & 07.11.2018 Speaker: Johannes M. Scheuermann, inovex Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/ Mehr Tech-Artikel: https://www.inovex.de/blog/

Infrastructure as (real) Code – Manage your K8s resources with Pulumi

inovex GmbH

Mais de inovex GmbH (20)

lldb – Debugger auf Abwegen

Are you sure about that?! Uncertainty Quantification in AI

Why natural language is next step in the AI evolution

WWDC 2019 Recap

Network Policies

Interpretable Machine Learning

Jenkins X – CI/CD in wolkigen Umgebungen

AI auf Edge-Geraeten

Prometheus on Kubernetes

Deep Learning for Recommender Systems

Azure IoT Edge

Representation Learning von Zeitreihen

Talk to me – Chatbots und digitale Assistenten

Künstlich intelligent?

Dev + Ops = Go

Das Android Open Source Project

Machine Learning Interpretability

Performance evaluation of GANs in a semisupervised OCR use case

People & Products – Lessons learned from the daily IT madness

Infrastructure as (real) Code – Manage your K8s resources with Pulumi

Integration in der Cloud mit Camel, Karaf und Cellar

1. Achim Nierbeck | inovex Integration in der Cloud mit Camel, Karaf und Cellar

2. Agenda • • • • • • Vorstellung Cloud? Integration? Cluster? Protagonisten - Eine Vorstellung Integration + Cloud Demo ... don't Panic!

3. Vorstellung • Achim Nierbeck • inovex GmbH – Pforzheim, Karlsruhe, München Köln • @anierbeck • open source – Apache Karaf PMC – Apache Kalumet PMC – OPS4j Pax Web Project Lead

4. Integration? Cluster? Cloud? Situation • wie kommen die Daten an ihr Ziel • woher kommen die Daten • welche Daten Image: © Nevit Dilmen found at Wikimedia commons

5. Integration ?

6. Integration mit Camel Apache Camel is messaging technology glue with routing. It joins together messaging start and end points allowing the transference of messages from different sources to different destinations. For example: JMS->JSON HTTP->JMS or funneling FTP->JMS, HTTP->JMS JMS=>JSON Quelle: Universal Business Adapter (IBM) http://stackoverflow.com/questions/8845186/what-exactly-is-apache-camel

7. EAI - Enterprise Application Integration • Gregor Hohpe und Bobby Woolfe • Martin Fowler: „the missing piece“ zu Patterns of Enterprise Application Architecture

8. Die Protagonisten • Apache Camel – Eines der am weitesten verbreiteten EAI Frameworks • Apache Karaf – Leichtgewichtiger OSGi Container – perfekte Laufzeitumgebung für Camel • Apache Karaf-Cellar – Karaf Cluster Lösung --> Cloud Lösung

9. Camel Architektur

10. Message Routing

11. Apache Karaf

12. Karaf - Overview

13. Apache Karaf - Cellar

14. Karaf Cellar – Node Kommunikation

15. Karaf Cellar - Überblick

16. Karaf Cellar - Farming Maven Repo Node 1 Whitelist: - xxx - yyy Blacklist: - zzz Node 2 Whitelist: - xxx - zzz Blacklist: - yyy

17. Karaf Cellar - Farming Node 1 Whitelist: - xxx - yyy Blacklist: - zzz Node 2 Whitelist: - xxx - zzz Blacklist: - yyy re Featu install xxx Maven Repo

18. Karaf Cellar - Farming Maven Repo Node 1 Replicate Node 2 Whitelist: - xxx - yyy Blacklist: - zzz Whitelist: - xxx - zzz Blacklist: - yyy

19. Karaf Cellar - Farming Maven Repo Node 1 Whitelist: - xxx - yyy Blacklist: - zzz Node 2 Whitelist: - xxx - zzz Blacklist: - yyy e tur a Fe tall ins x xx

20. Karaf Cellar - Farming Maven Repo Node 1 Whitelist: - xxx - yyy Blacklist: - zzz Node 2 Whitelist: - xxx - zzz Blacklist: - yyy e tur a Fe tall ins z zz

21. Karaf Cellar - Farming Maven Repo Node 1 Replicate Node 2 Whitelist: - xxx - yyy Blacklist: - zzz Whitelist: - xxx - zzz Blacklist: - yyy

22. Karaf Cellar - Farming Maven Repo Node 1 Whitelist: - xxx - yyy Blacklist: - zzz Node 2 Whitelist: - xxx - zzz Blacklist: - yyy

23. Integration in der Cloud Apache Camel Apache Karaf-Cellar Apache Karaf

27. Cloud Integration EC-Node 1 © twitter.com EC-Node 3 S3 EIP: EC-Node 2 Privat Node Data from(cxf:endpoint).to(jms:queue) HDFS

28. Cloud Integration from(twitter://xxx).bean(filterBean).to(hdfs://storage) EC-Node 1 © twitter.com EC-Node 3 S3 EIP: Privat Node Data EC-Node 2 HDFS

29. Cloud Integration EC-Node 1 © twitter.com EC-Node 3 S3 EIP: HDFS EC-Node 2 Privat Node Data from(jms).convertTo(String.class). to(hazelcast:seda:queue)

30. Cloud Integration EC-Node 1 © twitter.com EC-Node 3 S3 EIP: Privat Node Data EC-Node 2 HDFS from(hazelcast:seda:queue). to(hdfs:storage)

31. DEMO from(seda:x).to(blobstore) Brow se EC-Node 1 S3 EIP: Privat Node from(file).to(cxf) EC-Node 2 from(cxf) .to(hazelcast: seda: queue)

32. ... don't Panic • Bring dein Handtuch mit • http://camel.apache.org • http://karaf.apache.org • http://karaf.apache.org/index/subprojects/cellar.html • Showcase: https://github.com/inovex/camel-cloud-integartion-jax2013/ • Fragen immer jederzeit auf den Mailinglisten • … am Inovex Stand

Integration in der Cloud mit Camel, Karaf und Cellar

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Integration in der Cloud mit Camel, Karaf und Cellar

Semelhante a Integration in der Cloud mit Camel, Karaf und Cellar (9)

Mais de inovex GmbH

Mais de inovex GmbH (20)

Integration in der Cloud mit Camel, Karaf und Cellar