Exploring the challenges of enterprise integration in the cloud

Abstract

The integration of applications and services in a distributed system has long existed in enterprises and organizations. With the rise of the cloud and the utilization of various Managed Service Providers (MSPs) and Cloud Service Providers (CSPs) in addition to the own system landscape, the whole situation becomes even more complex. From the initial integration, to changes and additions, legal and business constraints, performance and cost monitoring, security and organizational structures, there are many challenges that enterprises are facing. It is therefore necessary to understand how such integrations should be realized and how they can be observed and evaluated. The aim of this thesis is to find out which integration technologies are used in the cloud, what problems they cause and how these can be overcome. Which tools are used and how do they differ? What about integration middleware in the cloud? How much added value do off-the-shelf integration components offer? How can integrations be observed and properly evaluated? In order to answer these questions, a literature review and further research were carried out as well as expert interviews and a case study. Using a practical example, a data source integration into the BigData4Biz (BD4B) platform, various approaches were compared and analyzed for observability. It has been shown that a variety of integration approaches are used in real-world enterprise multicloud environments. From point-to-point integrations in microservices, to event-driven integrations with Apache Kafka, the use of Integration Platform-as-a-service (iPaaS) solutions, the deployment of more lightweight Enterprise Service Bus (ESB) successors and others can exist in the same integration flow in an enterprise system. This is often due to merger of enterprises, organizational structures, such as different teams, sometimes across countries and departments, business complexities, historical backgrounds, legal requirements or simply bad design. Something that has to be accepted as a fact to happen and worked with. Also it has been shown that it is almost impossible to observe and evaluate what happens in such a system-wide multicloud integration. Through the System Integration Watchdog, in addition to existing observability tools, it was shown that it would be possible to obtain a system-wide view of the integration by extracting the integration flows, in combination with other collected data through more standardized methods, like OpenTelemetry. It is a proof of concept to demonstrate feasibility. Further research in the area of integration in complex cloud environments should focus on observation in order to obtain a better data basis for statements about the integrations. The integration tools, which are significantly more heterogeneous, should also be subjected to a comprehensive examination based on features, as there is a lack of classifications and methods with the existing ones being too vague. Die Integration von Anwendungen und Diensten in einem verteilten System ist in Unternehmen und Organisationen schon lange ein fester Bestandteil. Mit dem Aufkommen der Cloud und der Nutzung verschiedener Managed Service Providers (MSPs) und Cloud Service Providers (CSPs) neben der eigenen Systemlandschaft wird die Betrachtung der Gesamtsituation noch komplexer. Von der anfänglichen Integration bis hin zu Änderungen und Ergänzungen, rechtlichen und geschäftlichen Zwängen, Leistungs- und Kostenüberwachung, Sicherheit und Organisationsstrukturen gibt es viele Herausforderungen, denen sich Unternehmen stellen müssen. Es ist daher notwendig zu verstehen, wie solche Integrationen realisiert werden sollten und wie sie beobachtet und bewertet werden können. Ziel dieser Arbeit ist es, herauszufinden, welche Integrationstechnologien in der Cloud eingesetzt werden, welche Probleme sie verursachen und wie diese überwunden werden können. Welche Werkzeuge werden eingesetzt und wie unterscheiden sie sich? Wie sieht es mit Integrations-Middleware in der Cloud aus? Welchen Mehrwert bieten Integrationskomponenten von der Stange? Wie können Integrationen beobachtet und richtig bewertet werden? Zur Beantwortung dieser Fragen wurden eine Literaturrecherche und weitere Recherchen durchgeführt, sowie Experteninterviews und eine Fallstudie. Anhand eines Praxisbeispiels, einer Datenquellenintegration in die BigData4Biz-Plattform, wurden verschiedene Ansätze verglichen und auf ihre Beobachtbarkeit hin analysiert. Es hat sich gezeigt, dass in realen Multi-Cloud-Umgebungen von Unternehmen eine Vielzahl von Integrationsansätzen verwendet wird. Von Punkt-zu-Punkt-Integrationen in Microservices bis hin zu ereignisgesteuerten Integrationen mit Apache Kafka, dem Einsatz von Integration Platform-as-a-service (iPaaS) Lösungen, dem Einsatz von leichtgewichtigeren Enterprise Service Bus (ESB) Nachfolgern und anderen können im gleichen Integrationsfluss in einem Unternehmenssystem existieren. Dies ist oft auf Unternehmensfusionen, Organisationsstrukturen, wie z. B. unterschiedliche Teams, manchmal über Länder und Abteilungen hinweg, geschäftliche Komplexität, historische Hintergründe, rechtliche Anforderungen oder einfach schlechtes Design zurückzuführen. Etwas, das man als Tatsache akzeptieren und mit dem man arbeiten muss. Es hat sich auch gezeigt, dass es fast unmöglich ist, zu beobachten und zu bewerten, was bei einer solchen systemweiten Multi-Cloud-Integration passiert. Mit dem System Integration Watchdog wurde gezeigt, dass es möglich ist, zusätzlich zu den bestehenden Beobachtungstools eine systemweite Sicht auf die Integration zu erhalten, indem die Integrationsflüsse in Kombination mit anderen gesammelten Daten durch standardisierte Methoden wie OpenTelemetry extrahiert werden. Es handelt sich um einen Konzeptnachweis, der die Machbarkeit demonstriert. Weitere Forschung im Bereich der Integration in komplexen Cloud-Umgebungen sollte sich auf die Beobachtung konzentrieren, um eine bessere Datenbasis für Aussagen über die Integrationen zu erhalten. Ferner sollten die Integrationswerkzeuge, die deutlich heterogener sind, einer umfassenden Betrachtung anhand von Features unterzogen werden, da es an Klassifizierungen und Methoden mangelt und die vorhandenen zu vage sind.