Constraints and triggers to enhance XML-based data integration systems

Abstract

XML is becoming one of the main technological integredients of the Internet. It is now accepted as the standard for information exchange. XML-based data integration system, which enables sharing and cooperation with legacy data sources, arises as a more and more important data service provider on the web. These services can provide the users with a uniform interface to a multitude of data sources such as relational databases, XML files, text files, delimited files, Excel files, etc. Users can thus focus on what they want, rather than think about how to obtain the answers. Therefore, users do not have to carry on the tedious tasks such as finding the relevant data sources, interacting with each data source in isolation using the local interface and combining data from multiple data sources.

Users are always expecting better query performance and data consistency from the data integration systems. This work proposes an approach to support constraints and triggers in the XML-based data integration system in order to optimize queries and to enforce data consistency. Constraints and triggers have long been recognized to be useful in semantic query optimization and data consistency enforcement in relational databases. This work first gives an approach to use constraints from the heterogeneous data sources to semantically optimize queries submitted to the XML-based data integration system. Different constraints from the data sources are first integrated into a uniform constraint model. Then the constraints in the uniform constraint model are stored in the constraint repository. Traditional semantic query optimization techniques in the relational database are analyzed and three of them are reused and applied by the semantic query optimizer for XML-based data integration system. Among them are detection of empty results, join elimination and predicate elimination. Performance is analyzed according to the data source type and the data volume. The semantic query optimizer works best when the data sources are non-relational, the data volume is huge and the execution cost is expected to be high.

In order to make the XML-based data integration system fully equipped with data manipulation capabilities, programming frameworks which support update at the integration level are being developed. This work discusses how to realize update in the XML-based data integration system under the Service Data Objects programming framework. When the user is permitted to submit updates, it is necessary to guarantee data integrity and enforce active business logics in the data integration system. This work presents an approach by which active rules including integrity constraints are enforced by XQuery triggers. An XQuery trigger model in conformance to XQuery update model proposed by W3C is defined. How to define active rules and integrity constraints by XQuery triggers is discussed. Triggers and constraints are stored in the trigger repository. The architecture supporting XQuery trigger service in the XML-based data integration system is proposed. Important components including event detection, trigger scheduling, condition evaluation, action firing and trigger termination are discussed. The whole XQuery trigger service architecture above a data integration system is implemented in BEA AquaLogic DataService Platform under the Service Data Objects programming framework. Experiments show active rules and integrity constraints are enforced easily, efficiently and conveniently at the global level.

Constraints and triggers play an important role in XML-based data integration systems. Using constraints and triggers in the XML-based data integration system we can efficiently improve query performance and enforce data consistency.

Web Services sind eine neue Technologie für Web-Anwendungen. Doch werden ein großer Teil der Daten weiterhin in Legacy-Datenquellen gespeichert, wie z.B. relationale und objekt- orientierte Datenbanken, Textdateien, XML-Dateien, HTML-Dateien und Excel-Dateien. Informationsintegration ist seit langem ein zentrales Forschungsthema im Bereich der Datenbanken und der Künstlichen Intelligenz. Die älteren Datenbanksysteme waren meisterns noch Einzelsysteme (standalone). Mittlerweile ist der große Nutzen aus der Integration von Informationen aus verschiedenen Quellen bekannt, und vielfach auch gewünscht bzw. benötigt.

Die Nachrichten, die mit Web Services ausgetauscht werden, basieren hauptsächlich auf XML. XML hat sich als dominierender Standard für den Austausch von Informationen über das Internet etabliert. Als Anfragesprache für XML dient XQuery, das sowohl sehr leistungsfähig als auch leicht bedienbar und erlernbar ist. In den letzten Jahren sind viele XML basierte Datenintegrationsssysteme auf den Markt gekommen. Sie bieten eine einheitliche Schnittstelle für die Benutzer an, Anfragen an heterogene Datenquellen zu stellen. Die Anwender können sich somit darauf konzentrieren, was sie an Information erfahren wollen, anstatt darauf, wie sie die Information beziehen können. So muss sich der Benutzer nicht mit der langwierigen Aufgabe beschäftigen, die relevanten Datenquellen zu finden, mit jeder Datenquelle über die jeweilige lokale Schnittstelle separat zu interagieren und die Ergebnisse am Ende wieder zu kombinieren.

Anwender erwarten eine immer bessere Anfrageperformanz und Datenkonsistenz von den XML-basierten Datenintegrationssystemen. Diese Arbeit stellt ein Konzept vor, wie Integritätsbedingungen und Trigger in XML-basierten Datenintegrationssystemen unterstützt werden können, um Anfragen zu optimieren und die Datenkonsistenz zu garantieren. Integritätsbedingungen und Trigger werden in relationalen Datenbanken genutzt, um semantische Anfrageoptimierungen durchzuführen und Datenkonsistenz zu sichern.

Das größte Problem bei der Optimierung von Anfragen in einem XML-basierten Datenintegrationssystem ist, dass die Datenkommunikation bei dem Datenaustausch zwischen Benutzer, Datenintegrationssystem, Wrapper und Datenquellen sehr aufwändig und teuer ist. In dieser Situation ist eine Optimierung durch semantische Regeln attraktiv, um die Kosten der Kommunikation zu reduzieren. Die Optimierung durch semantische Regeln ist bekannt unter dem Namen "Semantic Query Optimization" (SQO).

Diese Arbeit stellt zunächst einen Ansatz zur Verwendung der Integritätsbedingungen von heterogenen Datenquellen vor, um Anfragen an XML-basierte Datenintegrationssysteme zu optimieren. Verschiedene Integritätsbedingungen aus heterogenen Datenquellen werden zuerst in ein einheitliches Modell (Uniform Constraint Model) integriert. Dann werden die Integritätsbedingungen aus dem Uniform Constraint Model in das Repositorium für Integritätsbedingungen gespeichert. Traditionelle semantische Anfrageoptimierungstechniken der relationalen Datenbanken werden analysiert, drei davon ausgewählt und für die XML-basierten Datenintegrationssysteme implementiert: die Erkennung von leeren Anfrageergebnissen, das Löschen von Joins und das Löschen von Prädikaten. Die Anfrageperformanz wird analysiert, sowie sortiert nach Datenquelle und Datenvolumen. Der semantische Anfrageoptimierer erreicht die beste Leistung, wenn die Datenquellen nicht-relational sind, das Datenvolumen groß ist und die Ausführungskosten hoch sind.

Um XML-basierten Datenintegrationssystemen eine vollständige Verwendung von Datenmanipulationen zu erlauben, wurde ein Framework entwickelt, das dem Benutzer die Erstellung von Updates auf der Integrationsebene ermöglicht. Wenn der Benutzer Updates durchführen darf, ist es notwendig, Datenintegrität und Datenkonsistenz in dem Datenintegrationssystem zu gewährleisten.

Diese Arbeit präsentiert eine Methode, in der Datenkonsistenzregeln durch XQuery-Trigger umgesetzt werden können. Es wird ein XQuery-Trigger-Modell definiert in Übereinstimmung zu dem XQuery-Update Standard von W3C. Wie Datenkonsistenzregeln dann mit den XQuery-Triggern definiert und in einem Triggerrepositorium gespeichert werden, wird anschließend diskutiert. Die gesamte Architektur wird präsentiert, einschließlich Ereigniserkennung, Auswertung der Bedingungen, Absetzen der Aktionen und dem Beenden des Triggers. Der Prototyp des XQuery-Trigger-Services ist auf BEA Aqualogic DataService Platform implementiert. Die Evaluierungen zeigen, dass Datenkonsistenzregeln leicht und effizient auf globaler Ebene umgesetzt werden können.

Integritätsbedingungen und Trigger spielen eine wichtige Rolle bei XML-basierten Datenintegrationssystemen. Die Verwendung von Integritätsbedingungen und Triggern in XML-basierten Datenintegrationssystemen kann ihre Anfrageperformanz verbessern und ihre Datenkonsistenz sichern helfen.